УСТРОЙСТВО И СПОСОБ, ПРОГРАММА ОБРАБОТКИ ВИДЕО, И УСТРОЙСТВО ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЙ, СМОНТИРОВАННОЕ С УСТРОЙСТВОМ ОБРАБОТКИ ВИДЕО Российский патент 2014 года по МПК G06T7/20 G06T3/40 

ОБЛАСТЬ ТЕХНИКИ

Настоящая группа изобретений относится к технологии передачи на главный терминал изображений, образованных элементами формирования изображений видеокамеры.

ИЗВЕСТНЫЙ УРОВЕНЬ ТЕХНИКИ

В существующем уровне техники известны игры, в которых видеокамерой снимаются изображения части тела пользователя, такой как голова, а из этих изображений затем выделяются заранее заданные области, например области глаз, губ, рук, и эти области заменяются затем на другие изображения для вывода полученного результата на дисплей (например, патентный документ №1). Известен также интерфейс пользователя, который принимает в качестве прикладных команд команды движения губ или рук, снятых видеокамерой.

Патентный документ №1: Европейская заявка на патент №0999518.

КРАТКОЕ ИЗЛОЖЕНИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ

ПРОБЛЕМЫ, КОТОРЫЕ ДОЛЖНЫ БЫТЬ РЕШЕНЫ ИЗОБРЕТЕНИЕМ

В технологии, подобной описанной выше, для выделения заранее заданных областей, например губ или руки пользователя, необходимо изображение высокого разрешения. Однако по мере того, как качество элементов формирования видеоизображений становится выше, становится также и больше время выполнения процессов сжатия изображений, когда изображения видеокамеры после сжатия передаются на центральный терминал, такой как игровое устройство или персональный компьютер. Поэтому возникает проблема, определяемая повышением времени запаздывания между съемкой изображений видеокамерой и выдачей видеоизображений на центральный терминал. Использование видеокамеры в качестве интерфейса пользователя, приводящее к проблеме повышения запаздывания, существенно снижает ее практическую полезность. Как было описано, даже когда качество пикселей формирования изображений видеокамеры повышается, характеристики системы, как единого целого, могут ухудшиться.

Исходя из всех этих обстоятельств, целью настоящего изобретения является предоставление технологии обработки изображений, обеспечивающей снижение запаздывания, которое связано с передачей изображений от видеокамеры на центральный терминал, используя при этом высококачественные элементы формирования изображений.

СРЕДСТВА РЕШЕНИЯ ЭТИХ ПРОБЛЕМ

Пример реализации настоящего изобретения относится к программе обработки движущихся изображений. Эта программа обработки движущихся изображений исполняется на устройстве обработки движущихся изображений и исполняет функцию получения изображений, которая обеспечивает получение необработанного изображения, снятого с использованием элементов формирования изображений; функцию цветовой интерполяции, которая осуществляет цветовую интерполяцию необработанного изображения; функцию фильтрации, которая преобразует необработанное изображение в несколько уменьшенных изображений, имеющих ступенчато различающуюся степень разрешения; функцию выбора, которая выбирает из необработанного изображения одну часть в качестве специфической части и вместе с этим выбирает какое-нибудь одно из нескольких уменьшенных изображений в качестве указанного уменьшенного изображения; и функцию передачи, которая передает на центральный терминал для последующей обработки изображений выбранную специфическую часть необработанного изображения и указанное уменьшенное изображение.

В соответствии с этим примером осуществления настоящего изобретения, из устройства обработки движущихся изображений на центральный терминал передается только специфическая часть, которая является частью необработанного изображения, и указанное сжатое изображение. Поэтому, поскольку в центральном терминале может произвольно обрабатываться только специфическая часть, объем данных, переданных на центральный терминал, становится меньше по сравнению со случаем, когда на него передается все целиком необработанное изображение. Соответственно, и запаздывание, связанное с передачей изображения, может быть снижено, в то время как степень свободы обработки изображения в центральном терминале будет сохранена.

Другой пример осуществления настоящего изобретения также относится к программе обработки движущихся изображений. Эта программа обработки движущихся изображений исполняется на центральном терминале, обрабатывающем движущееся изображение, которое снимается устройством съемки изображений, а затем выдающая на дисплей обработанное движущееся изображение, и исполняющая на этом центральном терминале функцию получения специфической части, являющейся частью необработанного изображения, которое выдается с элементов формирования изображения, и получения уменьшенного изображения, образованного процессом цветовой интерполяции и процессом уменьшения упомянутого необработанного изображения; функцию, осуществляющую цветовую интерполяцию специфической части необработанного изображения; функцию, преобразующую уменьшенное изображение в полноразмерное изображение увеличением уменьшенного изображения до размера, равного размеру упомянутого необработанного изображения; и функцию, комбинирующую специфическую часть после процесса цветовой интерполяции с полноразмерным изображением, и выдающую на дисплей синтезированное изображение с частично отличающимися уровнями разрешения.

В соответствии с этим примером осуществления настоящего изобретения, процесс цветовой интерполяции специфической части исходного изображения, снятого элементами формирования изображений, может быть выполнен на центральном терминале. Поэтому может быть получена высококачественная цветовая интерполяция изображения, используя вычислительные ресурсы центрального терминала, обрабатывающие возможности которого обычно выше, чем возможности устройства съемки изображений. Поскольку сжатое изображение увеличивается для использования других частей, отличных от специфической части, то объем данных, получаемых от устройства съемки изображений, может быть уменьшен, и поэтому может быть подавлено запаздывание, связанное с передачей изображений.

Реализация настоящего изобретения в форме способов, систем, компьютерных программ и носителей записи, хранящих компьютерную программу, может также быть осуществлена на практике, как дополнительные режимы настоящего изобретения.

ПРЕИМУЩЕСТВА НАСТОЯЩЕГО ИЗОБРЕТЕНИЯ

В соответствии с настоящим изобретением, для специфической части может быть получено частное изображение высокого разрешения, используя исходное необработанное изображение, снизив при этом запаздывание, связанное с передачей на центральный терминал изображений от устройства съемки изображений.

КРАТКОЕ ОПИСАНИЕ ФИГУР ЧЕРТЕЖЕЙ

Фиг.1 - изображение, показывающее полную конфигурацию системы видеокамеры с низким запаздыванием, в соответствии с примером осуществления настоящего изобретения;

Фиг.2 - изображение, показывающее конфигурацию видеокамеры, в соответствии с примером осуществления настоящего изобретения;

Фиг.3 - изображение, показывающее конфигурацию устройства передачи изображений с видеокамеры, представленной на Фиг.2;

Фиг.4 - изображение, объясняющее работу устройства передачи изображений;

Фиг.5 - изображение, показывающее конфигурацию части центрального терминала, которая определяет выдачу изображения с низким запаздыванием;

Фиг.6 - блок-схема, разъясняющая работу системы видеокамеры с низким запаздыванием;

Фиг.7 - блок-схема, разъясняющая работу системы видеокамеры с низким запаздыванием; и

Фиг.8 - изображение, разъясняющее концепцию обработки изображений в случае, когда система видеокамеры с низким запаздыванием применяется в обмене видеоинформацией.

НАИЛУЧШИЕ ФОРМЫ РЕАЛИЗАЦИИ ИЗОБРЕТЕНИЯ

На Фиг.1 показывается полная конфигурация системы видеокамеры с низким запаздыванием 10 в соответствии с примером осуществления настоящего изобретения. В этой системе движущееся изображение пользователя 6 снимается видеокамерой 100, в центральном терминале 20 осуществляется обработка движущихся изображений, а затем изображение пользователя отображается на дисплее 4 или передается на заранее определенное место назначения через сеть 12, такую как Интернет или LAN (локальную сеть Local Area Network).

Видеокамера 100 является цифровой видеокамерой, имеющей элементы формирования изображений, такие как ПЗС (приборы с зарядовой связью) или КМОП (комплементарный металлооксидный полупроводник), и оборудованной на верхней части корпуса дисплеем 4, как показано на этом рисунке. Дисплей 4 является, например, жидкокристаллическим телевизором, плазменным телевизором, PC-дисплеем и пр. Обычно пользователь 6 стоит перед дисплеем 4 так, что видеокамерой 100 снимается вся или часть корпуса пользователя. Изображение, отображенное на дисплее 4, изменяется в зависимости от прикладной задачи, исполняемой в системе 10. Например, когда система 10 используется в качестве интерфейса пользователя (U1), который распознает движения или выражения лица пользователя 6 и интерпретирует эти движения или выражения как некоторый вид рабочих команд, изображение 8, отображенное на дисплее 4, является изображением части пользователя 6, такой как лицо или рука, или целиком его тела. Когда система 10 используется для обмена видеоинформацией, изображение 8, отображенное на дисплее 4, является изображением лица партнера по диалогу, а изображение пользователя 6 отображается на дисплее партнера по диалогу через сеть 12.

Из форм использования, подобных описанным выше, наиболее приемлемым является вариант, когда видеокамера 100 установлена на верхней части дисплея 4. Однако в тех случаях, когда требуется снимать изображение всего целиком пользователя 6 или части его корпуса, видеокамера 100 может быть установлена и на других местах, а не вблизи от дисплея 4, например вблизи от центрального терминала 20 или в окрестности пользователя. Помимо того, что видеокамера 100 может быть выполнена как единое целое, видеокамера 100 может быть встроена, например, в корпус дисплея 4. Вместо использования элементов формирования изображений в видеокамере 100 могут использоваться аналоговые изображения, преобразованные в цифровую форму (A/D).

Центральным терминалом 20 является компьютерный терминал, такой как персональный компьютер или игровое устройство, который имеет функции обработки изображений. Центральный терминал 20 последовательно принимает в хронологическом порядке движущиеся изображения, сформированные изображениями, которые сняты пользователем 6 видеокамерой 100, и выполняет предварительно определенные процедуры обработки изображений. В случае решения прикладной задачи обмена видеоинформацией, изображения пользователя 6, над которыми была проведена определенная обработка, передаются в реальном времени партнеру информационного обмена через сеть 12. В случае решения прикладной задачи интерфейса пользователя сначала проводится преобразование изображения к зеркальному виду, а затем изображение выдается в реальном времени на дисплей 4. Здесь зеркальное преобразование представляет собой процесс образования изображения, которое инвертировано справа налево, что предоставляет пользователю возможность работы с системой, как если бы пользователь смотрел в зеркало. В дополнение к описанной выше обработке изображений центральный терминал 20 имеет также возможность синтезировать изображения объектов, таких как меню или курсор, для исполнения различных прикладных задач и последующего отображения синтезированных изображений на дисплее 4.

Применительно к таким задачам, как игра или информационный обмен, в которых используется традиционная видеокамера, на видеокамеру во многих случаях возлагаются функции сжатия изображений и распознавания изображений, и обычно при незначительных вычислительных ресурсах видеокамеры ей требуется значительно больше времени на обработку по сравнению с исполнением тех же функций на центральном терминале. По этой причине часто ухудшаются характеристики реального времени, например, в тех ситуациях, когда требуется определенное время на распознавание движений пользователя и когда существует временной лаг при отображении изображения на дисплее. Эта тенденция становится все более заметной с повышением числа пикселей элемента формирования изображений, предоставляемого видеокамерой.

Таким образом, в настоящем примере осуществления в видеокамере формируется несколько изображений, разрешение которых ступенчато изменяется, и из видеокамеры на центральный терминал передается только часть изображения с необходимым разрешением, в соответствии с типом прикладной задачи, которая исполняется в системе, так что в центральном терминале, который имеет достаточные вычислительные ресурсы проводится высококачественная обработка изображений.

На Фиг.2 показывается конфигурация видеокамеры 100 в соответствии с настоящим примером осуществления. Представленная здесь конфигурация может быть реализована такими аппаратными средствами, как ЦП (центральный процессор), ЗУПВ (запоминающее устройство с произвольной выборкой), ПЗУ (постоянное запоминающее устройство) и схема рендеринга, а также программными средствами, реализующими различные функции, такие как функция ввода данных, функция хранения данных, функция обработки изображений и функция рендеринга. На Фиг.2 показываются функциональные блоки, реализованные совместным использованием этих компонентов. Следовательно, эти функциональные блоки могут быть реализованы в различных формах комбинациями аппаратных и программных средств. Для упрощения объяснения на Фиг.2 представлена также схематичная диаграмма, иллюстрирующая части изображения, обработанные в каждом функциональном блоке.

Видеокамера 100 содержит устройство получения изображений 102, устройство цветовой интерполяции 104, устройство передачи изображений 150, устройство пирамидального фильтра 170 и устройство связи 108. Устройство получения изображений 102 считывает в заранее заданные моменты времени (например, 60 раз/сек) изображение, экспонированное устройством формирования изображений, например, таким, как устройство на ПС или КМОП. В последующем объяснении принимается, что такое изображение имеет ширину в “h” пикселей в горизонтальном направлении. Это изображение является так называемым исходным (необработанным) изображением. Устройство получения изображений 102 пересылает исходное изображение на устройство цветовой интерполяции 104 и на устройство передачи изображений 150 каждый раз, как завершается экспозиция по одной горизонтальной строке исходного изображения.

Устройство цветовой интерполяции 104 имеет буфер FIFO (буфер обратного магазинного типа) 105, при этом буфер 105 имеет емкость памяти в h пикселей, и процессор простой цветовой интерполяции 106. Пиксельная информация по одной горизонтальной строке исходного изображения вводится в буфер FIFO 105 и хранится там до тех пор, пока в устройство цветовой интерполяции 104 не будут введены пиксели последующей одной горизонтальной строки. При получении пикселей двух горизонтальных строк работает процессор простой цветовой интерполяции 106, использующий эти принятые пиксели, при этом процесс цветовой интерполяции дополняющей цветовой информации каждого пикселя базируется на пикселях, окружающих интерполируемый пиксель, и затем формируется полноцветное изображение. Как известно специалистам, существует большое число алгоритмов реализации такого процесса цветовой интерполяции, однако в данном случае достаточным будет процесс простой цветовой интерполяции, в котором используются только пиксели двух горизонтальных строк. В качестве примера, когда пиксель, для которого должно быть вычислено соответствующее значение YCbCr, имеет только значение G, то значение RGB получается использованием значения R, которое определяется вычислением среднего соответствующих значений R правого и левого смежных пикселей, использованием значения G и значения В пикселя выше или ниже данного пикселя для значения R, их значения G и значения В, соответственно, а затем эти значения подставляются в ранее заданное уравнение преобразования, и тем самым вычисляется значение YCbCr. Поскольку такой процесс цветовой интерполяции хорошо известен, то дальнейшее подробное объяснение здесь будет опущено.

Далее обсуждается та причина, по которой будет достаточен процесс простой цветовой интерполяции. Для части, в которой необходимо высококачественное изображение (далее эта часть именуется как “специфическая часть”), центральный терминал 20 получает от видеокамеры 100 исходное изображение и проводит его обработку. Поэтому качество изображения не является важным для части, отличной от специфической части, или когда часть изображения, отличная от специфической части, используется только для обнаружения изображения или аналогичных операций. Соответственно, качество изображения после процесса цветовой интерполяции не имеет слишком большого значения. В одном из вариантов процесса простой цветовой интерполяции может быть использован алгоритм формирования значения YCbCr единственного пикселя из четырех пикселей цветового пространства RGB. В этом случае может быть получено интерполированное цветное изображение размером ¹/₄ от размера исходного изображения. Таким образом, первый фильтр 110, описанный позднее, не является необходимым.

Например, как показано на этом рисунке, процессор простой цветовой интерполяции 106 преобразует RGB четырех пикселей (два горизонтальных пикселя х два вертикальных пикселя) в цветовые сигналы YCbCr. Блок, составленный из этих четырех пикселей, пересылается на устройство передачи изображений 150, как интерполированное один к одному изображение, и также пересылается на устройство пирамидального фильтра 170.

Устройство пирамидального фильтра 170 имеет функцию иерархической организации заданного изображения по нескольким уровням разрешения и выдачи изображения в виде иерархической структуры. Пирамидальный фильтр содержит фильтры сжатия на ¹/₄, базируясь на числе уровней разрешения, которые в общем случае необходимы. В данном примере осуществления пирамидальный фильтр имеет четырехуровневые фильтры: от первого фильтра 110 до четвертого фильтра 140. Каждый фильтр выполняет процесс билинейной интерполяции четырех пикселей, которые являются смежными между собой, а затем вычисляет среднее значение этих четырех пикселей. Поэтому размер изображения, полученного после этого процесса, становится равным ¹/₄ размера изображения, имеющегося перед процессом.

Во входном каскаде первого фильтра 110 для каждого из сигналов Y, Cb и Cr имеется соответственно один буфер FIFO 112 для h пикселей. Каждый из этих буферов FIFO 112 предназначен для хранения пикселей YCbCr одной горизонтальной строки до тех пор, пока пиксели последующей горизонтальной строки не будут выданы из процессора простой цветовой интерполяции 106. Время хранения пикселей определяется в соответствии со скоростью строчного сканирования элементов формирования изображений. При вводе пикселей двух горизонтальных строк первый фильтр 110 усредняет значения пикселей Y, Cb и Cr для четырех пикселей из блока два горизонтальных пикселя × два вертикальных пикселя. Повторением этого процесса длина интерполированного изображения 1/1 становится равной ¹/₂ как по вертикали, так и по горизонтали, так что изображение преобразуется в целом в изображение размера ¹/₄. Преобразованное интерполированное изображение размером ¹/₄ пересылается на устройство передачи изображений 150, а также пересылается на последующий второй фильтр 120.

Во входном каскаде второго фильтра 120 для каждого из сигналов Y, Cb и Cr имеется соответственно один буфер FIFO 122 для h/2 пикселей. Каждый из этих буферов FIFO 122 предназначен для хранения пикселей YCbCr одной горизонтальной строки до тех пор, пока пиксели последующей горизонтальной строки не будут выданы из первого фильтра 110. При вводе пикселей двух горизонтальных строк второй фильтр 120 усредняет значения пикселей Y, Cb и Cr для четырех пикселей из блока два горизонтальных пикселя × два вертикальных пикселя. Повторением этого процесса длина интерполированного изображения ¹/₄ становится равной ¹/₂ как по вертикали, так и по горизонтали, так что изображение преобразуется в целом в изображение размером 1/16. Преобразованное интерполированное изображение размером 1/16 пересылается на устройство передачи изображений 150, а также пересылается на последующий третий фильтр 130.

Во входных каскадах третьего фильтра 130 и четвертого фильтра 140 имеются буферы FIFO 132 и буферы FIFO 142 соответственно для h/4 пикселей и h/8 пикселей. Во всем остальном в третьем фильтре 130 и в четвертом фильтре 140 повторяется тот же самый процесс, что и процесс, описанный выше. Интерполированные изображения размером 1/64 и размером 1/256 пересылаются затем на устройство передачи изображений 150. Поскольку пирамидный фильтр, подобный тому, что был представлен выше, хорошо известен, как описано в патентном документе №1, то его дальнейшее подробное описание в этой спецификации предмета патентования опускается.

Таким образом, с соответствующих фильтров устройства пирамидального фильтра 170 на устройство передачи изображений 150 пересылаются выходные изображения, каждое из которых уменьшено на ¹/₄ от исходного изображения. Как из этого понятно, размер буфера FIFO, который необходим во входном каскаде каждого фильтра, становится тем меньше, как становится больше число проходов через фильтры в устройстве пирамидального фильтра 170.

В соответствии с командой, полученной от центрального терминала 20 через устройство связи 108, устройство передачи изображений 150 выбирает необходимое изображение из исходного изображения, принятого от устройства получения изображений 102, интерполированное изображение 1/1, принятое от устройства цветовой интерполяции 104, и интерполированные изображения размером от ¹/₄ до 1/256, принятые от устройства пирамидального фильтра 170. Устройство передачи изображений 150 составляет пакет, используя эти изображения, а затем передает составленный пакет на устройство связи 108.

Устройство связи 108 пересылает пакет изображений на центральный терминал 20 в соответствии с заранее заданным протоколом, таким, например, как USB 1.0/2.0 или аналогичным протоколом. Связь с центральным терминалом 20 не ограничивается проводной связью. Связь может быть, например, беспроводной связью LAN, такой как IEEE 802.11a/b/g или аналогичной, или инфракрасной связью, такой как IrDA, или аналогичной.

На Фиг.3 представлено изображение, иллюстрирующее конфигурацию устройства передачи изображений 150 видеокамеры 100. Устройство передачи изображений 150 содержит устройство записи блоков 152, буфер 154, устройство считывания блоков 156, устройство кодирования 158, устройство формирования пакетов 160, буфер пакетов 162 и устройство управления 164.

Устройство управления 164, базируясь на команде от центрального терминала 20, указывает устройству записи блоков 152 и устройству считывания блоков 156 данные изображения, которые должны быть переданы в виде пакета из различных наборов данных изображений. Как будет описано позднее, на центральный терминал в этом примере осуществления передается только часть исходного изображения и интерполированные изображения, которые были введены в устройство передачи изображений 150.

На устройство записи блоков 152 от устройства получения изображений 102 вводится исходное изображение, а интерполированные изображения размером от ¹/₄ до 1/256 вводятся через устройство цветовой интерполяции 104 и устройство пирамидального фильтра 170. Устройство выбора размера 152А устройства записи блоков 152 записывает часть интерполированных изображений в буфер 154, базируясь на команде от устройства управления 164. Устройство записи блоков 152 получает изображение в единицах два × два пикселя, как показано на Фиг.2, и проводит операцию последовательной записи изображения в буфер 154. Далее, устройство выбора вырезаемого блока 152В устройства записи блоков 152 записывает в буфер 154 только те блоки из исходного изображения, которые содержат специфическую часть, указанную устройством управления 154. Этой специфической частью является, например, часть, для которой необходимо изображение высокого качества и высокого разрешения, такая как часть лица пользователя, его рука и прочее. Дальнейшее описание устройства выбора вырезаемого блока 152В, который должен быть выделен, будет дано позднее.

Устройство считывания блоков 156 считывает каждый блок изображения, а затем пересылает блок изображения на устройство кодирования 158 в порядке пикселей одного блока, который подготовлен в буфере 154. Устройство записи блоков 152 и устройство считывания блоков 156 настраиваются так, чтобы они могли бы синхронно управляться устройством управления 164. Иными словами, в то время как запись устройством записи блоков 152 проводится каждый раз, как пиксели выдаются из устройства получения изображений 102, устройства цветовой интерполяции 104 и устройства пирамидального фильтра 170, считывание устройством считывания блоков 156 проводится каждый раз, как пиксели одного блока накапливаются в буфере 154. Время синхронизации определяется в соответствии со скоростью экспозиции элементов формирования изображений. Единичный блок является, предпочтительно, блоком, который имеет размер восемь на восемь пикселей в соответствии со стандартом JPEG, кодирование в котором проводится последовательно. В приведенном ниже объяснении блок исходного изображения именуется как Br, а блоки интерполированного изображения размером 1/4, 1/16, 1/64 и 1/256 именуются соответственно как В1, В4, В16, В64 и В256.

В настоящем примере осуществления вместо передачи пикселей на центральный терминал тогда, когда будет завершено формирование пикселей всего целиком исходного изображения или всех целиком сжатых изображений, пиксели передаются единицами блоков, и поэтому размер буфера 154, являющийся достаточно большим для хранения всех блоков исходного изображения и для хранения сжатых изображений, будет более чем достаточным. В зависимости от типа прикладной задачи необходимо только, чтобы буфер позволял бы хранить от двух до трех блоков изображения. Как было описано, изображения, которые записываются в буфере, являются уменьшенными, данные изображений последовательно формируются в пакет каждый раз, как блок подготовлен, и затем передаются. Таким образом, запаздывание, связанное с процессом, который выполняется внутри видеокамеры, уменьшается. Пиксели последовательно выдаются из устройства получения изображений 102 и устройства пирамидального фильтра 170 на устройство записи блоков 152 каждый раз, как завершается экспозиция элементами формирования изображений. Таким образом, с позиции структурного аспекта невозможно, чтобы блок другого кадра записывался бы в буфере 154 или блок формировался бы в пакет, а затем передавался бы в другом порядке.

Устройство выбора блоков 152В, которые должны быть вырезаны, получает информацию о положении специфической части, переданную от центрального терминала 20, и выбирает в качестве специфического блока блок, содержащий область, которая является больше, чем область, относящаяся к специфической части, на заранее заданное число пикселей.

Устройство кодирования 158 осуществляет хорошо известное кодирование со сжатием, такое, например, как JPEG, блока уменьшенных изображений, отличных от исходного изображения, а затем передает сжатый закодированный блок изображения на устройство формирования пакетов 160. Устройство формирования пакетов 160 составляет пакет из блока исходного изображения и блока закодированного уменьшенного изображения в порядке их поступления на устройство формирования пакетов 160 и записывает сформированные в пакет блоки изображения в буфер пакетов 162. Устройство связи 108 в соответствии с заранее заданным протоколом связи передает пакет в буфере пакетов 162 на центральный терминал 20. При этом могут использоваться и другие хорошо известные стандарты кодирования, такие как LLVC, AVC и прочие. Однако предпочтительны те стандарты, которые позволяют проводить кодирование в единицах блоков. Размер блоков, считываемых устройством считывания блоков 156, может быть изменен в соответствии со стандартом кодирования. Например, считывание и кодирование может быть выполнено с использованием блоков размером 256×256 пикселей.

Затем, используя Фиг.4, будет дано объяснение работы устройства передачи изображений 150. Правый столбец S1 на Фиг.4 показывает исходное изображение и интерполированные изображения, которые получены устройством считывания блоков. Маленький квадрат представляет один пиксель. Заметим, что квадрат соответствует одному из значений пикселя цветов R, G и В в исходном изображении, и что один пиксель содержит все сигналы YCbCr в интерполированном изображении. Плотность квадратов показывает, что пиксели были уменьшены пирамидальным фильтром. В соответствии с командой от устройства управления 164 устройство записи блоков записывает только некоторые изображения из этих изображений, которые были выданы к данному времени в буфер. В этом примере принимается, что выбираются исходное изображение и интерполированные изображения размером 1/16 и 1/64. Для исходного изображения выбираются только те блоки, которые содержат специфическую часть. В результате, устройство считывания блоков, показанное на этом рисунке в средней колонке S2, считывает из буфера четыре блока исходного изображения Br, блок интерполированного изображения В16 размером 1/16 и блок интерполированного изображения В64 размером 1/64. Заметим, что в реальности блоки не проходят непосредственно на устройство считывания блоков из устройства записи блоков, и что устройство считывания блоков считывает блоки в единицах блоков после того, как в буфере будут накоплены блоки заранее заданного размера.

Что касается блоков, которые были считаны, то блоки интерполированного изображения В16 и В64 подвергаются процессу кодирования, а затем формируются в пакет совместно с блоками исходного изображения, как показано в левом столбце S3 на этом рисунке.

На Фиг.5 иллюстрируется конфигурация той части центрального терминала, которая в настоящем примере осуществления проводит выдачу изображения с низким запаздыванием. Такая конфигурация может быть реализована такими структурными компонентами, как ЦП, ЗУПВ, ПЗУ, графический процессор и устройства управления вводом и выводом, в терминах как аппаратных, так и программных средств, предоставляющих различные функции, такие как ввод данных, хранение данных, обработка изображений и рендеринг в терминах программных средств.

На Фиг.6 показываются функциональные блоки, реализованные совместным использованием этих компонентов, и поэтому данные функциональные блоки могут быть реализованы в самых различных формах комбинациями аппаратных и программных средств.

Центральный терминал 20 содержит устройство связи 22, устройство управления 52, процессор изображений 50 и устройство управления отображением 54. Дополнительно, для предоставления возможности операционной системе управлять всеми процедурами процессора изображений 50, устройство управления 52 осуществляет и другие функции управления, которые необходимы центральному терминалу 20, например исполнение различных прикладных задач для игры, информационного обмена и прочее, управление драйверами, управление считыванием программы с носителя записи и другие аналогичные функции. Устройство связи 22 принимает различные наборы данных изображений от видеокамеры 100 и пересылает эти наборы данных изображений на процессор изображений 50.

Процессор изображений 50 содержит устройство распределения 24, устройство высококачественной цветовой интерполяции изображений 28, устройство высококачественной обработки 32, устройство декодирования 34, устройство увеличения 36, устройство синтеза изображений 38, устройство вывода изображений 40 и устройство обнаружения специфических частей 42. Блоки специфической части исходного изображения и кодированные уменьшенные изображения от видеокамеры 100 вводятся в устройство распределения 24. Затем устройство распределения 24 в соответствии с командой от устройства управления 52 пересылает блок исходного изображения на устройство высококачественной цветовой интерполяции изображений 28, а другие блоки изображения - на устройство декодирования 34.

Устройство высококачественной цветовой интерполяции изображений 28 исполняет процесс цветовой интерполяции специфической части исходного изображения. В этом процессе цветовой интерполяции, в отличие от процессора простой цветовой интерполяции видеокамеры 100, устройство высококачественной цветовой интерполяции изображений 28 исполняет процесс высококачественной интерполяции, используя вычислительные ресурсы центрального терминала 20. При этом может быть использован произвольный, уже существующий алгоритм, или же алгоритм, который должен быть разработан в будущем, например, для использования значений RGB блока пикселей три на три или более при вычислении сигнала изображения YCbCr одного пикселя, например, модифицируя для этого интерполяционный коэффициент с учетом степени корреляции между пикселями в горизонтальном направлении и/или в вертикальном направлении. Такой процесс цветовой интерполяции раскрыт, например, в публикации японской заявки на патент №7-236147. Интерполированное изображение пересылается на устройство высококачественной обработки 32.

Устройство высококачественной обработки 32 преобразует далее это интерполированное изображение в высокоточное изображение, удобное для просмотра. Процесс, исполняемый на этой стадии, изменяется в соответствии с типом прикладной задачи. Например, когда на большом экране показывается лицо для обмена видеоинформацией, то выполняются такие соответствующие процессы, как установка тона лица, модификация цвета лица, модификация глаз и губ и другие процедуры. Высококачественное изображение пересылается на устройство синтеза изображений 38.

С другой стороны, устройство декодирования 34 принимает блок уменьшенного изображения, отличного от исходного изображения, а затем декодирует изображение, сжатое, например, в стандарте JPEG. Если в видеокамере 100 не проводится сжатие изображения, то устройство декодирования 34 не является необходимым.

Устройство обнаружения специфической части 42 принимает уменьшенное изображение, декодированное устройством декодирования 34, а затем, в соответствии с широко известным способом обнаружения изображений, устройство обнаружения специфической части 42 идентифицирует ту часть, которая считается особенно важной на изображении пользователя применительно к данной прикладной задаче. Этой частью является, например, лицо пользователя в случае обмена видеоинформацией, и глаза, губы, рука, нога и прочее в случае UI (интерфейс пользователя). Информация о положении определенных таким образом частей возвращается на видеокамеру 100 через устройство связи 22. В соответствии с этой позиционной информацией из видеокамеры 100 пересылаются блоки исходного изображения, находящиеся вокруг специфической части. Таким образом, процесс цветовой интерполяции проводится устройством высококачественной интерполяции изображений только на ограниченном числе блоков изображений.

Обнаружение специфической части проводится, например, следующим описанным далее способом. В случае обнаружения лица, изображение разделяется на фрагменты размером 20×20 блоков, используя только яркость (Y) сигнала, и часть, содержащая несколько блоков, в которых яркость является относительно высокой, распознается как лицо. В альтернативном варианте в памяти эталонных изображений (не показана) могут заранее храниться эталонные изображения специфической части (лица, руки и прочее), а устройство согласования (не показано) может проводить согласование эталонного изображения и входного изображения для идентификации области, которая соответствует лицу или руке пользователя. После идентификации области лица затем могут быть в этой области идентифицированы области, соответствующие глазам, носу, губам и другим частям, используя для этого согласование с эталонными изображениями соответствующих частей.

Устройство увеличения 36 принимает уменьшенное изображение (например, 1/64), которое было декодировано, и увеличивает это изображение до размера 1/1 (тот же самый коэффициент увеличения). Данные увеличенного изображения пересылаются на устройство синтеза изображений 38.

Устройство синтеза изображений 38 синтезирует как низкокачественное изображение размера 1/1, так и блок высококачественного изображения специфической части. В результате, создается изображение, в котором специфическая часть, имеющая высокую значимость в прикладной задаче, имеет чрезвычайно высокое качество изображения и высокое разрешение, в то время как другие части имеют низкое качество и низкое разрешение. Устройство вывода изображений 40 записывает полученное синтезированное изображение в буфере кадров (не показан). Устройство управления отображением 54 создает видеосигнал для отображения на дисплее 4 данных изображения, выбранных из буфера кадров.

Затем будет дано объяснение работы центрального терминала 20. Устройство распределения 24, которое приняло различные блоки изображений от видеокамеры 100, пересылает блок исходного изображения на устройство высококачественной цветовой интерполяции 28, а другие блоки изображения - на устройство декодирования 34. Когда блоки исходного изображения, соответствующие специфической части, собираются, то устройство высококачественной цветовой интерполяции 28 выполняет процесс высококачественной цветовой интерполяции, преобразуя тем самым блоки исходного изображения в цветное изображение формата YCbCr. Затем получается высококачественное изображение специфической части проведением дальнейшего, заранее заданного процесса устройством высококачественной обработки 32. С другой стороны, блок уменьшенного изображения проходит процесс декодирования в устройстве декодирования 34, а затем увеличивается до размера 1/1 устройством увеличения 36. После этого устройство синтеза изображений 38 выдает синтезированное изображение, в котором специфическая часть уменьшенного изображения, которое было увеличено, заменяется на высококачественное изображение специфической части. Устройство обнаружения специфической части 42, используя сигнал Y уменьшенного после декодирования изображения, обнаруживает специфическую часть. Эта информация пересылается на устройство управления видеокамеры и используется для выбора блока исходного изображения в устройстве записи блоков 152. Последовательности описанных выше процессов повторяются кадр за кадром. В результате создается движущееся изображение пользователя, имеющее чрезвычайно высокое качество специфических частей.

На Фиг.6 и Фиг.7 представлены блок-схемы, иллюстрирующие всю целиком работу системы видеокамеры 10 с низким запаздыванием, в соответствии с настоящим примером осуществления. Сначала будет дано объяснение работы видеокамеры. Когда устройство получения изображений 102 принимает изображение от элемента формирования изображений, то исходное изображение пересылается на устройство передачи изображений 150 и устройство цветовой интерполяции 104 (S10). Устройство цветовой интерполяции 104 осуществляет процедуру относительно низкокачественной цветовой интерполяции изображения на пикселях исходного изображения и пересылает интерполированный пиксель на устройство передачи изображений 150 и устройство пирамидального фильтра 170 (S12). Каждым из фильтров соответствующего слоя устройства пирамидального фильтра 170 осуществляется билинейная интерполяция, а строки пикселей размером от 1/4 до 1/256 выдаются на устройство передачи изображений 150 (S14).

В соответствии с командой от устройства управления 164 устройство записи блоков 152 устройства передачи изображений 150 записывает часть уменьшенного изображения в буфер 154 (S16), а что касается исходного изображения, то выбирается только блок изображения, содержащий специфическую часть, с тем чтобы записать этот блок изображения в буфер 154 (S18). Каждый раз, как пиксели, например, блоками восемь на восемь записываются в буфер 154, устройство считывания блоков 156 считывает эти блоки изображения, а затем пересылает эти блоки изображения на устройство кодирования 158 (S20). После прохождения через заранее заданное кодирование, осуществляемое в устройстве кодирования 158 (S22), блоки изображения формируются в пакет, а затем пересылаются на центральный терминал 20 (S24).

Далее будет дано объяснение работы центрального терминала, показанного на Фиг.7. Устройство распределения 24 принимает различные блоки изображения из пакета, полученного от видеокамеры, и пересылает эти блоки изображения на устройство высококачественной цветовой интерполяции изображений 28 или на устройство декодирования 34 (S30). После прохождения через процесс цветовой интерполяции, осуществляемой в устройстве высококачественной цветовой интерполяции изображений 28 (S32), блок исходного изображения проходит заранее заданную процедуру в устройстве высококачественной обработки 32, а затем выдает его на устройство синтеза изображений 38 (S34). С другой стороны, блок уменьшенного изображения декодируется в устройстве декодирования 34 (S36), а затем устройством обнаружения специфической части 42 обнаруживается специфическая часть, используя сигнал яркости (S38). Эта информация пересылается на видеокамеру 100 и используется для выбора специфического блока исходного изображения (S40). Уменьшенное изображение после декодирования увеличивается устройством увеличения 36 до размера 1/1 и выдается на устройство синтеза изображений 38 (S42). Устройство синтеза изображений 38 синтезирует высококачественное изображение специфической части и другие увеличенные изображения (S44), а устройство вывода изображений 40 выдает синтезированное изображение в буфер кадров (S46).

В настоящем примере осуществления предполагается, что специфические части изображения пользователя, такие как лицо, рука и прочее, которые отображаются на дисплее, желательно должны иметь насколько возможно более высокое качество изображения и более высокое разрешение, и что другие, отличные от фона части, могут иметь относительно низкое качество изображений. И наоборот, в таких прикладных задачах, как обмен видеоинформацией, иногда предпочтительно, чтобы фоновое изображение имело низкое качество изображения.

Как было описано выше, сигнал яркости вполне достаточен для распознания лица, и таким образом процесс высококачественной цветовой интерполяции не является необходимым. Тем не менее, в традиционной системе видеокамеры проводится очень неэкономичный процесс, в котором после сжатия данных изображения видеокамерой проводится высококачественная цветовая интерполяция, с тем чтобы реализовать распознавание лица, используя изображение после декомпрессии. Настоящий пример осуществления требует меньше излишних затрат на обработку данных, поскольку изображение после простой цветовой интерполяции далее уменьшается и используется для распознавания лица. С другой стороны, что касается области лица, то исходное изображение может быть получено от видеокамеры, а высококачественная цветовая интерполяция изображения может быть выполнена с использованием вычислительной мощности центрального терминала 20. При этом, несмотря на то, что объем данных, которые должны быть переданы на центральный терминал от видеокамеры, является небольшим, и что запаздывание становится тем самым тоже небольшим, качество изображения области лица может быть даже улучшено по сравнению с традиционной системой видеокамеры.

В традиционной системе видеокамеры отсутствует другой выбор, кроме как передавать исходное изображение непосредственно или передавать исходное изображение после цветовой интерполяции, за которой следует сжатие JPEG. В первом случае, поскольку объем данных возрастает, то возникает проблема, которая связана с диапазоном частот связи, что приводит к запаздыванию. В последнем случае, поскольку проводится сжатие с потерями, улучшение качества изображения на последующей стадии будет ограничено. В общем, цветовая интерполяция определяет качество изображения, однако вычислительная мощность, используемая для этого, существенно возрастает. Поэтому имеется преимущество в том, что цветовая интерполяция будет проводиться на центральном терминале, имеющем достаточные вычислительные ресурсы. В настоящем примере осуществления на центральный терминал из исходного изображения передается только специфическая часть, такая как лицо, рука и прочее, и поэтому объем данных, которые должны быть переданы, является небольшим и тем самым запаздывание может быть уменьшено. В то же самое время, может быть значительно повышена степень свободы улучшения качества изображения использованием исходного изображения в центральном терминале.

На Фиг.8 представлена блок-схема, иллюстрирующая концепцию обработки изображения, когда система видеокамеры 10 с низким запаздыванием, в соответствии с настоящим примером реализации, применяется к прикладной задаче обмена видеоинформацией. В этом примере видеокамера и центральный терминал соединены между собой через USB, и принимается, что работает прикладная программа, обнаруживающая часть лица пользователя, который ведет обмен видеоинформацией, а затем на центральный терминал, с которым производится обмен, пересылается изображение, имеющее высокое качество и высокое разрешение части лица пользователя.

В этой прикладной задаче принимается, что видеокамера 100 получает команды от центрального терминала 20 на передачу только исходного изображения и 1/16 уменьшенного изображения. Блок В16 уменьшенного до 1/16 изображения выбирается устройством выбора размера 152А (S50) и кодируется устройством кодирования 158 (S52). Что касается исходного изображения, то устройство записи блоков 152 принимает информацию о положении специфической части от центрального терминала (S54), а устройство 152В выбора блока, который должен быть вырезан, выбирает диапазон Е в качестве блока специфической части и выдает блок специфической части (S56), при этом диапазон Е получен вертикальным и горизонтальным расширением области D, определенной позиционной информацией результата распознавания лица заранее заданными пикселями. Это объясняется тем, что в то время как при распознавании лица распознается только цветовая часть кожи, для диалога необходимо изображение всей целиком части головы. Этот диапазон желательно задавать так, чтобы данный диапазон совпадал с границами блоков. Полученный таким образом блок специфической части исходного изображения и блок уменьшенного изображения формируются в пакет и передаются на центральный терминал (S58).

В центральном терминале 20 блок специфической части исходного изображения проходит через процедуру цветовой интерполяции и процедуру повышения качества (S62) и выдается в виде изображения высокого качества (S64). Уменьшенное изображение проходит через процедуру декодирования (S66), а затем увеличивается до размера 1/1 (S68). Проводится синтез изображения для замены части, соответствующей голове пользователя в увеличенном изображении, изображением высокого качества (S70), и выдается синтезированное изображение. В то же самое время сигнал Y уменьшенного изображения используется для обнаружения лица (S72), а информация о положении обнаруженного лица возвращается на видеокамеру 100 (S74) и используется для выбора блока специфической части.

Далее, процедура распознавания лица может быть осуществлена в любой момент в течение обмена видеоинформацией, однако на практике достаточно будет проводить эту процедуру для каждого кадра из их совокупности через заранее заданные интервалы времени (например, каждую одну секунду). Это определяется тем, что в движущемся изображении за секунду обычно выдается 60 или более кадров, так что голова пользователя между кадрами не будет слишком перемещаться.

Подобно этому примеру, изображение лица является наиболее важным в случае, когда оно применяется в задаче обмена видеоинформацией, а для других частей тела, заднего плана и прочего эта степень важности является низкой. Поэтому изображение лица высокого качества и высокой четкости может быть получено вырезанием из исходного изображения только блока, который соответствует части лица, а затем может быть проведена процедура цветовой интерполяции и процедура повышения четкости, которые обрабатывают вырезанный блок, используя для этого достаточные вычислительные ресурсы центрального терминала. В то же самое время, использованием сжатого изображения других частей, отличных от лица, может быть уменьшен объем передачи данных между видеокамерой и центральным терминалом, и таким образом может быть уменьшено запаздывание.

Как было объяснено выше, в соответствии с настоящим примером осуществления исходное изображение получается от видеокамеры, а процесс высококачественной цветовой интерполяции осуществляется в центральном терминале для той части, которая необходима для получения высокого качества изображения и высокого разрешения. Для других частей изображения, которые могут иметь низкое качество и низкое разрешение, из видеокамеры передается их уменьшенное изображение, которое увеличивается при использовании. В результате этого совместное запаздывание, возникающее из-за процессов, проводимых внутри видеокамеры, и при обмене данными между видеокамерой и центральным терминалом, может быть уменьшено, в то время как будет обеспечено высокое качество части изображения. Поэтому может быть достигнуто более высокое быстродействие, чем это ранее обеспечивалось в прикладных задачах на интерфейсе пользователя. По этой причине существует также возможность того, например, что движение курсора, операции указания, игровые операции или аналогичные операции могут быть реализованы на экране, базируясь на распознавании с высокой чувствительностью изображений жестов пользователя. Кроме того, в задаче обмена видеоинформацией на экране может быть представлено изображение с гладкими движениями и меньшим запаздыванием. Как было описано, могут быть выбраны и переданы только те изображения, которые отвечают потребностям конкретной прикладной задачи.

В последние годы даже в недорогих веб-камерах существенно увеличилось число пикселей, и также повысилась скорость сканирования за счет использования КМОП в качестве элементов формирования изображений. Для передачи изображений большого размера в камере должно быть проведено сжатие в значительной степени. Однако это приведет к повышению времени обработки в камере, и поэтому запаздывание, связанное с процессами, которые проводятся внутри камеры и с передачей данных, станет более заметным, чем ранее. Иными словами, хотя возможности элементов формирования изображений и возможности центральных терминалов уже улучшены, но те процессы, которые реализуются между ними, становятся узким местом, и преимущества этих факторов не могут быть использованы в полной мере. Однако, если может быть предоставлен центральный терминал, имеющий большие вычислительные возможности, то более предпочтительно будет получение исходных изображений, которые не будут обрабатываться видеокамерой, поскольку при этом не будет искажений качества изображений, обеспечивая тем самым возможность, например, постобработки баланса уровня белого и экспозиции.

В настоящем примере осуществления цветовая интерполяция в видеокамере упрощается, снижая тем самым запаздывание, а для части изображения, которой требуется иметь высокое качество и высокое разрешение для процесса распознавания или аналогичных процессов, исходное изображение непосредственно передается от видеокамеры для проведения цветовой интерполяции на центральный терминал, имеющий высокие вычислительных возможности. Поэтому могут быть полностью использованы преимущества элементов формирования изображений при одновременном снижении запаздывания.

Кроме того, в видеокамере всегда создаются иерархически организованные уменьшенные изображения, и тем самым центральный терминал в любой момент времени может запрашивать уменьшенное изображение того размера, который необходим для исполняемой прикладной задачи. Например, если пользователь остается неподвижным, то необходимо будет только с самого начала зафиксировать специфическую часть исходного изображения и всегда ее использовать. Однако в реальности такая ситуация маловероятна. В настоящем примере осуществления может быть получена специфическая часть исходного изображения, а движения пользователя могут всегда отслеживаться с использованием уменьшенных изображений, с тем чтобы обнаруживать движения частей лица или рук. Таким образом, блок запрашиваемого исходного изображения может быть надлежащим образом изменен в соответствии с этими движениями. Что касается размера уменьшенного изображения, которое запрашивается, то может быть выбран оптимальный размер этого уменьшенного изображения в соответствии с размером обнаруживаемых лица или рук пользователя, числом пользователей, размахом движений пользователя и прочим.

Далее, размер буферов в устройстве записи блоков и в устройстве считывания блоков, необходимых для обработки изображений, может быть небольшим. Это следует из того, что, с одной стороны, устройство записи блоков записывает пиксели в буфер из устройства простой цветовой интерполяции или устройства пирамидального фильтра каждый раз, как элементом формирования изображений проводится сканирование изображения по одной строке, но, с другой стороны, каждый раз, как накапливаются пиксели одного блока, устройство считывания блоков считывает их из буфера и посылает на формирование пакета.

Далее, в устройстве обработки изображений, в соответствии с настоящим примером осуществления, в видеокамере нет необходимости в процессоре распознавания или в аналогичном устройстве, как в традиционных камерах, что позволяет тем самым уменьшить аппаратные средства. Далее, система видеокамеры с низким запаздыванием становится возможна только за счет установки на уже существующей цифровой видеокамере устройства пирамидального фильтра и устройства передачи изображений. Выше было дано объяснение настоящего изобретения совместно с конкретным примером его реализации. Этот пример реализации предлагается только для целей иллюстрации, и специалистам в данной области техники будет очевидно, что могли бы быть разработаны различные модификации составных компонентов и процедур, и что такие модификации также находятся в объеме настоящего изобретения.

Необязательные комбинации составных компонентов, описанные в настоящих примерах осуществления, и реализации настоящего изобретения в форме способов, устройств, систем, компьютерных программ и носителей записи также могут быть применены на практике как дополнительные формы настоящего изобретения. Дополнительно к процессам, выполняемым в порядке их следования и в хронологическом порядке, способы, которые описаны в блок-схемах в спецификации предмета изобретения, содержат процессы, выполняемые параллельно или по отдельности.

В настоящем примере осуществления специфический блок выбирается только из исходного изображения, однако специфический блок может быть выбран и из других интерполированных изображений. Например, когда обнаруживается жест руки, то определяется часть руки, которая является специфической частью, со ссылкой на лицо пользователя, и интерполированное изображение области руки пересылается на центральный терминал. Когда движение пользователя является большим, то это движение может отслеживаться с использованием грубого изображения, то есть, интерполированного изображения малого размера. Когда движение пользователя является небольшим, то используется точное изображение, то есть, интерполированное изображение большого размера. Как было описано, каждый раз в видеокамере пирамидальным фильтром подготавливаются данные иерархически организованных изображений, и поэтому размер требуемого изображения может быть надлежащим образом изменен в соответствии со скоростью и размахом движений пользователя. Аналогичным образом, даже когда число пользователей увеличивается до двух, то блок исходного изображения может быть быстро выбран снова, поскольку проводится мониторинг всего изображения. Кроме того, обработка специфической части, использующая исходное изображение, позволяет обнаруживать небольшие движения, такие как движения кончиков пальцев, что чрезвычайно трудно для распознавания при использовании традиционной видеокамеры.

В настоящем примере осуществления описывается, как процесс цветовой интерполяции в видеокамере упрощается по сравнению с процессом в центральном терминале, однако если влияние запаздывания, связанного с процессом цветовой интерполяции, является относительно небольшим, то могут быть получены характеристики, эквивалентные тем, что и при проведении процесса цветовой интерполяции на центральном терминале. Иными словами, пока процесс цветовой интерполяции проводится в соответствии с алгоритмом, который является различным в видеокамере и в центральном терминале, то тип алгоритма процесса цветовой интерполяции не ограничен в настоящем изобретении. В таком случае в центральном терминале могут быть обработаны два типа интерполированных изображений, и повышается степень свободы для составления синтезированного изображения, которое должно быть выведено на дисплей.

В настоящем примере осуществления описывается, что из видеокамеры на центральный терминал передается все целиком уменьшенное изображение. В альтернативном варианте может быть передана только часть уменьшенного изображения. Например, учитывая свойства стандарта JPEG, может быть передан только сигнал Y уменьшенного изображения 1/16 и сигнал CbCr уменьшенного изображения 1/64.

В настоящем примере осуществления в качестве центрального терминала рассматривается персональный компьютер или игровая консоль. В альтернативном варианте центральным терминалом может быть портативный компьютер, портативное игровое устройство или аналогичное устройство. В этом случае видеокамера предпочтительно устанавливается, например, наверху дисплея или встраивается в дисплей.

В настоящем примере осуществления описывается, что обнаружение, например, лица или рук пользователя осуществляется в центральном терминале. В альтернативном варианте это обнаружение может осуществляться в видеокамере. Например, рассматривается случай, когда повышаемое запаздывание является относительно небольшим для процесса распознавания, такого как распознавание лица, в котором используется сигнал яркости. В этом случае в видеокамере может быть выбран блок исходного изображения, соответствующий лицу, а затем этот блок передан на центральный терминал без ожидания команды от центрального терминала.

В качестве приложения был объяснен случай использования жестов руки пользователя в интерфейсе и случай обмена видеоинформацией. Однако настоящее изобретение, при наличии необходимых модификаций, может быть применено к любой прикладной задаче, для которой в качестве входных данных необходимо получение данных распознавания частей тела или жестов пользователя, а также к любой прикладной задаче, где используются изображения пользователя.

ОБЪЯСНЕНИЕ ССЫЛОЧНЫХ НОМЕРОВ

4 - дисплей, 6 - пользователь, 10 - система видеокамеры с малым запаздыванием, 20 - центральный терминал, 22 - устройство связи, 24 - устройство распределения, 28 - устройство высококачественной цветовой интерполяции изображения, 32 - устройство высококачественной обработки, 34 - устройство декодирования, 36 - устройство увеличения, 38 - устройство синтеза изображений, 40 - устройство вывода изображений, 42 - устройство обнаружения специфической части, 50 - процессор изображений, 52 - устройство управления, 54 - устройство управления отображением, 100 - видеокамера, 102 - устройство получения изображений, 104 - устройство цветовой интерполяции, 106 - устройство простой цветовой интерполяции, 108 - устройство связи, 110 - первый фильтр, 120 - второй фильтр, 130 - третий фильтр, 140 - четвертый фильтр, 150 - устройство передачи изображений, 152 - устройство записи блоков, 154 - буфер, 156 - устройство считывания блоков, 158 - устройство кодирования, 160 - устройство формирования пакетов, 162 - буфер пакетов, 164 - устройство управления, 170 - устройство пирамидального фильтра.

ПРОМЫШЛЕННАЯ ПРИМЕНИМОСТЬ

В соответствии с настоящим изобретением, используя исходное изображение, может быть получено частное изображение высокого разрешения для специфической части, снизив при этом запаздывание, которое связано с передачей изображения от устройства съемки изображения на центральный терминал.

Группа изобретений относится к средствам передачи изображений. Техническим результатом является снижение запаздывания при передаче изображений от видеокамеры на терминал. Способ содержит получение от устройства съемки изображений части необработанного изображения, уменьшенного изображения, полученного цветовой интерполяцией и уменьшением необработанного изображения; цветовую интерполяцию части необработанного изображения; преобразование уменьшенного изображения увеличением до размера необработанного изображения; объединение части, до процесса цветовой интерполяции, с полноразмерным изображением; выдачу на дисплей синтезированного изображения с частично различающимися уровнями разрешения. 8 н. и 6 з.п. ф-лы, 8 ил.

1. Носитель записи с возможностью считывания компьютером, на котором записана программа обработки движущихся изображений, которая исполняется на устройстве обработки движущихся изображений, и исполняющая:
функцию получения изображений, которая обеспечивает получение необработанного изображения, снятого с использованием элементов формирования изображений; и
функцию цветовой интерполяции, которая осуществляет цветовую интерполяцию упомянутого необработанного изображения; и
функцию фильтрации, которая преобразует упомянутое необработанное изображение в несколько уменьшенных изображений, имеющих ступенчато различающуюся степень разрешения; и
функцию выбора, которая выбирает из упомянутого необработанного изображения одну часть в качестве специфической части и вместе с этим выбирает какое-нибудь одно из нескольких упомянутых уменьшенных изображений в качестве указанного уменьшенного изображения; и
функцию передачи, которая передает на центральный терминал для последующей обработки изображений выбранную специфическую часть необработанного изображения и указанное уменьшенное изображение.

2. Носитель записи с возможностью считывания компьютером, на котором записана программа обработки движущихся изображений, в соответствии с п.1, отличающийся тем, что упомянутая функция выбора выбирает в соответствии с командой, получаемой от упомянутого центрального терминала, специфическую часть упомянутого необработанного изображения в качестве области, которая должна быть указана как область внутри изображения, имеющая высокое качество.

3. Носитель записи с возможностью считывания компьютером, на котором записана программа обработки движущихся изображений, в соответствии с п.2, отличающийся тем, что упомянутая функция выбора выбирает в соответствии с командой, получаемой от упомянутого центрального терминала, указанное уменьшенное изображение в качестве фонового изображения, которое должно быть скомбинировано с упомянутой специфической частью.

4. Носитель записи с возможностью считывания компьютером, на котором записана программа обработки движущихся изображений, в соответствии с любым из пп.1-3, отличающийся тем, что упомянутая функция выбора содержит:
функцию записи для выбора и записи в буфер значения пикселя, соответствующего упомянутой специфической части, каждый раз, как из упомянутых элементов формирования изображения выдается значение пикселя упомянутого необработанного изображения, и наряду с этим выбор и запись в буфер значения пикселя, соответствующего упомянутому указанному уменьшенному изображению, каждый раз, как поступает значение пикселя уменьшенного изображения, которое преобразовано указанной функцией фильтрации; и
функцию считывания, которая считывает значение пикселя из упомянутого буфера каждый раз как значение пикселя, хранящееся в упомянутом буфере, достигает заранее заданного значения блока изображения.

5. Носитель записи с возможностью считывания компьютером, на котором записана программа обработки движущихся изображений, которая исполняется в центральном терминале, обрабатывающем движущееся изображение, которое снимается устройством съемки изображений, а затем выдающая на дисплей обработанное движущееся изображение, и исполняющая на упомянутом центральном терминале:
функцию получения специфической части, являющейся частью необработанного изображения, которое выдается с элементов формирования изображения, и получения уменьшенного изображения, образованного процессом цветовой интерполяции и процессом уменьшения упомянутого необработанного изображения; и
функцию, осуществляющую цветовую интерполяцию специфической части упомянутого необработанного изображения; и
функцию, преобразующую упомянутое уменьшенное изображение в полноразмерное изображение увеличением упомянутого уменьшенного изображения до размера, равного размеру упомянутого необработанного изображения; и
функцию, комбинирующую специфическую часть после процесса цветовой интерполяции с упомянутым полноразмерным изображением, и выдающую на дисплей синтезированное изображение с частично отличающимися уровнями разрешения.

6. Носитель записи с возможностью считывания компьютером, на котором записана программа обработки движущихся изображений, в соответствии с п.5, отличающийся тем, что имеет также функцию обнаружения специфической части, которая, используя упомянутые уменьшенные изображения, обнаруживает специфическую часть, которая указывается как часть, имеющая высокий уровень разрешения внутри изображения.

7. Носитель записи с возможностью считывания компьютером, на котором записана программа обработки движущихся изображений, в соответствии с п.5 или 6, отличающийся тем, что потребителем изображений, получаемых упомянутым устройством съемки изображений, является пользователь, который исполняет прикладную задачу, используя центральный терминал, а упомянутая специфическая часть является одной частью тела пользователя, который выдает рабочие команды для упомянутой прикладной задачи.

8. Устройство обработки движущихся изображений, содержащее:
устройство получения изображений, которое обеспечивает получение необработанного изображения, снятого с использованием элементов формирования изображений; и
устройство цветовой интерполяции, которое осуществляет цветовую интерполяцию упомянутого необработанного изображения; и
устройство фильтрации, которое преобразует упомянутое необработанное изображение в несколько уменьшенных изображений, имеющих ступенчато различающуюся степень разрешения; и
устройство выбора, которое выбирает из упомянутого необработанного изображения одну часть в качестве специфической части и вместе с этим выбирает какое-нибудь одно из нескольких упомянутых уменьшенных изображений в качестве указанного уменьшенного изображения; и
устройство передачи, которое передает на центральный терминал для последующей обработки изображений выбранную специфическую часть необработанного изображения и указанное уменьшенное изображение.

9. Устройство съемки изображений, смонтированное с устройством обработки движущихся изображений, в соответствии с п.8.

10. Центральный терминал для отображения движущихся изображений, снятых устройством съемки изображений, содержащий:
устройство приема, принимающее от упомянутого устройства съемки изображений специфическую часть, которая является частью необработанного изображения, снятого с использованием элементов формирования изображений, и уменьшенное изображение, которое получено проведением процесса цветовой интерполяции и процесса уменьшения упомянутого необработанного изображения: и
устройство цветовой интерполяции, осуществляющее процесс цветовой интерполяции специфической части упомянутого необработанного изображения; и
устройство увеличения, выдающее упомянутое уменьшенное изображение как полноразмерное изображение увеличением упомянутого уменьшенного изображения до размера, равного размеру упомянутого необработанного изображения; и
устройство синтеза изображений, объединяющее специфическую часть, имеющуюся до процесса цветовой интерполяции, с упомянутым полноразмерным изображением, и выдающую на дисплей синтезированное изображение с частично различающимися уровнями разрешения.

11. Система съемки изображений, которая обрабатывает на центральном терминале движущееся изображение, снятое устройством съемки изображений, и выдает на дисплей обработанное движущееся изображение, при этом
упомянутое устройство съемки изображений содержит:
устройство получения изображений, получающее необработанное изображение, снятое с использованием элементов формирования изображений; и
первое устройство цветовой интерполяции, осуществляющее процесс цветовой интерполяции упомянутого необработанного изображения; и
устройство фильтрации, преобразующее упомянутое необработанное изображение в несколько уменьшенных изображений со ступенчато различающимися уровнями разрешения; и
устройство выбора, выбирающее одну из частей из упомянутого необработанного изображения в качестве специфической части, и вместе с этим выбирающее какое-либо одно из уменьшенных изображений упомянутого необработанного изображения в качестве указанного уменьшенного изображения; и
устройство передачи, передающее на центральный терминал для последующей обработки изображений выбранную специфическую часть необработанного изображения и указанное уменьшенное изображение,
а упомянутый центральный терминал содержит:
приемное устройство, принимающее от упомянутого устройства съемки изображений специфическую часть, которая является частью необработанного изображения, снятого с использованием элементов формирования изображений, и уменьшенное изображение, которое получено проведением процесса цветовой интерполяции и процессом уменьшения упомянутого необработанного изображения; и
второе устройство цветовой интерполяции, осуществляющее процесс цветовой интерполяции специфической части необработанного изображения; и
устройство увеличения, выдающее упомянутое уменьшенное изображение в качестве полноразмерного изображения увеличением упомянутого уменьшенного изображения до размера, равного размеру упомянутого необработанного изображения; и
устройство синтеза изображений, объединяющее специфическую часть, имеющуюся до процесса цветовой интерполяции, с упомянутым полноразмерным изображением, и выдающую на дисплей синтезированное изображение с частично различающимися уровнями разрешения.

12. Система съемки изображений, в соответствии с п.11, отличающаяся тем, что обрабатывающие возможности первого устройства цветовой интерполяции упомянутого устройства съемки изображений являются меньше, чем возможности второго устройства цветовой интерполяции упомянутого центрального терминала.

13. Способ обработки движущихся изображений, содержащий:
получение и хранение в буфере необработанного изображения, которое снимается с использованием элементов формирования изображений;
осуществление процесса цветовой интерполяции упомянутого необработанного изображения;
преобразование с использованием пирамидального фильтра упомянутого необработанного изображения в несколько уменьшенных изображений со ступенчато изменяющимися уровнями разрешения;
выбор части упомянутого необработанного изображения в качестве специфической части, а также выбор какого-нибудь одного из многих упомянутых уменьшенных изображений в качестве указанной уменьшенной части;
передача на центральный терминал для дальнейшей обработки изображений выбранной специфической части необработанного изображения и выбранного указанного уменьшенного изображения.

14. Способ обработки движущихся изображений для обработки на центральном терминале движущихся изображений, снятых устройством съемки изображений, и выдачи их на дисплей, содержащий:
получение от упомянутого устройства съемки изображений специфической части, которая является частью необработанного изображения, снятого с использованием элементов формирования изображений, и уменьшенное изображение, которое получено осуществлением процесса цветовой интерполяции и процесса уменьшения упомянутого необработанного изображения;
осуществление процесса цветовой интерполяции специфической части упомянутого необработанного изображения;
преобразование уменьшенного изображения как полноразмерного изображения увеличением упомянутого уменьшенного изображения до размера, равного размеру упомянутого необработанного изображения;
объединение специфической части, имеющейся до процесса цветовой интерполяции, с упомянутым полноразмерным изображением, и выдача на дисплей синтезированного изображения с частично различающимися уровнями разрешения.