УСТРОЙСТВО ОБРАБОТКИ ИНФОРМАЦИИ, СИСТЕМА ОБРАБОТКИ ИНФОРМАЦИИ И СПОСОБ ОБРАБОТКИ ИНФОРМАЦИИ Российский патент 2016 года по МПК H04N7/15 G06F3/01 G06K9/36 

Область техники, к которой относится изобретение

Настоящее изобретение относится к устройству обработки информации, системе обработки информации и способу обработки информации.

Уровень техники

В ближайшем аналоге известна телевизионная система конференц-связи, которая передает и принимает изображения и звуковые сигналы между множеством удаленных пользовательских оконечных устройств. К слову, при телевизионной конференц-связи имеется некоторое число случаев, в которых передаются и принимаются изображения и звуковые сигналы, касающиеся информации общего назначения, отображаемой на множестве пользовательских оконечных устройств.

Раскрытие изобретения

Техническая проблема

Когда пользователь указывает для других пользователей произвольное местоположение на информации изображения, пользовательское оконечное устройство функционирует для отображения метки в указанном положении, либо об указываемые положение извещается звуковым сигналом. Поэтому имеются случаи, когда пользователь выполняет усилие, чтобы указать для других пользователей произвольное местоположение на информации изображения.

Соответственно, изобретение предлагает устройство обработки информации, систему обработки информации и способ обработки информации, которые могут сразу показывать произвольное местоположение на информации изображения для других пользователей.

Решение проблемы

В соответствии с одним вариантом осуществления устройство обработки информации может включать в себя блок обнаружения для обнаружения указывающего объекта в заснятом изображении и блок генерирования для генерирования информации указания на основе обнаружения указывающего объекта блоком обнаружения. Эта информация указания может показывать положение указывающего объекта, определенное с помощью набора подходящих для указания пользователем диапазонов в заснятом изображении. Устройство может дополнительно включать в себя блок связи для передачи информации указания на внешнем устройстве.

В соответствии с другим вариантом осуществления устройство обработки информации может включать в себя блок связи для приема от внешнего устройства информации указания, включающей в себя информацию указывающего объекта в заснятом изображении. Эта указывающая информация может показывать положение указывающего объекта, определенное с помощью подходящего для указания пользователем набора диапазонов в заснятом изображении. Устройство может дополнительно включать в себя блок генерирования для управления на экране отображения отображением указывающего изображения, соответствующего информации указания, наложенной на содержательное изображение.

Полезные эффекты изобретения

Изобретение может обеспечить устройство обработки информации, систему обработки информации и способ обработки информации, которые могут сразу указывать для других пользователей произвольное местоположение на информации изображения.

Краткое описание чертежей

Фиг.1 является блок-схемой, иллюстрирующей конфигурацию телевизионной системы конференц-связи согласно одному варианту осуществления изобретения.

Фиг.2 представляет собой вид, иллюстрирующий конфигурацию системы отображения.

Фиг.3 является блок-схемой, иллюстрирующей аппаратную конфигурацию устройства обработки информации.

Фиг.4 представляет собой блок-схему (1/2) алгоритма, иллюстрирующую процедуру основной работы телевизионной системы конференц-связи.

Фиг.5 представляет собой блок-схему (2/2) алгоритма, иллюстрирующую процедуру основной работы телевизионной системы конференц-связи.

Фиг.6А представляет собой вид, иллюстрирующий пример генерирования наложенного изображения, включающего в себя указывающее изображение пользователя.

Фиг.6 В представляет собой вид, иллюстрирующий пример генерирования наложенного изображения, включающего в себя указывающее изображение пользователя.

Фиг.6С представляет собой вид, иллюстрирующий пример генерирования наложенного изображения, включающего в себя указывающее изображение пользователя.

Фиг.6D представляет собой вид, иллюстрирующий пример генерирования наложенного изображения, включающего в себя указывающее изображение пользователя.

Фиг.7А представляет собой вид, иллюстрирующий отношение между положением пользователя перед устройством отображения и наложенным положением указывающего изображения.

Фиг.7В представляет собой вид, иллюстрирующий отношение между положением пользователя перед устройством отображения и наложенным положением указывающего изображения.

Фиг.8 представляет собой вид (1/4), иллюстрирующий пример генерирования наложенного изображения.

Фиг.9 представляет собой вид (2/4), иллюстрирующий пример генерирования наложенного изображения.

Фиг.10 представляет собой вид (3/4), иллюстрирующий пример генерирования наложенного изображения.

Фиг.11 представляет собой вид (4/4), иллюстрирующий пример генерирования наложенного изображения.

Фиг.12А представляет собой вид, иллюстрирующий пример генерирования наложенного изображения, включающего в себя указывающие изображения множества пользователей.

Фиг.12В представляет собой вид, иллюстрирующий пример генерирования наложенного изображения, включающего в себя указывающие изображения множества пользователей.

Фиг.12С представляет собой вид, иллюстрирующий пример генерирования наложенного изображения, включающего в себя указывающие изображения множества пользователей.

Фиг.13А представляет собой вид, иллюстрирующий видоизмененный пример генерирования наложенного изображения, включающего в себя указывающие изображения множества пользователей.

Фиг.13В представляет собой вид, иллюстрирующий видоизмененный пример генерирования наложенного изображения, включающего в себя указывающие изображения множества пользователей.

Фиг.13С представляет собой вид, иллюстрирующий видоизмененный пример генерирования наложенного изображения, включающего в себя указывающие изображения множества пользователей.

Фиг.14 представляет собой пример, иллюстрирующий пример установки подходящих для указания диапазонов.

Фиг.15А представляет собой вид, иллюстрирующий пример операции указания на основе подходящих для указания диапазонов.

Фиг.15В представляет собой вид, иллюстрирующий пример операции указания на основе подходящих для указания диапазонов.

Фиг.16А представляет собой вид, иллюстрирующий другой пример операции указания на основе подходящих для указания диапазонов.

Фиг.16 В представляет собой вид, иллюстрирующий другой пример операции указания на основе подходящих для указания диапазонов.

Фиг.17 представляет собой вид (1/2), иллюстрирующий пример наложенного изображения, включающего в себя указывающее изображение иного типа.

Фиг.18А представляет собой вид (2/2), иллюстрирующий пример наложенного изображения, включающего в себя указывающее изображение иного типа.

Фиг.18В представляет собой вид (2/2), иллюстрирующий пример наложенного изображения, включающего в себя указывающее изображение иного типа.

Фиг.19 является блок-схемой, иллюстрирующей другую конфигурацию телевизионной системы конференц-связи.

Осуществление изобретения

Ниже будут подробно описаны предпочтительные варианты осуществления настоящего изобретения со ссылкой на приложенные чертежи. Отметим, что в данном описании и на приложенных чертежах конструктивные элементы, которые имеют по существу одни и те же функции и структуру, обозначены одними и теми же ссылочными позициями, и повторное пояснение этих конструктивных элементов опущено.

Фиг.1 является блок-схемой, иллюстрирующей конфигурацию телевизионной системы конференц-связи (системы обработки информации) согласно одному варианту осуществления изобретения. Как показано на фиг.1, телевизионная система конференц-связи включает в себя множество пользовательских оконечных устройств, содержащих систему 100 отображения и устройство 200 обработки информации, соединенное с этой системой 100 отображения. Как показано на фиг.2, система 100 отображения включает в себя устройство 102 отображения, такое как дисплей или проектор, устройство 104 получения изображений, такое как видеокамера или фотокамера, и громкоговоритель и микрофон или тому подобное (не иллюстрируются).

Например, первое пользовательское оконечное устройство, используемое пользователем А, включает в себя систему 100 отображения и устройство 200 обработки информации, Второе пользовательское оконечное устройство, используемое множеством других пользователей, включает в себя систему 400 отображения и устройство 500 обработки информации. Третье пользовательское оконечное устройство, используемое другим пользователем, включает в себя систему 600 отображения и устройство 700 обработки информации. Множество пользовательских оконечных устройств соединены линией 800 связи, включающей в себя сервер 300 связи.

Устройство 102 отображения отображает содержательное изображение IC, а устройство 104 получения изображений снимает изображение пользователя, расположенного перед устройством 102 отображения. Содержательное изображение IC представляет собой произвольное изображение, включающее в себя, текст, цифры, символ, изображение или их комбинацию, и отображается на произвольном изображении дисплейного экрана дисплейного устройства 102. «Перед дисплейным устройством 102» означает «перед экраном отображения устройства 102 отображения».

Устройство 200 обработки информации включает в себя блок 202 ввода заснятого изображения, блок 204 обнаружения, блок 206 распознавания, блок 208 генерирования зеркального изображения, блок 210 связи, блок 212 генерирования указывающего изображения, блок 214 генерирования наложенного изображения, управляющий отображением блок 216 управления отображением и блок 218 хранения.

Блок 202 ввода заснятого изображения принимает ввод заснятого изображения I1, снимающего пользователя, от устройства 104 получения изображений. Блок 202 ввода заснятого изображения подает заснятое изображение I1 на блок 204 обнаружения, блок 208 генерирования зеркального изображения и блок 210 связи. Заснятое изображение I1 представляет собой изображение, снимающее объект, размещенный в заранее заданных диапазонах перед устройством 102 отображения, то есть в диапазоне угла обзора устройства 104 получения изображений. Хотя заснятое изображение I1 представляет собой движущееся изображение, это заснятое изображение I1 может быть и неподвижным изображением в отдельных случаях. Пользователь обычно просматривает содержательное изображение IC, отображенное на устройстве 102 отображения. Следовательно, заснятое изображение I1 обычно включает в себя изображение, захватывающее лицо F пользователя, располагающееся перед экраном.

Блок 204 обнаружения обнаруживает лицо F пользователя на заснятом изображении I1 и по результату обнаружения генерирует информацию положения, указывающую положение этого лица F в заснятом изображении I1. Блок 204 обнаружения избирательно обнаруживает из заснятого изображения I1 указывающий объект Н, который пользователь использует для указания на произвольное местоположение, и по результату обнаружения генерирует информацию положения, указывающую положение указывающего объекта Н в заснятом изображении I1. Блок 204 обнаружения подает результат обнаружения на блок 206 распознавания, блок 210 связи и блок 212 генерирования указывающего изображения, и подает информацию положения на блок 210 связи и блок 212 генерирования указывающего изображения. Блок 204 обнаружения обнаруживает лицо F пользователя и указывающий объект Н с помощью общеизвестного метода обнаружения изображения на основе информации о значениях свойств, хранящейся, например, в блоке 218 хранения. Указывающий объект Н относится к части тела или инструменту, таким как палец на руке, ладонь руки, тыльная сторона руки пользователя, либо указка, обычно используемая для указания на произвольное местоположение.

Блок 206 распознавания распознает пользователя по результату обнаружения лица F и выборочно распознает форму указывающего объекта Н по результату обнаружения указывающего объекта Н. Блок 206 распознавания подает результат распознавания на блок 210 связи и блок 212 генерирования указывающего изображения. Блок 206 распознавания распознает пользователя и форму указывающего объекта Н с помощью общеизвестного метода распознавания на основе информации распознавания, хранящейся, например, в блоке 218 хранения. Форма указывающего объекта Н относится к форме руки или к ориентации руки пользователя и используется для определения режима отображения указывающего изображения 13, хотя оно описано ниже. Помимо этого, блок 206 распознавания можно удалить, если пользователь и указывающий объект Н не распознаются.

Блок 208 генерирования зеркального изображения генерирует из заснятого изображения I1 зеркальное изображение I2, чтобы подать его на блок 212 генерирования указывающего изображения. Блок 208 генерирования зеркального изображения генерирует также зеркальное изображение I2 из заснятого изображения I1 другого пользователя. «Зеркальное изображение I2» означает изображение, которое представляет собой зеркальное изображение, в котором перевернуты левое и правое заснятого изображения I1.

Блок 210 связи функционирует в качестве передающего блока, который передает заснятое изображение I1 пользователя, результат обнаружения, результат распознавания и информацию положения к другому пользовательскому оконечному устройству по линии 800 связи. Далее, блок 210 связи функционирует в качестве приемного блока, который принимает заснятое изображение I1 другого пользователя, результат обнаружения, результат распознавания и информацию положения от другого пользовательского оконечного устройства по линии 800 связи. Блок 210 связи кодирует заснятое изображение, поданное от блока 202 ввода заснятого изображения, для передачи и декодирует принятые кодированные данные в заснятое изображение I1 для подачи на блок 208 генерирования зеркального изображения.

Блок 212 генерирования указывающего изображения генерирует указывающее изображение I3 на основе результата обнаружения, результата распознавания, информации положения и зеркального изображения I2 для подачи на блок 214 генерирования наложенного изображения. Блок 212 генерирования указывающего изображения генерирует также указывающее изображение I3 заснятого изображения I1 другого пользователя. Блок 212 генерирования указывающего изображения выборочно генерирует указывающее изображение I3 с помощью идентификационной информации, хранящейся в блоке 218 хранения.

Указывающее изображение I3 включает в себя информацию, которая дает возможность конкретизировать указывающее положение, которое указывает пользователь посредством указывающего объекта Н, и информацию, которая дает возможность идентифицировать пользователя. Информация, которая дает возможность конкретизировать указываемое положение, относится, например, к изображению указывающего объекта Н, включенному в заснятое изображение I1, и к изображению, показывающему указываемое положение, конкретизированное из результата обнаружения указывающего объекта Н. Информация, которая дает возможность идентифицировать пользователя, относится, например, к изображению лица F пользователя, включенному в заснятое изображение I1, и к идентификационной информации, назначенной этому пользователю (например, к имени и характеристике пользователя). Далее, подробности указывающего изображения I3 будут описаны ниже.

Блок 214 генерирования наложенного изображения генерирует наложенное изображение I4 на основе информации IC, указывающего изображения I3 и информации положения для подачи на блок 216 управления отображением. Блок 214 генерирования наложенного изображения может генерировать изображение с наложением I4, включающее в себя указывающие изображения I3 пользователя и другого пользователя, и может в отдельных случаях генерировать изображение с наложением I4, включающее в себя только указывающее изображение I3 другого пользователя. «Изображение с наложением I4» относится к изображению, в котором указывающее изображение I3 наложено на содержательное изображение IC, отображенное на устройстве 102 отображения, на основе информации положения. Помимо этого, подробности изображения с наложением I4 будут описаны ниже.

Блок 216 управления отображением отображает содержательное изображение IC на устройстве 102 отображения. Дополнительно блок 216 управления отображением заставляет устройство 102 отображения отображать изображение I4 с наложением, в котором указывающее изображение I3 наложено на содержательное изображение IC. Блок 218 хранения сохраняет информацию о значениях свойств, использованную для обнаружения лица F пользователя и указывающего объекта Н. Блок 218 хранения хранит информацию распознавания, использованную для распознавания пользователя и формы указывающего объекта Н. Блок 218 хранения сохраняет, например, изображения, использованные для генерирования указывающего изображения I3 (например, изображения, показывающие указываемое положение и характеристики, представляющие пользователя) и текста (например, имен пользователей).

Помимо этого, в конфигурации, показанной на фиг.1, изображения обнаруживаются и распознаются с помощью заснятого изображения I1. Однако изображения могут обнаруживаться и распознаваться при использовании зеркального изображения I2 вместо заснятого изображения I1. В этом случае информацию, использованную для обнаружения и распознавания изображений, подготавливают для сопряжения с зеркальным изображением I2.

Далее, в конфигурации, показанной на фиг.1, результат обнаружения, результат распознавания и информация положения передаются к другому пользовательскому оконечному устройству вместе с заснятым изображением I1. Однако при передаче лишь заснятого изображения I1 (или зеркального изображения I2) к другому пользовательскому оконечному устройству это пользовательское оконечное устройство, которое приняло заснятое изображение, может обнаруживать и распознавать изображения и генерировать информацию положения. Далее, при передаче лишь заснятого изображения I1 (или зеркального изображения I2) к серверу 300 связи этот сервер 300 связи, который принял заснятое изображение I1 (или зеркальное изображение I2), может обнаруживать и распознавать изображения, генерировать информацию положения и передавать результат обработки к другим пользовательским оконечным устройством.

Фиг.3 является блок-схемой, иллюстрирующей аппаратную конфигурацию устройства 200 обработки информации. Как показано на фиг.3, устройство 200 обработки информации включает в себя MPU 230 (микропроцессорный блок), ROM 232 (постоянно запоминающее устройство), RAM 234 (оперативное запоминающее устройство), носитель 236 данных, интерфейс 238 ввода-вывода, устройство 240 операционного ввода, устройство 242 отображения, интерфейс 244 связи и шину 246. Эта шина 246 соединяет MPU 230, ROM 232, RAM 234, носитель 236 данных, интерфейс 238 ввода-вывода и интерфейс 244 связи.

MPU 230 считывает программу, хранящуюся, например, в ROM 232, RAM 234 и носителе 236 данных, разворачивает эту программу в RAM 234 и исполняет эту программу для управления работой устройства 200 обработки информации. MPU 230 частично функционирует как блок 204 обнаружения, блок 236 распознавания, блок 208 генерирования зеркального изображения, блок 213 генерирования указывающего изображения, блок 214 генерирования наложенного изображения и блок 216 управления отображением. RAM 234 функционирует как блок 218 хранения.

Интерфейс 238 ввода-вывода, например, вводит данные в аудиовизуальную систему и выводит их из нее. Интерфейс 238 ввода-вывода частично функционирует как блок 202 ввода заснятого изображения и блок 216 управления отображением. Устройство 240 операционного ввода включает в себя, например, клавиатуру, мышь и сенсорную панель и подает операционную информацию, введенную посредством этого устройства, в MPU 230 через интерфейс 238 ввода-вывода. Устройство 242 отображения отображает, например, информацию изображения и текстовую информацию, указывающую рабочее состояние системы. Интерфейс 244 связи, например, передает и принимает данные между сервером 300 связи и другими устройствами 500 и 700 обработки информации по линии 800 связи. Интерфейс 244 связи частично функционирует как блок 210 связи.

Фиг.4 и фиг.5 представляют собой блок-схемы алгоритма, иллюстрирующие процедуру основной работы телевизионной системы конференц-связи. Фиг.4 и фиг.5 иллюстрируют процедуру указания на произвольное местоположение на содержательном изображении I в состоянии, когда обычное содержательное изображение IC отображается на множестве пользовательских оконечных устройств. Помимо этого, операция по указанию на произвольное местоположение на содержательном изображении IC именуется также как «операция указания». В данном описании, хотя и будет описан случай, когда операция указания выполняется между пользовательским оконечным устройством А пользователя А и пользовательским оконечным устройством В пользователя В, будет точно так же описан случай, когда операция указания выполняется между тремя или более пользовательскими оконечными устройствами.

Сначала пользовательское оконечное устройство А принимает решение, выбрал ли пользователь А режим указания (этап S100). Этот режим указания может быть выбран путем манипулирования пользовательским оконечным устройством А или выбран введением заранее заданного жеста. Когда выбран режим указания, пользовательское оконечное устройство А принимает решение, что установлено сетевое соединение с другим пользовательским оконечным устройством - в данном случае, с пользовательским оконечным устройством В (этап S102). Далее, если соединение с сетью не установлено, исполняется обработка на этапе S108, и если соединение с сетью установлено, исполняется обработка на этапе S104.

Сначала, со ссылкой на фиг.6А - фиг.11, будет описана работа, когда на этапе S102 решено, что соединение с сетью не установлено. Фиг.6A-6D представляют собой виды, иллюстрирующие примеры генерирования изображения I4, включающего в себя указывающее изображение I3 пользователя. Помимо этого, таким же образом будет описан случай, когда генерируется изображение I4 с перекрытием, включающее в себя, например, указывающее изображение Ia3 пользователя А (описано ниже).

Блок 202 ввода заснятого изображения принимает заснятое изображение I1, снимающее пользователя А, от устройства 104 получения изображения (этап S200). Заснятое изображение I1 представляет собой изображение, снимающее объект, расположенный в заранее заданных диапазонах перед устройством 102 отображения, то есть в диапазоне угла обзора устройства 104 получения изображений. Фиг.6А иллюстрирует пример заснятого изображения I1, показывающего фоновое изображение и верхнюю часть тела пользователя, включающую в себя палец руки, которая является примером указывающего объекта Н, и лицо F, на левой стороне от смотрящего.

Блок 204 обнаружения обнаруживает лицо F пользователя А на заснятом изображении I1 и генерирует по результату обнаружения информацию положения, указывающую положение лица F на заснятом изображении I1. Блок 206 распознавания выборочно распознает пользователя А по результату обнаружения лица F. Блок 208 генерирования зеркального изображения генерирует зеркальное изображение I2 из заснятого изображения I1 (этап S202). Это зеркальное изображение представляет собой изображение, которое является зеркальным изображением, в котором перевернуты левое и правое заснятого изображения. Фиг.6 В иллюстрирует зеркальное изображение I2 заснятого изображения I1, показанного на фиг.6А. Зеркальное изображение I2 включает в себя фоновое изображение и изображение верхней части тела пользователя, включающее в себя указывающий объект Н и лицо F, на правой стороне от смотрящего.

Блок 212 генерирования указывающего изображения генерирует указывающее изображение I3 на основе результата обнаружения, информации положения и зеркального изображения I2 (этап S204). Указывающее изображение I3 представляет собой изображение, включающее в себя информацию, которая дает возможность конкретизировать указывающее положение, которое указывает пользователь А посредством указывающего объекта Н, и информацию, которая дает возможность идентифицировать пользователя А. Фиг.6С иллюстрирует пример указывающего изображения I3, генерированного из зеркального изображения I2, показанного на фиг.6 В. Иллюстрированное на фиг.6С указывающее изображение I3 генерируется путем определения области, окружающей лицо F пользователя, из зеркального изображения I2 на основе информации положения этого лица F. Указывающее изображение I3 генерируется за счет выполнения прозрачным изображения иного, нежели эта окружающая область, на основе зеркального изображения I2, и вырезания изображения этой окружающей области.

Окружающая область устанавливается как область в диапазоне некоторого расстояния от положения лица F в направлениях вверх, вниз, влево и вправо на основе, например, информации положения лица F. Например, окружающую область можно устанавливать как область, имеющую диапазон на ширине, соответствующий двум лицам в направлениях влево и вправо на основе положения лица F, и с высотой, соответствующей двум лицам F в направлениях вверх и вниз. Окружающая область устанавливается пользовательским оконечным устройством или пользователем, чтобы она включала в себя изображение указывающего объекта Н вместе с изображением лица F.

Блок 214 генерирования наложенного изображения генерирует наложенное изображение I4 на основе содержательного изображения IC, указывающего изображения I3 и информации положения (этап S206). Блок 216 управления отображением отображает наложенное изображение I4 на устройстве 102 отображения (этап S208). Фиг.6D иллюстрирует пример наложенного изображения I4, в котором указывающее показанное на фиг.6 В изображение I3 наложено на содержательное изображение IC. В показанном на фиг.6D перекрытом изображении I4, за счет сопряжения диапазонов зеркального изображения I2 с диапазонами содержательного изображения IC, указывающее изображение I3 накладывается на содержательное изображение IC на основе информации положения лица F. Помимо этого, в изображении I4 с наложением указывающее изображение I3 может быть наложено на содержательное изображение IC после увеличения прозрачности указывающего изображения I3.

Фиг.7А и фиг.7В представляют собой виды, иллюстрирующие соотношение между положением пользователя перед устройством 102 отображения и позицией наложения указывающего изображения I3. Как описано выше, изображение I4 с наложением генерируется наложением указывающего изображения I3, сгенерированного из зеркального изображения I2, на содержательное изображение IC на основе информации положения лица F. Следовательно, как показано на фиг.7А, когда пользователь перемещается вправо перед устройством 102 отображения, указывающее изображение I3 накладывается на правой стороне содержательного изображения IC. В противоположность этому, как показано на фиг.7В, когда пользователь перемещается влево перед устройством 102 отображения, указывающее изображение накладывается на левой стороне содержательного изображения IC.

Далее, изображение I4 с наложением в принципе генерируется посредством сопряжения диапазонов зеркального изображения I2 (или заснятого изображения I1), то есть диапазона угла обзора устройства 104 получения изображения с диапазоном содержательного изображения IC. Следовательно, когда, как показано на фиг.7А и фиг.7В, устройство 104 получения изображений размещено посередине передней части устройства 102 отображения и диапазоны угла обзора этого устройства 104 получения изображений сопряжены с диапазонами содержательного изображения IC, пользователь размещается перед указывающим изображением I3, наложенным на содержательное изображение IC.

В противоположность этому, если диапазоны угла обзора в устройстве 104 получения изображения вдвое превышают диапазоны содержательного изображения IC, когда пользователь перемещается к правой стороне на расстояние x, указывающее изображение I3 перемещается к правой стороне на расстояние x/2. Далее, если диапазон угла обзора в устройстве 104 получения изображений составляет половину от диапазонов содержательного изображения IC, когда пользователь перемещается к правой стороне на расстояние x, указывающее изображение I3 перемещается к правой стороне на расстояние 2х.

Фиг.8 - фиг.11 представляют собой виды, иллюстрирующие примеры генерирования изображения I4 с наложением. Помимо этого, на фиг.8 - фиг.11 пользователь А указывает на заранее заданную область, включенную в содержательное изображение IC (область, в которой показано изображение НЛО), посредством пальца пользователя А, который и является указывающим объектом Н.

Аналогично изображению I4 с наложением, проиллюстрированному на фиг.6D, фиг.7А и фиг.7В, в изображении I4 с наложением, проиллюстрированном на фиг.8, указывающее изображение Ia3, показывающее лишь окружающую область лица F пользователя А, наложено на содержательное изображение IC. При этом изображение I4 с наложением включает в себя также фоновое изображение, включенное в окружающую область.

В проиллюстрированном на фиг.9 изображении I4 с наложением указывающее изображение Ia3, в котором фоновое изображение удалено из зеркального изображения Ia2, наложено на содержательное изображение IC. Указывающее изображение I3 генерируется путем установления области верхней части тела, включающей лицо F пользователя А и указывающий объект Р, включенные в зеркальное изображение Ia2 на основе результата обнаружения лица F пользователя А, делая прозрачным изображение иное, нежели установленная область, и вырезая изображение этой установленной области.

В проиллюстрированном на фиг.10 изображении I4 с наложением указывающее изображение Ia3, сформированное с изображением областей лица F пользователя А, установленных из зеркального изображения Ia2, и указывающего объекта Н, накладывается на содержательное изображение IC. Указывающее изображение Ia3 генерируется за счет выполнения прозрачным изображения иного, нежели установленная область, и вырезая изображение этой установленной области. Указывающее изображение Ia3 генерируется путем обнаружения лица F пользователя А и указывающего объекта Н из заснятого изображения Ia1 и генерирования информации положения лица F пользователя А и указывающего объекта Н.

В проиллюстрированном на фиг.11 изображении I4 с наложением изображения, показывающее указывающее положение, и указывающее изображение Ia3, включающее в себя текстовое указание имени пользователя А, наложены на содержательное изображение IC. В данном случае изображение, включенное в зеркальное изображение Ia2, не используется для указывающего изображения Ia3. Указывающее изображение Ia3 генерируется путем обнаружения лица F и указывающего объекта Н пользователя А на заснятом изображении Ia1 и генерирования информации положения лица F и указывающего объекта Н пользователя А. Далее, пользователь А распознается по результату обнаружения лица F пользователя А, и текст «пользователь А», показывающий имя распознанного пользователя А, считывается из блока 218 хранения. Аналогично, форма указывающего объекта Н распознается по результату обнаружения указывающего объекта Р, и изображение, сопрягающее форму распознанного указывающего объекта Н, считывается из блока 218 хранения.

Помимо этого, указывающее изображение Ia3 может включать в себя характеристику (например, подобие), назначенное пользователю А, вместо текста, показывающего имя пользователя А, и может включать в себя изображение области лица F пользователя А. Далее, указывающее изображение Ia3 может включать в себя изображение области указывающего объекта Н вместо изображения, показывающего указывающее положение.

Затем будет описана работа, когда принимается решение на этапе S102, что установлено соединение с сетью. Пользовательские оконечные устройства А и В отображают общее содержательное изображение IC. Блок 210 связи пользовательского оконечного устройства А передает заснятое изображение Ia1 пользователя А, результат обнаружения, результат распознавания и информацию положения на пользовательское оконечное устройство В по линии 800 связи (этап S104). Далее, блок 210 связи пользовательского оконечного устройства А принимает заснятое изображение Ib1 пользователя В, результат обнаружения, результат распознавания и информацию положения от пользовательского оконечного устройства В по линии 800 связи (этап S106). Посредством этого пользовательское оконечное устройство А получает заснятое изображение Ib1 пользователя В (этап S200). Помимо этого, та же самая обработка выполняется также на пользовательском оконечном устройстве В.

Далее, аналогично заснятому изображению Ia1 пользователя А, блок 208 генерирования зеркального изображения генерирует зеркальное изображение Ib2 из заснятого изображения Ib1 пользователя В (этап S202). Аналогично указывающему изображению Ia3 пользователя А, блок 212 генерирования зеркального изображения генерирует указывающее изображение Ib3 пользователя В на основе результата обнаружения, выбранного результата распознавания, информации положения и зеркального изображения Ib3 (этап S204). Блок 214 генерирования наложенного изображения генерирует изображение I4 с наложением на основе содержательного изображения IC, указывающего изображения Ia3 и информации положения пользователя А и указывающего изображения Ib3 и информации положения пользователя В (этап S206). Блок 216 управления отображением отображает изображение I4 с наложением на устройстве 102 отображения (этап S208). Помимо этого, та же самая обработка выполняется также на пользовательском оконечном устройстве В.

Фиг.12А - фиг.12С представляют собой виды, иллюстрирующие примеры генерирования изображений I4 с наложением, включающих в себя указывающие изображения Ia3 и Ib3 пользователей А и В. Фиг.12А иллюстрирует изображение верхней части тела, включающее в себя палец Н руки и лицо F пользователя А, на левой стороне от смотрящего и иллюстрирует зеркальное изображение Ia2 заснятого изображения Ia1 пользователя А, включающее в себя фоновое изображение. Фиг.12 В иллюстрирует изображение верхней части тела, включающее в себя палец Н руки и лицо F пользователя В на правой стороне от смотрящего и иллюстрирует зеркальное изображение Ib2 заснятого изображения Ib1 пользователя В, включающее в себя фоновое изображение.

Фиг.12С иллюстрирует пример изображения I4 с наложением, в котором указывающие изображения Ia3 и Ib3 пользователей А и В наложены на содержательное изображение IC. Зеркальное изображение Ia2 пользователя А включает в себя изображение пользователя А на левой стороне от смотрящего, а зеркальное изображение Ib2 пользователя В включает в себя изображение пользователя В на правой стороне от смотрящего. Следовательно, в перекрытом изображении I4 указывающее изображение Ia3 пользователя А наложено на содержательное изображение IC на левой стороне от смотрящего, а указывающее изображение Ib3 пользователя В наложено на содержательное изображение IC на правой стороне от смотрящего. Указывающие изображения Ia3 и Ib3 пользователей А и В включают в себя информацию, которая дает возможность идентифицировать каждого пользователя и может сразу дать возможность установить указывающее положение каждого пользователя.

Помимо этого, проиллюстрированное на фиг.12С наложенное изображение I4 предполагает случай, когда ширина содержательного изображения IC и ширины зеркальных изображения Ia2 и Ib2 пользователей А и В одни и те же. Далее, хотя проиллюстрированное на фиг.12С наложенное изображение I4 генерируется аналогично примеру генерирования, проиллюстрированному на фиг.8, наложенное изображение I4 может генерироваться аналогично примерам генерирования, проиллюстрированным на фиг.9 - фиг.11.

Фиг.13А - фиг.13С представляют собой виды, иллюстрирующие видоизмененные примеры генерирования наложенного изображения I4, включающего в себя указывающие изображения Ia3 и Ib3 пользователей А и В. В этих видоизмененных примерах предполагается случай, когда указывающие изображения Ia3 и Ib3 пользователей А и В наложены на содержательное изображение IC, перекрывая друг друга. Фиг.13А иллюстрирует зеркальное изображение Ia2 пользователя А, включающее в себя изображение верхней части тела, в том числе пальца Н руки и лицо F в центре. Фиг.13 В иллюстрирует зеркальное изображение Ib3 пользователя В, включающее в себя изображение верхней части тела, в том числе пальца Н руки и лицо F в центре.

Фиг.13С иллюстрирует пример изображения I4 с наложением, в котором указывающие изображения Ia3 и Ib3 пользователей А и В наложены на содержательное изображение IC. Зеркальное изображение Ia2 пользователя А включает в себя изображение пользователя А в центре, а зеркальное изображение Ib2 пользователя В включает в себя изображение пользователя В в центре. Поэтому, когда изображение I4 с наложением генерируется аналогично примеру генерирования, проиллюстрированному на фиг.12С, указывающие изображения Ia3 и Ib3 пользователей А и В накладываются друг на друга, вследствие чего уменьшается поле обзора. Следовательно, как показано на фиг.13С, за счет увеличения прозрачности отображения указывающих изображений Ia3 и Ib3 пользователей А и/или В подавляется уменьшение поля обзора указывающих изображений Ia3 и Ib3, которые наложены с наложением одного другим.

Выше описан случай, когда диапазоны угла обзора устройства 104 получения изображений сопряжены с диапазонами содержательного изображения IC для генерирования изображения I4 с наложением. В данном случае, когда диапазон угла обзора намного шире, чем диапазон содержательного изображения IC, или положение пользователя намного дальше от устройства 104 получения изображений, пользователь А вынужден сделать относительно широкое движение для операции указании. Поэтому предлагается установить пригодные для указания диапазонов, в которых пользователь может указывать без перемещения, на основе положения лица F пользователя и сопрягать эти подходящие для указания диапазонов содержательного изображения IC вместо диапазона угла обзора для генерирования изображения I4 с наложением.

Фиг.14 представляет собой вид, иллюстрирующий установочный пример подходящих для указания диапазонов. Показанные на фиг.14 подходящие для указания диапазоны устанавливаются как диапазоны, которые можно указывать пальцем левой руки или правой руки в состоянии, когда левая рука вытянута влево, влево вверх или влево вниз, а правая рука вытянута вправо, вправо вверх или вправо вниз, на основе положения лица F пользователя А. Например, в показанном на фиг.14 случае подходящие для указания диапазоны устанавливаются как диапазоны шириной L вокруг положения лица F пользователя А. Пригодные для указания диапазоны можно установить путем задания пользователю А указать диапазоны, которые пользователь А собирается указывать, и обнаружения области На указывающего объекта Н, который указывает на эти диапазоны. Далее, подходящие для указания диапазонов можно установить на основе размера области Fa лица F пользователя А как диапазон ширины, соответствующей четырем лицам F в направлениях влево и вправо, и шириной, соответствующей двум лицам F в направлениях вверх и вниз.

Фиг.15А и фиг.15 В представляют собой виды, иллюстрирующие примеры операции указания на основе подходящих для указания диапазонов. Фиг.15А иллюстрирует зеркальное изображение I2 заснятого изображения I1, включающего пользователя А и пользователя С. Зеркальное изображение I2 включает в себя изображение пользователя А, снимающее верхнюю часть тела, включающую палец Н на руке и лицо F, на левой стороне от смотрящего и включает в себя изображение пользователя С, снимающее верхнюю часть тела, включающую палец Н на руке и лицо F, на правой стороне от смотрящего. Пользователь С расположен дальше от устройства 104 получения изображений, чем пользователь А.

На зеркальном изображении I2 показаны прямоугольные рамки, представляющие области Fa, На, Fc и Hc обнаружения лиц F и указывающих объектов Н пользователей А и С и пригодные для указания диапазоны Ра и Pc. Помимо этого, показаны прямоугольные рамки областей Fa, На, Fc и Hc обнаружения и пригодные для указания диапазоны Ра и Рс вместо формирующей части зеркального изображения I2 для облегчения описания, чтобы проиллюстрировать обработку пользовательского оконечного устройства. Пользователь А может выполнять операцию указания перемещением указывающего объекта в пригодных для указания диапазоны Ра этого пользователя A и в диапазонах зеркального изображения I2. Аналогично, пользователь С может выполнять операцию указания перемещением указывающего объекта в пригодных для указания диапазонах Pc этого пользователя C и в диапазонах зеркального изображения I2.

При этом пригодные для указания диапазоны Ра пользователя А и пригодные для указания диапазоны Рс пользователя С сопрягаются с диапазонами содержательного изображения IC, соответственно. Следовательно, пользователи А и С могут указывать на произвольное положение в содержательном изображении IC перемещением указывающих объектов Н в произвольные положения в пригодных для указания диапазонах Ра и Рс этих пользователей А и С без перемещения указывающих объектов Н в диапазонах углов обзора устройства 104 получения изображений.

Фиг.15 В иллюстрирует пример изображения I4 с наложением, включающем указывающие изображения Ia3 и Ib3 пользователей А и С. В зеркальном изображении I2, показанном на фиг.15А, пользователь А указывает на положение ближе вправо от середины пригодных для указания диапазонов Ра пользователя А, а пользователь С указывает на положение ближе влево от середины пригодных для указания диапазонов Рс пользователя С. Следовательно, в изображении I4 с наложением указывающее изображение Ia3 пользователя А накладывается ближе вправо от середины содержательного изображения IC, а указывающее изображение Ic3 пользователя С накладывается ближе влево от середины содержательного изображения IC. При этом указывающие изображения Ia3 и Ib3 пользователей А и С показывают положения, на которые указывают пользователи А и С в пригодных для указания диапазонах Ра и Pc этих пользователей А и С.

Аналогично, когда пользователь А указывает на правый верхний угол пригодных для указания диапазонов Ра этого пользователя А, указывающее изображение Ia3 пользователя А накладывается на правый верхний угол содержательного изображения IC, а когда пользователь С указывает на левый нижний угол пригодных для указания диапазонов Pc этого пользователя С, указывающее изображение Ia3 пользователя С накладывается на левый нижний угол содержательного изображения IC. Помимо этого, хотя проиллюстрированное на фиг.15 В наложенное изображение I4 генерируется аналогично генерированию примера, показанного на фиг.11, изображение I4 с наложением может генерироваться и аналогично генерированию примера, показанного на фиг.10.

Фиг.16А и фиг.16 В представляют собой виды, иллюстрирующие другие примеры операции указания на основе пригодных для указания диапазонов. Фиг.16А, аналогично фиг.15А, иллюстрирует зеркальное изображение I2, снимающее пользователей А и С. На этом зеркальном изображении I2 показаны прямоугольные рамки, представляющие области Fa и На обнаружения лица F и пальца Н пользователя А и пригодные для указания диапазоны Ра. В показанном на фиг.16А примере за счет обнаружения лиц F пользователей А и С из заснятого изображения I1 и сравнения размеров областей Fa и Fc обнаруженных лиц F только пользователю А с большей областью лица F, то есть пользователю А, ближайшему к устройству 104 получения изображений, разрешается выполнять операцию указания.

Фиг.16В иллюстрирует пример изображения I4 с наложением, включающего указывающее изображение Ia3 пользователя А. В показанном на фиг.16В зеркальном изображении I2 пользователь А указывает на положение ближе вправо от середины пригодных для указания диапазонов Ра этого пользователя А. Следовательно, в изображении I4 с наложением указывающее изображение Ia3 пользователя А накладывается ближе вправо от середины содержательного изображения IC.

Кроме того, вместо пользователя, ближайшего к устройству 104 получения изображений, только самому далекому от этого устройства 104 получения изображений пользователю, расположенному на адекватном расстоянии от устройства 104 получения изображений, может быть разрешено выполнять операцию указания. Далее, когда обнаружено множество лиц F, только заранее заданному числу пользователей, расположенных на адекватном расстоянии от устройства 104 получения изображений, может быть разрешено выполнять операцию указания.

Выше описан случай, когда изображение I4 с наложением получается путем обнаружения положения указывающего объекта. А пользователь, между тем, желает в отдельных случаях накладывать указывающее изображение I3 на содержательное изображение IC в разных режимах. Поэтому предлагается генерировать изображение I4 с наложением, включающее в себя указывающее изображение I3 иного вида путем обнаружения положения указывающего объекта Н и преобразовании формы указывающего объекта Н. Посредством этого, за счет изменения вида указывающего изображения I3 возможно, например, передавать дополнительную информацию другим пользователя и благодаря этому повышать удобство при операции указания.

Фиг.17 - фиг.18 В представляют собой виды, иллюстрирующие примеры изображения I4 с наложением, включающего указывающее изображение I3 отличного вида. В показанном на фиг.17 примере пользователь формирует кольцо, сгибая большой и указательный пальцы, и перемещает это кольцо слева направо перед устройством 102 отображения, рисуя волну. Тогда пользовательское оконечное устройство распознает форму указывающего объекта Н и генерирует изображение I4 с наложением, включающее указывающее изображение I3, которое показывает знак, соответствующий пользователю, согласно режиму, сопрягающему распознанную форму. При этом указывающее изображение I3 показывает знак согласно режиму, который дает возможность ясно распознать этот знак. В изображении I4 с наложением, как указано пунктирной линией на фиг.17, указывающее изображение I3 перемещается на содержательном изображении IC вместе с перемещением указывающего объекта Н.

В противоположность этому, в примерах, проиллюстрированных на фиг.18А и фиг.18 В, как показано на фиг.18А, пользователь сначала перемещает указательный палец слева направо перед устройством 102 отображения, рисуя волну в состоянии, когда указательный палец вытянут.Затем, пользовательское оконечное устройство распознает форму указывающего объекта Н и генерирует изображение I4 с наложением, включающее в себя указывающее изображение I3, представляющее знак согласно виду, отличному от фиг.17. При этом указывающее изображение 13 показывает знак согласно виду, который не обеспечивает ясного распознавания знака.

Далее, как показано на фиг.18 В, пользователь перемещает указывающий объект Н и затем делает кольцо, сгибая большой и указательный пальцы. Далее, пользовательское оконечное устройство распознает изменение формы указывающего объекта Н и генерирует изображение I4 с наложением, включающее в себя указывающее изображение I3, представляющее знак согласно тому же самому виду, как на фиг.17. В дополнение к этому, хотя на фиг.17 - фиг.18 В описаны случаи, где распознаются две различных формы, могут распознаваться три и более различных форм.

Как описано выше, в телевизионной системе конференц-связи согласно варианту осуществления данного изобретения, каждое пользовательское оконечное устройство обнаруживает лицо F пользователя из заснятого изображения I1 и генерирует информацию, указывающую положение этого лица F, генерирует указывающее изображение I3, включающее информацию, которая позволяет определить указывающее положение пользователя, и идентификационную информацию пользователя и генерирует и отображает изображение I4 с наложением, в котором указывающее изображение I3 наложено на содержательное изображение IC на основе информации положения. Далее, по меньшей мере заснятое изображение I1 передается к другим пользовательским оконечным устройством для отображения того же самого изображения I4 с наложением на других пользовательских оконечных устройствах. Посредством этого для пользователей, использующих множество пользовательских оконечных устройств, возможно сразу указывать на произвольное положение на содержательном изображении, которое обычно отображается, для других пользователей без усложненного манипулирования или оперирования.

Специалистам следует понимать, что различные модификации, комбинации, подкомбинации и изменения могут иметь место в зависимости от конструктивных требований и иных факторов, если они находятся в объеме приложенной формулы изобретения или ее эквивалентов.

Например, в вышеприведенном варианте осуществления описан случай, когда пользовательское оконечное устройство включает в себя систему 100 отображения и устройство 200 обработки информации. Однако, как иллюстрируется на фиг.19, пользовательское оконечное устройство может включать в себя устройство 250 обработки информации, в котором установлена конфигурация системы 100 отображения. В этом случае устройство 250 обработки информации имеет блок 252 получения изображений (устройство получения изображений) и блок 254 отображения (дисплейное устройство) в дополнение к конфигурации устройства 250 обработки информации, показанного на фиг.1. Помимо этого, в телевизионной системе конференц-связи может иметь место устройство обработки информации с вмонтированной системой отображения и раздельными устройствами обработки информации в смешанном виде.

Изобретение относится к вычислительной технике. Технический результат заключается в обеспечении указания для других пользователей произвольного местоположения на информации изображения. Устройство обработки информации содержит блок обнаружения для обнаружения указывающего объекта на заснятом изображении; блок генерирования указывающей информации на основе обнаружения указывающего объекта, при этом указывающая информация указывает положение указывающего объекта, определяемое с использованием возможного для указания диапазона, устанавливаемого на основе пользователя на заснятом изображении; блок связи для передачи указывающей информации на устройство, содержащее: модуль связи для приема указывающей информации и модуль управления отображением для управления отображаемым на экране отображения изображением с наложением на основе указывающей информации; при этом блок обнаружения выполнен с возможностью обнаружения указывающего изображения, соответствующего форме указывающего объекта; при этом указывающее изображение выполнено с возможностью указания пользователя, соответствующего указывающему объекту, на основе формы указывающего объекта. 2 н. и 7 з.п. ф-лы, 30 ил.

1. Устройство обработки информации, содержащее:
блок обнаружения для обнаружения указывающего объекта на заснятом изображении;
блок генерирования указывающей информации для генерирования указывающей информации на основе обнаружения блоком обнаружения указывающего объекта, при этом указывающая информация указывает положение указывающего объекта, определяемое с использованием возможного для указания диапазона, устанавливаемого на основе пользователя на заснятом изображении;
блок связи для передачи указывающей информации на устройство, содержащее: модуль связи для приема указывающей информации и модуль управления отображением для управления отображаемым на экране отображения изображением с наложением на основе указывающей информации; при этом
блок обнаружения выполнен с возможностью обнаружения указывающего изображения, соответствующего форме указывающего объекта; при этом
указывающее изображение выполнено с возможностью указания пользователя, соответствующего указывающему объекту, на основе формы указывающего объекта.

2. Устройство по п. 1, в котором указывающая информация включает в себя участок заснятого изображения, соответствующий обнаруженному указывающему объекту.

3. Устройство по п. 1, в котором указывающая информация включает в себя информацию о положении.

4. Устройство по п. 1, дополнительно содержащее:
блок получения изображений для получения заснятого изображения.

5. Устройство по п. 1, в котором возможный для указания диапазон основан на удалении пользователя от блока получения изображений, осуществляющего съемку изображения.

6. Устройство обработки информации, содержащее:
блок связи для приема от устройства, содержащего: модуль генерирования указывающей информации для генерирования указывающей информации и модуль связи для передачи указывающей информации, указывающей информации, включающей в себя указывающую информацию на заснятом изображении, при этом указывающая информация указывает положение указывающего объекта, определяемое с использованием возможного для указания диапазона, устанавливаемого на основе пользователя на заснятом изображении; и
блок управления отображением для управления отображаемым на экране отображения изображением с наложением, соответствующим указывающей информации, наложенной на содержательное изображение для отображения; при этом
указывающая информация выполнена с возможностью указания указывающего изображения, соответствующего форме указывающего объекта; при этом
указывающее изображение выполнено с возможностью указания пользователя, соответствующего указывающему объекту, на основе формы указывающего объекта.

7. Устройство по п. 6, в котором указывающая информация включает в себя участок заснятого изображения, соответствующий обнаруженному указывающему объекту, при этом указанный участок заснятого изображения наложен в качестве указывающего изображения.

8. Устройство по п. 6, в котором указывающая информация включает в себя информацию о положении, а изображение, определенное как соответствующее указывающему объекту, наложено в качестве указывающего изображения согласно информации о положении.

9. Устройство по п. 8, в котором определяемое изображение представляет собой изображение курсора.