Область техники, к которой относится изобретение
Настоящее изобретение относится к устройству обработки информации и способу обработки информации.
Уровень техники
Телефоны, так называемые видеотелефоны, системы видеоконференций и т.п. используются как устройства, предназначенные для обмена информацией между пользователями, находящимися на удалении друг от друга. Дополнительно, также используется способ осуществления текстового чата или видеочата с видеоизображением и звуковым сопровождением через Интернет-соединение, используя персональные компьютеры и т.п.
На таком фоне, устройства, как электронное оборудование, становятся более сложными и многофункциональными и, например, телевизионный приемник имеет функцию осуществления сетевой коммуникации, таким образом, он может не только принимать и отображать видеоинформацию и звуковой контент программы, переданной вещательной станцией, но также осуществляет обмен различными видами информации с другим приемником.
Например, JP 2006-50370A раскрывает технологию, с помощью которой, пользователь просматривает контент программы телевизионного широковещания на телевизионном приемнике, и одновременно с контентом программы, отображается информация, относящаяся к другим зарегистрированным пользователям (например, видеоинформация других пользователей, пиктограммы других пользователей, названия, каналы или видео контент, просматриваемый другими пользователями и т.д.).
Список упоминаемых документов
Патентная литература
PTL 1: JP 2006-50370A
Раскрытие изобретения
Техническая задача
В технологии, раскрытой в JP 2006-50370A, описанной ранее, телевизионный приемник принимает видеосигнал или звуковой сигнал из другого приемника(ов), расположенного в одном месте или расположенных в различных местах, и отображает принятую видеоинформацию или воспроизводит звуковую информацию одновременно с отображением контента программы, например, посредством этого, пользователь может совместно просматривать тот же контент программы и обмениваться информацией тет-а-тет с пользователем, находящимся на удалении от него.
Однако, в случае, когда существует множество пользователей другого приемника, расположенного в одном месте, когда любое одно множество пользователей другого приемника выполняют некоторые действия, например, разговаривают, то это создает трудности для пользователя телевизионного приемника быть уверенным в том, какой пользователь из множества пользователей другого приемника выполнил определенные действия из воспроизведения видеоинформации или звука, принятого от другого приемника.
В свете вышеизложенного, желательно предложить инновационное и усовершенствованное устройство обработки информации и способ обработки информации, позволяющий пользователю, знать какой из пользователей другого устройства обработки информации осуществил действия.
Решение задачи
В соответствии с первым вариантом осуществления, устройство обработки информации может включать в себя блок распознавания пользователя для распознавания пользователя в захваченном изображении, и блок распознавания действия для распознавания действия пользователя. Дополнительно, устройство может включать в себя блок генерирования для генерирования информации о действии пользователя, включающую в себя информацию о распознанном пользователе и распознанном действии распознанного пользователя, и блок связи для передачи информации о действии пользователя на внешнее устройство.
Согласно другому варианту осуществления, устройство обработки информации может включать в себя блок связи для приема от внешнего устройства информации о действии пользователя, включающую в себя информацию о распознанном пользователе и распознанном действии распознанного пользователя, и блок генерирования для управления отображением на экране отображения изображения, включающего в себя, изображение пользователя, соответствующее информации о распознанном пользователе, и визуальное представление, соответствующее информации распознанного действия.
Согласно другому варианту осуществления, способ обработки информации может включать в себя распознавание пользователя в захваченном изображении и распознавание действия пользователя. Дополнительно, способ может включать в себя генерирование процессором информации о действии пользователя, включающую в себя информацию о распознанном пользователе и распознанном действии распознанного пользователя, и передачу информации о действии пользователя на внешнее устройство.
Согласно другому варианту осуществления, способ обработки информации может включать в себя прием от внешнего устройства информации о действии пользователя, включающей в себя информацию о распознанном пользователе и распознанном действии распознанного пользователя, и управление процессором отображения на экране отображения изображения, включающего в себя изображение пользователя, соответствующее информации о распознанном пользователе, и визуальное представление, соответствующей информации о распознанном действии.
Согласно другому варианту осуществления, машиночитаемая программа, выполняемая компьютером, может быть записана на энергонезависимом носителе информации. Программа может включать в себя распознавание пользователя в захваченном изображении и распознавание действия пользователя. Программа может дополнительно включать в себя генерирование информации о действии пользователя, включающей в себя информацию о распознанном пользователе и распознанном действии распознанного пользователя, и передачу информации о действии пользователя на внешнее устройство.
Согласно другому варианту осуществления, машиночитаемая программа, выполняемая компьютером, может быть записана на энергонезависимом носителе информации. Программа может включать в себя прием от внешнего устройства информации о действии пользователя, включающей в себя информацию о распознанном пользователе и распознанном действии распознанного пользователя, и управление отображением на экране отображения изображения, включающее в себя изображение пользователя, соответствующее информации о распознанном пользователе, и визуальное представление, соответствующее информации распознанного действия.
Полезные эффекты изобретения
Как описано ранее, настоящее изобретение предоставляет возможность пользователю, знать который пользователь другого устройства обработки информации осуществил действие.
Краткое описание чертежей
Фиг.1 является пояснительным видом, иллюстрирующий пример системы отображения информации согласно варианту осуществления изобретения.
Фиг.2 является пояснительным видом, иллюстрирующий пример функциональной схемы устройства обработки информации согласно первому варианту осуществления изобретения.
Фиг.3 является пояснительным видом, иллюстрирующий пример конфигурации аппаратных средств устройства обработки информации, показанного на фиг.2.
Фиг.4 является блок-схемой алгоритма процесса воспроизведения, осуществляемого устройством обработки информации, показанного на фиг.2.
Фиг.5 является блок-схемой алгоритма обработки отображения пользователя, осуществляемого на этапе S114 процесса отображения, показанного на фиг.4.
Фиг.6A-6D являются пояснительными видами, иллюстрирующими пример 1 изобретения.
Фиг.7A-7D являются пояснительными видами, иллюстрирующими пример 1 изобретения.
Фиг.8A-8D являются пояснительными видами, иллюстрирующими пример 2 изобретения.
Фиг.9A-9D являются пояснительными видами, иллюстрирующими пример 3 изобретения.
Фиг.10А-10В являются пояснительными видами, иллюстрирующими пример 4 изобретения.
Фиг.11А-11Е являются пояснительными видами, иллюстрирующими пример 5 изобретения.
Фиг.12А-12В являются пояснительными видами, иллюстрирующими пример 6 изобретения.
Фиг.13A-13L являются пояснительными видами, иллюстрирующими пример 7 изобретения.
Фиг.14 является пояснительным видом, иллюстрирующий пример функциональной схемы устройства обработки информации согласно второму варианту осуществления изобретения.
Осуществление изобретения
Здесь и далее, предпочтительные варианты осуществления будут подробно описаны, ссылаясь на прилагаемые чертежи. Необходимо отметить, что в данном описании изобретения и прилагаемых чертежах структурные элементы, которые имеют, по существу, ту же функцию и структуру, обозначены одинаковыми номерами позиций, и повторение описания данных структурных элементов опущено.
Необходимо иметь в виду, что описание будет предоставлено в следующем порядке.
1. Система отображения
2. Функциональная схема устройства обработки информации (первый вариант осуществления)
3. Конфигурации аппаратных средств устройства обработки информации
4. Процесс отображения
5. Примеры
6. Функциональная схема устройства обработки информации (второй вариант осуществления)
1. Система отображения
Во-первых, описывается система отображения согласно варианту осуществления изобретения. Фиг.1 является пояснительным видом, иллюстрирующий пример системы отображения информации согласно варианту осуществления. Фиг.1 представляет собой вид спереди, где система отображения информации просматривается с лицевой стороны.
Как показано на фиг.1, система 100 отображения информации включает в себя устройство 102 отображения и устройство 104 формирования изображения, например.
Устройство 102 отображения может отображать статические изображения или динамические изображения на основании сигналов управления. Например, устройство 102 отображения отображает статические изображения или динамические изображения с использованием жидких кристаллов. Необходимо отметить, что устройство 102 отображения может отображать статические изображения или динамические изображения с использованием самосветящегося дисплея, такого как органический электролюминесцентный дисплей (EL).
Устройство 104 формирования изображения размещается в центре верхней области устройства 102 отображения и может захватывать изображение объекта в направлении отображения устройства 102 отображения. Устройство 104 формирования изображения может захватывать статическое изображение или динамическое изображение с использованием датчика изображения на CCD (прибор с зарядовой связью) или датчика изображения на CMOS (комплементарный металлооксидный полупроводник).
Необходимо отметить, что, хотя устройство 104 формирования изображения установлено в центре верхней области устройства 102 отображения в данной варианте осуществления, месторасположение устройства 104 формирования изображения не ограничивается центром верхней области устройства 102 отображения. Например, устройство 104 формирования изображения может быть установлено в центре нижней области устройства 102 отображения. Дополнительно, хотя в данном варианте осуществления установлено одно устройство 104 формирования изображения, количество устройств 104 формирования изображения не ограничивается одним. Например, могут быть установлены два или более устройств 104 формирования изображения. Более того, хотя в данном варианте осуществления устройство 102 отображения и устройство 104 формирования изображения интегрированы в едином корпусе, устройство 102 отображения и устройство 104 формирования изображения могут быть установлены на различных элементах.
Необходимо отметить, что в системе 100 отображения информации может быть установлен сенсор (не показан), который распознает присутствие или отсутствие пользователя перед устройством 102 отображения, а также блок приема сигнала (не показан), который способен принимать сигнал управления инфракрасного излучения или радиоволны, излученной пультом дистанционного управления (не показан). Сигнал управления представляет собой пример оперирующего сигнала. Дополнительно, сенсор может определять расстояние между устройством 102 отображения и пользователем, находящимся перед устройством 102 отображения. Более того, в систему 100 отображения информации может быть установлено средство приема звука, которое способно принимать звук окружающей среды, такое как, например, микрофон.
Устройство 102 отображения, согласно варианту осуществления, может отображать контент статических изображений или динамических изображений и отображать изображения, генерированные устройством 200 обработки информации в процессе отображения, как показано на фиг.4 и будет описано позже.
Дополнительно, устройство 104 формирования изображения согласно варианту осуществления может захватывать статические изображения или динамические изображения пользователей А и В, которые смотрят на экран отображения устройства 102 отображения, как показано на фиг.2.
2. Функциональная схема устройства обработки информации (первый вариант осуществления)
Далее приведено описание функциональной схемы устройства обработки информации согласно первому варианту осуществления изобретения. Фиг.2 является пояснительным видом, иллюстрирующий пример функциональной схемы устройства обработки информации согласно первому варианту осуществления. Необходимо отметить, что фиг.2 показывает систему 100 отображения информации, которая передает захваченное изображение на устройство 200 обработки информации, представляющее собой устройство обработки информации согласно варианту осуществления, и принимает сигнал управления устройством 102 отображения из устройства 200 обработки информации, и пользователей А и В, которые являются пользователями системы 100 отображения информации и устройства 200 обработки информации. Фиг.2 дополнительно показывает коммуникационную сеть 800, к которой устройство 200 обработки информации может быть подключено, коммуникационный сервер 300 и другие устройства 500 и 700 обработки информации, которые могут быть подключены к коммуникационной сети 800, другую систему 400 отображения информации, которая передает захваченное изображение на устройство 500 обработки информации и принимает сигнал от устройства 500 обработки информации, пользователей С и D, которые являются пользователями системы 400 отображения информации и устройства 500 обработки информации, другую систему 600 отображения информации, которая передает захваченное изображение на устройство 700 обработки информации и принимает сигнал от устройства 700 обработки информации, пользователей Е и F, которые являются пользователями системы 600 отображения информации и устройства 700 обработки информации. Другие системы 400 и 600 отображения информации имеют аналогичную с системой 100 отображения информации конфигурацию и их подробное описание опускается. Дополнительно, другие устройства 500 и 700 обработки информации имеют аналогичную конфигурацию, как и устройство 200 обработки информации и их подробное описание опускается. Другие устройства 500 и 700 обработки информации являются примерами конечных коммуникационных устройств в изобретении.
Как показано на фиг.2, устройство 200 обработки информации включает в себя, например, блок 202 ввода изображения, блок 204 распознавания лиц, блок 206 генерирования отображаемого изображения, блок 208 вывода, блок 210 управления отображением, блок 212 связи, блок 214 ввода речи, блок 216 распознавания речи, блок 218 ввода сигнала управления, блок 220 распознавания действия и блок 222 хранения.
Блок 202 ввода изображения, который является примером входного блока в данном изобретении, принимает захваченное изображение, сгенерированное устройством 104 формирования изображения. Затем, блок 202 ввода изображения передает принятое (введенное) захваченное изображение на блок 212 связи. Необходимо отметить, что блок 202 ввода изображения может передавать принятое захваченное изображение на блок 204 распознавания лиц или блок 206 генерирования отображаемого изображения.
Блок 204 распознавания лиц, который является примером блока распознавания в данном изобретении, принимает захваченное изображение из другого устройства 500, 700 обработки изображения, которое принимается устройством 212 связи, распознает лица пользователей устройства 500, 700 обработки информации из принятого захваченного изображения и распознает пользователей другого устройства 500, 700 обработки информации, т.е. пользователей С и D или пользователей Е и F, на основании результата распознавания лиц. Захваченное изображение от другого устройства 500, 700 обработки информации является примером заранее заданного сигнала, связанного с действиями пользователей конечного коммуникационного устройства, согласно изобретению. Например, блок 204 распознавания лиц распознает пользователей, появившихся в захваченном изображении посредством распознавания деталей лица каждого пользователя из принятого захваченного изображения, информация о деталях лица пользователя хранится в компьютере (здесь и далее называемая как «информация о деталях лица пользователя») и осуществляется сравнение информации о деталях лица пользователя, хранящейся в компьютере, с информацией 223 о деталях лица пользователя для каждого пользователя, которая заранее введена в память компьютера и хранится на блоке 222 хранения. Действие, которые появляются в захваченном изображении, является примером действия в данном изобретении. Необходимо отметить, что блок 204 распознавания лиц может дополнительно распознавать половую идентичность, возраст или иные данные пользователей, появившихся в захваченном изображении. Затем, блок 204 распознавания лиц передает результат распознавания пользователей устройства 500, 700 обработки информации на блок 206 генерирования отображаемого изображения. Дополнительно, блок 204 распознавания лиц может распознавать пользователей устройства 200 обработки информации, которые являются пользователями А и В, посредством приема захваченного изображения от блока 202 ввода изображения и распознавания лиц пользователей устройства 200 обработки информации из принятого захваченного изображения. Захваченное изображение от блока 202 ввода изображения является примером заранее заданного сигнала, связанного с действием пользователей устройства обработки информации согласно изобретению. Блок 204 распознавания лиц может затем передавать результат распознавания пользователей устройства 200 обработки информации на блок 206 генерирования отображаемого изображения или блок 212 связи.
Дополнительно, блок 204 распознавания лиц может распознавать выражения лиц пользователей другого устройства 500, 700 обработки информации из захваченного изображения от другого устройства 500, 700 обработки информации. Изменение выражений лиц является примером действия в изобретении. Затем, блок 204 распознавания лиц может передавать результат распознавания выражений лиц пользователей другого устройства 500, 700 обработки информации на блок 206 генерирования отображаемого изображения. Необходимо отметить, что блок 204 распознавания лиц может распознавать выражения лиц пользователей устройства 200 обработки информации из захваченного изображения от блока 202 ввода изображения. Затем, блок 204 распознавания лиц может передавать результат распознавания выражений лиц пользователей устройства 200 обработки информации на блок 206 генерирования отображаемого изображения или блок 212 связи.
Блок 206 генерирования отображаемого изображения, который является примером блока управления в изобретении, принимает результат распознавания пользователей другого устройства 500, 700 обработки информации от блока 204 распознавания лиц и дополнительно принимает захваченное изображение, захваченное в другой системе 400 отображения информации, или захваченное изображение, захваченное в другой системе 600 отображения информации, которое принимается устройством 212 связи.
Затем, на основании принятого результата распознавания пользователей другого устройства 500, 700 обработки информации, блок 206 генерирования отображаемого изображения генерирует отображаемое изображение, в котором изображения пользователя, представляющие пользователей другого устройства 500, 700 обработки информации, отображаются для каждого пользователя. Подробное описание отображаемого изображения описывается позже. Необходимо отметить, что блок 206 генерирования отображаемого изображения может генерировать изображения пользователя в отображаемом изображении путем извлечения информации о деталях лиц пользователей из принятого захваченного изображения, захваченного в другой системе 400 отображения информации или принятого захваченного изображения, захваченного в другой системе 600 отображения информации. Дополнительно, блок 206 генерирования отображаемого изображения может использовать видеообраз пользователя, представляющий каждого пользователя, например, как изображения пользователя в отображаемом изображении. Затем, блок 206 генерирования отображаемого изображения передает сгенерированное отображаемое изображение на блок 210 управления отображением.
Дополнительно, когда блок 206 генерирования отображаемого изображения принимает захваченное изображение, захваченное в системе 100 отображения информации, от блока 202 ввода изображения, принимает результат распознавания пользователей устройства 200 обработки информации и результат распознавания пользователей другого устройства 500, 700 обработки информации от блока 204 распознавания лиц и принимает захваченное изображение, захваченное в другой системе 400 отображения информации или захваченное изображение, захваченное в другой системе 600 отображения информации, которое принимается устройством 212 связи, блок 206 генерирования отображаемого изображения генерирует отображаемое изображение, в котором изображения пользователя представляют пользователей устройства 200 обработки информации и другого устройства 500, 700 обработки информации, отображаемые для каждого пользователя на основании принятого результата распознавания пользователей устройства 200 обработки информации и другого устройства 500, 700 обработки информации.
Дополнительно, когда блок 212 связи принимает результат распознавания пользователей из захваченного изображения, захваченного в другой системе 400 отображения информации или результат распознавания пользователей из захваченного изображения, захваченного в другой системе 600 отображения информации, блок 206 генерирования отображаемого изображения может принимать результат распознавания и генерировать отображаемое изображение на основании результата распознавания, принятого от блока 212 связи вместо результата распознавания, осуществленного блоком 204 распознавания лиц. В данном случае, вышеописанный блок 204 распознавания лиц может игнорировать результат распознавания пользователей из захваченного изображения из другого устройства 500, 700 обработки информации.
Дополнительно, когда блок 206 генерирования отображаемого изображения дополнительно принимает результат распознавания выражений лиц пользователей другого устройства 500, 700 обработки информации от блока 204 распознавания лиц, блок 206 генерирования отображаемого изображения генерирует отображаемое изображение, в котором изображение пользователя представляет пользователя, чье выражение лица изменилось, и выражение лица отображается совместно друг с другом в вышеописанном отображаемом изображении на основании дополнительно принятого результата распознавания выражений лиц пользователей другого устройства 500, 700 обработки информации. Например, когда блок 206 генерирования отображаемого изображения распознает, что выражение лица определенного пользователя изменилось, и он улыбается, то блок 206 генерирования отображаемого изображения генерирует отображаемое изображение, в котором изображение пользователя, представляющее пользователя, отображается как прыгающее.
Дополнительно, когда блок 206 генерирования отображаемого изображения дополнительно принимает результат распознавания выражений лиц пользователей устройства 200 обработки информации от блока 204 распознавания лиц, блок 206 генерирования отображаемого изображения генерирует отображаемое изображение, в котором изображение пользователя, представляющее пользователя чье выражение лица изменилось, и выражение лица отображаются совместно друг с другом в описанном выше отображаемом изображении на основании дополнительно принятого результата распознавания выражений лиц пользователей устройства 200 обработки информации.
Дополнительно, когда блок 212 связи принимает результат распознавания выражений лиц пользователей из захваченного изображения, захваченного в системе 400 отображения информации или результат распознавания выражений лиц пользователей из захваченного изображения, захваченного в системе 600 отображения информации, блок 206 генерирования отображаемого изображения может принимать результат распознавания и генерировать отображаемое изображение на основании результата распознавания, принятого от блока 212 связи вместо результата распознавания, осуществленного блоком 204 распознавания лиц.
Дополнительно, когда блок 206 генерирования отображаемого изображения принимает результат распознавания говорящего пользователя среди пользователей другого устройства 500, 700 обработки информации от блока 216 распознавания речи, блок 206 генерирования отображаемого изображения генерирует отображаемое изображение, в котором изображение пользователя представляет говорящего пользователя и наличие речи отображаются совместно с друг другом в вышеописанном отображаемом изображении на основании дополнительно принятого результата распознавания говорящего пользователя среди пользователей другого устройства 500, 700 обработки информации. Например, блок 206 генерирования отображаемого изображения генерирует отображаемое изображение, в котором изображение пользователя, представляющее говорящего пользователя, отображается в увеличенном виде.
Дополнительно, когда блок 206 генерирования отображаемого изображения дополнительно принимает результат распознавания говорящего пользователя среди пользователей устройства 200 обработки информации от блока 216 распознавания речи, блок 206 генерирования отображаемого изображения генерирует отображаемое изображение, в котором изображение пользователя представляет говорящего пользователя и наличие речи отображаются совместно с друг другом на основании дополнительно принятого результата распознавания говорящего пользователя среди пользователей устройства 200 обработки информации.
Дополнительно, когда блок 212 связи принимает результат распознавания говорящего пользователя из устройства ввода речи другого устройства 500 обработки информации или результат распознавания говорящего пользователя из устройства ввода речи в другое устройство 700 обработки информации, блок 206 генерирования отображаемого изображения может принимать результат распознавания и генерировать отображаемое изображение на основании результата распознавания, принятого от устройства 212 связи вместо результата распознавания, осуществленного блоком 216 распознавания речи.
Дополнительно, когда блок 206 генерирования отображаемого изображения дополнительно принимает результат распознавания контента речи говорящего пользователя среди пользователей другого устройства 500, 700 обработки информации от блока 216 распознавания речи, блок 206 генерирования отображаемого изображения генерирует отображаемое изображение, в котором изображение пользователя представляет говорящего пользователя, наличие речи и контент речи отображаются совместно с друг другом на основании дополнительно принятого результата распознавания контента речи говорящего пользователя из пользователей другого устройства 500, 700 обработки информации. Например, блок 206 генерирования отображаемого изображения генерирует отображаемое изображение, в котором текстовое изображение, соответствующее контенту речи, отображается в пределах облачка текста на изображении пользователя, представляющее говорящего пользователя.
Дополнительно, когда блок 206 генерирования отображаемого изображения дополнительно принимает результат распознавания контента речи говорящего пользователя среди пользователей устройства 200 обработки информации от блока 216 распознавания речи, блок 206 генерирования отображаемого изображения генерирует отображаемое изображение, в котором изображение пользователя представляет говорящего пользователя, наличие речи и контент речи отображаются совместно с друг другом на основании дополнительно принятого результата распознавания контента речи говорящего пользователя среди пользователей устройства 200 обработки информации.
Дополнительно, когда блок 212 связи принимает результат распознавания контента речи говорящего пользователя из устройства речевого ввода в другое устройство 500 обработки информации или результат распознавания контента речи говорящего пользователя из устройства речевого ввода в другое устройство 700 обработки информации, блок 206 генерирования отображаемого изображения может принимать результат распознавания и генерировать отображаемое изображение на основании результата распознавания, принятого от устройства 212 связи вместо результата распознавания, осуществленного блоком 216 распознавания речи.
Дополнительно, когда блок 206 генерирования отображаемого изображения принимает результат распознавания действий пользователей другого устройства 500, 700 обработки информации от блока 220 распознавания действия, блок 206 генерирования отображаемого изображения генерирует отображаемое изображение, в котором изображение пользователя представляет действующего пользователя и специфические действия отображаются совместно с друг другом на основании дополнительно принятого результата распознавания действий пользователей среди пользователей другого устройства 500, 700 обработки информации. Например, блок 206 генерирования отображаемого изображения генерирует отображаемое изображение, в котором контент изображения, которое действующий пользователь намеревается продемонстрировать, отображается в пределах облачка текста из изображения пользователя, представляющее действующего пользователя.
Дополнительно, когда блок 206 генерирования отображаемого изображения принимает результат распознавания действий пользователей устройства 200 обработки информации от блока 220 распознавания действия, блок 206 генерирования отображаемого изображения генерирует отображаемое изображение, в котором изображение пользователя представляет действующего пользователя и специфические действия отображаются совместно с друг другом на основании дополнительно принятого результата распознавания действий пользователей среди пользователей устройства 200 обработки информации.
Дополнительно, когда блок 212 связи принимает результат распознавания действий пользователей из входного блока сигнала управления в другое устройство 500 обработки информации или результат распознавания действий пользователей из входного блока сигнала управления в другое устройство 700 обработки информации, блок 206 генерирования отображаемого изображения может принимать результат распознавания и генерировать отображаемое изображение на основании результата распознавания, принятого из устройства 212 связи вместо результата распознавания, осуществленного блоком 220 распознавания действия.
Выходной блок 208 принимает сигнал управления устройством 102 отображения от блока 210 управления отображением и передает принятый сигнал на устройство 102 отображения. Дополнительно, когда выходной блок 208 принимает речевой ввод в другое устройство 500, 700 обработки информации, принимается блоком 212 связи, выходной блок 208 может передавать принятую речь в громкоговоритель (не показан) или подобное устройство системы 100 отображения информации.
Блок 210 управления отображением, который является примером устройства управления в изобретении, принимает отображаемое изображение от блока 206 генерирования отображаемого изображения. Дополнительно, контент статического изображения или динамического изображения поставляется на блок 210 управления отображением. Затем, блок 210 управления отображением передает сигнал для отображения отображаемого изображения, сгенерированный блоком 206 генерирования отображаемого изображения на экране устройства 102 отображения, на блок 208 вывода. Дополнительно, блок 210 управления отображением может передавать сигнал для отображения контента на экране устройства 102 отображения на блок 208 вывода.
Блок 212 связи принимает захваченное изображение, захваченное в другой системе 400 отображения информации, входной речевой сигнал и входной сигнал управления в другом устройстве 500 обработки информации от коммуникационного сервера 300 связи через сеть 800 связи. Дополнительно, блок 212 связи принимает захваченное изображение, захваченное в другой системе 600 отображения информации, входной речевой сигнал и входной сигнал управления в другом устройстве 700 обработки информации от сервера 300 связи через сеть 800 связи. Необходимо отметить, что блок 212 связи может принимать захваченное изображение, захваченное в другой системе 400 отображения информации, входной речевой сигнал и входной сигнал управления в другом устройстве 500 обработки информации непосредственно от другого устройства 500 обработки информации через сеть 800 связи. По аналогии, блок 212 связи может принимать захваченное изображение, захваченное в другой системе 600 отображения информации, входной речевой сигнал и входной сигнал управления в другом устройстве 700 обработки информации непосредственно от другого устройства 700 обработки информации через сеть 800 связи.
Дополнительно, блок 212 связи может принимать результат распознавания пользователей из захваченного изображения, захваченного в другой системе 400 отображения информации, результат распознавания из входного речевого сигнала или результат распознавания из входного сигнала управления на другое устройство 500 обработки информации, результат распознавания пользователей из захваченного изображения, захваченного в другой системе 600 отображения информации или результат распознавания от входного речевого сигнала или результат распознавания из входного сигнала управления на другое устройство 700 обработки информации, от сервера 300 связи через сеть 800 связи. Необходимо отметить, что блок 212 связи может принимать результат распознавания пользователей из захваченного изображения, захваченного в другой системе 400 отображения информации, и результат распознавания из входного речевого сигнала или входного сигнала управления в другое устройство 500 обработки информации непосредственно из другого устройства 500 обработки информации через сеть 800 связи. По аналогии, блок 212 связи может принимать результат распознавания пользователей из захваченного изображения, захваченного в другой системе 600 отображения информации, и результат распознавания из входного речевого сигнала или результат распознавания из входного сигнала управления на другое устройство 700 обработки информации непосредственно от другого устройства 700 обработки информации через сеть 800 связи.
Дополнительно, блок 212 связи может принимать захваченное изображение от блока 202 ввода изображения, речь от устройства 214 ввода речи и сигнал управления от блока 218 ввода сигнала управления и передавать принятое захваченное изображение, речевой сигнал и сигнал управления на сервер 300 связи через сеть 800 связи. Дополнительно, блок 212 связи может принимать результат распознавания пользователей из захваченного изображения, захваченного в системе 100 отображения информации от блока 204 распознавания лиц, результат распознавания от речевого ввода на устройство 200 обработки информации от блока 216 распознавания речи, и результат распознавания входного сигнала управления на устройство 200 обработки информации от блока 220 распознавания действия, и передает принятые результаты распознавания на сервер 300 связи через сеть 800 связи. Необходимо отметить, что блок 212 связи может передавать принятое захваченное изображение, речевой сигнал и сигнал управления, принятый результат распознавания пользователей из захваченного изображения, результат распознавания из речевого сигнала и результат распознавания из сигнала управления непосредственно на другое устройство 500, 700 обработки информации через сеть 800 связи.
Блок 214 ввода речи, который является примером входного блока в изобретении, принимает речевой сигнал от пользователей А и В, который являются пользователями устройства 200 обработки информации, например. Затем, блок 214 ввода речи передает принятый (введенный) речевой сигнал на блок 212 связи. Дополнительно, блок 214 ввода речи может передавать принятый речевой сигнал на блок 216 распознавания речи.
Блок 216 распознавания речи, который является примером блока распознавания в изобретении, принимает речевой сигнал от другого устройства 500, 700 обработки информации, которое принимается блоком 212 связи, и распознает говорящего пользователя среди пользователей другого устройства 500, 700 обработки информации из принятого речевого сигнала. Речь является примером действия в изобретении. Речевой сигнал от другого устройства 500, 700 обработки информации является примером заранее заданного сигнала, относящегося к действию пользователей конечного устройства связи согласно изобретению. Например, блок 216 распознавания речи распознает говорящего пользователя посредством выделения признака из принятого речевого сигнала, генерируя информацию о речи пользователя (здесь и далее называемая как «информация о речи пользователя») и сравнивая сгенерированную информацию о речи пользователя с информацией 224 о речи пользователя для каждого пользователя, которая заранее сгенерировано и хранится на блоке 222 хранения. Затем, блок 216 распознавания речи передает результат распознавания говорящего пользователя из пользователей устройства 500, 700 обработки информации на блок 206 генерирования отображаемого изображения. Дополнительно, блок 216 распознавания речи может принимать речевой сигнал от устройства 214 речевого ввода и распознает говорящего пользователя среди пользователей устройства 200 обработки информации из принятого речевого сигнала. Речевой сигнал от блока 214 ввода речи является примером заранее заданного сигнала, соответствующего действию пользователей устройства обработки информации согласно изобретению. Блок 216 распознавания речи может затем передавать результат распознавания говорящего пользователя среди пользователей устройства 200 обработки информации на блок 206 генерирования отображаемого изображения или блок 212 связи.
Дополнительно, блок 216 распознавания речи может распознавать контент речи говорящего пользователя среди пользователей другого устройства 500, 700 обработки информации речи от другого устройства 500, 700 обработки информации. Например, блок 216 распознавания речи анализирует принятый речевой сигнал и при этом выделяет и распознает контент речи пользователя как характерные данные. Затем, блок 216 распознавания речи может передавать результат распознавания контента речи говорящего пользователя среди пользователей другого устройства 500, 700 обработки информации на блок 206 генерирования отображаемого изображения. Дополнительно, блок 206 генерирования отображаемого изображения может распознавать контент речи говорящего пользователя среди пользователей устройства 200 обработки информации из речи из блока 214 ввода речи. Затем, блок 216 распознавания речи может передавать результат распознавания контента речи говорящего пользователя среди пользователей устройства 200 обработки информации на блок 206 генерирования отображаемого изображения или блок 212 связи.
Блок 218 ввода сигнала управления, который является примером блока ввода в изобретении, принимает сигнал управления от пользователей А или В, пользователя устройства 200 обработки информации, например, при этом сигнал передается с использованием пульта дистанционного управления (не показан), например. Затем, блок 218 ввода сигнала управления передает принятый (введенный) сигнал управления на блок 212 связи. Дополнительно, блок 218 ввода сигнала управления может передавать принятый сигнал управления на блок 220 распознавания действия.
Блок 220 распознавания действия, который является примером блока распознавания в изобретении, принимает сигнал управления из другого устройства 500, 700 обработки информации, который принимается блоком 212 связи, и распознает действия пользователей другого устройства 500, 700 обработки информации из принятого сигнала управления. Акт выполнения действия является примером действия в изобретении. Сигнал управления от другого устройства 500, 700 обработки информации является примером заранее заданного сигнала, относящегося к действию пользователей конечного устройства связи согласно изобретению. Например, блок 220 распознавания действия распознает пользователя как действующего пользователя посредством извлечения информации об оборудовании действующего пользователя (здесь и далее называется как «информация об оборудовании пользователя»), которая содержится в сигнале управления принятого сигнала управления и сравнение извлеченной информации об оборудовании пользователя с информацией 226 об оборудовании пользователя для каждого пользователя, которая предварительно сформирована и хранится на блоке 222 хранения. Дополнительно, блок 220 распознавания действия распознает конкретное действие пользователя путем извлечения информации о конкретном действии, которая содержится в сигнале управления принятого сигнала управления, например. Например, блок 220 распознавания действия распознает контент, который действующий пользователь намеревается осуществить, и который отображается на экране отображения сравнением информации о контенте, который действующий пользователь намеревается отобразить на экране отображения (здесь и далее называется как «информация о контенте»), которая содержится в информации о конкретном действии с информацией 225 о контенте, которая предварительно была сохранена на блоке 222 памяти. Затем блок 220 распознавания действия передает результат распознавания действий пользователей другого устройства 500, 700 обработки информации на блок 206 генерирования отображаемого изображения. Дополнительно, блок 220 распознавания действия может принимать сигнал управления из входного блока 218 сигнала управления и распознавать действия пользователей устройства 200 обработки информации из принятого сигнала управления. Сигнал управления от входного блока 218 сигнала управления является примером заранее заданного сигнала, соответствующего действию пользователей устройства обработки информации согласно изобретению. Затем, блок 220 распознавания действия может передавать результат распознавания действий пользователей устройства 200 обработки информации на блок 206 генерирования отображаемого изображения или блок 212 связи.
Блок 222 хранения хранит информацию 223 о деталях лица пользователя, которая представляет собой информацию о деталях лиц пользователей другого устройства 500, 700 обработки информации или устройства 200 обработки информации, информацию 224 о речи пользователя, которая является информацией о речи пользователей другого устройства 500, 700 обработки информации или устройства 200 обработки информации, информацию 225 о контенте, которая является информацией о контенте пользователей другого устройства 500, 700 обработки информации или устройства 200 обработки информации, и информацию 226 об оборудовании пользователя, которая является информацией об оборудовании, используемого пользователями другого устройства 500, 700 обработки информации или устройства 200 обработки информации.
Следует отметить, что заранее заданный сигнал, соответствующий действию пользователей конечного коммуникационного устройства согласно изобретению, не ограничивается захваченным изображением, речью и сигналом управления от другого устройства 500, 700 обработки информации, описанного ранее, и это может быть любым сигналом от другого устройства 500, 700 обработки информации, который генерируется в результате осуществления некоторых действий пользователем другого устройства 500, 700 обработки информации. Дополнительно, заранее заданный сигнал, соответствующий действию пользователей устройства обработки информации согласно изобретению не ограничивается захваченным изображением, речью и сигналом управления, которые вводятся в устройство 200 обработки информации, описанного ранее, и это может быть любым сигналом, который генерируется в результате осуществления некоторых действий пользователем устройства 200 обработки информации.
3. Конфигурации аппаратных средств устройства обработки информации
Далее приведено описание конфигурации аппаратных средств устройства 200 обработки информации, как показано на фиг.2. Фиг.3 является пояснительным видом, иллюстрирующий пример конфигурации аппаратных средств устройства 200 обработки информации, показанного на фиг.2.
Как показано на фиг.3, устройство 200 обработки информации включает в себя MPU 230, ROM 232, RAM 234, носитель 236 информации, интерфейс 238 ввода/вывода, устройство 240 управления вводом данных, устройство 242 отображения, интерфейс 244 связи, например. Дополнительно, в устройстве 200 обработки информации компоненты соединяются через шину 246, которая служит линией передачи, например.
MPU 230 представляет собой микропроцессор на интегральной микросхеме, в которой множество интегрированных микросхем выполняют различные функции, такие как обработку изображения и функции управления блоком управления (не показан), который управляет функционированием устройства 200 обработки информации в целом. Дополнительно, MPU 230 осуществляет функции блока 204 распознавания лиц, блока 206 генерирования отображаемого изображения, блока 210 управления отображением, блока 216 распознавания речи и блока 220 распознавания действия в устройстве 200 обработки информации.
ROM 232 хранит программы, которые используются MPU 230, данные управления, такие как рабочие параметры и т.п.RAM 234 временно хранит программу, используемую MPU 230, например.
Носитель 236 информации функционирует в качестве блока 222 хранения и хранит различные виды данных (или базу данных), такие как информацию о деталях лица пользователя, информацию о речи пользователя, информацию о контенте и информацию об оборудовании пользователя, прикладные программы и т.п.Носитель 236 информации может быть магнитным носителем информации, таким как жесткий диск, энергонезависимая память, такая как EEPROM (электрически стираемая и программируемая постоянная память), флэш-память, MRAM (магниторезистивная память с произвольной выборкой), FeRAM (сегнетоэлектрическая оперативная память), PRAM (оперативная память с фазовым изменением) и т.п.Дополнительно, устройство 200 обработки информации может включать в себя носитель 236 информации, который может отсоединяться от устройства 200 обработки информации.
Интерфейс 238 ввода/вывода подключается к устройству 240 управления вводом данных и дисплею 242, например. Дополнительно, интерфейс 238 ввода/вывода может работать в качестве блока 202 ввода изображения, блока 208 вывода, устройства 214 речевого ввода и входного блока 218 сигнала управления. Управляющее устройство 240 ввода данных функционирует как блок управления (не показан) и устройство 242 отображения функционирует как устройство 254 отображения, показанное на фиг.15, которое будет описано позже. Интерфейс 238 ввода/вывода может быть USB (универсальная последовательная шина) терминалом, DVI цифровым видеоинтерфейсом, HDMI (мультимедийный интерфейс высокой четкости) терминалом или различными устройствами обработки данных, например. Дополнительно, устройство 240 ввода данных устанавливается в устройстве 200 обработки информации и соединяется с входным/выходным интерфейсом 238 внутри устройства 200 обработки информации, например. Устройство 240 ввода данных может быть кнопочным, иметь клавишу управления курсором, ротационный селектор, такой как поворотный переключатель или сочетание таковых, например. Более того, устройство 242 отображения устанавливается в устройстве 200 обработки информации и подключается к интерфейсу 238 ввода/вывода внутри устройства 200 обработки информации, например. Устройство 242 отображения может быть жидкокристаллическим (LCD) или органический электролюминесцентным дисплеем, так же называемым, как дисплей на органических светодиодах и т.п., например. Необходимо отметить, что интерфейс 238 ввода/вывода может также подключать внешние блоки устройства 200 обработки информации, такие как управляющее устройство ввода данных (например, клавиатура, мышь), устройство отображения (например, устройство 104 формирования изображения). Дополнительно, устройство 242 отображения может быть устройством, способным воспринимать действия пользователя, такой как сенсорный экран, например.
Интерфейс 244 связи является коммуникационным средством, размещенным в устройстве 200 обработки информации, и функционирует как блок 212 связи для осуществления беспроводной/проводной связи с внешними устройствами, такими как коммуникационный сервер 300 и другое устройство 500, 700 обработки информации, например, через сеть 800 связи (или напрямую). Интерфейс 244 связи может быть антенной связи и радиосхемой (беспроводная связь), IEEE802.15.1 портом и приемопередающей цепью (беспроводная связь), IEEE802.11b портом и приемо-передающей цепью (беспроводная связь) или LAN терминалом и приемо-передающей цепью (беспроводная связь) и т.п., например.
Необходимо отметить, что конфигурация аппаратных средств устройства 200 обработки информации согласно варианту осуществления не ограничивается показанной на фиг.3 конфигурацией. Например, устройство 200 обработки информации может включать в себя устройство вывода речи, содержащее DSP (цифровой сигнальный процессор), усилитель, громкоговоритель и т.п., который функционирует как устройство вывода речи (не показано).
Дополнительно, устройство 200 обработки информации включает в себя устройство отображения изображения, состоящее из линзового устройства захвата изображения и цепи обработки сигнала, которое функционирует как блок 252 воспроизведения изображения, показанный на фиг.15, например. В данном случае, устройство 200 обработки информации может обрабатывать захваченное изображение, сгенерированное блоком, входящим в состав устройства. Линзовое устройство захвата изображения состоит из оптических линз и формирователя сигналов изображения, состоящего из множества устройств захвата изображения, таких как CCD (прибор с зарядовой связью) или матричного преобразователя сигналов изображений на CMOS (комплементарный металлооксидный полупроводник), например. Схема обработки сигнала включает в себя AGC (автоматическая регулировка усиления) схему и ADC (аналого-цифровой преобразователь), например, и преобразовывает аналоговый сигнал, сгенерированный устройством захвата изображения в цифровой сигнал (данные изображения) и осуществляет обработку сигнала. Обработка сигнала, которая осуществляется схемой обработки сигнала, может включать в себя регулировку уровня белого, интерполирование, корректировку цветового тона, гамма-коррекцию, YCbCr конверсию, коррекцию контуров, кодирование и т.п., например.
Дополнительно, устройство 200 обработки информации может иметь конфигурацию, в которой устройство 240 ввода данных и устройство 242 отображения, показанные на фиг.3, не включены в состав данной конфигурации, например.
4. Процесс отображения
Процесс отображения, осуществляемый устройством 200 обработки изображения, показанным на фиг.2, описывается ниже. Фиг.4 является блок-схемой алгоритма процесса воспроизведения, осуществляемого устройством 200 обработки информации, показанного на фиг.2.
Со ссылкой на фиг.4, когда пользователь А, например, направляет управляющую команду на устройство 200 обработки информации на сетевое соединение с пользователями С и D и пользователями Е и F, то блок 212 связи способно взаимодействовать с сервером 300 связи через сеть 800 связи (этап S100). Необходимо заметить, что на этапе S100, блок 212 связи может взаимодействовать с другим устройством 500, 700 обработки информации непосредственно через коммуникационную сеть 800.
Затем, блок 212 связи передает захваченное изображение, которое сгенерировано устройством 104 формирования изображения на систему 100 отображения информации и принятое через блок 202 ввода изображения на сервер 300 связи через сеть 800 связи (этап S102). Необходимо заметить, что на этапе S102, блок 212 связи может передавать результат распознавания пользователей устройства 200 обработки информации и результат распознавания выражений лиц пользователей устройства 200 обработки информации, которые приняты от блока 204 распознавания лиц, на сервер 300 связи через сеть 800 связи. Дополнительно, на этапе S102 блок 212 связи может передавать захваченное изображение, результат распознавания пользователей и результат распознавания выражений лиц пользователей на другое устройство 500, 700 обработки информации непосредственно через сеть 800 связи.
Далее, блок 212 связи передает речевой сигнал, который был введен в устройство 200 обработки информации и принятое через устройство 214 ввода речи, в коммуникационный сервер 300 через коммуникационную сеть 800 (этап S104). Следует заметить, что на этапе S104 блок 212 связи может передавать результат распознавания говорящего пользователя среди пользователей устройства 200 обработки информации и результат распознавания контента речи говорящего пользователя среди пользователей устройства 200 обработки информации, которые приняты от блока 216 распознавания речи, на сервер 300 связи через сеть 800 связи. Дополнительно, на этапе S104 блок 212 связи может передавать речевой сигнал, результат распознавания говорящего пользователя среди пользователей, результат распознавания контента речи говорящего пользователя среди пользователей другого устройства 500, 700 обработки информации непосредственно через коммуникационную сеть 800.
Далее, блок 212 связи передает сигнал управления, который был введен в устройство 200 обработки информации и принят через входной блок 218 сигнала управления на сервер 300 связи через сеть 800 связи (этап S106). Необходимо отметить, что на этапе S106 блок 212 связи может передавать результат распознавания действий пользователей устройства 200 обработки информации, который принят от блока 220 распознавания действия на сервер 300 связи через сеть 800 связи. Дополнительно, на этапе S106 блок 212 связи может передавать сигнал управления и результат распознавания действий пользователей в другое устройство 500, 700 обработки информации непосредственно через сеть 800 связи.
После этого, блок 212 связи принимает захваченное изображение, которое было захвачено в системе 400 отображения информации и переданное от другого устройства 500 обработки информации от сервера 300 связи. Дополнительно, блок 212 связи принимает захваченное изображение, которое было захвачено в системе 600 отображения информации от другого устройства 700 обработки информации из сервера 300 связи (этап S108). Необходимо отметить, что на этапе S108 блок 212 связи принимает результат распознавания пользователей и результат распознавания выражений лиц пользователей из захваченного изображения, которое было захвачено в системе 400 отображения информации и переданное от другого устройства 500 обработки информации, и результат распознавания пользователей и результат распознавания выражений лиц пользователей из захваченного изображения, которое было захвачено в системе 600 отображения информации и переданное от другого устройства 700 обработки информации от сервера 300 связи. Дополнительно, на этапе S108 блок 212 связи может принимать захваченное изображение, результат распознавания пользователей и результат распознавания выражений лиц пользователей от другого устройства 500, 700 обработки информации непосредственно через сеть 800 связи.
Далее, блок 212 связи принимает речевой сигнал, который был введен в другое устройство 500 обработки информации и переданное от другого устройства 500 обработки информации от сервера 300 связи. Дополнительно, блок 212 связи принимает речь, которая была введена на другое устройство 700 обработки информации и переданное от другого устройства 700 обработки информации от сервера 300 связи (этап S110). Необходимо заметить, что на этапе S110 блок 212 связи может принимать результат распознавания говорящего пользователя среди пользователей и результат распознавания контента речи говорящего пользователя среди пользователей из речи, которая была введена на другое устройство 500 обработки информации и переданное от другого устройства 500 обработки информации, и результат распознавания говорящего пользователя среди пользователей и результат распознавания контента речи говорящего пользователя среди пользователей из речи, которая была введена на другое устройство 700 обработки информации и переданная другим устройством 700 обработки информации от 300 связи. Дополнительно на этапе S110 блок 212 связи может принимать речь, результат распознавания говорящего пользователя среди пользователей, результат распознавания контента речи говорящего пользователя из другого устройства 500, 700 обработки информации непосредственно через сеть 800 связи.
Далее, блок 212 связи принимает сигнал управления, который был введен в другое устройство 500 обработки информации и переданный от другого устройства 500 обработки информации от сервера 300 связи. Дополнительно, блок 212 связи принимает сигнал управления, который был введен на другое устройство 700 обработки информации и передан другим устройством 700 обработки информации от сервера 300 связи (этап S112). Необходимо заметить, что на этапе S112 блок 212 связи может принимать результат распознавания действий пользователя из сигнала управления, который был введен на другое устройство 500 обработки информации и передан от другого устройства 500 обработки информации, и результат распознавания действий пользователей из сигнала управления, который был введен на другое устройство 700 обработки информации и передан от другого устройства 700 обработки информации от сервера 300 связи. Дополнительно на этапе S112 блок 212 связи может принимать сигнал управления и результат распознавания действий пользователей от другого устройства 500, 700 обработки информации непосредственно через сеть 800 связи.
После этого, устройство 200 обработки информации выполняет процесс обработки отображения пользователя, который показан на фиг.5 и описан позже (этап S114), таким образом, изображения пользователя, представляющие пользователей устройства 200 обработки информации и другого устройства 500, 700 обработки информации, отображаются для каждого пользователя и изображение пользователя, представляющего пользователя, который осуществил действия, и детали действия отображаются совместно друг с другом, например, на экране устройства 102 отображения.
Фиг.5 является блок-схемой алгоритма обработки отображения пользователя, осуществляемого на этапе S114 процесса отображения, показанного на фиг.4.
Как показано на фиг.5, блок 204 распознавания лиц первым принимает захваченное изображение от другого устройства 500, 700 обработки изображения, которое принимается блоком 212 связи, распознает лица пользователей устройства 500, 700 обработки информации из принятого захваченного изображения и распознает пользователей устройства 500, 700 обработки информации, т.е. пользователей С и D или пользователей Е и F на основании результата распознавания лиц (этап S200). Дополнительно на этапе S200, блок 204 распознавания лиц может распознавать лица пользователей устройства 500, 700 обработки информации из принятого захваченного изображения и распознает выражения лиц пользователей устройства 500, 700 обработки информации, т.е. пользователей С и D или пользователей Е и F на основании результата распознавания лиц. Более того, на этапе S200 блок 204 распознавания лиц может принимать захваченное изображение от блока 202 ввода изображения, распознавать лица пользователей устройства 200 обработки информации из принятого захваченного изображения и распознавать пользователей устройства 200 обработки информации, т.е. пользователей А и В или распознавать выражения лиц пользователей устройства 200 обработки информации, т.е. пользователей А и В на основании результата распознавания лиц.
Далее, блок 216 распознавания речи принимает речь от другого устройства 500, 700 обработки информации, которая принимается блоком 212 связи и распознает говорящего пользователя среди пользователей устройства 500, 700 обработки информации из принятой речи (этап S202). Дополнительно на этапе S202, блок 216 распознавания речи может принимать речь от другого устройства 500, 700 обработки информации, которая принимается блоком 212 связи и распознает контент речи говорящего пользователя среди пользователей устройства 500, 700 обработки информации из принятой речи. Дополнительно на этапе S202, блок 216 распознавания речи может принимать речь от устройства 214 ввода речи и распознавать говорящего пользователя среди пользователей устройства 200 обработки информации или распознавать контент речи говорящего пользователя среди пользователей из принятой речи.
Затем, блок 220 распознавания действия принимает сигнал управления от другого устройства 500, 700 обработки информации, которая принимается устройством 212 связи, и распознает действия пользователей устройства 500, 700 обработки информации из принятого сигнала управления (этап S204). Дополнительно на этапе S204, блок 220 распознавания действия может принимать сигнал управления от блока 218 ввода сигнала управления и распознает действия пользователей устройства 200 обработки информации из принятого сигнала управления.
После этого, блок 206 генерирования отображения изображения принимает результат распознавания пользователей другого устройства 500, 700 обработки информации от блока 204 распознавания лиц и принимает захваченное изображение, захваченное в другой системе 400 отображения информации или захваченное изображение, захваченное в другой системе 600 отображения информации, которое принимается устройством 212 связи. Затем, на основании принятого результата распознавания пользователей другого устройства 500, 700 обработки информации, блок 206 генерирования отображения изображения генерирует отображаемое изображение, в котором изображения пользователя, представляющие пользователей другого устройства 500, 700 обработки информации отображаются для каждого пользователя (этап S206).
Дополнительно на этапе S206, когда блок 206 генерирования отображения изображения принимает захваченное изображение, захваченное в системе 100 отображения информации от блока 202 ввода изображения, принимает результат распознавания пользователей устройства 200 обработки информации и результат распознавания пользователей другого устройства 500, 700 обработки информации от блока 204 распознавания лиц, и принимает захваченное изображение, захваченное в другой системе 400 отображения информации или захваченное изображение, захваченное в другой системе 600 отображения информации, которое принимается устройством 212 связи, блок 206 генерирования отображения изображения генерирует отображаемое изображение, в котором изображения пользователя, представляющие пользователей устройства 200 обработки информации и другого устройства 500, 700 обработки информации отображаются для каждого пользователя на основании принятых результатов распознавания пользователей устройства 200 обработки информации и пользователей другого устройства 500, 700 обработки информации.
Дополнительно на этапе S206, когда блок 212 связи принимает результат распознавания пользователей из захваченного изображения, которое было захвачено в другой системе 400 отображения информации, или результат распознавания пользователей из захваченного изображения, которое было захвачено в другой системе 600 отображения информации блок 206 генерирования отображения изображения может принимать результат распознавания и генерировать отображаемое изображение на основании результата распознавания принятого от устройства 212 связи, вместо результата распознавания, осуществленного блоком 204 распознавания лиц.
Дополнительно на этапе S206, когда блок 206 генерирования отображения изображения дополнительно принимает результат распознавания выражений лиц пользователей другого устройства 500, 700 обработки информации от блока 204 распознавания лиц, блок 206 генерирования отображения изображения генерирует отображаемое изображение, в котором изображение пользователя, представляющее пользователя, который изменил выражение своего лица и выражение лица отображаются совместно друг с другом в описанном ранее отображаемом изображении на основании дополнительно принятого результата распознавания выражений лиц пользователей другого устройства 500, 700 обработки информации.
Дополнительно на этапе S206, когда блок 206 генерирования отображения изображения дополнительно принимает результат распознавания выражений лиц пользователей устройства 200 обработки информации от блока 204 распознавания лиц, блок 206 генерирования отображения изображения генерирует отображаемое изображение, в котором изображение пользователя, представляющее пользователя, который изменил выражение своего лица и выражение лица отображаются совместно друг с другом на основании дополнительно принятого результата распознавания выражений лиц пользователей устройства 200 обработки информации.
Дополнительно на этапе S206, когда блок 212 связи принимает результат распознавания выражений лиц пользователей из захваченного изображения, которое было захвачено в другой системе 400 отображения информации, или результат распознавания выражений лиц пользователей из захваченного изображения, которое было захвачено в другой системе 600 отображения информации, блок 206 генерирования отображения изображения может принимать результат распознавания и генерировать отображаемое изображение на основании результата распознавания принятого от блока 212 связи, вместо результата распознавания, осуществленного блоком 204 распознавания лиц.
Дополнительно на этапе S206, когда блок 206 генерирования отображения изображения принимает результат распознавания говорящего пользователя среди пользователей другого устройства 500, 700 обработки информации от блока 216 распознавания речи, блок 206 генерирования отображения изображения генерирует отображаемое изображение, в котором изображение пользователя, представляющее говорящего пользователя и изображение речи отображаются совместно друг с другом в описанном ранее отображаемом изображении на основании дополнительно принятого результата распознавания говорящего пользователя среди пользователей другого устройства 500, 700 обработки информации.
Дополнительно на этапе S206, когда блок 206 генерирования отображения изображения дополнительно принимает результат распознавания говорящего пользователя среди пользователей устройства 200 обработки информации от блока 216 распознавания речи, блок 206 генерирования отображения изображения генерирует отображаемое изображение, в котором изображение пользователя, представляющее говорящего пользователя и изображение речи отображаются совместно друг с другом на основании дополнительно принятого результата распознавания говорящего пользователя среди пользователей устройства 200 обработки информации.
Дополнительно на этапе S206, когда блок 212 связи принимает результат распознавания говорящего пользователя из речевого ввода в другое устройство 500 обработки информации или результат распознавания говорящего пользователя из речевого ввода в другое устройство 700 обработки информации, блок 206 генерирования отображения изображения может принимать результат распознавания и генерировать отображаемое изображение на основании результата распознавания принятого от блока 212 связи, вместо результата распознавания, осуществленного блоком 216 распознавания речи.
Дополнительно на этапе S206, когда блок 206 генерирования отображения изображения дополнительно принимает результат распознавания контента речи говорящего пользователя среди пользователей другого устройства 500, 700 обработки информации от блока 216 распознавания речи, блок 206 генерирования отображения изображения генерирует отображаемое изображение, в котором изображение пользователя, представляющее говорящего пользователя, изображение речи и контент речи отображаются совместно друг с другом на основании дополнительно принятого результата распознавания контента речи говорящего пользователя среди пользователей другого устройства 500, 700 обработки информации.
Дополнительно на этапе S206, когда блок 206 генерирования отображения изображения дополнительно принимает результат распознавания контента речи говорящего пользователя среди пользователей устройства 200 обработки информации от блока 216 распознавания речи, блок 206 генерирования отображения изображения генерирует отображаемое изображение, в котором изображение пользователя, представляющее говорящего пользователя, изображение речи и контент речи отображаются совместно друг с другом на основании дополнительно принятого результата распознавания контента речи говорящего пользователя среди пользователей устройства 200 обработки информации.
Дополнительно на этапе S206, когда блок 212 связи принимает результат распознавания контент речи говорящего пользователя из речевого ввода в другое устройство 500 обработки информации или результат распознавания контента речи говорящего пользователя из речевого ввода в другое устройство 700 обработки информации, блок 206 генерирования отображения изображения может принимать результат распознавания и генерировать отображаемое изображение на основании результата распознавания принятого из устройства 212 связи, вместо результата распознавания, осуществленного блоком 216 распознавания речи.
Дополнительно на этапе S206, когда блок 206 генерирования отображения изображения дополнительно принимает результат распознавания действий пользователей другого устройства 500, 700 обработки информации от блока 220 распознавания действия, блок 206 генерирования отображения изображения генерирует отображаемое изображение, в котором изображение пользователя, представляющее действующего пользователя и конкретное действие отображаются совместно друг с другом на основании дополнительно принятого результата распознавания действий пользователей другого устройства 500, 700 обработки информации.
Дополнительно на этапе S206, когда блок 206 генерирования отображения изображения принимает результат распознавания действий пользователей устройства 200 обработки информации от блока 220 распознавания действия, блок 206 генерирования отображения изображения генерирует отображаемое изображение, в котором изображение пользователя, представляющее действующего пользователя и конкретное действие отображаются совместно друг с другом на основании дополнительно принятого результата распознавания действий пользователей устройства 200 обработки информации.
Дополнительно на этапе S206, когда блок 212 связи принимает результат распознавания действий пользователей от ввода сигнала управления в другое устройство 500 обработки информации или результат распознавания действий пользователей из ввода сигнала управления в другое устройство 700 обработки информации, блок 206 генерирования отображения изображения может принимать результат распознавания и генерировать отображаемое изображение на основании результата распознавания принятого от блока 212 связи, вместо результата распознавания, осуществленного блоком 220 распознавания действия.
После этого, блок 210 управления отображением принимает отображаемое изображение от блока 206 генерирования отображения изображения и передает сигнал для отображения, принятого отображаемого изображения на экране устройства 102 отображения, на блок 208 вывода. Затем, блок 208 вывода передает сигнал для отображения принятого отображаемого изображения на устройство 102 отображения. В результате, отображаемое изображение, в котором изображения пользователя, представляющие пользователей другого устройства 500, 700 обработки информации отображаются для каждого пользователя, отображаемое изображение, в котором изображения пользователя, представляющие пользователей устройства 200 обработки информации и другого устройства 500, 700 обработки информации отображаются для каждого пользователя, отображаемое изображение, в котором изображения пользователя, представляющие пользователем другого устройства 500, 700 обработки информации отображаются для каждого пользователя и изображение пользователя, представляющее пользователя, который осуществил действие и детали данного действия отображаются совместно друг с другом и отображаемое изображение, в котором изображения пользователя, представляющие пользователей устройства 200 обработки информации и другого устройства 500, 700 обработки информации отображаются для каждого пользователя и изображение пользователя, представляющее пользователя, который осуществил действие и детали действия отображаются совместно друг с другом на экране устройства 102 отображения (этап S208). Процесс обработки на этом заканчивается.
Согласно процессу отображения, показанного на фиг.4, отображаемое изображение, в котором изображения пользователя, представляющие пользователей другого устройства 500, 700 обработки информации, отображаются для каждого пользователя на экране устройства 102 отображения. Таким образом, даже при наличии множества пользователей другого устройства 500 обработки информации, например, пользователь устройства 200 обработки информации может быть абсолютно уверен в наличии любого пользователя другого устройства 500 обработки информации, потому, что изображения пользователя, представляющие соответствующих пользователей другого устройства 500 обработки информации отображаются для каждого из пользователей на экране устройства 102 отображения.
Дополнительно, согласно процессу отображения, показанного на фиг.4, отображаемое изображение, в котором изображения пользователя, представляющие пользователей устройства 200 обработки информации и другого устройства 500, 700 обработки информации отображаются для каждого пользователя на экране устройства 102 отображения. Таким образом, пользователь устройства 200 обработки информации может быть абсолютно уверен в присутствии любого пользователя другого устройства 500 обработки информации и может испытывать чувство реализма, чувство единения, чувство близости и т.п.как, если бы они общались между собой, находясь в одном месте.
Дополнительно, согласно процессу отображения, показанного на фиг.4, отображаемое изображение, в котором изображения пользователя, представляющие пользователей другого устройства 500, 700 обработки информации отображаются для каждого пользователя, и изображение пользователя, представляющее пользователя, который осуществил действие и детали действия, отображаются совместно друг с другом на экране устройства 102 отображения. Таким образом, пользователь устройства 200 обработки изображения может быть абсолютно уверен в присутствии любого пользователя другого устройства 500 обработки информации и, даже при наличии множества пользователей другого устройства 500 обработки информации, например, может быть абсолютно уверен в каждом пользователе другого устройства 500 обработки информации, который осуществил действие, потому, что изображение пользователя, представляющее пользователя, который осуществил действие и детали действия отображаются совместно друг с другом на экране устройства 102 отображения.
Дополнительно, согласно процессу отображения, показанного на фиг.4, отображаемое изображение, в котором изображения пользователя, представляющие пользователей устройства 200 обработки информации и другого устройства 500, 700 обработки информации отображаются для каждого пользователя и изображение пользователя, представляющее пользователя, который осуществил действие и детали действия отображаются совместно друг с другом на экране устройства 102 отображения. Таким образом, пользователь устройства 200 обработки информации может быть абсолютно уверен в присутствии любого пользователя другого устройства 500 обработки информации и может испытывать чувство реализма, чувство единения, чувство близости и т.п. как, если бы они общались между собой, находясь в одном месте, и дополнительно может быть совершенно уверен в каждом пользователе другого устройства 500 обработки информации, который осуществил действие.
5. Примеры
Далее приведено описание примерных вариантов осуществления изобретения. Фиг.6A-6D и фиг.7A-7D являются пояснительными видами, иллюстрирующими пример 1 изобретения. В примере 1, случай, когда пользователь А посылает команду на сетевое соединение с пользователями С и D, например, в устройство 200 обработки информации, показанное на фиг.2, и отображаемое изображение, в котором изображения пользователя, представляющие пользователей устройства 200 обработки информации и другого устройства 500, 700 обработки информации, отображаются для каждого пользователя и изображение пользователя, представляющее пользователя, который осуществил действие и детали действия отображаются совместно друг с другом на экране устройства 102 отображения, как показано на фиг.2, и на экране отображения в системе 400 отображения информации, как описывается посредством иллюстрации.
Во-первых, устройство 200 обработки информации принимает захваченное изображение, как показано на фиг.6А, и захваченное изображение, показанное на фиг.6 В, и распознает пользователей А и В устройства 200 обработки информации и пользователей С и D другого устройства 500 обработки информации посредством осуществления вышеописанного процесса распознавания лица. Затем, как показано на фиг.6С, устройство 200 обработки информации отображает изображение, в котором изображение 110 пользователя, представляющее пользователя А устройства 200 обработки информации, изображение 112 пользователя, представляющее пользователя В устройства 200 обработки информации, изображение 114 пользователя, представляющее пользователя С другого устройства 500 обработки информации и изображение 116 пользователя, представляющее пользователя D другого устройства 500 обработки информации, отображаются для каждого пользователя на экране устройства 102 отображения.
Аналогично, как показано на фиг.6D, другое устройство 500 обработки информации отображает изображение, в котором изображение 410 пользователя, представляющее пользователя А устройства 200 обработки информации, изображение 412 пользователя, представляющее пользователя В устройства 200 обработки информации, изображение 414 пользователя, представляющее пользователя С другого устройства 500 обработки изображения и изображение 416 пользователя, представляющее пользователя D другого устройства 500 обработки информации, отображаются для каждого пользователя на экране устройства 402 отображения в системе 400 отображения информации.
Затем, как показано на фиг.7А, когда пользователь D осуществляет действие говорения, а именно, он произносит фразу «I want to see Mt. Fuji», например, другое устройство 500 обработки информации принимает речь и распознает пользователя D как говорящего пользователя среди пользователей другого устройства 500 обработки информации и контент речи пользователя D в соответствии с ранее описанной процедурой распознавания речи. Затем, как показано на фиг.7 В, другое устройство 500 обработки информации отображает изображение, в котором буквенное изображение, представляющее контент речи, который является изображением «I want to see Mt. Fuji», отображается в пределах облака 416 текста на изображении 416 пользователя, представляющем пользователя D как говорящего пользователя. По аналогии, устройство 200 обработки информации отображает изображение, в котором буквенное изображение, представляющее контент речи, который является изображением «I want to see Mt. Fuji», отображается в пределах облака текста (не показано) на изображении 116 пользователя, представляющем пользователя D как говорящего пользователя, на экране устройства 102 отображения, хотя это не показано.
Дополнительно, как показано на фиг.7А, когда осуществляется передача буквенного изображения «I want to see Mt. Fuji» с помощью пульта дистанционного управления, например, как действие, осуществляемое пользователем D, другое устройство 500 обработки информации принимает сигнал управления и распознает пользователя D как действующего пользователя среди пользователей другого устройства 500 обработки информации и конкретное действие, осуществленное действующим пользователем в соответствии с ранее описанной процедурой распознавания действия. Затем, как показано на фиг.7 В, другое устройство 500 обработки информации отображает изображение, в котором буквенное изображение, представляющее конкретное действие действующего пользователя, которое является изображением «I want to see Mt. Fuji», отображается в пределах облачка 418 текста из изображения 416 пользователя, представляющее пользователя D как говорящего пользователя на экране устройства 402 отображения. По аналогии, устройство 200 обработки информации отображает изображение, в котором буквенное изображение, представляющее конкретное действие действующего пользователя, которое является изображением «I want to see Mt. Fuji», отображается в пределах облака текста (не показано) на изображении 116 пользователя, представляющем пользователя D как действующего пользователя, на экране устройства 102 отображения, хотя это не показано.
Далее, как показано на фиг.7С, когда осуществляется передача запроса для отображения сообщения «the content of Mt.Fuji» пультом дистанционного управления, например, как действие пользователя В, устройство 200 обработки информации принимает сигнал управления и распознает пользователя В как действующего пользователя среди пользователей устройства 200 обработки информации и конкретного действия, осуществленного действующим пользователем согласно вышеописанной процедуре распознавания действия. Затем, как показано на фиг.7D, устройство 200 обработки информации отображает изображение, которое является изображением «the content of Mt.Fuji», в пределах облака 118 текста на изображении 112 пользователя, представляющем действующего пользователя В на экране устройства 102 отображения. По аналогии, другое устройство 500 обработки информации отображает изображение, в котором изображение контента, которое показывает действия пользователя В, которое является изображением «the content of Mt.Fuji», отображается в пределах облака текста (не показано) из изображения 412 пользователя, представляющее действующего пользователя В на экране устройства 402 отображения, хотя это не показано. В это время, другое устройство 500 обработки информации может принимать содержание изображения, которое действующий пользователь В намеревается осуществить, которое является изображением «the content of Mt.Fuji», от устройства 200 обработки информации или принимает изображение контента от другого устройства через сеть 800 связи, например.
Согласно примеру 1, пользователь устройства 200 обработки информации и другого устройства 500 обработки информации могут быть совершенно уверены в присутствии любого пользователя устройства 200 обработки информации и другого устройства 500 обработки информации, может испытывать чувство реализма, чувство единения, чувство близости и т.п.как, если бы они общались между собой, находясь в одном месте, и дополнительно может быть совершенно уверен в каждом пользователе устройства 200 обработки информации и другого устройства 500 обработки информации, который осуществил действие.
Фиг.8A-8D являются пояснительными видами, иллюстрирующими пример 2 изобретения. В примере 2, пользователь А направляет команду на сетевое подключение с пользователями С и D, например, на устройство 200 обработки информации, показанное на фиг.2, и пользователь А уходит во время сетевого соединения с пользователями С и D, как описано с использованием иллюстрации.
Когда пользователь А уходит во время сетевого соединения с пользователями С и D, как показано на фиг.8А и фиг.8В, отображаемое изображение, в котором изображение 120 пользователя, представляющее пользователя А устройства 200 обработки информации, удаляется в момент времени, когда пользователь А уходит во время отображения изображения на экране устройства 102 отображения. Аналогично, отображаемое изображение, в котором изображение пользователя (не показано), представляющее пользователя А устройства 200 обработки информации удаляется из отображаемого изображения на экране устройства 402 отображения в системе 400 отображения информации во время ухода пользователя А, хотя это не показано.
Согласно примеру 2, в связи с тем, что изображение 120 пользователя, представляющее пользователя А устройства 200 обработки информации удалено из отображаемого изображения на экране устройства 402 отображения в момент ухода пользователя А, пользователь другого устройства 500 обработки информации может быть совершенно уверен в том, что пользователь А устройства 200 обработки информации ушел.
Фиг.9A-9D являются пояснительными видами, иллюстрирующими пример 3 изобретения, случай, где пользователь А дает команду управления на сетевое соединение с пользователями С и D, например, в устройство 200 обработки информации, как показано на фиг.2, и выражение лица пользователя А изменилась на улыбку во время сетевого соединения с пользователями С и D, как описывается с помощью иллюстрации.
Когда выражение лица пользователя А изменилось на улыбку во время сетевого соединения с пользователями С и D, как показано на фиг.9A-9D, отображаемое изображение, в котором изображение 130 пользователя, представляющее пользователя А, чье выражение лица изменилось на улыбку, отображается в виде прыгающего изображения, которое отображается на экране устройства 102 отображения. Аналогично, отображаемое изображение, в котором изображение пользователя (не показано), представляющее пользователя А, чье выражение лица изменилось на улыбку, отображается в виде прыгающего изображения, которое отображается на экране устройства 402 отображения в системе 400 отображения информации, хотя не показано.
Согласно примеру 3, в связи с тем, что изображение 130 пользователя, представляющее пользователя А, чье выражение лица изменилось на улыбку, отображается в виде прыгающего изображения, которое отображается на экране устройства 402 отображения, пользователь другого устройства 500 обработки информации может быть совершенно уверен в том, что выражение лица пользователя А устройства 200 обработки информации изменилось на улыбку.
Фиг.10А-10В являются пояснительными видами, иллюстрирующими пример 4 изобретения. В примере 4, пользователь А направляет команду на сетевое подключение с пользователями С и D, например, на устройство 200 обработки информации, показанное на фиг.2, и отображаемое изображение, в котором изображения пользователя, представляющие пользователей устройства 200 обработки информации и другого устройства 500, 700 обработки информации отображаются для каждого пользователя и изображение пользователя, представляющее пользователя, который выполнил действие и детали этого действия отображаются совместно друг с другом на отображаемом изображении на экране устройства 102 отображения, показанного на фиг.2, и экране устройства отображения в системе 400 отображения информации, описывается с использованием иллюстрации.
Как показано на фиг.10А и фиг.10В, устройство 200 обработки информации распознает пользователей А и В устройства 200 обработки информации и пользователей С и D другого устройства 500 обработки информации посредством описанной ранее процедуре распознавания лиц и дополнительно распознает половую принадлежность пользователей А и В устройства 200 обработки информации и пользователей С и D другого устройства 500 обработки информации, и затем отображает изображение, в котором изображение 140 пользователя, представляющего пользователя А устройства 200 обработки информации, изображение 144 пользователя, представляющего пользователя В устройства 200 обработки информации, изображение 142 пользователя, представляющего пользователя С другого устройства 500 обработки информации и изображение 146 пользователя, представляющего пользователя D другого устройства 500 обработки информации, отображаются для каждого пользователя с указанием половой принадлежности на отображаемом изображении на экране устройства 102 отображения. Аналогично, хотя и не показано, другое устройство 500 обработки информации распознает пользователей А и В устройства 200 обработки информации и пользователей С и D другого устройства 500 обработки информации посредством описанной ранее процедуре распознавания лиц и дополнительно распознает половую принадлежность пользователей А и В устройства 200 обработки информации и пользователей С и D другого устройства 500 обработки информации, и затем отображает изображение, в котором изображение пользователя (не показано), представляющее пользователя А устройства 200 обработки информации, изображение пользователя (не показано), представляющее пользователя В устройства 200 обработки информации, изображение пользователя (не показано), представляющее пользователя С другого устройства 500 обработки информации и изображение пользователя (не показано), представляющее пользователя D другого устройства 500 обработки информации, отображаются для каждого пользователя с указанием половой принадлежности на отображаемом изображении на экране устройства 402 отображения.
Согласно примеру 4, пользователь устройства 200 обработки информации и другого устройства 500 обработки информации может быть совершенно уверен в половой принадлежности любого пользователя устройства 200 обработки информации и другого устройства 500 обработки информации.
Фиг.11А-11Е являются пояснительными видами, иллюстрирующими пример 5 изобретения. В примере 5, пользователь С направляет команду на сетевое подключение с пользователями А и В, например, в другое устройство 500 обработки информации, показанное на фиг.2, и изображение 430 контента заново отображаемое на экране устройства отображения в системе 400 отображения информации, показанной на фиг.2, когда отображаемое изображение 420, которое генерируется блоком генерирования отображаемого изображения (не показан) другого устройства 500 обработки информации отображается на экране устройства отображения в системе 400 отображения информации, описывается с использованием иллюстрации.
Как показано на с фиг.11А по фиг.11Е, в случае, когда отображается изображение 430 контента на экране устройства отображения системы 400 отображения информации, когда отображаемое изображение 420 отображается на нем, отображаемое изображение 420 постепенно смещается вправо и исчезает с экрана и изображение 430 контента смещается слева направо и появляется на экране, таким образом отображая изображение 430 контента. Затем, как показано на фиг.11Е, отображение изображения 440, указывающее на наличие сетевого соединения, отображается на экране устройства отображения системы 400 отображения информации.
Согласно примеру 5, пользователь другого устройства 500 обработки информации может быть совершенно уверен в том, что существует сетевое соединение с пользователями А и В.
Фиг.12А-12В являются пояснительными видами, иллюстрирующими пример 6 изобретения. В примере 6, пользователь А направляет команду на сетевое подключение с пользователем С, например, в устройство 200 обработки информации, показанное на фиг.2, и изображение контента и отображаемое изображение, которое генерируется блоком 206 генерирования отображаемого изображения отображаются совмещенно на экране устройства 102 отображения, описывается с использованием иллюстрации.
Как показано на фиг.12А и 12В, в случае, где изображение контента и отображаемое изображение, сгенерированное блоком 206 генерирования отображаемого изображения отображаются совмещенно на экране устройства 102 отображения, изображения 150 и 152 пользователей постепенно перемещаются за пределы экрана. Затем, как показано на фиг.12В, когда пользователь, представленный изображениями 150, 152 пользователей осуществляет те же действия, такие как речь, волнообразные движения, например, осуществленные с месторасположения, соответствующего изображению 150, 152 пользователя, были перемещены.
Согласно примеру 6, пользователь устройства 200 обработки информации могут просматривать все изображение контента и могут быть совершенно уверены в том, что находятся в сетевом соединении с пользователем С.
Фиг.13A-13L являются пояснительными видами, иллюстрирующими пример 7 изобретения. В примере 7, случай, когда команду на сетевое соединение с пользователями А и В и пользователями С и D дает пользователь Е, например, в устройство 700 обработки информации, показанное на фиг.2, и отображаемое изображение, в котором изображения пользователя, представляющие пользователей устройства 200 обработки информации и другого устройства 500, 700 обработки информации отображаются для каждого пользователя и изображение пользователя, представляющее пользователя, который осуществил действие, и детали этого действия отображаются совместно друг с другом на отображаемом изображении на экране устройства отображения в системе 600 отображения информации, показанной на фиг.2, описывается с помощью иллюстрирования.
Как показано на фиг.13A-13L, на экране отображения в системе 600 отображения информации выделяется общая область А1 контента, которая представляет собой область, где пользователи устройства 200 обработки информации и другого устройства 500, 700 обработки информации обмениваются контентом, и область А2 контента определенного пользователя, которая представляет собой область, которая представляет контент пользователей Е и F другого устройства 700 обработки информации. Затем, когда изображение 602 контента выбирается в качестве отображаемого контента в общей области А1 контента пользователем Е, например, изображение 604 контента, соответствующее изображению 602 контента отображается и постепенно увеличиваясь в нижней части, как местоположение, соответствующее пользователю Е в общей области А1 контента (фиг.13B-13D). Дополнительно, когда изображение контента (не показано) выбирается в качестве контента для отображения в общей области А1 контента пользователем А, например, изображение пользователя, представляющее пользователя А увеличивается и изображение 606 контента, соответствующее изображению контента (не показано), которое выбирается пользователем А, отображается и постепенно увеличивается в нижней правой части как местоположение, соответствующее пользователю А в общей области А1 контента (фиг.13F-13H).
Дополнительно, когда изображение контента (не показано) выбирается как контент для отображения в общей области А1 контента пользователем С, например, изображение пользователя, представляющее пользователя С увеличивается, и изображение 608 контента, соответствующее изображению контента (не показано), которое выбирается пользователем С, отображается и постепенно увеличивается в верхней левой части как местоположение, соответствующее пользователю С в общей области А1 контента (фиг.13J-13L). В данное время, изображение 606 контента, выбранное пользователем А, может уходить в затемнение, как показано на фиг.13К.
Согласно примеру 7, пользователь другого устройства 700 обработки информации может быть совершенно уверен в присутствии любого пользователя устройства 200 обработки информации и другого устройства 500 обработки информации может испытывать чувство реализма, чувство единения, чувство близости и т.п. как, если бы они общались между собой, находясь в одном месте, и дополнительно может быть совершенно уверен в присутствии каждого пользователя устройства 200 обработки информации и другого устройства 500 обработки информации, который осуществил действие.
6. Функциональная схема устройства обработки информации (второй вариант осуществления).
Здесь описана функциональная схема устройства обработки информации согласно второму варианту осуществления изобретения описывается. Фиг.14 является пояснительным видом, иллюстрирующий пример функциональной схемы устройства обработки информации согласно второму варианту осуществления изобретения. Устройство 250 обработки информации как устройство обработки информации согласно варианту осуществления отличается от устройства обработки информации согласно первому варианту осуществления, описанному выше только в том, что оно включает в себя блок 252 формирования изображения и устройство 254 отображения, и, соответственно, излишнее описание элементов и функций опускается и ниже приводится описание отличающихся элементов и функций.
Необходимо отметить, что фиг.14 показывает пользователей А и В, которые являются пользователями устройства 250 обработки информации, сеть 800 связи, к которой может быть подключено устройство 250 обработки информации, сервер 300 связи и другие устройства 550 и 750 обработки информации, которые могут быть подключены к сети 800 связи, пользователей С и D, которые являются пользователями другого устройства 550 обработки информации, и пользователей Е и F, которые являются пользователями другого устройства 750 обработки информации. Другие устройства 550 и 750 обработки информации имеют аналогичную конфигурацию с устройством 250 обработки информации и подробное описание таковых опускается. Другие устройства 550 и 750 обработки информации являются примерами конечного устройства связи в изобретении.
Как показано на фиг.14, устройство 250 обработки информации включает в себя блок 252 формирования изображения, блок 204 распознавания лиц, блок 206 генерирования отображаемого изображения, устройство 254 отображения, блок 210 управления отображением, блок 212 связи, устройство 214 связи, блок 216 распознавания речи, входной блок 218 сигнала управления, блок 220 распознавания действия и блок 222 памяти, например.
Блок 252 формирования изображения может захватить статические изображения или динамические изображения пользователей А и В, смотрящих на экран устройства 254 отображения. Затем, блок 252 формирования изображения может передавать захваченное изображение, сгенерированным формированием изображения, в блок 212 связи, блок 204 распознавания лиц и блок 206 генерирования отображаемого изображения.
На устройстве 254 отображения, отображаемое изображение, в котором изображения пользователя, представляющие пользователей устройства 250 обработки информации и другого устройства 550, 750 обработки информации, отображаются для каждого пользователя, и изображение пользователя, представляющее пользователя, который осуществил действие, и детали такого действия отображаются совместно друг с другом, могут быть отображены, например.
Согласно варианту осуществления, устройство 250 обработки информации выполняет процесс отображения, как показано на фиг.4, который был описан ранее, таким образом, имея аналогичные преимущества, как описано ранее в первом варианте осуществления. Дополнительно, согласно варианту осуществления, потребности в отдельной настройке системы 100 отображения информации, показанной на фиг.2, нет, что позволяет упростить реализацию.
Дополнительно, задача изобретения может быть выполнена также обеспечением носителя информации, такого как постоянный носитель информации, хранящийся программный код программного обеспечения осуществляющего выполнение функций каждого варианта осуществления, описанных выше, системы или устройства, и считывание и выполнение программного кода, хранящегося на носителе информации, компьютером (или CPU, MPU и т.п.) системы или устройства.
В данном случае, программный код, который считывается с носителя информации, выполняет функции каждого варианта осуществления, из описанных ранее, и программный код и носитель информации на котором храниться программный код, составляют изобретение.
Дополнительно, носитель информации для обеспечения программного кода может быть fl oppy (регистрированная торговая марка) диском, жестким диском, магнитооптическим диском, оптическим диском, таким как CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-RAM, DVD-RW или DVD+RW, магнитной лентой, энергонезависимым запоминающим устройством, ROM или т.п., например. Альтернативно, программный код может быть загружен через сеть.
Дополнительно, изобретение не ограничивается случаем, когда компьютер считывает программный код и тем самым осуществляет функции каждого варианта осуществления, описанные выше, и случай, где OS (операционная система) или т.п.обеспечивает функционирование компьютера по выполнению части или всего процесса обработки на основании команд программного кода, и тем самым, обеспечивая реализацию функций каждого варианта осуществления, описанных ранее, также включена в состав.
Дополнительно, случай, где программный код, считываемый с носителя информации, записывается в память на платы функционального расширения, вставленные в компьютер, или на блок функционального расширения, подключенного к компьютеру, и затем CPU или аналогичное устройство на плате функционального расширения или на блоке функционального расширения осуществляет частичную или полную обработку для расширенных функций на основании команд управления программного кода, таким образом, реализуя функции каждого варианта осуществления, описанных ранее, также включен в состав.
Необходимо иметь в виду, что специалистам в данной области техники очевидны различные модификации, сочетания, субкомбинации и изменения, которые могут возникнуть в зависимости от конструктивных требований и других факторов в той части, в которой они находятся в объеме нижеследующей формулы изобретения или эквивалентов таковой.
Например, сервер 300 связи может распознавать пользователей или выражение лиц пользователей другого устройства 500, 700 обработки информации из захваченного изображения от другого устройства 500, 700 обработки информации. Дополнительно, сервер 300 связи может распознавать говорящего пользователя среди пользователей другого устройства 500, 700 обработки информации и контент речи говорящего пользователя среди пользователей из речи из другого устройства 500, 700 обработки информации. Более того, коммуникационный сервер 300 может распознавать действия пользователей другого устройства 500, 700 обработки информации из сигнала управления из другого устройства 500, 700 обработки информации.
Дополнительно, устройство 200 обработки информации может передавать контент на другое устройство 500, 700 обработки информации для обмена контентом среди пользователей.
Необходимо иметь в виду, что специалистам в данной области техники очевидны различные модификации, сочетания, субкомбинации и изменения, которые могут возникнуть в зависимости от конструктивных требований и других факторов в той части, в которой они находятся в объеме нижеследующей формулы изобретения или эквивалентов таковой.
Перечень ссылочных позиций
100 - система отображения информации,
102 - устройство отображения,
104 - устройство формирования изображения,
200 - устройство обработки информации,
202 - блок ввода изображения,
204 - блок распознавания лиц,
206 - блок генерирования отображаемого изображения,
208 - блок вывода,
210 - блок управления отображением,
212 - блок связи,
214 - блок ввода речи,
216 - блок распознавания речи,
218 - блок ввода сигнала управления,
220 - блок распознавания действия,
222 - блок хранения,
300 - сервер связи,
400, 600 - другие системы связи,
500, 700 - другие устройства обработки информации,
800 - сеть связи,
250 - устройство обработки информации,
254 - устройство отображения.
Изобретение относится к устройствам обработки информации. Технический результат заключается в обеспечении возможности распознавания пользователя, выполнившего действие из множества пользователей на полученном изображении. Устройство включает блок распознавания пользователя для распознавания пользователя в полученном изображении и блок распознавания действия для распознавания действия пользователя, блок генерирования для генерирования информации о действии пользователя, включающей в себя информацию о распознанном пользователе и информацию о распознанном действии распознанного пользователя, устройство связи для передачи информации о действии пользователя на внешнее устройство. 4 н. и 14 з.п. ф-лы, 43 ил.
1. Устройство обработки информации, содержащее:
блок распознавания пользователя для распознавания пользователя, выполнившего действие, из множества пользователей указанного устройства обработки информации на захваченном изображении;
блок распознавания действия для распознавания действия пользователя;
блок генерирования для генерирования информации о действии пользователя, включающей в себя информацию о распознанном пользователе и информацию о распознанном действии распознанного пользователя; и
блок связи для передачи информации о действии пользователя на внешнее устройство; при этом,
когда распознанное действие распознанного пользователя представляет собой речь, сгенерированная информация о действии пользователя представляет собой изображение для отображения устройством отображения, представляющее контент речи в ассоциации с пользователем из множества пользователей указанного устройства обработки информации.
2. Устройство по п. 1, в котором блок распознавания пользователя выполнен с возможностью распознавания пользователя в полученном изображении на основании распознавания лица.
3. Устройство по п. 1, в котором информация о действии пользователя указывает по меньшей мере одно действие из появления на полученном изображении: мимики, речи или движения оперирования.
4. Устройство по п. 1, дополнительно содержащее:
блок получения изображения, выполненный с возможностью получения получаемого изображения.
5. Устройство по п. 1, в котором информация о действии пользователя включает в себя часть полученного изображения.
6. Устройство обработки информации, содержащее:
блок связи для приёма от внешнего устройства информации о действии пользователя, включающей в себя информацию о распознанном пользователе, выполнившем действие, из множества пользователей устройства по п. 1 и информацию о распознанном действии распознанного пользователя; и
блок генерирования для управления отображением на экране отображения изображения, включающего в себя изображение пользователя, соответствующее информации о распознанном пользователе, и визуальное представление, соответствующее информации о распознанном действии; при этом,
когда распознанное действие распознанного пользователя представляет собой речь, сгенерированная информация о действии пользователя представляет собой изображение для отображения устройством отображения, представляющее контент речи в ассоциации с пользователем из множества пользователей указанного устройства по п. 1.
7. Устройство по п. 6, в котором визуальное представление указывает по меньшей мере на одно действие из появления на полученном изображении: мимики, речи или движения оперирования, осуществляемого распознанным пользователем.
8. Устройство по п. 6, характеризующееся тем, что выполнено с возможностью отображения визуального представления и изображения пользователя в связи друг с другом.
9. Устройство по п. 6, в котором информация о действии пользователя включает в себя часть полученного изображения.
10. Способ обработки информации, содержащий этапы, на которых:
распознают пользователя, выполнившего действие, из множества пользователей устройства по п. 1 на захваченном изображении;
распознают действие пользователя;
генерируют при помощи процессора информацию о действии пользователя, включающую в себя информацию о распознанном пользователе и информацию о распознанном действии распознанного пользователя; и
передают информацию о действии пользователя на внешнее устройство; при этом,
когда распознанное действие распознанного пользователя представляет собой речь, сгенерированная информация о действии пользователя представляет собой изображение для отображения устройством отображения, представляющее контент речи в ассоциации с пользователем из множества пользователей указанного устройства по п. 1.
11. Способ по п. 10, в котором распознают пользователя на полученном изображении на основании распознавания лица.
12. Способ по п. 10, в котором информация о действии пользователя указывает по меньшей мере на одно действие из появления на полученном изображении: мимики, речи или движения оперирования.
13. Способ по п. 10, дополнительно содержащий этап, на котором: получают полученное изображение.
14. Способ по п. 10, в котором информация о действии пользователя включает в себя часть полученного изображения.
15. Способ обработки информации, содержащий этапы, на которых:
принимают, от внешнего устройства, информацию о действии пользователя, включающую в себя информацию о распознанном пользователе, выполнившем действие, из множества пользователей устройства по п. 1 и информацию о распознанном действии распознанного пользователя; и
управляют при помощи процессора отображением на экране отображения изображения, включающего в себя изображение пользователя, соответствующее информации о распознанном пользователе, и визуальное представление, соответствующее информации о распознанном действии; при этом,
когда распознанное действие распознанного пользователя представляет собой речь, сгенерированная информация о действии пользователя представляет собой изображение для отображения устройством отображения, представляющее контент речи в ассоциации с пользователем из множества пользователей указанного устройства по п. 1.
16. Способ по п. 15, в котором визуальное представление указывает по меньшей мере на одно действие из появления на полученном изображении: мимики, речи или движения оперирования, осуществляемого распознанным пользователем.
17. Способ по п. 15, в котором отображают визуальное представление и изображение пользователя в связи друг с другом.
18. Способ по п. 15, в котором информация о действии пользователя включает в себя часть полученного изображения.
| Приспособление для суммирования отрезков прямых линий | 1923 |
|
SU2010A1 |
| Способ приготовления мыла | 1923 |
|
SU2004A1 |
| US 6151619 A, 21.11.2000 | |||
| СПОСОБ ТЕЛЕКОММУНИКАЦИЙ В КОМПЬЮТЕРНЫХ СЕТЯХ | 2000 |
|
RU2218593C2 |
| АВТОМАТИЧЕСКОЕ ИЗВЛЕЧЕНИЕ ЛИЦ ДЛЯ ИСПОЛЬЗОВАНИЯ ВО ВРЕМЕННОЙ ШКАЛЕ ЗАПИСАННЫХ КОНФЕРЕНЦИЙ | 2005 |
|
RU2398277C2 |
