УСТРОЙСТВО ОТОБРАЖЕНИЯ, УСТРОЙСТВО ДИСТАНЦИОННОГО УПРАВЛЕНИЯ ДЛЯ УПРАВЛЕНИЯ УСТРОЙСТВОМ ОТОБРАЖЕНИЯ, СПОСОБ УПРАВЛЕНИЯ УСТРОЙСТВОМ ОТОБРАЖЕНИЯ, СПОСОБ УПРАВЛЕНИЯ СЕРВЕРОМ И СПОСОБ УПРАВЛЕНИЯ УСТРОЙСТВОМ ДИСТАНЦИОННОГО УПРАВЛЕНИЯ Российский патент 2017 года по МПК H04N21/63 G06F3/01 

Область техники, к которой относится изобретение

Нижеследующее описание относится к устройству отображения, устройству дистанционного управления для устройства отображения, способу управления устройством отображения, способу управления устройством дистанционного управления и способу управления сервером.

Уровень техники

Устройство отображения является устройством вывода для представления электрических сигналов в виде визуальной информации и отображения визуальной информации пользователю и может включать в себя телевизор (TV), монитор компьютера и различные мобильные устройства, например смартфон, планшетный компьютер и т.д.

Устройство дистанционного управления управляет устройством отображения на расстоянии. Пользователь может просматривать видеоконтент с использованием устройства отображения на близком расстоянии, где пользователь может легко манипулировать устройством отображения, или на расстоянии, где пользователю необходимо перемещаться для манипулирования устройством отображения. Устройство дистанционного управления может предоставлять пользователю возможность манипулирования устройством отображения на расстоянии.

Примеры устройства дистанционного управления включают в себя пульт дистанционного управления. Пульт дистанционного управления излучает инфракрасный свет, имеющий заранее определенную частоту, на устройство 200 отображения. Устройство отображения принимает инфракрасный свет, преобразует инфракрасный свет в электрический сигнал согласно частоте инфракрасного света, отправляет электрический сигнал на процессор и осуществляет различные операции, например переключение каналов или регулировку громкости устройства отображения.

В последнее время появилась возможность использовать различные терминалы, имеющие функцию беспроводной связи, например смартфон, как устройство дистанционного управления. В этом случае, устройство дистанционного управления или устройство отображения включает в себя модуль беспроводной связи для передачи и приема электрического сигнала по сети беспроводной связи согласно различным стандартам мобильной связи, например Bluetooth, Wi-Fi, 3GPP, 3GPP2 или WiMax. Устройство дистанционного управления, например смартфон, генерирует заранее определенный сигнал согласно прикосновению пользователя и передает заранее определенный сигнал на устройство отображения, и устройство отображения генерирует команду управления согласно заранее определенному сигналу и осуществляет переключение каналов или регулировку громкости согласно команде управления.

Раскрытие

Техническая задача

Задачей изобретения является обеспечение устройства отображения, устройства дистанционного управления для управления устройством отображения и способа управления устройством отображения на основании ситуации, которые позволяют управлять устройством отображения на основании текущего состояния человека или окружения, например ощущений или действий пользователя, который использует устройство отображения или окружающие окружения.

Аспект настоящего раскрытия предусматривает предоставление пользователю различных услуг на основе ощущений путем управления устройством отображения на основании текущего состояния пользователя.

Согласно аспекту настоящего раскрытия, устройство дистанционного управления или устройство отображения может получать информацию состояния для определения состояний тела или ощущений пользователя из внешних окружений и надлежащим образом контролировать состояния тела или ощущения пользователя.

Аспект настоящего раскрытия предусматривает предоставление различных услуг с использованием устройства отображения на основании ощущений или действий пользователя, для стимулирования чувств пользователя, и позволяет пользователю подвергаться воздействию на пользователя (UX) для расширения эмоционального опыта пользователя.

Аспект настоящего раскрытия предусматривает определение состояния пользователя и дополнительное получение информации об окружающей среде на основании состояния пользователя или предоставление пользователю заранее определенной услуги или услуги с использованием дополнительно полученной информации на основании состояния пользователя.

Согласно аспекту настоящего раскрытия, пользователь может испытывать положительные эмоции, получать удовольствие и впечатления благодаря пробуждению интереса и любопытства пользователя, который использует устройство отображения.

Аспект настоящего раскрытия предусматривает предоставление контента или услуг, подходящих для пользователя, согласно привычкам, шаблонам поведения и предпочтениям пользователя, когда пользователь наблюдает устройство отображения или когда пользователь находится вблизи устройства отображения.

Аспект настоящего раскрытия предусматривает обеспечение устройства отображения, включающего в себя функцию самообучения путем обновления контента или услуг для стимулирования чувств согласно реакции или предпочтениям пользователя.

Дополнительные аспекты раскрытия будут частично изложены в нижеследующем описании и, частично, будут очевидны из описания, или могут быть изучены в ходе практического применения изобретения.

Техническое решение

В соответствии с аспектом настоящего раскрытия, устройство отображения включает в себя блок определения ситуации для определения текущего состояния пользователя на основании, по меньшей мере, одного фрагмента ситуационной информации, принятой от устройства дистанционного управления или собранной средством сбора информации, и контроллер для предписания устройству дистанционного управления выводить сигнал извещения, соответствующего текущему состоянию пользователя, и для генерации информации управления для предоставления пользователю услуги изображения на основе ощущений согласно текущему состоянию пользователя. Устройство дистанционного управления выводит сигнал извещения через блок извещения.

Устройство отображения может дополнительно включать в себя базу данных информации определения для хранения информации определения для определения текущего состояния пользователя на основании ситуационной информации. В этом случае, блок определения ситуации может искать в базе данных информации определения информацию определения, соответствующую ситуационной информации, и определять текущее состояние пользователя на основании информации определения, соответствующей ситуационной информации, при наличии информации определения, соответствующей ситуационной информации.

Устройство отображения может дополнительно включать в себя базу данных информации управления, включающую в себя информацию управления устройства дистанционного управления или устройства отображения, соответствующую текущему состоянию пользователя. В этом случае, контроллер может выявлять информацию управления устройства отображения, соответствующую текущему состоянию пользователя, обращаясь к базе данных информации управления, и управлять устройством отображения согласно выявленной информации управления.

Контроллер устройства отображения может принимать пользовательскую команду от пользователя через устройство дистанционного управления согласно сигналу извещения, корректировать сгенерированную информацию управления согласно пользовательской команде, и генерировать новую информацию управления.

В этом случае, устройство отображения может дополнительно включать в себя память для хранения новой информации управления, сгенерированной контроллером, и блок обновления для анализа шаблона пользовательской манипуляции на основании сохраненной информации управления и для обновления базы данных информации управления на основании результата анализа.

Средство сбора информации может включать в себя, по меньшей мере, один из оптического датчика для регистрации света, акустического датчика для регистрации звука, датчика движения для регистрации движения, датчика температуры для регистрации температуры и датчика биосигнала для регистрации температуры, пульса, частоты дыхания или частоты сердечных сокращений человека. Средство сбора информации может включать в себя распознаватель лиц для выявления формы лица из изображения, для выявления характерных точек лица из выявленной формы лица, для анализа положений характерных точек лица, для генерации информации лица и информации выражения лица и для сбора ситуационной информации.

Блок извещения может включать в себя, по меньшей мере, один из светоизлучающего модуля для излучения света, модуля генерации вибрации для генерации вибраций и модуля акустического вывода для вывода звука.

Информация управления для управления устройством отображения может управлять камерой устройства отображения для захвата изображения, управлять изображением, захваченным камерой устройства отображения, для отображения на устройстве отображения в режиме "картинка в картинке" (PIP), управлять эскизным изображением, по меньшей мере, одного изображения, захваченного камерой устройства отображения, для отображения на экране устройства отображения, или управлять информацией об изображении, отображаемом на экране устройства отображения, для отображения на экране устройства отображения.

Устройство отображения может дополнительно включать в себя модуль проектора пучка для проецирования изображения на внешнюю проекционную поверхность.

Блок определения ситуации может объединять ситуационную информацию и информацию изображения для изображения, воспроизводимого устройством отображения, и определять текущее состояние пользователя.

В соответствии с аспектом настоящего раскрытия, устройство дистанционного управления для управления устройством отображения включает в себя средство сбора изображения для сбора, по меньшей мере, одного фрагмента ситуационной информации, блок определения ситуации для определения текущего состояния пользователя на основании, по меньшей мере, одного фрагмента ситуационной информации, собранного средством сбора информации, блок извещения для вывода сигнала извещения, соответствующего определенному текущему состоянию пользователя, и контроллер для генерации информации управления, позволяющей устройству отображения предоставлять пользователю услуги изображения на основе ощущений согласно текущему состоянию пользователя, и для передачи информации управления на устройство отображения, после вывода сигнала извещения.

Устройство дистанционного управления может дополнительно включать в себя базу данных информации определения для хранения информации определения для определения текущего состояния пользователя на основании ситуационной информации, указывающей признаки особой ситуации внешнего окружения. В это время блок определения ситуации может искать в базе данных информации определения информацию определения, соответствующую собранной ситуационной информации и определять текущее состояние пользователя на основании информации определения, соответствующей ситуационной информации, при наличии информации определения, соответствующей ситуационной информации.

Устройство дистанционного управления может дополнительно включать в себя базу данных информации управления, включающую в себя информацию управления отображением, соответствующую текущему состоянию пользователя; и контроллер для выявления информации управления устройства отображения, соответствующей текущему состоянию пользователя, путем обращения к базе данных информации управления.

Устройство дистанционного управления может дополнительно включать в себя блок ввода команды для приема команды манипуляции дисплеем от пользователя после вывода сигнала извещения.

Контроллер устройства дистанционного управления может выявлять информацию управления устройства отображения, соответствующую текущему состоянию пользователя, обращаясь к базе данных информации управления, и корректировать сгенерированную информацию управления согласно пользовательской команде, принятой через блок ввода команды, и устройство дистанционного управления может дополнительно включать в себя память для хранения информации управления, сгенерированной контроллером, и блок обновления для анализа шаблона пользовательской манипуляции на основании сохраненной информации управления и для обновления базы данных информации управления на основании результата анализа.

Средство сбора может включать в себя, по меньшей мере, один из оптического датчика для регистрации света, акустического датчика для регистрации звука, датчика движения для регистрации движения, датчика температуры для регистрации температуры, датчика биосигнала для регистрации температуры, пульса, частоты дыхания или частоты сердечных сокращений человека, и датчика распознавания движения для распознавания движения устройства дистанционного управления. Средство сбора может включать в себя распознаватель лиц для выявления формы лица из изображения, для выявления характерных точек лица из выявленной формы лица, для анализа положений характерных точек лица, для генерации информации лица и информации выражения лица и для сбора ситуационной информации.

Блок извещения может включать в себя, по меньшей мере, один из светоизлучающего модуля для излучения света, модуля генерации вибрации для генерации вибраций и модуля акустического вывода для вывода звука.

Блок определения ситуации устройства дистанционного управления может определять текущее состояние пользователя на основании, по меньшей мере, одного фрагмента ситуационной информации и информации изображения для изображения, воспроизводимого устройством отображения.

В соответствии с аспектом настоящего раскрытия, устройство дистанционного управления включает в себя средство сбора изображения для сбора, по меньшей мере, одного фрагмента ситуационной информации, и блок извещения для вывода сигнала извещения. В этом случае, устройство дистанционного управления передает ситуационную информацию, собранную средством сбора информации, на устройство отображения или сервер, принимает информацию о текущем состоянии пользователя, определенном на основании собранной ситуационной информации, от устройства отображения или сервера, и отправляет информацию управления, соответствующую определенному текущему состоянию пользователя или собранной ситуационной информации, после того, как блок извещения выводит сигнал извещения для управления устройством отображения.

Устройство дистанционного управления может дополнительно включать в себя блок ввода команды для приема команды манипуляции дисплеем от пользователя после вывода сигнала извещения и передачи команды манипуляции дисплеем на устройство отображения.

Средство сбора устройства дистанционного управления включает в себя, по меньшей мере, один из оптического датчика для регистрации света, акустического датчика для регистрации звука, датчика движения для регистрации движения, датчика температуры для регистрации температуры и датчика биосигнала для регистрации температуры, пульса, частоты дыхания или частоты сердечных сокращений человека. Средство сбора может включать в себя распознаватель лиц для выявления формы лица из изображения, для выявления характерных точек лица из выявленной формы лица, для анализа положений характерных точек лица, для генерации информации лица и информации выражения лица и для сбора ситуационной информации.

Блок извещения может включать в себя, по меньшей мере, один из светоизлучающего модуля для излучения света, модуля генерации вибрации для генерации вибраций и модуля акустического вывода для вывода звука.

Блок определения ситуации может определять текущее состояние пользователя на основании ситуационной информации и информации изображения для изображения, воспроизводимого устройством отображения.

В соответствии с аспектом настоящего раскрытия, способ управления устройством отображения включает в себя сбор, по меньшей мере, одного фрагмента ситуационной информации или прием, по меньшей мере, одного фрагмента ситуационной информации от устройства дистанционного управления, определение текущего состояния пользователя на основании собранного или принятого, по меньшей мере, одного фрагмента ситуационной информации, предписание устройству дистанционного управления выводить сигнал извещения, соответствующий текущему состоянию пользователя, и генерацию команды управления согласно текущему состоянию пользователя и предоставление пользователю услуги изображения на основе ощущений согласно команде управления.

Ситуационную информацию можно собирать путем регистрации света и измерения количества света, измерения громкости звука, регистрации движения, измерения температуры, измерения пульса или температуры человека или измерения информации времени, принятой от спутника или контроллера.

Сбор ситуационной информации может включать в себя выявление формы лица из изображения, выявление характерных точек лица из выявленной формы лица и анализ положений характерных точек лица и сбор ситуационной информации, включающей в себя информацию лица и информацию выражения лица изображения.

Определение текущего состояния пользователя может включать в себя поиск в базе данных информации определения, включающей в себя информацию определения, для определения текущего состояния пользователя на основании ситуационной информации, и сравнение собранной ситуационной информации с информацией определения базы данных информации определения и определение текущего состояния пользователя из информации определения при наличии информации определения, соответствующей собранной ситуационной информации.

Услуга изображения на основе ощущений может предоставляться путем захвата изображения с использованием камеры устройства отображения, отображения изображения, захваченного камерой устройства отображения на устройстве отображения в режиме "картинка в картинке" (PIP), отображения эскизного изображения, по меньшей мере, одного изображения, захваченного камерой устройства отображения, на экране устройства отображения, отображения информации об изображении, отображаемом на экране устройства отображения, на экране устройства отображения, или предоставления возможности модулю проектора пучка устройства отображения проецировать изображение на проекционную поверхность.

Генерация команды управления согласно текущему состоянию пользователя может включать в себя поиск в базе данных информации управления, включающей в себя информацию управления устройства отображения, соответствующую текущему состоянию пользователя, выявление информации управления устройства отображения, соответствующей текущему состоянию пользователя, и генерацию команды управления согласно информации управления.

Определение текущего состояния пользователя может включать в себя определение текущего состояния пользователя на основании ситуационной информации и информации об изображении, воспроизводимом устройством отображения.

В соответствии с аспектом настоящего раскрытия, способ управления устройством отображения включает в себя сбор, по меньшей мере, одного фрагмента ситуационной информации или прием, по меньшей мере, одного фрагмента ситуационной информации от устройства дистанционного управления, определение текущего состояния пользователя на основании собранного или принятого, по меньшей мере, одного фрагмента ситуационной информации, предписание устройству дистанционного управления выводить сигнал извещения, соответствующий текущему состоянию пользователя, и прием пользовательской команды от пользователя согласно сигналу извещения, выводимому из устройства дистанционного управления, и предоставление пользователю услуги изображения на основе ощущений согласно собранной или принятой ситуационной информации и команде управления.

В соответствии с аспектом настоящего раскрытия, способ управления сервером включает в себя прием, на сервере, по меньшей мере, одного фрагмента ситуационной информации от устройства отображения или устройства дистанционного управления, определение текущего состояния пользователя на основании принятой ситуационной информации, предписание устройству дистанционного управления выводить сигнал извещения, соответствующий текущему состоянию пользователя, и передачу команды управления для предоставления пользователю услуги изображения на основе ощущений согласно текущему состоянию пользователя и предоставление возможности устройству отображения предоставлять пользователю услугу изображения на основе ощущений согласно команде управления.

В соответствии с аспектом настоящего раскрытия, способ управления устройством дистанционного управления включает в себя сбор, по меньшей мере, одного фрагмента ситуационной информации, определение текущего состояния пользователя на основании собранной ситуационной информации, вывод сигнала извещения, соответствующего текущему состоянию пользователя, прием пользовательской команды от пользователя согласно сигналу извещения, выводимому из устройства дистанционного управления, и генерацию команды управления устройством отображения на основании собранной ситуационной информации и пользовательской команды, передачу команды управления на устройство отображения и предоставление возможности устройству отображения предоставлять пользователю услугу изображения на основе ощущений согласно команде управления.

В соответствии с аспектом настоящего раскрытия, способ управления устройством дистанционного управления включает в себя сбор, по меньшей мере, одного фрагмента ситуационной информации, определение текущего состояния пользователя на основании собранной ситуационной информации, вывод сигнала извещения, соответствующего текущему состоянию пользователя, и генерацию команды управления устройством отображения на основании собранной ситуационной информации, передачу команды управления на устройство отображения и предоставление возможности устройству отображения предоставлять пользователю услугу изображения на основе ощущений согласно команде управления.

Полезные эффекты

Согласно настоящему раскрытию, обеспечение устройства отображения, устройства дистанционного управления для управления устройством отображения и способа управления устройством отображения на основании ситуации позволяет управлять устройством отображения на основании текущего состояния человека или окружения, например ощущений или действий пользователя, который использует устройство отображения или окружающую среду.

Можно предоставлять пользователю различные услуги на основе ощущений, пригодные для ощущений пользователя и окружающей среды на основании текущего состояния пользователя.

Можно получать различную информацию состояния для определения состояний тела или ощущений пользователя из ощущений или действий пользователя или внешних окружений для точного определения состояния или ощущений пользователя и для надлежащего управления устройством отображения согласно состоянию пользователя.

Можно надлежащим образом управлять устройством отображения согласно состоянию пользователя для эффективного стимулирования чувств пользователя и позволять пользователю подвергаться воздействию на пользователя на основании состояний, действий или ощущений пользователя. Таким образом, устройство отображения позволяет пользователю испытывать положительные эмоции.

Можно предоставлять различные контент или услуги, которые могут пробуждать различные эмоции на основании ощущений или действий пользователя.

Можно давать возможность устройству отображения изучать и улучшать контент или услуги для стимулирования чувств пользователя согласно реакции или предпочтениям пользователя. Таким образом, пользователь может получать оптимальные контент или услуги.

Описание чертежей

Эти и/или другие аспекты изобретения явствуют из нижеследующего описания вариантов осуществления, рассматриваемых совместно с прилагаемыми чертежами, в которых:

Фиг. 1 – схема, демонстрирующая систему управления устройства отображения, включающую в себя устройство отображения и устройство дистанционного управления для управления устройством отображения согласно варианту осуществления настоящего раскрытия;

Фиг. 2 – блок-схема, демонстрирующая устройство отображения и устройство дистанционного управления согласно варианту осуществления настоящего раскрытия;

Фиг. 3 – блок-схема, демонстрирующая средство сбора информации устройства отображения согласно варианту осуществления настоящего раскрытия;

Фиг. 4A – блок-схема устройства дистанционного управления согласно варианту осуществления настоящего раскрытия;

Фиг. 4B – вид спереди устройства дистанционного управления согласно варианту осуществления настоящего раскрытия;

Фиг. 5 – схема, демонстрирующая конфигурацию системы, включающей в себя устройство отображения, устройство дистанционного управления и сервер согласно варианту осуществления настоящего раскрытия;

Фиг. 6 – блок-схема устройства отображения, устройства дистанционного управления и сервера согласно варианту осуществления настоящего раскрытия;

Фиг. 7 – блок-схема операций, демонстрирующая способ управления устройством отображения на основании ситуации согласно варианту осуществления настоящего раскрытия;

Фиг. 8 – блок-схема операций, демонстрирующая способ управления устройством отображения на основании ситуации согласно варианту осуществления настоящего раскрытия;

Фиг. 9 – блок-схема операций, демонстрирующая способ управления устройством отображения на основании ситуации согласно варианту осуществления настоящего раскрытия;

Фиг. 10 – блок-схема операций, демонстрирующая способ управления устройством отображения на основании ситуации согласно варианту осуществления настоящего раскрытия;

Фиг. 11 – блок-схема операций, демонстрирующая способ управления устройством отображения на основании ситуации согласно варианту осуществления настоящего раскрытия;

Фиг. 12 – схема, демонстрирующая состояние, в котором устройство отображения управляется согласно способу управления устройством отображения на основании ситуации согласно варианту осуществления настоящего раскрытия;

Фиг. 13 – схема, демонстрирующая состояние, в котором устройство отображения управляется согласно способу управления устройством отображения на основании ситуации согласно варианту осуществления настоящего раскрытия;

Фиг. 14 – схема, демонстрирующая состояние, в котором устройство отображения управляется согласно способу управления устройством отображения на основании ситуации согласно варианту осуществления настоящего раскрытия; и

Фиг. 15 – блок-схема операций, демонстрирующая способ распознавания лица пользователя и управления устройством отображения согласно варианту осуществления настоящего раскрытия.

Предпочтительные варианты осуществления

Обратимся к подробному описанию вариантов осуществления, примеры которых проиллюстрированы в прилагаемых чертежах, где аналогичные ссылочные позиции относятся к аналогичным элементам. Варианты осуществления описаны ниже для объяснения настоящего раскрытия со ссылкой на фигуры.

В дальнейшем, устройство отображения и устройство дистанционного управления для управления устройством отображения согласно варианту осуществления настоящего раскрытия будут описаны со ссылкой на Фиг. 1-6.

На Фиг. 1 показана схема, демонстрирующая систему управления устройства отображения, включающую в себя устройство отображения и устройство дистанционного управления для управления устройством отображения согласно варианту осуществления настоящего раскрытия.

Система управления устройства отображения варианта осуществления настоящего раскрытия включает в себя устройство 100 дистанционного управления и устройство 200 отображения, которое может управляться устройством 100 дистанционного управления. Устройство 100 дистанционного управления и устройство 200 отображения могут обмениваться командами или данными друг с другом по сети беспроводной связи с использованием различных стандартов мобильной связи, например Bluetooth, Wi-Fi, или 3GPP, 3GPP2, или WiMax.

Устройство 100 дистанционного управления может дистанционно управлять устройством 200 отображения, например TV.

Согласно варианту осуществления настоящего раскрытия, устройство 100 дистанционного управления представляет собой пульт дистанционного управления, который имеет заранее определенные кнопки, сформированные на одной его поверхности или на множественных его поверхностях, и излучает инфракрасный свет, имеющий заранее определенную частоту, на устройство 200 отображения для управления устройством 200 отображения согласно кнопке, манипулируемой пользователем.

Согласно варианту осуществления настоящего раскрытия, устройство 100 дистанционного управления может представлять собой терминал, включающий в себя модуль беспроводной связи, который имеет сенсорный экран или заранее определенные кнопки, сформированные на его внешней поверхности, генерирует заранее определенный сигнал управления согласно манипуляции физической кнопкой или сенсорным экраном со стороны пользователя, отправляет сгенерированный сигнал управления на устройство 200 отображения по различным сетям беспроводной связи, и управляет устройством 200 отображения, например пульт дистанционного управления, включающий в себя модуль беспроводной связи или смартфон.

Все виды устройств дистанционного управления для управления устройством 200 отображения на заранее определенном расстоянии можно использовать в качестве устройства 100 дистанционного управления варианта осуществления настоящего раскрытия.

Согласно варианту осуществления настоящего раскрытия, устройство 200 отображения может выводить изображение или изображение и звук для предоставления видео- и/или аудиоконтента пользователю.

Устройство 200 отображения может включать в себя инфракрасный блок приема для приема инфракрасного света, излучаемого от устройства 100 дистанционного управления, управляемого устройством 100 дистанционного управления или блок передачи для передачи заранее определенной команды управления от устройства 100 дистанционного управления, например микросхему радиосвязи, согласно вариантам осуществления настоящего раскрытия.

Различные устройства отображения, которые могут управляться устройством 100 дистанционного управления, могут быть включены согласно варианту осуществления настоящего раскрытия. Например, устройство 200 отображения может представлять собой TV или различные реализации устройства отображения электронного изображения, например дисплей холодильника, установленный в корпусе холодильника. Кроме того, примеры устройства отображения включают в себя домашние приспособления для отображения изображения на экране, например, компьютера, игровой консоли, смартфона и т.д. Модуль проектора пучка для проецирования света, например, лазерных пучков на проекционную поверхность и для отображения изображения, и экран может быть включен в устройство отображения согласно вариантам осуществления настоящего раскрытия.

Согласно варианту осуществления настоящего раскрытия, внешняя ситуационная информация собирается с использованием устройства 100 дистанционного управления и устройства 200 отображения, текущее состояние пользователя или окружающей среды контролируется на основании собранной информации, и команда управления устройства 200 отображения генерируется на основании контролируемого текущего состояния для управления устройством 200 отображения. Согласно варианту осуществления настоящего раскрытия, можно управлять командой управления устройства дистанционного управления.

В дальнейшем, вариант осуществления системы, включающей в себя устройство 100 дистанционного управления и устройство 200 отображения, будет описано со ссылкой на Фиг. 2.

На Фиг. 2 показана блок-схема, демонстрирующая систему управления устройства отображения, включающую в себя устройство дистанционного управления согласно варианту осуществления настоящего раскрытия.

Согласно Фиг. 2, устройство 100 дистанционного управления согласно варианту осуществления настоящего раскрытия включает в себя, например, средство 110 сбора информации для сбора ситуационной информации из внешнего окружения с использованием различных видов датчиков и блок 140 извещения для вывода света или звука и сообщения пользователю ситуационной информации. В дальнейшем, средство 110 сбора информации устройства 100 дистанционного управления именуется первым средством сбора 110 информации, чтобы отличать его от средства 210 сбора информации устройства 200 отображения.

Устройство 200 отображения может включать в себя блок 220 определения ситуации (в дальнейшем блок определения ситуации устройства 200 отображения именуется вторым блоком определения ситуации, чтобы отличать его от блока 120 определения ситуации устройства 100 дистанционного управления) для определения текущего состояния пользователя на основании внешней ситуационной информации, собранной первым средством сбора 110 информации устройства 100 дистанционного управления, и контроллер 230 (в дальнейшем контроллер устройства 200 отображения именуется вторым контроллером, чтобы отличать его от контроллера 130 устройства 100 дистанционного управления) для передачи результата определения второго блока 220 определения ситуации на устройство 100 дистанционного управления или генерации команды управления согласно результату определения и для управления устройством 200 отображения.

Согласно варианту осуществления настоящего раскрытия, устройство 200 отображения может дополнительно включать в себя средство 210 сбора информации (далее именуемое вторым средством сбора информации, чтобы отличать его от первого средства сбора информации устройства 100 дистанционного управления) для сбора ситуационной информации из внешнего окружения. В этом случае, второй блок 220 определения ситуации определяет ситуацию с использованием ситуационной информации, собранной с использованием второго средства 210 сбора информации устройства 200 отображения или определяет текущее состояние с использованием собранной ситуационной информации от средств 110 и 210 сбора информации устройства 100 дистанционного управления и устройства 200 отображения.

Согласно варианту осуществления настоящего раскрытия, как показано на Фиг. 2, устройство 200 отображения может включать в себя базу данных 221 информации определения, в которой хранится информация для определения внешней ситуации второго блока 220 определения ситуации, или базу данных 231 информации управления в которой хранится информация для генерации команды управления устройства 200 отображения вторым контроллером 230. Согласно варианту осуществления, устройство 200 отображения может быть подключено к внешней базе данных 221 информации определения или базе данных 231 информации управления по сети проводной/беспроводной связи.

Согласно варианту осуществления, устройство 200 отображения может дополнительно включать в себя блок 240 отображения для отображения различного аудио/видеоконтента пользователю, память 250 для хранения информации, собранной вторым средством сбора 210 информации, команды управления контроллера 230 или данных изображения, захваченного камерой 270, установленной на передней поверхности, боковой поверхности или задней поверхности устройства 200 отображения, и блок 260 обновления для анализа шаблона манипуляций пользователя на основании сохраненной информации и для изучения результата анализа.

Как показано на Фиг. 2, согласно варианту осуществления, устройство 200 отображения может дополнительно включать в себя модуль 270 камеры, установленный в устройстве 200 отображения для захвата изображения или модуль 280 проектора для проецирования пучков на внешнюю проекционную поверхность и для отображения изображения на проекционной поверхности.

Соответственно, в системе управления устройства отображения, включающей в себя устройство отображения и пульт дистанционного управления настоящего раскрытия, ситуационная информация, собранная средством сбора 110 или 210 информации устройства 100 дистанционного управления или устройства 200 отображения, передается на устройство 200 отображения, и устройство 200 отображения определяет ситуацию на основании собранной ситуационной информации, генерирует соответствующую ей команду управления и управляет устройством 200 отображения.

Согласно варианту осуществления, как показано на Фиг. 4A, блок 120 определения ситуации для определения ситуационной информации и контроллер 130 для генерации команды управления включены в устройство 100 дистанционного управления для определения ситуации и генерации команды управления.

В дальнейшем, как показано на Фиг. 2, компоненты будут описаны согласно варианту осуществления, в котором блок 220 определения ситуации и контроллер 230 включены в устройство 200 отображения.

Сначала средства 110 и 210 сбора информации для сбора ситуационной информации согласно варианту осуществления настоящего раскрытия будет описаны со ссылкой на Фиг. 3 и 4A.

Согласно варианту осуществления настоящего раскрытия, средства 110 и 210 сбора информации, то есть первое средство 110 сбора информации и/или второе средство 210 сбора информации, собирают ситуационную информацию внешнего окружения, то есть ситуационную информацию a1 состояния тела пользователя или ситуационную информацию a2 окружающей среды.

В частности, различные условия внешнего окружения, например свет, звук, температура или движение, регистрируются и преобразуются в цифровые данные, информация от внешнего устройства, например глобальной системы позиционирования (GPS), принятая посредством связи со спутником, принимается, или информация о воспроизводимой программе принимается по сети проводной/беспроводной связи, и, таким образом, получается различная ситуационная информация.

Ситуационная информация a1 состояния тела пользователя включает в себя различную информацию, указывающую состояние тела пользователя, например пульс, частоту дыхания или температуру.

Ситуационная информация a2 окружающей среды включает в себя информацию о различных окружающих средах или воспроизводимой программе, например количество света, внешний звук, количество людей вокруг устройства, информацию о программе, воспроизводимой устройством 200 отображения, информацию времени и т.д.

Средства 110 и 210 сбора информации варианта осуществления настоящего раскрытия могут быть включены только в одно из устройства 100 дистанционного управления и устройства 200 отображения или могут быть включены и в устройство 100 дистанционного управления, и в устройство 200 отображения.

Средства 110 и 210 сбора информации могут быть выполнены так, чтобы случайным образом располагаться в произвольном положении устройства 100 дистанционного управления или устройства 200 отображения или в оптимальном положении для регистрации окружающих сред, ситуационная информация которых будет получена, например свет, звук, вибрации или различные биосигналы.

Согласно варианту осуществления настоящего раскрытия, средства 110 и 220 сбора информации могут быть выполнены таким образом, что пользователь распознает присутствие/отсутствие датчика.

Согласно варианту осуществления настоящего раскрытия, как показано на Фиг. 3 и 4A, первое средство 110 сбора информации устройства дистанционного управления или второе средство 210 сбора информации устройства 200 отображения может включать в себя, по меньшей мере, один из датчиков 111 и 211 биосигнала, оптических датчиков 112 и 212, акустических датчиков 113 и 213, датчиков 114 и 214 движения, датчиков 115 и 215 температуры и распознавателей 117 и 216 лиц и может, при необходимости, дополнительно включать в себя средство сбора информации, например датчик, который не описан или не показан.

Датчики 111 и 211 биосигнала регистрируют состояние тела пользователя и собирают ситуационную информацию a1 состояния тела пользователя.

В данном случае, ситуационная информация a1 состояния тела пользователя относится к информации о состоянии тела человека, например зрителя, который наблюдает устройство отображения. Другими словами, ситуационная информация a1 состояния тела пользователя относится к различной информации, указывающей, спит ли пользователь, устал, или возбужден.

В частности, ситуационная информация a1 состояния тела пользователя может включать в себя, например, биологическую информацию, например температуру, пульс, частоту дыхания, мозговые колебания или частоту сердечных сокращений.

Датчики 111 и 211 биосигнала собирают ситуационную информацию a1 состояния тела пользователя. Датчики 111 и 211 биосигнала, в общем случае, установлены в устройстве 100 дистанционного управления, находящемся вблизи пользователя, для того, чтобы легко и точно изменять биосигнал пользователя.

В этом случае, датчик 111 биосигнала может быть установлен в произвольном положении устройства 100 дистанционного управления или в оптимальном положении для регистрации биосигнала.

Согласно варианту осуществления настоящего раскрытия, датчики 111 и 211 биосигнала могут представлять собой датчик тепла, установленный в конкретном положении устройства 100 дистанционного управления, например в месте хвата устройства 100 дистанционного управления, для измерения температуры человека, или датчик пульса, установленный на участке тела пользователя, например на конце пальца человека, для измерения пульса человека.

Датчики 111 и 211 биосигнала могут быть установлены в устройстве отображения 100 согласно ситуационной информации a1 состояния тела пользователя, подлежащего получению, как показано на Фиг. 2.

Оптические датчики 112 и 212 регистрируют свет и собирают ситуационную информацию a2 окружающей среды.

Информация a2 окружающей среды относится к различным условиям окружения вокруг устройства 100 дистанционного управления или устройства 200 отображения, например присутствию света, количеству света, присутствию и громкости звука и присутствию и движению внешнего объекта.

Оптические датчики 112 и 212 регистрируют свет в окружающей среде для измерения количества света или регистрируют присутствие внешнего объекта, движение или форму объекта, преобразуют результат регистрации в электрический сигнал и получают ситуационную информацию a2 окружающей среды. Для оптических датчиков 112 и 212, можно использовать фотодиод или фототранзистор для преобразования света в электрический сигнал или можно использовать инфракрасный светодиод для преобразования инфракрасного света в электрический сигнал.

Согласно варианту осуществления настоящего раскрытия, оптические датчики 112 и 212 могут дополнительно включать в себя светоизлучающий модуль для облучения мишени видимым светом или инфракрасным светом таким образом, что оптические датчики 112 и 212 принимают свет, отраженный от мишени, и выявляют мишень.

Акустические датчики 113 и 213 регистрируют и измеряют голос или звук вокруг устройства 200 отображения и получают ситуационную информацию a2 окружающей среды.

Акустические датчики 113 и 213 регистрируют звуковую волну, имеющую заранее определенную частоту, доставляемую по воздуху, с использованием преобразователя, например слышимый звук, и преобразуют звук в электрический сигнал, таким образом, получая ситуационную информацию a2 различных голоса или звука окружающей среды, например голоса людей.

Примеры акустических датчиков 113 и 213 включают в себя микрофон.

Датчики 114 и 214 движения регистрируют перемещение устройства. Например, датчики 114 и 214 движения регистрируют перемещение устройства 100 дистанционного управления или устройства 200 отображения, в котором установлен датчик 114 или 214 движения и преобразуют результат регистрации в электрический сигнал.

Для датчиков 114 и 214 движения можно использовать, например, акселерометр, датчик наклона, датчик вращения, гироскоп и т.д.

Датчики 114 и 214 движения могут регистрировать, встряхивает ли пользователь или перемещает устройство дистанционного управления, например пульт дистанционного управления, и регистрируют направление, в котором перемещается пульт дистанционного управления.

Поскольку устройство 200 отображения зафиксировано в заранее определенном положении, датчики 114 и 214 движения, в общем случае, установлены в устройстве 100 дистанционного управления, манипулируемом пользователем.

Датчики 115 и 215 температуры измеряют тепло внешнего воздуха или объекта и измеряют температуру. Для датчиков 115 и 215 температуры можно использовать различные датчики для измерения температуры окружающей среды, например платиновый резистивный температурный детектор, термистор или термопару.

Устройство 100 дистанционного управления или устройство 200 отображения может определять, является ли периферия устройства 200 отображения, например комната, в которой находится устройство 200 отображения, теплой или холодной, с использованием датчиков 115 и 215 температуры.

Согласно варианту осуществления настоящего раскрытия, средства 110 и 210 сбора информации устройства 100 дистанционного управления и устройства 200 отображения могут включать в себя распознаватели 117 и 216 лиц.

Распознаватель 117 или 216 лиц распознает лицо из изображения, принятого от 270 камеры, установленной в устройстве 100 дистанционного управления или устройстве 200 отображения, и собирает ситуационную информацию пользователя.

Согласно варианту осуществления настоящего раскрытия, распознаватель 216 лиц устройства 200 отображения сначала выявляет лицо из изображения, принятого от 270 камеры, и затем выявляет характерные точки выявленного лица, например зрачок или уголок рта. После выявления характерных точек положения характерных точек и информация о выражении лица или форме лица на основании заранее заданных положений характерных точек сравниваются для анализа характерных точек, и генерируется ситуационная информация, включающая в себя информацию лица и информацию выражения лица для лица, включенного в изображение.

Согласно варианту осуществления настоящего раскрытия, средство 110 или 210 сбора информации может включать в себя датчик 116 давления.

Датчик 116 давления измеряет давление, приложенное к датчику. Примеры датчика давления включают в себя датчик на основе проводящей резины для измерения давления согласно деформации проводящей резины на основании давления, приложенного к проводящей резине.

Датчик 116 давления может включать в себя датчик давления, где используется проводящая резина, полимер, чувствительный к давлению, или пьезоэлектрический полимер согласно материалу, чувствительному к давлению, и включают в себя централизованный датчик давления или распределенный датчик давления согласно способу регистрации.

Датчик 116 давления, в общем случае, может быть установлен в устройстве 100 дистанционного управления, которое часто используется пользователем, или, при необходимости, также может быть установлен в устройстве 200 отображения.

Согласно варианту осуществления настоящего раскрытия, второе средство 210 сбора информации может дополнительно включать в себя модуль 270 камеры.

Модуль 270 камеры захватывает внешнюю мишень. В частности, модуль 270 камеры регистрирует внешний видимый свет и преобразует видимый свет в электрический сигнал, таким образом, получая неподвижное или движущееся изображение.

Изображение, принятое с помощью модуля 270 камеры, хранится в памяти 250 устройства 200 отображения, таким образом, что распознаватель 217 лиц распознает лицо, или изображение отображается на блоке 240 отображения устройства 200 отображения.

Хотя это не показано, согласно варианту осуществления настоящего раскрытия, средство 110 или 210 сбора информации устройства 100 дистанционного управления или устройство 200 отображения может дополнительно включать в себя различные датчики для сбора различной ситуационной информации, помимо вышеописанных датчиков 111-270.

Например, средство 110 или 210 сбора информации может включать в себя ультразвуковой датчик (не показан) для регистрации ультразвуковых волн.

Ультразвуковой датчик облучает внешнюю мишень неслышимыми ультразвуковыми волнами и регистрирует ультразвуковые эхо-волны, отраженные от мишени, таким образом, собирая информацию о присутствии мишени, форме мишени или движении мишени.

Средство 110 или 210 сбора информации собирает информацию времени, выводимую из процессора устройства 100 дистанционного управления или устройства 200 отображения или принятую от внешнего спутника, и позволяет контроллеру 130 или 230 генерировать команду управления, которая изменяется в соответствии с тем, когда собирается ситуационная информация.

Средство 110 или 210 сбора информации может собирать информацию о контенте, воспроизводимом на экране устройства 200 отображения, то есть блока 240 отображения, например информацию путеводителя по программам (EPG). EPG можно собирать, принимая EPG по сети проводной/беспроводной связи или считывая информацию пользовательского журнала из памяти устройства 100 дистанционного управления или устройства 200 отображения.

Информация пользовательского журнала представляет собой метаинформацию, например записи, указывающие, воспроизводится ли один фрагмент контента или данные, относящиеся к нему, и включает в себя, например, историческую информацию, например, сколько раз пользователь просмотрел контент и сколько раз пользователь остановил просмотр контента или время последнего просмотра.

Ситуационную информацию a1 состояния тела пользователя, например присутствие пользователя или действие пользователя, и ситуационную информацию a2 окружающей среды, например количество света, температуру, время, количество людей вокруг устройства 200 отображения, присутствие объекта между пользователем и устройством 200 отображения, воспроизводимую программу и различную информацию для оценивания эмоционального состояния пользователя, можно собирать с использованием средством сбора 110 или 210 информации.

Как описано выше, ситуационная информация a1 или a2 состояния тела пользователя или окружающей среды, собранная средством сбора 110 или 210 информации, отправляется на второй блок 220 определения ситуации устройства 200 отображения, как показано на Фиг. 2, или на первый блок 120 определения ситуации устройства 100 дистанционного управления, как показано на Фиг. 3a, и используется каждым устройством 100 или 200.

В дальнейшем, компоненты варианта осуществления настоящего раскрытия, в котором блок определения ситуации и контроллер включены в устройство 200 отображения системы, будут описаны со ссылкой на Фиг. 3.

Средство 110 или 210 сбора информации, показанное на Фиг. 2 и 3, среди компонентов устройства 200 отображения, описано выше. В дальнейшем, согласно варианту осуществления настоящего раскрытия, второй блок 220 определения ситуации устройства 200 отображения будет описан со ссылкой на Фиг. 3.

Согласно варианту осуществления настоящего раскрытия, второй блок 220 определения ситуации определяет текущее состояние пользователя на основании собранной ситуационной информации a1 и a2 внешнего окружения и определяет текущую ситуацию. Таким образом, второй блок 220 определения ситуации определяет текущее состояние пользователя и ощущения пользователя с использованием множества фрагментов ситуационной информации, собранной с помощью второго средства 210 сбора информации, например ситуационной информации a1 состояния тела пользователя, например температуры и пульса пользователя, количества света, громкости звука, движения, выражения лица пользователя, информации о воспроизводимой программе или текущего времени.

В это время второй блок 220 определения ситуации принимает ситуационную информацию, собранную из внешнего окружения, например количество света, температуру, громкость звука или состояние тела пользователя, в качестве входного значения и подставляет входное значение в заранее определенный алгоритм определения ситуации для получения результирующего значения и определяет текущее состояние пользователя или окружающей среды согласно результирующему значению.

Другими словами, второй блок 220 определения ситуации может определять окружение и состояние пользователя.

Например, второй блок 220 определения ситуации может определять количество света, регистрируемое оптическими датчиками 112 и 212, громкость звука, регистрируемую акустическими датчиками 113 и 213, спит ли пользователь, согласно биосигналу 211 пользователя, или в каком окружении пользователь спит, например спит ли пользователь с выключенным освещением.

Чтобы второй блок 220 определения ситуации мог определить ситуацию, можно использовать множество алгоритмов определения ситуации согласно собранной ситуационной информации и информации определения. Несколько фрагментов ситуационной информации можно использовать в качестве входного значения одного алгоритма или один фрагмент ситуационной информации можно использовать в качестве входного значения множества алгоритмов определения ситуации. Кроме того, отдельные ситуации определяются с использованием нескольких алгоритмов, и определенные отдельные ситуации объединяются для определения общей ситуации устройства 100 дистанционного управления и устройства 200 отображения.

Как и в вышеописанном примере, определение, бодрствует ли или спит пользователь, производится из биосигнала пользователя с использованием заранее определенного алгоритма, определение, включено ли или выключено освещение, производится с использованием информации о количестве света, текущем времени или времени, истекшем после включения освещения, определяется на основании информации времени, выводимой из процессора, и затем производится определение, не собирается ли пользователь спать ночью.

Согласно варианту осуществления настоящего раскрытия, как показано на Фиг. 2, для определения второго блока 220 определения ситуации можно использовать базу данных 221 информации определения.

В базе данных 221 информации определения хранится информация определения для определения текущего состояния пользователя на основании ситуационной информации.

Информация определения относится к информации определения, когда ситуационная информация находится в заранее определенном диапазоне или имеет заранее определенное значение. Например, информация определения относится к информации о способе определения согласно собранной ситуационной информации, например определения, что освещение отключено, если количество регистрируемого света находится в заранее определенном диапазоне, или определения, что пользователь чувствует себя хорошо, если пользователь улыбается.

В этом случае, второй блок 220 определения ситуации ищет в базе данных 221 информации определения информацию определения, соответствующую ситуационной информации, в связи с собранной ситуационной информацией a1 и a2. При наличии информации определения, соответствующей ситуационной информации, определение в отношении текущего состояния пользователя производится согласно информации определения, соответствующей ситуационной информации. В отсутствие информации определения, соответствующей ситуационной информации, второй блок 220 определения ситуации заканчивает определение и ожидает, пока не будет собрана другая ситуационная информация.

Согласно определению второго блока 220 определения ситуации, различные состояния пользователя и результаты определения ситуации окружающей среды, например обнаружение и распознавание пользователя, количество людей, находящихся перед устройством отображения, различные ощущения пользователя, например удовольствие, счастье, уныние, печаль, тоска, гнев или страх, спит пользователь или нет, интенсивность освещения или стресс пользователя.

Результат, определенный вторым блоком 220 определения ситуации, отправляется на второй контроллер 230, как показано на Фиг. 2 и 3, и второй контроллер 230 устройства 200 отображения генерирует и отправляет команду управления, соответствующую результату определения, на мишень, подлежащую управлению.

В дальнейшем, согласно варианту осуществления настоящего раскрытия, будет описан второй контроллер 230 устройства 200 отображения.

Согласно варианту осуществления настоящего раскрытия, второй контроллер 230 устройства 200 отображения генерирует команду управления для управления устройством 100 дистанционного управления и/или устройством 200 отображения, например блоком 240 отображения или модулем проектора изображения, например модулем 280 проектора пучка устройства 200 отображения согласно результату определения текущего состояния на основании собранной ситуационной информации. Кроме того, второй контроллер 230 может генерировать команду управления для управления операциями различных компонентов, образующих устройство 200 отображения.

Благодаря управлению устройством 200 отображения, устройство 200 отображения может предоставлять пользователю услугу для стимулирования чувств пользователя на основании состояния или ощущения пользователя или окружающей среды.

Согласно варианту осуществления настоящего раскрытия, второй контроллер 230 генерирует информацию управления для управления устройством 100 дистанционного управления для вывода заранее определенного сигнала извещения согласно результату определения и передает информацию управления на устройство 100 дистанционного управления, как показано на Фиг. 2. Информация управления может включать в себя информацию о работе блока 140 извещения устройства 100 дистанционного управления, например шаблон света, излучаемого из светоизлучающего модуля (151 на Фиг. 3a) блока 140 извещения, информацию о сигнале извещения, например информация о звуке, выводимом из модуля акустического вывода 153 блока 140 извещения, и т.д. Блок 140 извещения устройства 100 дистанционного управления действует согласно информации управления.

Согласно варианту осуществления настоящего раскрытия, второй контроллер 230 может передавать на устройство 100 дистанционного управления только результат определения. В этом случае, устройство 100 дистанционного управления может определять сигнал извещения, подлежащий выводу, на основании принятого результата определения и управлять блоком 140 извещения, таким образом выводя сигнал извещения, например заранее определенный свет или звук.

Согласно варианту осуществления настоящего раскрытия, второй контроллер 230 может генерировать команду управления согласно результату определения второго блока 220 определения ситуации, обращаясь к базе данных 231 информации управления, как показано на Фиг. 2.

В базе данных 231 информации управления может храниться информация управления устройства 100 дистанционного управления и/или устройства 200 отображения, соответствующая текущему состоянию пользователя, определенному на основании ситуационной информации.

Информация управления может управлять камерой устройства отображения для захвата изображения, если собранная ситуационная информация соответствует заранее определенному условию, или управлять устройством отображения для отображения изображения, захваченного камерой устройства отображения, в режиме "картинка в картинке" (PIP). Кроме того, информация управления может управлять эскизным изображением, по меньшей мере, одного изображения, захваченного камерой устройства отображения, для регулярного размещения на экране устройства отображения, или может управлять информацией, связанной с изображением, отображаемым на экране устройства отображения, для отображения на экране устройства отображения.

Информация управления может включать в себя различную информацию управления согласно различным типам услуг для стимулирования чувств пользователя через устройство 200 отображения.

Согласно варианту осуществления настоящего раскрытия, второй контроллер 230 ищет в базе данных 231 информацию управления согласно текущему состоянию пользователя, определенному вторым блоком 220 определения ситуации, считывает информацию управления устройства 100 дистанционного управления и/или устройства 200 отображения, соответствующую текущей ситуации, если информация управления присутствует в базе данных 231 информации управления, и генерирует соответствующую ей команду управления. Альтернативно, если информация управления устройства 100 дистанционного управления и/или устройства 200 отображения, соответствующая текущей ситуации, отсутствует, второй контроллер может заканчивать генерацию команды управления и ждать, пока от второго блока 220 определения ситуации не будет принята другая ситуационная информация.

Согласно варианту осуществления настоящего раскрытия, второй контроллер 230 может генерировать новую информацию управления согласно пользовательской команде, принятой через блок ввода устройства 100 дистанционного управления, например различные кнопки (см. 140 на Фиг. 4A или 130a на Фиг. 4B), расположенные на пульте дистанционного управления, или корректировать уже сгенерированную информацию управления для генерации новой информации управления.

В частности, в этом случае, блок ввода устройства 100 дистанционного управления может принимать пользовательскую команду от пользователя после того, как блок 140 извещения выводит сигнал извещения пользователю.

Таким образом, если пользователь манипулирует устройством 100 дистанционного управления согласно информации извещения, выводимой из блока 140 извещения, информация о манипуляции передается на второй контроллер 230 устройства 200 отображения, и второй контроллер 230 генерирует новую информацию управления, соответствующую ей.

Например, после определения, что пользователь может долго не спать ночью, на основании ситуационной информации, собранной вторым контроллером 230, второй контроллер 230 может оперировать модулем 280 проектора устройства 200 отображения и проецировать пучки таким образом, что на потолке комнаты пользователя отображается созвездие. В это время, когда пользователь манипулирует устройством 100 дистанционного управления и вводит команду остановки работы модуля 280 проектора, второй контроллер 230 может генерировать новую команду управления для остановки работы модуля 280 проектора согласно введенной пользовательской команде.

Кроме того, хотя, согласно варианту осуществления настоящего раскрытия, второй контроллер 230 может при необходимости генерировать команду управления согласно результату определения второго блока 220 определения ситуации, второй контроллер 230 может случайным образом генерировать команду управления, соответствующую результату определения согласно варианту осуществления. Другими словами, контроллер 230 может генерировать или не генерировать команду управления для управления устройством 100 дистанционного управления или устройством 200 отображения даже при одном и том же результате определения блока 220 определения ситуации.

Таким образом, пользователь может неожиданно принимать услугу с использованием устройства 200 отображения. Таким образом, существует возможность дополнительно стимулировать чувства пользователя.

Согласно варианту осуществления настоящего раскрытия, устройство 200 отображения включает в себя блок 240 отображения для отображения различных изображений, принятых от внешнего устройства или хранящихся во внутренней памяти, согласно команде управления второго контроллера 230.

Согласно варианту осуществления настоящего раскрытия, устройство 200 отображения может дополнительно включать в себя память 250 для хранения вышеописанной команды управления или различной информации, собранной внешним устройством через сеть интернет, или изображения, захваченного посредством камеры 270 согласно вышеописанной команде управления, например различной метаинформации изображения, воспроизводимого через устройство 200 отображения. Данные, хранящиеся в памяти 250, могут извлекаться вторым контроллером 230 и, при необходимости, использоваться для обучения устройства 200 отображения и могут отображаться через блок 240 отображения.

Согласно варианту осуществления настоящего раскрытия, устройство 200 отображения может дополнительно включать в себя блок 260 обновления для анализа шаблона манипуляций пользователя на основании информации, хранящейся в памяти 250, и для обновления базы данных 231 информации управления на основании результата анализа.

База данных 231 информации управления устанавливается поставщиком услуг, который предоставляет услугу с использованием системы управления устройства отображения, включающей в себя устройство дистанционного управления, и не включает в себя индивидуальные характеристики пользователей.

Соответственно, пользовательская манипуляция, например пользовательская манипуляция через блок 150 ввода устройства 100 дистанционного управления, статистически анализируется, и команда управления для управления устройством 200 отображения обновляется согласно реакции или предпочтениям пользователя в отношении конкретной ситуации. База данных 231 информации управления обновляется блоком 260 обновления.

Другими словами, устройство 200 отображения учится управлять устройством 200 отображения для предоставления услуги согласно предпочтениям пользователь через блок 260 обновления.

Согласно варианту осуществления настоящего раскрытия, устройство 200 отображения может дополнительно включать в себя модуль 270 камеры для захвата внешнего изображения. Модуль 270 камеры может захватывать неподвижное изображение и движущееся изображение.

Согласно варианту осуществления настоящего раскрытия, устройство 200 отображения может дополнительно включать в себя модуль 280 проектора для проецирования изображения на внешнюю проекционную поверхность.

Модуль 280 проектора проецирует свет, например видимый свет или лазерный свет, на внешнюю проекционную поверхность, например экран, стену или потолок, для формирования заранее определенного изображения на проекционной поверхности.

В дальнейшем, пример, в котором устройство 100 дистанционного управления определяет ситуацию и генерирует команду управления, будет описан со ссылкой на Фиг. 4A.

На Фиг. 4A показана блок-схема устройства дистанционного управления согласно варианту осуществления настоящего раскрытия.

Как показано на Фиг. 4A, устройство дистанционного управления согласно варианту осуществления настоящего раскрытия может включать в себя первое средство 110 сбора информации, первый блок 120 определения ситуации, первый контроллер 130 и блок 140 извещения. Первое средство 110 сбора информации описано выше.

Первый блок 120 определения ситуации устройства 100 дистанционного управления определяет текущее состояние пользователя на основании ситуационной информации, собранной первым средством сбора 110 информации, аналогично второму блоку 220 определения ситуации устройства 200 отображения.

Согласно варианту осуществления настоящего раскрытия, первый блок 120 определения ситуации может определять текущее состояние пользователя с использованием только первого средства 110 сбора информации устройства дистанционного управления или принимать ситуационную информацию, собранную вторым средством сбора 210 информации устройства 200 отображения, для определения текущего состояния пользователя.

Результат определения, полученный первым блоком 120 определения ситуации устройства дистанционного управления, передается на устройство 200 отображения согласно варианту осуществления настоящего раскрытия таким образом, что второй контроллер 230 устройства 200 отображения генерирует команду управления с использованием результата определения.

Согласно варианту осуществления настоящего раскрытия, результат определения, полученный первым блоком 120 определения ситуации устройства дистанционного управления, отправляется на первый контроллер 130 устройства 100 дистанционного управления.

Согласно варианту осуществления настоящего раскрытия, устройство 100 дистанционного управления может дополнительно включать в себя первый контроллер 130 для генерации заранее определенной команды управления на основании результата определения первого блока 120 определения ситуации.

Первый контроллер 130 устройства 100 дистанционного управления генерирует команду управления для управления работой блока извещения устройства 100 дистанционного управления согласно результату определения и отправляет команду управления на блок 140 извещения. Первый контроллер 130 устройства 100 дистанционного управления генерирует команду управления для управления устройством 200 отображения, например команду управления для приведения в действие модуля 270 камеры или модуля 280 проектора, и отправляет команду управления на устройство 200 отображения.

Как описано выше, если устройство 200 отображения включает в себя второй контроллер 230, и второй контроллер 230 генерирует команду управления для управления работой блока 140 извещения устройства 100 дистанционного управления согласно результату определения и отправляет команду управления на устройство 100 дистанционного управления, первому контроллеру 130 устройства 100 дистанционного управления не нужно генерировать команду управления для управления блоком 140 извещения.

Как описано выше, если второй контроллер 230 устройства 200 отображения генерирует команду управления устройства 200 отображения, первому контроллеру 130 устройства 100 дистанционного управления не нужно генерировать команду управления устройства 200 отображения.

Например, согласно варианту осуществления настоящего раскрытия, первый контроллер 130 устройства 100 дистанционного управления генерирует команду управления для управления только блоком 140 извещения устройства 100 дистанционного управления на основании результата определения текущего состояния пользователя с использованием ситуационной информации и отправляет результат определения на устройство 200 отображения таким образом, что второй контроллер 230 устройства 200 отображения генерирует команду управления для управления устройством 200 отображения на основании результата определения.

Как описано со ссылкой на Фиг. 2, контроллер 110 может обращаться к базе данных информации управления, хранящейся в памяти устройства 100 дистанционного управления, или доступной устройству 100 дистанционного управления по сети беспроводной связи при генерации команды управления, согласно варианту осуществления.

Согласно варианту осуществления настоящего раскрытия, устройство 100 дистанционного управления дополнительно включает в себя блок 140 извещения.

Блок извещения служит для вывода заранее определенного сигнала извещения, соответствующего текущему состоянию пользователя, определенному первым блоком 120 определения ситуации устройства 100 дистанционного управления или вторым блоком 220 определения ситуации устройства 200 отображения.

Другими словами, когда блоки 120 и 220 определения ситуации определяют состояние пользователя и затем устройство 200 отображения управляется согласно результату определения, пользователь извещается о предоставлении новой услуги через устройство 200 отображения.

Блок извещения может просить пользователя манипулировать блоком 150 ввода устройства 100 дистанционного управления и ввести пользовательскую команду, необходимую для управления устройством 200 отображения.

Блок 140 извещения включает в себя, по меньшей мере, один из светоизлучающего модуля 141 для излучения света, модуля 142 генерации вибрации для вибрации устройства 100 дистанционного управления и модуля 143 акустического вывода для вывода звука, согласно варианту осуществления настоящего раскрытия.

Светоизлучающий модуль 141 управляет источником света для излучения заранее определенного света согласно команде управления излучением света, принятой от контроллера 130 или 230.

Светоизлучающий модуль 141 включает в себя источник света, например лампу с нитью накала, установленный на внешней поверхности устройства 100 дистанционного управления, или светодиод (СИД), использующий эффект электролюминесценция, и схему для управления источником света.

Согласно варианту осуществления настоящего раскрытия, светоизлучающий модуль 141 может излучать свет, цвет или энергия которого изменяется согласно результату определения текущего состояния пользователя с использованием ситуационной информации, или может излучать свет в разных шаблонах. Например, цвет излучаемого света или период мигания излучаемого света может изменяться согласно результату определения. Шаблон света может изменяться согласно результату определения. Например, сначала мигать красный свет и затем мигать желтый свет спустя заранее определенное время, или шаблон света может изменяться со временем.

Соответственно, пользователь интуитивно представляет себе результат определения, сгенерированный устройством 100 дистанционного управления или устройством 200 отображения, или как управляется устройство 200 отображения, через шаблон или форму света, излучаемого из светоизлучающего модуля 141.

Согласно варианту осуществления настоящего раскрытия, цвет части или всего устройства 100 дистанционного управления может изменяться согласно работе светоизлучающего блока 141.

Согласно варианту осуществления настоящего раскрытия, корпус устройства 100 дистанционного управления частично или полностью может быть сформирован из прозрачного или полупрозрачного материала для пропускания света, и светоизлучающий модуль 141 располагается на нижней стороне части или всего корпуса. Если количество или цвет света, излучаемого из светоизлучающего модуля 141, изменяется, цвет части или всего устройства 100 дистанционного управления может изменяться.

Согласно варианту осуществления настоящего раскрытия, светоизлучающий модуль 141 может отображать разные цвета согласно состоянию устройства 100 дистанционного управления.

В состоянии, когда устройство 100 дистанционного управления не приводится в действие или находится в состоянии, принятом по умолчанию, в котором заранее определенная команда управления не отправляется от устройства 100 дистанционного управления или устройства 200 отображения, светоизлучающий модуль 141 излучает серый или черный свет или не излучает свет, таким образом, что устройство 100 дистанционного управления оказывается серым или черным.

Если заранее определенная команда управления отправляется от устройства 100 дистанционного управления или устройства 200 отображения, светоизлучающий модуль 141 излучает свет, имеющий другой цвет, например нежный цвет, имеющий низкую цветность или яркость, таким образом, что цвет устройства 100 дистанционного управления изменяется. Сколько раз изменяется цвет, не ограничивается одним и может изменяться согласно заранее определенному шаблону. Цвет, подлежащий изменению, можно выбирать случайным образом.

По истечении заранее определенного времени, например от 3 до 4 секунд, после изменения цвета устройства 100 дистанционного управления, устройством 200 отображения нужно начинать управлять.

После начала управления устройством 200 отображения светоизлучающий модуль 141 устройства 100 дистанционного управления может непрерывно излучать свет, имеющий один и тот же цвет, пока не закончится управление устройством 200 отображения, согласно варианту осуществления настоящего раскрытия. Соответственно, при условии, что устройство 200 отображения непрерывно управляется, поддерживается цвет устройства 100 дистанционного управления.

Согласно варианту осуществления настоящего раскрытия, с началом управления устройством 200 отображения или по истечении заранее определенного времени после начала управления устройством 200 отображения, светоизлучающий модуль 141 устройства 100 дистанционного управления может излучать серый или черный свет или прекращать излучение света. Затем устройство 100 дистанционного управления переходит в состояние, принятое по умолчанию, таким образом, что цвет устройства 100 дистанционного управления становится серым или черным.

Соответственно, пользователь интуитивно представляет себе результат определения, сгенерированный устройством 100 дистанционного управления или устройством 200 отображения, или как управляется устройство 200 отображения, посредством изменения цвета устройства 100 дистанционного управления.

Модуль 142 генерации вибрации генерирует вибрации в отношении устройства 100 дистанционного управления согласно результату, определенному с использованием ситуационной информации.

Модуль 142 генерации вибрации может обеспечивать вибрацию устройство 100 дистанционного управления с использованием вибрационного двигателя, установленного, например, в устройстве 100 дистанционного управления.

Согласно варианту осуществления настоящего раскрытия, изменяя силу вибраций или шаблон вибрации устройства 100 дистанционного управления на основании результата определения, пользователь может контролировать результат определения и управление устройством 200 отображения.

Модуль 143 акустического вывода выводит заранее определенный звук, музыку или записанный голос пользователю согласно результату, определенному с использованием ситуационной информации.

Согласно варианту осуществления настоящего раскрытия, модуль 143 акустического вывода принимает команду управления акустическим выходом от первого контроллера 130, выбирает, по меньшей мере, одни из различных акустических данных, хранящихся в памяти устройства 100 дистанционного управления, например голосовых данных, музыкальных данных или звуковых данных, согласно команде управления, и выводит данные через блок вывода, например громкоговоритель.

Соответственно, пользователь узнает результат определения или как осуществляется управление устройством 200 отображения, посредством голоса, музыки или звука.

Согласно варианту осуществления настоящего раскрытия, устройство 100 дистанционного управления может включать в себя блок 150 ввода для приема пользовательской команды согласно пользовательской манипуляции и генерировать и отправлять соответствующую ей команду управления.

Блок 150 ввода может включать в себя, например, множество кнопок 140a, расположенных на внешней поверхности устройства 100 дистанционного управления, или сенсорный экран, на котором отображаются виртуальные кнопки, как показано на Фиг. 4B, и принимать от пользователя команду с помощью кнопок.

Согласно варианту осуществления настоящего раскрытия, после того, как блок 140 извещения выводит заранее определенный сигнал извещения, блок 150 ввода может принимать пользовательскую команду, соответствующую сигналу извещения от пользователя. Другими словами, блок 150 ввода переходит в дежурное состояние для приема команды, соответствующей сигналу извещения от пользователя после вывода сигнала извещения и генерирует входную команду, если пользователь манипулирует множеством кнопок 140a или сенсорным экраном блока 150 ввода. Сгенерированная входная команда отправляется на контроллер 140 или устройство 200 отображения таким образом, что контроллер 140 или устройство 200 отображения осуществляет следующую операцию.

Согласно варианту осуществления настоящего раскрытия, устройство 200 отображения может управляться для осуществления заранее определенной операции, даже когда блок ввода 140 не принимает пользовательскую команду.

Пример устройства 100 дистанционного управления показан на Фиг. 4B.

На Фиг. 4B показан вид спереди устройства дистанционного управления согласно варианту осуществления настоящего раскрытия.

Согласно Фиг. 4B, согласно варианту осуществления настоящего раскрытия, устройство 100 дистанционного управления может представлять собой пульт 100a дистанционного управления для управления устройством 200 отображения.

Пульт 100a дистанционного управления включает в себя первое средство 110 сбора информации, например оптический датчик 112a для регистрации света и блок 140 извещения, например модуль СИД 141a для излучения заранее определенного света пользователю, как описано выше, согласно варианту осуществления настоящего раскрытия. Пульт 100a дистанционного управления может включать в себя блок передачи для передачи команды управления на устройство 200 отображения, например блок 131 инфракрасного облучения. Кроме того, множество кнопок 150a для приема заранее определенной команды от пользователя может располагаться на внешней поверхности пульта дистанционного управления.

Как описано выше, согласно варианту осуществления настоящего раскрытия, пульт 100a дистанционного управления измеряет интенсивность света с помощью оптического датчика 112a для получения ситуационной информации и отправляет ситуационную информацию на блок 110 или 210 определения ситуации устройства 100 дистанционного управления или устройства 200 отображения. Затем устройство 100 дистанционного управления или устройство отображения генерирует результат определения на основании собранной ситуационной информации и позволяет модулю СИД 141a пульта 100a дистанционного управления выводить пользователю свет заранее определенного цвета в заранее определенном шаблоне согласно результату определения.

После этого, если пользователь нажимает любую из множества кнопок 150a пульта 100a дистанционного управления, заранее определенная команда управления генерируется блоком ввода пульта 100a дистанционного управления и передается на устройство 200 отображения через блок 131 инфракрасного облучения. Затем устройство 200 отображения осуществляет операции, соответствующие переданной команде управления.

В дальнейшем будет описана система, включающая в себя устройство отображения, устройство дистанционного управления и сервер, согласно варианту осуществления настоящего раскрытия.

На Фиг. 5 показана схема, демонстрирующая конфигурацию системы, включающей в себя устройство отображения, устройство дистанционного управления и сервер согласно варианту осуществления настоящего раскрытия, и на Фиг. 6 показана блок-схема устройства отображения, устройства дистанционного управления и сервера согласно варианту осуществления настоящего раскрытия.

Как показано на Фиг. 5 и 6, согласно варианту осуществления настоящего раскрытия, может быть дополнительно включен сервер 300.

Сервер 300 принимает собранную ситуационную информацию от устройства 100 дистанционного управления или устройства 200 отображения, определяет текущее состояние из ситуационной информации и генерирует соответствующую ей команду управления.

Согласно варианту осуществления настоящего раскрытия, как показано на Фиг. 6, сервер 300 может включать в себя блок 310 определения ситуации (в дальнейшем именуемый третьим блоком определения ситуации), контроллер 320 (в дальнейшем именуемый третьим контроллером), память 330 и блок 340 обновления.

В этом случае, как показано на Фиг. 6, когда устройство 100 дистанционного управления, устройство 200 отображения или устройство 100 дистанционного управления и устройство 200 отображения собирают ситуационную информацию a1 и a2 с помощью средств 110 и 210 сбора информации, собранная информация передается на сервер 300 по сети проводной/беспроводной связи.

Затем третий блок 310 определения ситуации определяет ситуацию с использованием собранной ситуационной информации и отправляет результат определения на третий контроллер 320. Третий контроллер 320 генерирует команду управления на основании результата определения и передает команду управления на устройство 100 дистанционного управления и/или устройство 200 отображения.

Согласно варианту осуществления настоящего раскрытия, команда управления m для управления блоком 140 извещения может передаваться на устройство 100 дистанционного управления, и команда управления n для управления блоком 220 отображения или модулем 230 проектора может передаваться на устройство 200 отображения. Другими словами, команда управления, передаваемая с сервера 300 на устройство 100 дистанционного управления, и команда управления, передаваемая с сервера 300 на устройство 200 отображения, могут различаться.

Другие компоненты устройства 100 дистанционного управления, устройства 200 отображения и сервера 300, по существу, идентичны вышеописанным компонентам. Компоненты можно частично модифицировать согласно характеристикам устройства.

В дальнейшем, способ управления устройством отображения на основании ситуации согласно варианту осуществления настоящего раскрытия будет описан со ссылкой на Фиг. 7-11.

На Фиг. 7 показана блок-схема операций, демонстрирующая способ управления устройством отображения на основании ситуации согласно варианту осуществления настоящего раскрытия.

Как показано на Фиг. 7, согласно варианту осуществления настоящего раскрытия, способ управления устройством отображения на основании ситуации включает в себя операцию S400 сбора ситуационной информации, операцию S410 определения текущего состояния пользователя, операцию S420 вывода сигнала извещения на устройстве 100 дистанционного управления согласно результату определения и операцию S430 управления устройством 200 отображения согласно текущему состоянию пользователя.

Согласно варианту осуществления настоящего раскрытия, в операции S400 сбора ситуационной информации, устройство 100 дистанционного управления или устройство 200 отображения собирает ситуационную информацию состояния тела пользователя или окружающей среды посредством средства 110 или 210 сбора информации.

Например, различные датчики устройства 100 дистанционного управления или устройства 200 отображения распознают выражение лица, точку взгляда или голос пользователя, находящегося на заранее определенном расстоянии от устройства 200 отображения, для распознавания состояния тела или тона пользователя или обнаруживают движение пользователя или давление, прилагаемое пользователем к устройству 100 дистанционного управления, таким образом, получая ситуационную информацию.

Средство 110 или 210 сбора информации устройства 100 дистанционного управления или устройства 200 отображения может собирать ситуационную информацию, пока пользователь использует или не использует устройство 200 отображения. Ситуационную информацию пользователя и окружающей среды можно собирать непрерывно, периодически или произвольно.

Текущее состояние пользователя можно определять на основании собранной ситуационной информации (операция S410).

В этом случае, текущее состояние пользователя можно определять путем поиска в ранее сохраненной базе данных 221 информации определения на предмет информации, соответствующей собранной ситуационной информации, или подстановки ситуационной информации в ранее сохраненный алгоритм определения ситуации.

Таким образом, существует возможность определения эмоционального и телесного состояния пользователя.

Согласно варианту осуществления настоящего раскрытия, будет описан процесс определения ощущений пользователя или окружающей среды.

Для определения ощущений пользователя, сначала распознается выражение лица пользователя с использованием камеры и распознавателей 117 и 216 лиц устройства 200 отображения или устройства 100 дистанционного управления, голос пользователя собирается с использованием акустических датчиков 113 и 213, например микрофона, ощущения пользователя определяются на основании собранной ситуационной информации и генерируется результат определения. Результат определения относится к различным ощущениям пользователя, например удовольствию, унынию, гневу и т.д.

Чтобы установить, спит пользователь или нет, ситуационная информация состояния пользователя и окружающей среды получается через датчик 111 или 211 биосигнала, датчик 115 или 215 температуры и камеру 270 устройства 100 дистанционного управления или устройства 200 отображения. В этом случае, для увеличения точности определения, спит пользователь или нет, может дополнительно использоваться информация времени, выводимая из контроллера 130 или 230, или информация об интенсивности света, регистрируемого оптическим датчиком 212.

Если ситуация определена, устройство 100 дистанционного управления выводит сигнал извещения согласно результату определения (операция S420).

Сигналом извещения может быть свет, излучаемый из светоизлучающего модуля 141 устройства 100 дистанционного управления, вибрация устройства 100 дистанционного управления посредством модуля 141 вибрации или голос, звук или музыка, выводимые из модуля 143 акустического вывода.

Сигнал извещения может отображаться пользователю путем изменения цвета устройства 100 дистанционного управления, как описано выше. Таким образом, в устройстве 100 дистанционного управления, имеющем корпус, частично или полностью сформированный из прозрачного или полупрозрачного материала для пропускания света, светоизлучающий модуль 141 излучает заранее определенный свет на часть или весь корпус для изменения цвета части или всего устройства 100 дистанционного управления. Пользователь распознает, что цвет части или всего устройства 100 дистанционного управления изменяется.

После вывода сигнала извещения устройство 200 отображения управляется согласно текущему состоянию пользователя (операция S430).

Если пользователь возбуждается, просматривая спортивную игру через устройство 200 отображения, собирается ситуационная информация и принимается решение, что пользователь находится в возбужденном состоянии, и камера 270 устройства 200 отображения захватывает изображение радостного пользователя, и захваченное изображение сохраняется в памяти 250. В этом случае, изображение, отображаемое через устройство 200 отображения, и изображение пользователя можно объединять и отображать в режиме PIP.

Если пользователь скучает, изображение, захваченное камерой устройства отображения, или изображение, редактируемое в режиме PIP, может управляться для отображения. В этом случае, при наличии многих захваченных изображений пользователя, эскизное изображение может извлекаться из изображений пользователя, располагаться в правильном порядке и отображаться на экране устройства отображения.

Когда пользователь просматривает видеоконтент, например кинофильм или драму, через устройство 200 отображения, пользователь может управлять различной информацией изображения, связанной с изображением, отображаемым на экране 240 устройства 200 отображения, например информацией о главном герое, рейтингами, ключевым словом, информацией предыстории и т.д. в заранее определенном положении устройства отображения. В этом случае, до отображения информации изображения, на экране может отображаться кнопка выбора для приема команды выбора от пользователя. Даже если пользователь просматривает контент впервые или несколько раз, одна и та же операция может осуществляться согласно информации журнала.

Кроме того, если пользователь просматривает один и тот же видеоконтент через устройство отображения несколько раз, например три раза или более, изображением, отображаемым устройством 200 отображения, можно управлять для автоматического сохранения.

В дальнейшем будут описаны различные примеры способа управления устройством отображения на основании ситуации.

На Фиг. 8 показана блок-схема операций, демонстрирующая способ управления устройством отображения на основании ситуации согласно варианту осуществления настоящего раскрытия.

Как показано на Фиг. 8, способ управления устройством отображения на основании ситуации может осуществляться следующим образом.

Устройство 100 дистанционного управления или устройство 200 отображения действует в дежурном режиме для способа управления устройством отображения на основании ситуации (операция S500). В это время устройство 200 отображения может отображать заранее определенный видеоконтент, и устройство 100 дистанционного управления может управлять устройством 200 отображения согласно пользовательской манипуляции для переключения канала устройства 200 отображения или регулировки громкости.

Например, действие пользователя или окружающую среду изменяется, то есть пульс или частота дыхания пользователя изменяется или интенсивность света комнаты увеличивается или уменьшается, или начинается воспроизведение заранее определенного видеоконтента. Альтернативно, пользователь может манипулировать кнопкой ввода устройства 100 дистанционного управления или устройства 200 отображения таким образом, что устройство 100 дистанционного управления или устройство 200 отображения собирает ситуационную информацию (операция S510).

Затем устройство 100 дистанционного управления или устройство 200 отображения начинает собирать ситуационную информацию (операция S520). Таким образом, если пульс или частота дыхания пользователя изменяется, воспроизводится заранее определенный видеоконтент, или пользователь вводит команду сбора ситуационной информации, средство 110 или 210 сбора информации устройства 100 дистанционного управления или устройства 200 отображения начинает собирать ситуационную информацию.

Согласно варианту осуществления настоящего раскрытия, устройство 100 дистанционного управления или устройство 200 отображения может непрерывно собирать ситуационную информацию независимо от действия или манипуляции пользователя или изменения окружающей среды. В этом случае, дежурный режим для способа управления устройством отображения на основании ситуации не требуется.

Если ситуационная информация собрана, первый контроллер 130 устройства 100 дистанционного управления сравнивает ситуационную информацию, собранную устройством 100 дистанционного управления или устройством 200 отображения, с информацией определения базы данных информации определения (операция S530) для определения, присутствует ли информация определения, соответствующая собранной ситуационной информации.

Если информация определения, соответствующая собранной ситуационной информации, отсутствует (операция S531), устройство 100 дистанционного управления может снова переходить в дежурный режим (операция S500) или может собирать ситуационную информацию действия пользователя или окружающей среды (операция S520).

Если информация определения, соответствующая собранной ситуационной информации, присутствует, определяется текущее состояние пользователя, например удовольствие, счастье, уныние, печаль, тоска, гнев или страх (операция S532).

Затем первый контроллер 130 устройства 100 дистанционного управления генерирует заранее определенная команда управления согласно результату определения. В это время одна команда управления используется для управления блоком 140 извещения.

Устройство дистанционного управления выводит сигнал извещения согласно команде управления для управления блоком 140 извещения (операция S540). Например, светоизлучающий модуль 141 может излучать свет или модуль 142 акустического вывода, например громкоговоритель, может выводить голос или звук. Как описано выше, цвет части или всего устройства 100 дистанционного управления может изменяться.

Производится определение, передается ли результат определения на устройство 200 отображения (операция S550). Если второй контроллер 230 устройства 200 отображения генерирует команду управления для управления устройством 200 отображения согласно результату определения, результат определения нужно передавать на устройство 200 отображения для генерации команды управления (операция S551). Такая передача может осуществляться через сеть беспроводной связи, например сеть Bluetooth или Wi-Fi.

Устройство 100 дистанционного управления генерирует команду управления, соответствующую результату определения.

Согласно варианту осуществления настоящего раскрытия, устройство 100 дистанционного управления может принимать пользовательскую команду от пользователя через блок 150 ввода после того, как блок 140 извещения выводит сигнал извещения.

Пользователь узнает, что устройство 200 отображения может управляться отдельной командой управления через сигнал извещения. Другими словами, пользователь узнает, что услуга, предоставляемая с использованием устройства 200 отображения присутствует.

После этого производится определение, принимает ли пользователь услугу, то есть желательно ли, чтобы база данных 231 информации управления приводила в действие устройство 200 отображения согласно заранее определенной операции, как действует устройство 200 отображения, или какая операция из заранее определенных запланированных операций выбрана и осуществляется.

Если пользователь манипулирует устройством 100 дистанционного управления, то есть нажимает заранее определенную кнопку 150a, первый контроллер 130 устройства 100 дистанционного управления генерирует команду управления согласно пользовательской манипуляции.

Согласно варианту осуществления настоящего раскрытия, сигнал извещения может выводиться без приема команды от пользователя, и команда управления может автоматически генерироваться до вывода сигнала извещения или спустя короткое время после вывода сигнала извещения.

Если команду управления не нужно генерировать, например, если все команды управления сгенерированы контроллером 230 или 320 устройства 200 отображения или сервером, операция устройства 100 дистанционного управления заканчивается (операция S560).

Если команду управления нужно генерировать (операция S560), генерируется команда управления, соответствующая текущему состоянию пользователя, согласно результату определения. Эта команда управления используется для управления работой устройства 200 отображения, как описано выше. Такой командой управления может быть команда управления для манипулирования камерой 270 устройства 200 отображения для захвата изображения пользователя или команда управления для манипулирования модулем 280 проектора пучка для проецирования пучка на проекционную поверхность для генерации заранее определенного изображения (операция S561).

Команда управления, сгенерированная устройством 100 дистанционного управления, передается на устройство 200 отображения (операция S570), и устройство 200 отображения действует согласно команде управления (операция S580).

На Фиг. 9 показана блок-схема операций, демонстрирующая способ управления устройством отображения на основании ситуации согласно варианту осуществления настоящего раскрытия.

Как показано на Фиг. 9, способ управления устройством отображения на основании ситуации согласно варианту осуществления настоящего раскрытия может осуществляться следующим образом.

Когда устройство 100 дистанционного управления и устройство 200 отображения находятся в дежурном режиме (операция S600), если действие пользователя или окружающая среда изменяется (операция S610), устройство 100 дистанционного управления и/или устройство 200 отображения регистрирует действие пользователя или окружающей среды и собирает ситуационную информацию (операция S620).

После этого устройство 100 дистанционного управления передает собранную ситуационную информацию на устройство 200 отображения с использованием сети беспроводной связи с использованием различных стандартов мобильной связи, например Bluetooth, Wi-Fi, 3GPP, 3GPP2 или WiMax (операция S630).

Устройство 200 отображения определяет текущее состояние пользователя с использованием ситуационной информации, собранной устройством 100 дистанционного управления.

Согласно варианту осуществления настоящего раскрытия, устройство 200 отображения может использовать ситуационную информацию, собранную устройством 100 дистанционного управления, или ситуационную информацию, собранную вторым средством сбора 210 информации устройства 200 отображения. Другими словами, можно использовать комбинацию ситуационной информации, собранной устройством 100 дистанционного управления, и ситуационной информации, собранной устройством 200 отображения, или можно выборочно использовать только ситуационную информацию, собранную любым из устройств 100 и 200.

Согласно варианту осуществления настоящего раскрытия, устройство 200 отображения сравнивает информацию определения базы данных информации определения с собранной ситуационной информацией для определения текущего состояния, обращаясь к базе данных 221 информации определения (операция S640).

В этом случае, если информация определения, соответствующая собранной ситуационной информации, присутствует в базе данных 221 информации определения, можно определять текущее состояние пользователя (операция S641 и операция S642). Если информация определения, соответствующая собранной ситуационной информации, не выявлена, устройство 100 дистанционного управления или устройство 200 отображения может переходить в дежурный режим для генерации команды управления согласно ситуационной информации.

Если текущее состояние пользователя определено, второй контроллер 230 устройства 200 отображения отправляет команду управления для вывода сигнала извещения на устройство 100 дистанционного управления согласно результату определения. В это время сеть беспроводной связи с использованием различных стандартов мобильной связи, например Bluetooth, Wi-Fi, 3GPP, 3GPP2 или WiMax, можно использовать для передачи команды управления. Затем устройство 100 дистанционного управления выводит сигнал извещения согласно команде управления для вывода сигнала извещения (операция S650).

Второй контроллер 230 устройства 200 отображения генерирует команду управления для управления устройством 200 отображения в соответствии с текущим состоянием пользователя (операция S660).

Согласно варианту осуществления настоящего раскрытия, такие команды управления можно последовательно генерировать до или после того, как устройство 100 дистанционного управления выводит сигнал извещения через блок 140 извещения светоизлучающего модуля 141, например модуля СИД, в отсутствие команды, принятой от внешнего устройства.

Согласно варианту осуществления настоящего раскрытия, устройство 100 дистанционного управления может выводить сигнал извещения через блок 140 извещения, пользователь манипулирует блоком 150 ввода устройства 100 дистанционного управления для приема пользовательской команды, и затем команда управления может генерироваться согласно пользовательской команде.

Например, если модуль СИД устройства 100 дистанционного управления излучает свет в заранее определенном шаблоне, существует возможность запрашивать, желает ли пользователь приводить в действие устройство 200 отображения согласно заранее определенной операции базой данных 231 информации управления, то есть желает ли пользователь принимать услугу посредством голоса, одновременно или последовательно выводимого пользователю, или текста, отображаемого на экране устройства 200 отображения. В это время пользователь может манипулировать кнопкой 150a устройства 100 дистанционного управления для определения, принимается ли услуга от устройства 200 отображения, или как приводится в действие часть устройства 200 отображения, во время предоставления услуги.

Устройство 200 отображения автоматически управляется устройством 200 отображения или согласно команде управления, сгенерированной путем манипулирования устройством 100 дистанционного управления пользователем. Например, устройство 200 отображения может захватывать и отображать изображение пользователя или отображать воспроизводимое видео на экране совместно с ранее захваченным изображением в режиме PIP. Кроме того, может приводиться в действие модуль проецирования пучка устройства 200 отображения (операция S670).

На Фиг. 10 показана блок-схема операций, демонстрирующая способ управления устройством отображения на основании ситуации согласно варианту осуществления настоящего раскрытия.

На Фиг. 10 будет описан вариант осуществления способа управления устройством отображения на основании ситуации.

Сначала, как описано выше, устройство 100 дистанционного управления или устройство 200 отображения регистрирует действие или ситуацию пользователя и собирает ситуационную информацию (операция S700).

Ситуационная информация, собранная устройством 100 дистанционного управления или устройством 200 отображения, передается на сервер 300, показанный на Фиг. 5, по сети проводной/беспроводной связи (операция S710).

Затем сервер 300 определяет текущую ситуацию с использованием ситуационной информации, собранной устройством 100 дистанционного управления или устройством 200 отображения. В этом случае, согласно варианту осуществления настоящего раскрытия, производится поиск по базе данных 221 информации определения, установленной на сервере 300 или связанной с сервером 300 по сети проводной/беспроводной связи, ситуационная информация и информация определения сравниваются, и информация определения, соответствующая ситуационной информации, считывается (операция S720 и операция S721).

Текущее состояние пользователя определяется на основании считанной информации определения для генерации результата определения (операция S722).

Сервер 300 передает результат определения на устройство 100 дистанционного управления (операция S730), и устройство 100 дистанционного управления принимает результат определения и выводит сигнал извещения, соответствующий результату определения (операция S731).

Согласно варианту осуществления настоящего раскрытия, сервер 300 может одновременно или последовательно передавать результат определения на устройство 100 дистанционного управления и устройство 200 отображения (операция S740 и операция S741).

Если результат определения передается на устройство 200 отображения (“Да” в операции S740), устройство 200 отображения генерирует команду управления на основании результата определения. В этом случае, сервер 300 не генерирует команду управления (“Нет” в операции S750). В это время, второй контроллер 230 устройства 200 отображения генерирует команду управления, соответствующую текущему состоянию пользователя, для управления устройством 200 отображения, как в операции S660 на Фиг. 9.

Если результат определения не передается на устройство 200 отображения (“Нет” в операции S740 и “Да” в операции S750), сервер 300 генерирует команду управления согласно результату определения (операция S751). Согласно вариантам осуществления настоящего раскрытия, к базе данных 231 информации управления, установленной на сервере 300 или связанной с сервером по сети проводной/беспроводной связи, можно обращаться при генерации команды управления.

После этого сгенерированная команда управления передается на устройство 200 отображения (операция S752), и осуществляется управление устройством 200 отображения для предоставления услуги пользователю согласно команде управления, сгенерированной сервером (операция S760).

На Фиг. 11 показана блок-схема операций, демонстрирующая способ управления устройством отображения на основании ситуации согласно варианту осуществления настоящего раскрытия.

На Фиг. 11 будет описан вариант осуществления способа управления устройством отображения на основании ситуации.

Как показано на Фиг. 11, согласно варианту осуществления настоящего раскрытия, только второе средство 210 сбора информации устройства 200 отображения может собирать ситуационную информацию (операция S800). Например, распознаватель 216 лиц второго средства 210 сбора информации устройства 200 отображения получает информацию лица или информацию выражения лица из лица пользователя, находящегося перед устройством 200 отображения.

Затем устройство 200 отображения сравнивает информацию определения базы данных 221 информации определения с собранной ситуационной информацией, например информацией лица или информацией выражения лица (операция S810).

При наличии информации определения, соответствующей собранной ситуационной информации в базе данных 221 информации определения (операция S820), текущее состояние пользователя определяется на основании информации определения (операция S830).

Затем устройство отображения генерирует команду управления устройства 100 дистанционного управления, соответствующую текущему состоянию, и команду управления устройства 200 отображения (операция S840).

Команда управления устройства 100 дистанционного управления передается на устройство 100 дистанционного управления для управления блоком 140 извещения устройства 100 дистанционного управления, и устройство дистанционного управления выводит сигнал извещения, соответствующий текущему состоянию пользователя, согласно команде управления (операция S850).

Устройство 200 отображения управляется на основании команды управления устройства 200 отображения (операция S860). Например, если, в результате определения информации выражения лица пользователя, определено, что пользователь улыбается, изображение, принятое в течение заранее определенного времени, или изображение, созданное в один момент в изображении лица пользователя, сохраняется и обрабатывается для генерации файла изображения лица пользователя, таким образом, захватывая изображение лица пользователя.

В дальнейшем, различные варианты осуществления услуги, предоставляемой пользователю путем управления устройством отображения согласно способу управления устройством отображения на основании ситуации будут описаны со ссылкой на Фиг. 12-15.

На Фиг. 12 показана схема, демонстрирующая состояние, в котором устройство отображения управляется согласно способу управления устройством отображения на основании ситуации согласно варианту осуществления настоящего раскрытия.

Пользователь просматривает видеоматериал, например спортивную игру или драму на экране p1 дисплея (Фиг. 12(a)). В этом случае, устройство 100 дистанционного управления и устройство 200 отображения могут собирать ситуационную информацию с помощью средств 110 и 210 сбора информации.

Если пользователь возбуждается, как показано на Фиг. 12(b), биологическая информация, например пульс или частота дыхания пользователя, собирается через датчики 111 и 211 биосигнала, возглас пользователя регистрируется посредством акустического датчика 113 для сбора акустической информации, и действия пользователя регистрируются с помощью оптического датчика 112 для сбора информации о действиях пользователя.

Если блок 120, 220 или 310 определения ситуации определяет, что пользователь возбуждается, на основании собранной информации, сначала устройство 100 дистанционного управления выводит сигнал извещения. Модуль 270 камеры устройства отображения приводится в действие для съемки движущегося изображения пользователя после того, как пользователь манипулирует устройством 100 дистанционного управления, или без манипулирования устройством 100 дистанционного управления. Отснятое движущееся изображение сохраняется в памяти 250.

После этого кнопка выбора отображается на нижней стороне воспроизводимого изображения p1 в заранее определенной ситуации (Фиг. 12(c)).

Заранее определенная ситуация может следовать ранее сохраненным настройкам, например, по истечении заранее определенного времени после съемки движущегося изображения или при просмотре видеоконтента того же жанра.

Заранее определенная ситуация может быть ситуацией, когда пользователь желает снова просмотреть записанное изображение, например ситуацией, когда принимается решение, что пользователь пребывает в унынии, на основании результата, определенного на основании ситуации, собранной первым блоком 120 определения ситуации. Для определения ситуации может осуществляться вышеописанный способ управления устройством отображения на основании ситуации. В этом случае, команда управления устройства 200 отображения служит для отображения кнопки выбора на нижней стороне воспроизводимого изображения p1.

После этого движущееся изображение p2, сохраненное за счет манипулирования устройством 100 дистанционного управления пользователем, отображается совместно с воспроизводимым в данный момент видеоконтентом p1 в режиме PIP. В этом случае, информация о воспроизводимом видео, например информация путеводителя по программам, может одновременно отображаться в виде субтитра (Фиг. 12(d)).

Соответственно, настоящее раскрытие предусматривает управление устройством 200 отображения для предоставления услуги для стимулирования чувств пользователя. Таким образом, пользователь может просматривать изображение пользователя, который просматривает спортивную игру или драму спустя заранее определенное время или согласно его настроению или испытывает положительные эмоции, вспоминая просмотр спортивной игры или драмы.

На Фиг. 13 показана схема, демонстрирующая состояние, в котором устройство отображения управляется согласно способу управления устройством отображения на основании ситуации согласно варианту осуществления настоящего раскрытия.

Как показано на Фиг. 13, согласно способу управления устройством отображения на основании ситуации согласно варианту осуществления настоящего раскрытия, если блок 120, 220 или 310 определения ситуации определяет, что видеоконтент p1, просматриваемый пользователем, был повторно просмотрен при просмотре видеоконтента p1 по TV, информация путеводителя по программам воспроизводимого видеоконтента и время просмотра могут сохраняться.

Титр контента, сохраненный согласно выбору пользователя, может отображаться на экране устройства 200 отображения (p1). В этом случае, размер титра контента может изменяться в зависимости от того, сколько раз пользователь просмотрел контент, или частоты просмотра. Например, если пользователь много раз просмотрел контент, или частота просмотра велика, размер титра может быть большим, и если пользователь редко просматривал контент, или частота просмотра мала, размер титра может быть малым (Фиг. 13(b)).

В это время, пользователь манипулирует устройством 100 дистанционного управления для выбора любого титра, и устройство 200 отображения воспроизводит видеозапись, соответствующую выбранному титру, на экране дисплея, таким образом, быстро предоставляя пользователю видеозапись, имеющую высокую частоту просмотра.

На Фиг. 14 показана схема, демонстрирующая состояние, в котором устройство отображения управляется согласно способу управления устройством отображения на основании ситуации согласно варианту осуществления настоящего раскрытия.

Как показано на Фиг. 14, пользователь может не спать ночью.

В это время согласно варианту осуществления настоящего раскрытия, устройство 100 дистанционного управления или устройство 200 отображения собирает ситуационную информацию a1 состояния тела пользователя и ситуационную информацию a2 окружающей среды. В это время ситуационная информация a1 состояния тела пользователя указывает, что пользователь бодрствует, но неподвижен, и ситуационная информация a2 окружающей среды указывает, что интенсивность света меньше или равна заранее определенному уровню, время суток ночное, например 12 am, и период времени, когда интенсивность света меньше или равна заранее определенному уровню, превышает 30 минут.

Устройство 100 дистанционного управления или устройство 200 отображения определяет, что пользователь не собирается спать долгое время ночью, на основании такой ситуационной информации, и генерирует команду управления для управления устройством 100 дистанционного управления и устройством 200 отображения. В частности, команда управления для управления устройством 200 отображения включает в себя команду управления для управления приведением в действие модуля 280 проектора пучка.

Устройство 100 дистанционного управления выводит сигнал извещения в течение заранее определенного времени согласно сгенерированной команде управления. В это время устройство 100 дистанционного управления частично или полностью излучает свет, имеющий мягкий цвет с использованием светоизлучающего модуля. В этом случае, устройство 100 дистанционного управления может не принимать дополнительную команду от пользователя. Другими словами, устройство 200 отображения может автоматически управляться без манипулирования устройством 100 дистанционного управления пользователем, как описано со ссылкой на Фиг. 11.

После этого модуль 280 проектора пучка устройства 200 отображения проецирует пучок на проекционную поверхность, например потолок, и отображает созвездия, ночное небо, видеоконтент, например кинофильм или драму, предыдущее изображение пользователя и т.д., на проекционной поверхности, например потолке.

После этого пользователь может перемещать устройство 100 дистанционного управления в заранее определенном шаблоне или манипулировать блоком 150 ввода устройства 100 дистанционного управления для перемещения изображения, проецируемого на проекционную поверхность, например потолок. В этом случае, датчик 114 движения устройства дистанционного управления можно использовать для определения, как перемещается устройство 100 дистанционного управления. Другими словами, когда пользователь перемещается или вращается вертикально или горизонтально в состоянии, когда устройство 100 дистанционного управления направлено на проецируемое изображение, датчик 114 движения регистрирует и преобразует такое перемещение или вращение в электрический сигнал, и, таким образом, первый контроллер 130 устройства 100 дистанционного управления или второй контроллер 230 устройства 200 отображения управляет модулем 280 проектора пучка таким образом, что изображение, проецируемое на проекционную поверхность, изменяется согласно перемещению устройства 130 дистанционного управления.

После этого средство 110 и 210 сбора информации устройства 100 дистанционного управления или устройства 200 отображения собирает ситуационную информацию пользователя непрерывно или с заранее определенной частотой. Если принимается решение, что пользователь спит, в результате определения собранной ситуационной информации, команда управления модуля 280 проектора пучка генерируется для остановки работы модуля 280 проектора пучка.

Соответственно, если пользователю нелегко уснуть ночью, созвездие или предыдущее изображение пользователя может отображаться на проекционной поверхности с помощью модуля 280 проектора пучка, чтобы пользователь мог крепко уснуть. Кроме того, существует возможность предотвращать бесполезную работу устройства 200 отображения и, в частности, модуля 280 проектора.

Согласно варианту осуществления настоящего раскрытия, выражение лица пользователя, находящегося вблизи дисплея, на котором отображается изображение, может распознаваться таким образом, что устройство 200 отображения захватывает изображение пользователя, которое будет описано более подробно со ссылкой на Фиг. 15.

На Фиг. 15 показана схема, демонстрирующая процесс сбора ситуационной информации, например информации лица и информации выражения лица, согласно способу распознавания лица пользователя и управления устройством отображения согласно варианту осуществления настоящего раскрытия.

Согласно Фиг. 15, ниже будет описан процесс получения информации лица и информации выражения лица.

Согласно варианту осуществления настоящего раскрытия, сначала пользователь и, в частности, лицо пользователя, приближается к камере 270. В это время может присутствовать множество пользователей (операция S900). Затем оптический датчик 212 устройства 200 отображения распознает приближение человека и приводит в действие камеру 270 и распознаватель 216 лиц (операция S910).

Согласно варианту осуществления настоящего раскрытия, камера 270 и распознаватель 216 лиц могут начинать работать согласно пользовательской манипуляции без регистрации приближения пользователя.

Камера 270 захватывает изображение лица пользователя и получает временные данные изображения, включающего в себя лицо, по меньшей мере, одного пользователя, в случае приближения, по меньшей мере, лица пользователя (операция S920).

После этого лицо выявляется из захваченного изображения, то есть сгенерированных данных изображения (операция S930). Согласно варианту осуществления настоящего раскрытия, свет и тень или цвет кожи идентифицируется, и их пиксели извлекаются для выявления участка, соответствующего лицу, или извлеченные пиксели объединяются и сравниваются с данными форм лица множества людей для выявления лица из захваченного изображения.

Характерная точка лица, например зрачок или уголок рта, выявляется из выявленного лица (операция S940). В этом случае, характерную точку можно выявлять из лица на основании формы характерной точки.

Положение характерной точки лица сравнивается с данными лица ранее сохраненного пользователя или человека для определения или анализа, чьему лицу соответствует выявленное лицо или выражение лица (операция S950), и информация лица и информация выражения лица генерируются согласно результату определения (операция S960).

Если второй блок определения ситуации 210 определяет, что пользователь улыбается, на основании сгенерированной информации лица и информации выражения лица, второй контроллер 220 управляет камерой 270 для захвата изображения пользователя согласно результату определения, преобразует данные, полученные путем захвата изображения пользователя, в файл изображения, и сохраняет данные в отдельной памяти.

Хотя это не показано, согласно варианту осуществления настоящего раскрытия, устройство 100 дистанционного управления выводит заранее определенный сигнал извещения согласно результату определения ситуации и управляет устройством отображения таким образом, что информация о программе отображается на нижней стороне экрана устройства 200 отображения. В этом случае, информация, отображаемая на нижней стороне экрана, может быть информацией, собранной через интернет, или информацией путеводителя по программам, передаваемой совместно с изображением.

Пользователь может пользоваться различными услугами, предоставляемыми путем управления устройством 200 отображения на основании ситуации. Устройство 200 отображения может предоставлять одну или множество услуг. Услуга может изменяться согласно периоду времени, когда пользователь использует устройство отображения, или частоте его использования.

Например, устройство 200 отображения управляется таким образом, что действие пользователя первоначально записывается для генерации движущегося изображения, или пользователь записывает частоту или время использования видеоконтента. В это время, когда пользователь не собирается спать ночью, устройство 200 отображения может управляться для отображения созвездий на потолке, как описано выше.

После этого, по истечении заранее определенного времени, воспроизводится записанное действие пользователя, или может обеспечиваться различная информация о повторно просматриваемой программе, например информация путеводителя по программам или рейтинговая информация.

Согласно варианту осуществления настоящего раскрытия, контент управления устройства 200 отображения или результат определения ситуации может записываться и может быть предметом произвольного поиска пользователя по истечении заранее определенного периода, например 99 дней. В это время записанный контент может отображаться на экране дисплея в форме пользовательского интерфейса, например дневника. Затем пользователь может подтвердить свое эмоциональное состояние и как осуществляется управление устройством 200 отображения.

Как описано выше, в настоящем раскрытии, при управлении устройством отображения для предоставления услуги, услуга может произвольно или случайным образом предоставляться пользователю согласно состоянию пользователя или по мере необходимости. Затем пользователь принимает неожиданную услугу для стимулирования чувств пользователя. Соответственно, пользователь получает положительный эмоциональный эффект через устройство отображения.

Вышеописанные варианты осуществления могут записываться на компьютерно-считываемых носителях, включающих в себя программные инструкции для реализации различных операций, осуществляемых компьютером. Носители также может включать в себя, по отдельности или совместно с программными инструкциями, файлы данных, структуры данных и пр. Программные инструкции, записанные на носителях, могут быть специально сконструированы и построены в целях вариантов осуществления или они могут относиться к категории, общеизвестной и доступной специалистам в области компьютерного программного обеспечения. Примеры компьютерно-считываемых носителей включают в себя магнитные носители, например жесткие диски, флоппи-диски и магнитную ленту; оптические носители, например диски CD-ROM и DVD; магнитооптические носители, например оптические диски, и аппаратные устройства, которые специально выполнены с возможностью хранения и осуществления программных инструкций, например постоянную память (ПЗУ), оперативную память (RAM), флэш-память и пр. Компьютерно-считываемые носители также могут представлять собой распределенную сеть, в которой программные инструкции хранятся и выполняются распределенным образом. Программные инструкции могут выполняться одним или более процессорами. Компьютерно-считываемые носители также могут быть реализованы в, по меньшей мере, одной специализированной интегральной схеме (ASIC) или вентильной матрице, программируемой пользователем (FPGA), которая выполняет (обрабатывает наподобие процессора) программные инструкции. Примеры программных инструкций включают в себя как машинный код, например вырабатываемый компилятором, так и файлы, содержащие код более высокого уровня, который может выполняться компьютером с использованием интерпретатора. Вышеописанные устройства могут быть выполнены с возможностью действовать как один или более программных модулей для осуществления операций вышеописанных вариантов осуществления или наоборот.

Хотя было показано и описано несколько вариантов осуществления настоящего раскрытия, специалисты в данной области техники могут внести изменения в эти варианты осуществления, не выходя за рамки принципов и сущности изобретения, объем которого задан в формуле изобретения и ее эквивалентах.

Изобретение относится к области дистанционного управления устройством отображения, а также к управлению устройством дистанционного управления. Техническим результатом является обеспечение возможности индивидуального управления устройствами отображения и дистанционного управления на основании текущей ситуации, окружения или действий пользователя. Для этого собирают фрагменты ситуационной информации или принимают фрагменты ситуационной информации от устройства дистанционного управления, затем определяют текущее состояние пользователя на основании собранных или принятых фрагментов ситуационной информации и выводят сигнал извещения посредством устройства дистанционного управления. При этом обеспечивают возможность для устройства дистанционного управления принимать пользовательскую команду после вывода сигнала извещения и генерируют информацию управления, чтобы обеспечить пользователю услуги изображения на основе ощущений согласно текущему состоянию пользователя. 10 н. и 30 з.п. ф-лы, 16 ил.

1. Устройство отображения, содержащее:

модуль беспроводной связи, выполненный с возможностью передавать команды или данные в устройство дистанционного управления или принимать их от него;

блок определения ситуации, выполненный с возможностью определения текущего состояния пользователя на основании по меньшей мере одного фрагмента ситуационной информации, принятой от устройства дистанционного управления с использованием модуля беспроводной связи или собранной средством сбора информации; и

контроллер, выполненный с возможностью генерировать информацию управления для предоставления пользователю услуги изображения на основе ощущений согласно текущему состоянию пользователя посредством передачи команды или данных в устройство дистанционного управления или приема их от него с использованием модуля беспроводной связи,

причем устройство дистанционного управления выполнено с возможностью вывода сигнала извещения и выполнено с возможностью передавать пользовательскую команду после вывода сигнала извещения,

причем контроллер выполнен с возможностью генерировать информацию управления после приема им пользовательской команды от устройства дистанционного управления.

2. Устройство отображения по п. 1, дополнительно содержащее базу данных информации определения для хранения информации определения для определения текущего состояния пользователя на основании ситуационной информации,

в котором блок определения ситуации выполнен с возможностью поиска в базе данных информации определения информации определения, соответствующей ситуационной информации, и определять текущее состояние пользователя на основании информации определения, соответствующей ситуационной информации, при наличии информации определения, соответствующей ситуационной информации.

3. Устройство отображения по п. 1, дополнительно содержащее базу данных информации управления, содержащую информацию управления устройства дистанционного управления или устройства отображения, соответствующую текущему состоянию пользователя.

4. Устройство отображения по п. 3, в котором контроллер выполнен с возможностью выявлять информацию управления устройства отображения, соответствующую текущему состоянию пользователя, обращаясь к базе данных информации управления, и управлять устройством отображения согласно выявленной информации управления.

5. Устройство отображения по п. 1, в котором контроллер выполнен с возможностью принимать пользовательскую команду от пользователя через устройство дистанционного управления согласно сигналу извещения, корректировать сгенерированную информацию управления согласно пользовательской команде и генерировать новую информацию управления.

6. Устройство отображения по п. 5, дополнительно содержащее:

память для хранения новой информации управления, сгенерированной контроллером; и

блок обновления для анализа шаблона пользовательской манипуляции на основании сохраненной информации управления и для обновления базы данных информации управления на основании результата анализа.

7. Устройство отображения по п. 1, в котором средство сбора информации содержит по меньшей мере один из оптического датчика для регистрации света, акустического датчика для регистрации звука, датчика движения для регистрации движения, датчика температуры для регистрации температуры и датчика биосигнала для регистрации по меньшей мере одного из температуры, пульса, частоты дыхания и частоты сердечных сокращений человека.

8. Устройство отображения по п. 1, в котором средство сбора информации содержит распознаватель лиц для выявления формы лица из изображения, для выявления характерных точек лица из выявленной формы лица, для анализа положений характерных точек лица, для генерации информации лица и информации выражения лица и для сбора ситуационной информации.

9. Устройство отображения по п. 1, в котором блок извещения содержит по меньшей мере один из светоизлучающего модуля для излучения света, модуля генерации вибрации для генерации вибраций и модуля акустического вывода для вывода звука.

10. Устройство отображения по п. 1, в котором информация управления для управления устройством отображения осуществляет по меньшей мере одно из:

управления камерой устройства отображения для захвата изображения,

управления изображением, захваченным камерой устройства отображения, для отображения на устройстве отображения в режиме "картинка в картинке" (PIP),

управления эскизным изображением по меньшей мере одного изображения, захваченного камерой устройства отображения, для отображения на экране устройства отображения, и

управления информацией об изображении, отображаемом на экране устройства отображения, для отображения на экране устройства отображения.

11. Устройство отображения по п. 1, дополнительно содержащее модуль проектора пучка для проецирования изображения на внешнюю проекционную поверхность.

12. Устройство отображения по п. 1, в котором блок определения ситуации выполнен с возможностью объединять ситуационную информацию и информацию изображения для изображения, воспроизводимого устройством отображения, и определять текущее состояние пользователя.

13. Устройство дистанционного управления для управления устройством отображения, причем устройство дистанционного управления содержит:

модуль беспроводной связи, выполненный с возможностью передавать команды или данные в устройство отображения или принимать их от него;

средство сбора изображения, выполненное с возможностью сбора по меньшей мере одного фрагмента ситуационной информации;

блок определения ситуации, выполненный с возможностью определения текущего состояния пользователя на основании по меньшей мере одного фрагмента ситуационной информации, собранного средством сбора информации;

блок извещения, выполненный с возможностью вывода сигнала извещения, соответствующего определенному текущему состоянию пользователя; и

контроллер для генерации информации управления, позволяющей устройству отображения предоставлять пользователю услуги изображения на основе ощущений согласно текущему состоянию пользователя, и для передачи информации управления на устройство отображения, используя модуль беспроводной связи,

причем модуль беспроводной связи выполнен с возможностью передавать информацию управления после того как блок извещения выводит сигнал извещения.

14. Устройство дистанционного управления по п. 13, дополнительно содержащее базу данных информации определения для хранения информации определения для определения текущего состояния пользователя на основании ситуационной информации, указывающей признаки особой ситуации внешнего окружения,

в котором блок определения ситуации выполнен с возможностью искать в базе данных информации определения информацию определения, соответствующую собранной ситуационной информации, и определяет текущее состояние пользователя на основании информации определения, соответствующей ситуационной информации, при наличии информации определения, соответствующей ситуационной информации.

15. Устройство дистанционного управления по п. 13, дополнительно содержащее:

базу данных информации управления, содержащую информацию управления отображением, соответствующую текущему состоянию пользователя; и

контроллер для выявления информации управления устройства отображения, соответствующей текущему состоянию пользователя, путем обращения к базе данных информации управления.

16. Устройство дистанционного управления по п. 13, дополнительно содержащее блок ввода команды для приема команды манипуляции дисплеем от пользователя после вывода сигнала извещения.

17. Устройство дистанционного управления по п. 16, в котором:

контроллер выполнен с возможностью выявлять информацию управления устройства отображения, соответствующую текущему состоянию пользователя, обращаясь к базе данных информации управления, и корректирует сгенерированную информацию управления согласно пользовательской команде, принятой через блок ввода команды, и

устройство дистанционного управления дополнительно содержит:

память для хранения информации управления, сгенерированной контроллером; и

блок обновления для анализа шаблона пользовательской манипуляции на основании сохраненной информации управления и для обновления базы данных информации управления на основании результата анализа.

18. Устройство дистанционного управления по п. 13, в котором средство сбора информации содержит по меньшей мере один из оптического датчика для регистрации света, акустического датчика для регистрации звука, датчика движения для регистрации движения, датчика температуры для регистрации температуры, датчика биосигнала для регистрации по меньшей мере одного из температуры, пульса, частоты дыхания и частоты сердечных сокращений человека и датчика распознавания движения для регистрации движения устройства дистанционного управления.

19. Устройство дистанционного управления по п. 13, в котором средство сбора информации содержит распознаватель лиц для выявления формы лица из изображения, для выявления характерных точек лица из выявленной формы лица, для анализа положений характерных точек лица, для генерации информации лица и информации выражения лица и для сбора ситуационной информации.

20. Устройство дистанционного управления по п. 13, в котором блок извещения содержит по меньшей мере один из светоизлучающего модуля для излучения света, модуля генерации вибрации для генерации вибраций и модуля акустического вывода для вывода звука.

21. Устройство дистанционного управления по п. 13, в котором блок определения ситуации выполнен с возможностью определять текущее состояние пользователя на основании по меньшей мере одного фрагмента ситуационной информации и информации изображения для изображения, воспроизводимого устройством отображения.

22. Устройство дистанционного управления, содержащее:

модуль беспроводной связи, выполненный с возможностью передавать команды или данные в по меньшей мере одно из устройства отображения или сервера или принимать команды или данные от них;

средство сбора изображения, выполненное с возможностью сбора по меньшей мере одного фрагмента ситуационной информации; и

блок извещения, выполненный с возможностью вывода сигнала извещения,

в котором устройство дистанционного управления дополнительно выполнено с возможностью передачи ситуационной информации, собранной средством сбора информации, на устройство отображения или сервер, приема информации о текущем состоянии пользователя, определенном на основании собранной ситуационной информации, от устройства отображения или сервера, и отправки информации управления, соответствующей определенному текущему состоянию пользователя или собранной ситуационной информации, после того, как блок извещения выводит сигнал извещения для управления устройством отображения.

23. Устройство дистанционного управления по п. 22, дополнительно содержащее блок ввода команды для приема команды манипуляции дисплеем от пользователя после вывода сигнала извещения и передачи команды манипуляции дисплеем на устройство отображения.

24. Устройство дистанционного управления по п. 22, в котором средство сбора информации содержит по меньшей мере один из оптического датчика для регистрации света, акустического датчика для регистрации звука, датчика движения для регистрации движения, датчика температуры для регистрации температуры и датчика биосигнала для регистрации по меньшей мере одного из температуры, пульса, частоты дыхания и частоты сердечных сокращений человека.

25. Устройство дистанционного управления по п. 22, в котором средство сбора информации содержит распознаватель лиц для выявления формы лица из изображения, для выявления характерных точек лица из выявленной формы лица, для анализа положений характерных точек лица, для генерации информации лица и информации выражения лица и для сбора ситуационной информации.

26. Устройство дистанционного управления по п. 22, в котором блок извещения содержит по меньшей мере один из светоизлучающего модуля для излучения света, модуля генерации вибрации для генерации вибраций и модуля акустического вывода для вывода звука.

27. Устройство дистанционного управления по п. 22, в котором блок определения ситуации выполнен с возможностью определять текущее состояние пользователя на основании ситуационной информации и информации изображения для изображения, воспроизводимого устройством отображения.

28. Устройство дистанционного управления, содержащее:

модуль беспроводной связи, выполненный с возможностью передавать команды или данные о текущем состоянии пользователя, определенном на основании ситуационной информации, собранной от устройства отображения;

блок извещения, выполненный с возможностью вывода сигнала извещения, соответствующего принятому текущему состоянию пользователя на основании команды или данных, принятых модулем беспроводной связи; и

контроллер, выполненный с возможностью передачи пользовательской команды на устройство отображения, используя модуль беспроводной связи после вывода сигнала извещения блоком извещения,

причем после приема устройством отображения пользовательской команды устройство отображения формирует информацию управления для предоставления пользователю услуги изображения на основе ощущений согласно текущему состоянию пользователя.

29. Способ управления устройством отображения, причем способ содержит этапы, на которых:

собирают по меньшей мере один фрагмент ситуационной информации или принимают по меньшей мере один фрагмент ситуационной информации от устройства дистанционного управления;

определяют текущее состояние пользователя на основании собранного или принятого по меньшей мере одного фрагмента ситуационной информации;

выводят сигнал извещения посредством устройства дистанционного управления;

обеспечивают возможность для устройства дистанционного управления принимать пользовательскую команду после вывода сигнала извещения; и

генерируют информацию управления, чтобы обеспечить пользователю услуги изображения на основе ощущений согласно текущему состоянию пользователя.

30. Способ по п. 29, в котором ситуационную информацию собирают посредством по меньшей мере одного из регистрации света и измерения количества света, измерения громкости звука, регистрации движения, измерения температуры, измерения по меньшей мере одного из пульса и температуры человека и измерения информации времени, принятой от спутника или контроллера.

31. Способ по п. 29, в котором сбор ситуационной информации содержит этапы, на которых:

выявляют форму лица из изображения;

выявляют характерные точки лица из выявленной формы лица; и анализируют положения характерных точек лица и собирают ситуационную информацию, содержащую информацию лица и информацию выражения лица изображения.

32. Способ по п. 29, в котором определение текущего состояния пользователя содержит этапы, на которых:

ищут в базе данных информацию определения, содержащую информацию определения, для определения текущего состояния пользователя на основании ситуационной информации; и

сравнивают собранную ситуационную информацию с информацией определения базы данных информации определения и определяют текущее состояние пользователя из информации определения при наличии информации определения, соответствующей собранной ситуационной информации.

33. Способ по п. 29, в котором услугу изображения на основе ощущений предоставляют путем осуществления по меньшей мере одного из:

захвата изображения с использованием камеры устройства отображения,

отображения изображения, захваченного камерой устройства отображения на устройстве отображения в режиме "картинка в картинке" (PIP),

отображения эскизного изображения по меньшей мере одного изображения, захваченного камерой устройства отображения, на экране устройства отображения,

отображения информации об изображении, отображаемом на экране устройства отображения, на экране устройства отображения, и

предоставления возможности модулю проектора пучка устройства отображения проецировать изображение на проекционную поверхность.

34. Способ по п. 29, в котором генерация команды управления согласно текущему состоянию пользователя содержит этапы, на которых:

ищут в базе данных информации управления информацию управления устройства отображения, соответствующую текущему состоянию пользователя;

выявляют информацию управления устройства отображения, соответствующую текущему состоянию пользователя; и

генерируют команду управления согласно информации управления.

35. Способ по п. 29, в котором определение текущего состояния пользователя содержит этап, на котором определяют текущее состояние пользователя на основании ситуационной информации и информации об изображении, воспроизводимом устройством отображения.

36. Способ управления устройством отображения, причем способ содержит этапы, на которых:

собирают по меньшей мере один фрагмент ситуационной информации или принимают по меньшей мере один фрагмент ситуационной информации от устройства дистанционного управления;

определяют текущее состояние пользователя на основании собранного или принятого по меньшей мере одного фрагмента ситуационной информации;

предписывают устройству дистанционного управления выводить сигнал извещения; и

обеспечивают возможность устройству дистанционного управления принимать пользовательскую команду от пользователя согласно сигналу извещения, выводимому из устройства дистанционного управления после вывода сигнала извещения; и

генерируют информацию управления для предоставления пользователю услуги изображения на основе ощущений согласно собранной или принятой ситуационной информации и команде управления.

37. Способ управления сервером, причем способ содержит этапы, на которых:

посредством сервера принимают по меньшей мере один фрагмент ситуационной информации от по меньшей мере одного из устройства отображения и устройства дистанционного управления;

посредством сервера определяют текущее состояние пользователя на основании принятой ситуационной информации;

посредством сервера предписывают устройству дистанционного управления выводить сигнал извещения; и

посредством сервера передают команду управления для предоставления пользователю услуги изображения на основе ощущений согласно текущему состоянию пользователя после вывода сигнала извещения посредством устройства дистанционного управления; и

посредством сервера обеспечивают возможность устройству отображения предоставлять пользователю услугу изображения на основе ощущений согласно команде управления.

38. Способ управления устройством дистанционного управления, причем способ содержит этапы, на которых:

собирают по меньшей мере один фрагмент ситуационной информации;

определяют текущее состояние пользователя на основании собранной ситуационной информации;

посредством устройства дистанционного управления выводят сигнал извещения, соответствующий текущему состоянию пользователя;

обеспечивают возможность устройству дистанционного управления принимать пользовательскую команду от пользователя после вывода сигнала извещения из устройства дистанционного управления;

генерируют команду управления устройством отображения на основании собранной ситуационной информации и пользовательской команды, и

передают команду управления на устройство отображения, так что устройство отображения предоставляет пользователю услугу изображения на основе ощущений согласно команде управления.

39. Способ управления устройством дистанционного управления, причем способ содержит этапы, на которых:

собирают по меньшей мере один фрагмент ситуационной информации;

определяют текущее состояние пользователя на основании собранной ситуационной информации;

выводят, посредством устройства дистанционного управления, сигнал извещения, соответствующий текущему состоянию пользователя;

генерируют команду управления устройством отображения на основании собранной ситуационной информации после вывода сигнала извещения из устройства дистанционного управления; и

передают команду управления на устройство отображения, так чтобы устройство отображения предоставило пользователю услугу изображения на основе ощущений согласно команде управления.

40. Невременный компьютерно-считываемый носитель записи, хранящий программу для реализации способа по п. 39.