УСТРОЙСТВО ОТОБРАЖЕНИЯ ИЗОБРАЖЕНИЯ И УСТРОЙСТВО ДЛЯ ВВОДА ИНФОРМАЦИИ Российский патент 2018 года по МПК A61B5/04 

Область техники

Технология, которая раскрытая в описании, относится к устройству отображения изображения, которое используется при установке устройства на голове пользователя, и позволяет пользователю просматривать и прослушивать изображение, и к устройству для ввода информации, с помощью которого пользователь выполняет операцию ввода в случае установки устройства на голове. В частности, эта технология относится к устройству отображения изображения и устройству для ввода информации, которые управляются посредством движения глаз пользователя, носящего устройство.

Уровень техники

Установленное на голове устройство отображения изображения, которое используется для просмотра и прослушивания изображения посредством установленного на голове устройства, то есть, известного как установленного на голове дисплея. Установленное на голове устройство отображения изображения включает в себя, например, блоки отображения изображения для левого и правого глаза, соответственно, и выполнено с возможностью также управлять процессом просмотра и прослушивания с помощью наушников. Кроме того, установленное на голове устройство отображения изображения может проецировать изображения, которые отличаются для показа для левого и правого глаза, и обеспечить просмотр 3D изображения левым и правым глазом при отображении изображения с параллаксом.

Кроме того, можно классифицировать устанавливаемое на голове устройство отображения изображения как светонепроницаемое и как прозрачное. Установленное на голове устройство отображения изображения светонепроницаемого типа выполнено так, чтобы непосредственно покрывать глаза пользователя при установке на голове, и уровень концентрации пользователя увеличивается для просмотра и прослушивания изображения. С другой стороны, в случае использования установленного на голове устройства отображения изображения прозрачного типа, когда пользователь может видеть окружающую обстановку (то есть, видеть насквозь) за пределами изображения во время отображения изображения при установке устройства на голову, что позволяет пользователю избежать столкновения с препятствием при использовании устройства на открытом воздухе или при ходьбе.

Многие установленные на голове устройства отображения изображения используются для просмотра контента, будучи подключенным к AV устройству воспроизведения, например, DVD-плеер или Blue-Ray (BD) плеер (например, см. PLT 1). Здесь, при просмотре и прослушивании изображения, необходимо обеспечить возможность управления функционированием устройства пользователем, например, увеличивать или уменьшать уровень звука в наушниках, начинать воспроизведение, останавливать воспроизведение, перематывать вперед, перематывать назад или т.п.

Например, предлагается установленное на голове устройство отображения изображения, в котором контроллер, включающий в себя кнопки меню для отображения меню или выбора элемента, кнопку «вниз» и кнопку «вверх» для перемещения целевого элемента меню, регулятора громкости для регулировки громкости и т.п. (например, см PTL 2). Тем не менее, пользователь, который носит установленное на голове устройство отображения изображения, может ошибочного выполнить операцию путем ощупывания и контроллера и при его установке. В частности, в случае использования установленного на голове устройства отображения изображения непрозрачного типа, поскольку пользователь практически ничего не видит, трудно управлять контроллером.

Поскольку установленное на голове устройство отображения изображения находится в тесном контакте с пользователем во время использования, то легко получить биологическую информацию о пользователе. Учитывая данный момент, выполняется попытка установления интерфейса пользователя (UI) на основе биологической информации, которая измеряется при ношении устройства пользователем. Например, можно сравнительно легко получить информацию о движении глаз пользователя посредством использования конфигурации устройства, такие как присутствует тесный контакт с головой.

В технической области был известен способ, в котором глаза фотографируются с помощью камеры, и движение глазного яблока или моргание захватывается при помощи процесса обработки изображения. Например, был предложен дисплей очкового типа, который включает в себя линию визирования устройства ввода, выполняющего операцию отображения посредством обнаружения отражения от глазного яблока с использованием инфракрасного света, и обнаружения положения линии визирования или мигания, и выполняет операцию воспроизведения видео или операцию ввода персонального компьютера без использования рук (например, см. PLT 3).

Тем не менее, линия визирования устройства ввода должна быть обеспечена таким образом, чтобы не быть загромождать поле зрения установленного на голове устройства отображения изображения, и существует много ограничений в конструкции и при изготовлении. Кроме того, в частности, когда речь идет о непрозрачном типе устройства отображения изображения, когда глазное яблоко фотографируется почти в темноте, необходимо использовать высокочувствительную камеру при вводе, и выполнить процесс обработки высококонтрастного изображения, соответственно, что приводит к увеличению стоимости устройства.

Кроме того, был предложен установленный на голове дисплей, в котором линия визирования детектируется путем измерения глазного потенциала, который генерируется посредством положительного заряда роговицы и отрицательным зарядом сетчатки с использованием множества электродов, которые прикреплены к периферии глаза, то есть, с помощью электроокулографии (EOG) или т.п. (например, см. PLT 4). Тем не менее, глазной потенциал, ассоциированный с движением глазного яблока, миогенный потенциал, ассоциированный с миганием и мозговые волны смешивают в разностной потенциал сигнала, который поступает от электрода, и необходимо рассматривать их по отдельности (например, извлечение только разностного потенциала сигнала, который вызывается миганием). В установленном на голове дисплее быстрое саккадическое перемещение глазного яблока во время перемещения положения линии визирования пользователя, регистрируется в качестве потенциального сигнала глаз, и резкое изменение величины напряжения, которое происходит из-за мигания, устраняется.

Перечень ссылок

Патентные документы

PLT 1: Нерассмотренная заявка на патент Японии №2005-86328

PLT 2: Нерассмотренная заявка на патент Японии №2001-133724

PLT 3: Нерассмотренная заявка на патент Японии №2000-23065

PLT 4: Нерассмотренная заявка на патент Японии №2011-125693

PLT 5: Нерассмотренная заявка на патент Японии 2012-138654

Раскрытие изобретения

Задача, решаемая с помощью изобретения

Желательно обеспечить высококачественное устройство отображения изображения и устройство для ввода информации, которые используются посредством установки на голове пользователя, и предпочтительно управляется на основании движения глаз пользователя.

Решение технической задачи

В свете вышеизложенного, предлагаются варианты осуществления настоящего изобретения. В соответствии с иллюстративным вариантом осуществления, устройство обработки информации включает в себя по меньшей мере один электрод, выполненный с возможностью генерировать по меньшей мере один сигнал, относящийся к процессу мигания глаза; и схему обработки, выполненную с возможностью принимать по меньшей мере один сигнал и детектировать процесс моргания глаза на основании по меньшей мере одного сигнала.

Полезные результаты изобретения

В соответствии с изобретением, которое раскрыто в настоящем описании, можно обеспечить высококачественное устройство отображения изображения и устройство для ввода информации, которые используются при установке на голове пользователя, и, предпочтительно, управляются на основании процесса движения глаз пользователя.

Устройство отображения изображения и устройство для ввода информации, к которым применяется настоящее, описанное здесь изобретение, обеспечивают точное обнаружение моргание глаз пользователя на основании миогенного потенциала сигнала, который обнаруживается в непосредственной близости от левого и правого глаза пользователя, который носить устройство, и обеспечивает UI операцию, в котором рука не используется, основанная на комбинации процессов мигания левого и правого глаза.

Еще другие цели, характеристики и преимущества изобретения, которые описаны в описании, будут разъяснены в соответствии с подробным описанием в дальнейшем на основе вариантов осуществления, которые будут описаны позже со ссылкой на прилагаемые чертежи.

Краткое описание чертежей

Фиг. 1 показывает вид в перспективе, иллюстрирующий устройство отображения изображения в соответствии с вариантом осуществления настоящего изобретения, вид спереди.

Фиг. 2 показан вид в перспективе, иллюстрирующий устройство отображения изображения в соответствии с вариантом осуществления настоящего изобретения, вид с тыла.

Фиг. 3 представляет собой вид сбоку устройства отображения изображения в соответствии с вариантом осуществления настоящего изобретения.

Фиг. 4 является диаграммой, которая иллюстрирует пример конфигурации с установленным датчиком, которым оборудован налобный контактный блок.

Фиг. 5 является диаграммой, которая иллюстрирует механизм регулировки высоты, которым оснащен налобный контактный блок.

Фиг. 6 является диаграммой, которая иллюстрирует механизм регулировки высоты, которым оснащен налобный контактный блок.

Фиг. 7 представляет собой схему, иллюстрирующую пример внутренней конфигурации устройства отображения изображения, к которой применяется изобретение, раскрытое в настоящем описании.

Фиг. 8 является видом (вид спереди), который иллюстрирует пример, где налобный контактный блок оснащен датчиком миогенного потенциала для определения процесса мигания.

Фиг. 9 является видом (вид сверху), иллюстрирующий пример, где налобный контактный блок оснащен датчиком миогенного потенциала для определения процесса мигания.

Фиг. 10 показывает схему, описывающую сигнал потенциала глаза, который поступает на электроды обнаружения мигания, когда глазное яблоко глаз пользователя перемещается в горизонтальном направлении.

Фиг. 11 представляет собой схему, описывающую сигнал потенциала глаза, который поступает на вход опорного электрода, когда оба глазных яблока глаз пользователя перемещаются вправо.

Фиг. 12 представляет собой схему, описывающую сигнал потенциала глаза, который поступает на вход опорного электрода, когда оба глазных яблока глаз пользователя перемещаются влево.

Фиг. 13 представляет собой вид (вид спереди), который иллюстрирует другой пример, где налобный контактный блок оснащен датчиком миогенного потенциала для определения процесса мигания.

Фиг. 14 представляет собой схему, которая схематически иллюстрирует конфигурацию схемы, в которой обрабатывается выходной сигнал датчика миогенного потенциала, который показан на фиг. 8 и 9.

Фиг. 15 представляет собой временную диаграмму, которая иллюстрирует сигнал потенциала, полученный от электрода обнаружения мигания левого глаза и электрода обнаружения мигания правого глаза, соответственно.

Фиг. 16 представляет собой временную диаграмму, в которой иллюстрируется перекрывание уровней миогенного потенциала, когда мигание осуществляется преднамеренно и миогенного потенциала, когда мигание выполнено непреднамеренно.

Фиг. 17 представляет собой блок-схему алгоритма, в которой иллюстрируется перекрывание уровней миогенного потенциала, когда мигание осуществляется преднамеренно и миогенного потенциала, когда мигание выполнено непреднамеренно.

Фиг. 18 представляет собой схему, иллюстрирующую пример работы UI, в котором используется процесс мигания глаз пользователя (диаграмма, которая иллюстрирует состояние, в котором положение курсора на меню перемещается в левую сторону один за другим в соответствии с одним действием мигания левого глаза).

Фиг. 19 представляет собой схему, иллюстрирующую пример работы UI, в котором используется процесс мигания глаз пользователя (диаграмма, которая иллюстрирует состояние, в котором положение курсора на меню перемещается в вправо один за другим в соответствии с одним действием мигания правого глаза).

Фиг. 20 представляет собой схему, иллюстрирующую пример работы UI, в котором используется процесс мигания глаз пользователя (диаграмма, которая иллюстрирует состояние, в котором положение курсора на меню выбирается в соответствии с одновременным миганием обоих глаз).

Фиг. 21 представляет собой схему, иллюстрирующую пример работы UI, в котором используется действие мигания глаз пользователя (диаграмма, которая иллюстрирует состояние, в котором выпадающее меню отображается, выбранное в соответствии с одновременным миганием обоих глаз).

Фиг. 22 представляет собой схему, иллюстрирующую пример работы пользовательского интерфейса, в котором используется действие мигание глаз пользователя (диаграмма, которая иллюстрирует состояние, в котором положение курсора перемещается вверх и вниз на выпадающем меню в соответствии с миганием левого глаза и правого глаза).

Фиг. 23 представляет собой схему, иллюстрирующую пример работы пользовательского интерфейса, в котором используется действие мигания глаз пользователя (диаграмма, которая иллюстрирует состояние, в котором положение курсора перемещается вверх и вниз на выпадающем меню в соответствии с миганием левого глаза и правого глаза).

Фиг. 24 представляет собой схему, иллюстрирующую пример работы пользовательского интерфейса, в котором используется действие мигания глаз пользователя (диаграмма, которая иллюстрирует состояние, в котором элемент меню выбирается на выпадающем меню в соответствии с одновременным миганием левого и правого глаза).

Фиг. 25 представляет собой схему, иллюстрирующую пример работы пользовательского интерфейса, в котором используется действие мигания глаз пользователя (схема, которая иллюстрирует состояние, в котором выбор осуществляется действием мигания обоих глаз два раза подряд).

Фиг. 26 представляет собой схему, иллюстрирующую пример внутренней конфигурации устройства для ввода информации, к которому применяется изобретение, раскрытое в описании.

Осуществление изобретения

Далее будет приведено описание варианта осуществления технологии, раскрытой в данном описании, со ссылкой на прилагаемые чертежи.

А. Конфигурация устройства

Фиг. 1 иллюстрирует вид спереди устройства отображения изображения в соответствии с вариантом осуществления настоящего изобретения. Кроме того, фиг. 2 иллюстрирует вид сзади устройства отображения изображения в соответствии с вариантом осуществления настоящего изобретения. Показанное устройство отображения изображений является установленной на голове конструкцией, которая по форме напоминает шлем, и может быть обеспечивать установку устройства, снижая нагрузку на голову пользователя, распределяя нагрузку устройства на всей головной части, даже если большая нагрузка концентрируется в передней части основного корпуса.

Кроме того, фиг. 3 иллюстрирует вид сбоку устройства отображение изображения в соответствии с вариантом осуществления настоящего изобретения. Устройство отображения изображения в соответствии с вариантом осуществления сконфигурировано с помощью основного корпуса 101, включающий в себя большинство компонентов, который включают в себя систему отображения, налобный контактный блок 102, который выступает из верхней поверхности основного корпуса 101, стяжку головных наушников, которая разветвляется на верхнюю часть 104 стяжки и нижнюю часть 105 стяжки на тыльной стороне, и горизонтальные наушники. Блок отображения или монтажная плата размещена в основном корпусе 101. Кроме того, носовой контактный блок 103, имитирующий спинки носа, предусмотрен в нижней части основного корпуса 101.

Когда пользователь носит устройство отображения изображения, установленное в соответствующем положении на голове, лобный контактный блок 102 входит в контакт с лобной частью головы пользователя, и верхняя часть 104 стяжки и нижняя часть 105 стяжки вступают в контакт с затылком. То есть, установленный на голове дисплей устанавливается на голове пользователя, будучи поддерживаемым тремя точками соприкосновения посредством лобного контактного блока 102, верхней части 104 стяжки и нижней части 105 стяжки. Это позволяет поддерживать основной корпус устройства отображения изображения так, чтобы обеспечить отсутствие вращения на голове пользователя посредством установки стяжки головных наушников в состояние, в котором лоб пользователя входит в контакт с лобным контактным блоком 102.

Лобный контактный блок 102 снабжен датчиком позиции установки, который определяет, что устройство отображения изображения установлено на голове пользователя, в соответствии с перемещением устройства входит в контакт с лобной частью головы, когда устройство отображения изображения установлено на голове пользователя. Фиг. 4 иллюстрирует пример конфигурации датчика позиции установки, который находится в лобном контактном блоке 102. В изображенном примере, лобный контактный блок 102, имеющий возможность поворачиваться, поддерживается внешним корпусом устройства отображения изображения с помощью вала 142 вращения. Лобный контактный блок 102 выталкивается к тыльной стороне устройства отображения изображения, то есть, в положение, не предназначенное для ношения, обращенное к лобной части головы пользователя, который носит устройство, за счет восстанавливающей силы пружины 144, когда пользователь не носит устройство. Кроме того, при ношении устройства, лобный контактный блок возвращается в позицию установки на передней стороне посредством нажатия, когда лобная часть головы пользователя вступает с ним в контакт. Кроме того, рычаг 143, который выступает к фронтальной стороне, прикреплен к валу 142 вращения. При ношении устройства лобный контактный блок 102 поворачивается примерно на 10 градусов вокруг вала 142 вращения. Таким образом, когда пользователь носит устройство и лобный контактный блок 102 возвращается к фронтальной стороне посредством нажатия, рычаг 143 блокируется и микрокнопка 141 замыкается на ее концевой части. Таким образом, можно определить факт установки устройства отображения изображения на голове пользователем посредством функционирования микрокнопки 141.

Кроме того, лобный контактный блок 102 снабжен механизмом регулировки высоты. Фиг. 5 иллюстрирует состояние, в котором высота лобного контактного блока 102 изменяется с помощью механизма регулировки высоты. Как показано на чертеже, лобный контактный блок 102, который установлен в нижнее положение, обозначается сплошной линией, и лобный контактный блок 102, который установлен в верхнем положении, обозначается пунктирной линией. Как показано, при изменении высоты установки лобного контактного блока 102 в верхнее положение с нижней позиции, можно расширить диапазон изменения в соответствии с индивидуальным различием в размерах головы пользователя.

Способ регулировки высоты лобного контактного блока 102 не ограничивается указанным механизмом. Например, можно легко регулировать высоту посредством операции повторного присоединения лобного контактного блока 102, который может быть съемным, что позволяет закреплять в нижнем положении и в верхнем положении. Фиг. 6 показывает вид в поперечном сечении лобного контактного блока 102, который установлен в нижней позиции слева, и иллюстрирует вид в поперечном сечении лобный контактный блок 102, который установлен к верхней позиции справа, соответственно.

Устройство отображения изображения, которое показано на фигурах с 1 по 6, является непрозрачным типом, которое выполнено таким образом, чтобы непосредственно покрывать глаза пользователя, который его носит, и уровень концентрации пользователя возрастает, когда пользователь просматривает и прослушивает изображение, однако, пользователь в данный момент находится в зашторенном состоянии. В устройстве отображения изображения лобный контактный блок 102, как правило, входит в тесный контакт с лицом пользователя в установленном состоянии на голове пользователя. Существует индивидуальные различия в местоположении или по высоте лба на лице, однако, как показано на фиг. 6, соответствующее местоположение обеспечивается путем регулировки высоты. Соответственно, можно разместить электрод для обнаружения потенциала от головы пользователя в лобном контактном блоке 102 или в носовом контактном блоке 103.

Фиг. 7 иллюстрирует пример внутренней конфигурации устройства 700 отображения изображения, в которой применяется раскрытая в описании технология. Далее будет приведено описание каждого компонента.

Блок 701 управления включает в себя постоянное запоминающее устройство (ROM) 701А или оперативное запоминающее устройство (RAM) 701В. Программный код, который выполняется в блоке 701 управления, или различные элементы данных хранятся в ROM 701А. Блок 701 управления выполняет общее управление всей работой устройства 700, включающее в себя управление отображением изображения посредством выполнения программы, которая загружается в RAM 701В. Так как программы или данные, которые хранятся в ROM 701А, существует программа управления отображением изображения, программа обработки информации об окружающей среде, которая получается блоком 704 получения информации об условиях окружающей среды, программа обработки информации о состоянии, которая получается блоком 705 получения информации состояния, информация идентификации, которая является уникальной для устройства 700 или тому подобное.

Блок 702 ввода операции включает в себя один или более операционных элементов, посредством которых пользователь выполняет операцию ввода, такие как клавиша, кнопка или переключатель, которые воспринимают команду пользователя через операционный элемент, и выводит команду в блок 701 управления. Кроме того, блок 702 ввода операции аналогично принимает команду пользователя, которая формируется с помощью команды пульта дистанционного управления, которая принимается приемным блоком 703 пульта дистанционного управления, и выводит их в блок 701 управления. Однако, для пользователя, который носит устройство 700, управление блоком 702 ввода операции или пультом дистанционного управления (не показан) становится неудобным из-за нахождения в почти зашоренном состоянии.

Блок 704 получения информации об условиях окружающей среды получает информацию о состоянии окружающей среды, относящуюся к периферийной среде устройства 700 и выводит ее в блок 701 управления. Блок 704 получения информации об условиях окружающей среды получает, например, информацию об интенсивности света, окружающей звуковой интенсивности, позиции или месте, температуре, погоде, времени, об изображении на периферии или тому подобное, в качестве информации об условиях окружающей среды. Кроме того, блок 704 получения информации об условиях окружающей среды может включать в себя различные датчики условий окружающей среды, такие как датчик величины света, микрофон, (GPS) датчик системы глобального позиционирования, датчик влажности, датчик температуры, часы, датчик изображения (камеры), датчик излучения и т.п. (ни один не показан на фиг. 7), чтобы получить информацию об условиях окружающей среды. В качестве альтернативы, устройство 700 может быть выполнено с возможностью получать информацию об условиях окружающей среды с помощью блока 704 получения информации об условиях окружающей среды с внешнего устройства (не показано), который включает в себя датчик условий окружающей среды, без установки датчика об условиях окружающей среды.

Блок 705 получения информации состояния получает информацию о состоянии, относящуюся к состоянию пользователя, который использует устройство 700 и выводит ее в блок 701 управления. Блок 705 получения информации состояния получает, например, информацию об использовании устройства пользователем (носит или нет пользователь устройство), информацию о состоянии поведения пользователя (поза головы пользователя при ношении устройства, перемещения, например, ходьба, открытое и закрытое состояние век), психическое состояние (степень волнения во время наблюдения изображения, например, степень погружения, концентрации и т.п., степень пробуждения, чувства, эмоции и т.п.) и информацию о физическом состоянии. Кроме того, блок 705 получения информации состояния может включать в себя различные датчики состояния, такие как датчик установки, который образован механическим переключателем или т.п. (см фиг. 4), датчик гироскопа, датчик ускорения, датчик скорости, датчик давления, датчик температуры тела, датчик пота, датчик миогенного потенциала, датчик потенциала глаз, датчик мозговые волны (любой из них не показан на фиг. 7), чтобы получить информацию о состоянии пользователя.

В соответствии с вариантом осуществления, блок 705 получения информации состояния включает в себя датчик миогенного потенциала для измерения миогенного потенциала в непосредственной близости от глаз пользователя, который носит устройство 700. Предполагается, что блок 701 управления получает оперативную информацию относительно использования устройства 700 посредством обнаружения процесса мигания глаз пользователя, на основе полученного миогенного потенциала, однако, подробное описание данного процесса будет сделано позже.

Блок 706 связи устанавливает связь с другим устройством, выполняет модуляцию/демодуляцию сигнала связи и процесс кодирования/декодирования. Например, блок 706 связи принимает сигнал изображения для отображения и вывода из внешнего устройства (не показано) в качестве источника изображения. Внутреннее изображение или внешнее изображение, которое принято блоком 706 связи, и после выполнения демодуляции и декодирования, или другие принятые данные поставляются в блок 701 управления. Кроме того, блок 701 управления посылает данные передачи, предназначенные для передачи, на внешнее устройство посредством блока 706 связи.

Конфигурация блока 706 связи является произвольной. Например, можно выполнить блок 706 связи в соответствии со стандартом связи, который используется при передаче и приеме сигнала операции с внешнего устройства в качестве коммуникационного партнера. Стандарт связи может быть проводным или беспроводным типом. В качестве стандарта связи, как здесь упомянуто, может использоваться Мобильная связь высокой четкости (MHL), Универсальная последовательная шина (UBS), Мультимедийный интерфейс высокой четкости (HDMI), Bluetooth (зарегистрированная торговая марка), инфракрасный порт или тому подобное.

Блок 707 обработки изображения дополнительно выполняет обработку сигнала, такую как коррекция качества изображения в отношении сигнала изображения, который выводится из блока 701 управления, и выполняется преобразование, с целью получить величину разрешения, которая подходит к экрану панели 709 дисплея. Кроме того, блок 708 управления дисплеем последовательно выбирает пиксели в панели 709 дисплея в каждой строке, последовательно сканируются, и поставляет сигнал пикселя в зависимости от сигнала изображения, в котором выполняется обработка сигнала.

Панель 709 дисплея конфигурируется с помощью микродисплея, такого как, например, органический электролюминесцентный элемент или жидкокристаллический дисплей. Оптический блок 710 виртуального изображения обеспечивает возможность пользователю просматривать отображаемое изображение на панели 709 дисплея как увеличенное виртуальное изображение посредством проецирования изображения.

Устройство 700 отображения изображения является непрозрачным типом, которое выполнено с возможностью непосредственно покрывать глаза пользователя, и в котором затруднительно осуществить операцию по вводу информации посредством блока 702 ввода операции или пульта дистанционного управления, так как пользователь находится в зашоренном состоянии во время ношения устройства. Таким образом, в соответствии с вариантом осуществления, блок 705 получения информации состояния выполняет операцию по вводу информации, основанную на мигании левого и правого глаза, что получается как информация состояния пользователя.

В качестве другого способа выполнения операции ввода, используя движение глаз пользователя, может применяться известный установленный на голове дисплей, который выполняет операцию ввода в направлении линии визирования, не используя мигание глаз или носимое устройство (например, см. PLT 3 и 4). Тем не менее, трудно точно определить направление линии визирования, и когда отображаются множество кнопок меню, будучи расположены рядом друг с другом, также предполагается, что соседние кнопки меню могут быть нажаты по ошибке. В отличие от этого, мигание является дискретный выходным сигналом только для определения того, являются или нет веки глаза закрытыми, и считается, что этот факт может четко интерпретировать команду пользователя.

Процесс функционирования UI, используя мигание, является простым и легким в использовании для пользователя. Пользователь может выполнять три операции ввода посредством мигания только левым глазом, миганием только правым глазом и одновременным миганием обеими глазами. Например, можно выделить операцию пользовательского интерфейса, такую как движение курсора в левом направлении посредством мигания только левым глазом, и операцию пользовательского интерфейса, такую как движение курсора в правом направлении посредством мигания только правым глазом, соответственно. Работа UI, где курсор перемещается влево посредством мигания левым глазом, и курсор перемещается вправо посредством мигания правым глазом интуитивно легко для понимания пользователя.

В. Обнаружение мигания глаза пользователя

Способ захвата движения глазного яблока или мигания при выполнении обработки изображения по отношению к сфотографированному изображению или тому подобное широко известен в области техники. Тем не менее, линия визирования устройства для ввода информации должна быть обеспечена в устройстве отображения изображения, которое установлено на голове, чтобы не загромождать поле зрения, соответственно, существует много ограничений при разработке и производстве.

Таким образом, в соответствии с вариантом осуществления, мигание глаз пользователя обнаруживается на основании полученного результата миогенного потенциала, посредством миогенного датчика, который измеряет миогенный потенциал в непосредственной близости от глаз пользователя, который носит устройство. Так как возможно определить мигает или нет глаз пользователя, посредством сравнения детектированного миогенного потенциала с пороговым значением, определение факта мигания осуществляется с использованием простого процесса обработки по сравнению с обработкой изображения фотографируемого изображения камеры, или определения направления линии визирования.

Чтобы обнаружить миогенный потенциал, который обусловлен миганием глаз, необходимо объединить электрод детектирования для улавливания изменения миогенного потенциала и опорный электрод для получения опорного миогенного потенциала. Кроме того, так как обеспечивается контакт между лобным контактным блоком 102 и лицом пользователя в конфигурации устройства отображения изображения, которое показано на фиг. 1-6, в соответствии с вариантом осуществления, электрод детектирования и опорный электрод расположены в лобном контактном блоке 102. Естественно, места, на которых установлены электроды, могут соответствующим образом быть перемещены в другие места, чем в лобном контактном блоке 102, в соответствии с изменением конфигурации устройства.

Примеры, в которых миогенного датчик, который образован электродом детектирования мигания, расположен в лобном контактном блоке 102, показаны на фиг. 8 и 9. Однако, фиг. 8 является схемой, которая иллюстрирует состояние просмотра с фронта лица пользователя, а на фиг. 9 показана схема, которая иллюстрирует состояние просмотра сверху головы пользователя. В проиллюстрированных примерах, электрод детектирования мигания левого глаза 801 входит в контакт с левым глазом пользователя, носящего устройство, примерно справа над ним, и электрод детектирования мигания правого глаза 802 входит в контакт с правым глазом пользователя, носящего устройство, примерно справа под ним. Кроме того, в примерах, показанных на фиг. 8 и 9, опорный электрод 803, который является общим для каждого из детектирующих электродов 801 и 802, расположен вблизи центра между электродами 801 и 802 детектирования.

В качестве материалов для изготовления электродов 801 и 802 и электрода 803 могут быть использованы материалы, например, как указано ниже.

(1) Проводящий гелиевый электрод (одноразовый электрод для биоэлектрических измерений, электрод для электрической стимуляции и т.п.).

(2) Сухой электрод (проводящие ткани, в которых используются проводящие нити, ткань, которая образуется путем осаждения или нанесения проводящего материала на изолирующую ткань и т.п.).

(3) Емкостной бесконтактный электрод.

Здесь, как показано на фиг. 8 и 9, составляющая потенциала глаза, которая генерируется движением глазного яблока, вводится в электрод, который входит в контакт со лбом человека, в дополнение к составляющей миогенного потенциала, которая генерируется движением мышц, при мигании. Известно, что потенциал глаза генерируется положительным зарядом роговицы и отрицательным зарядом сетчатки, положительный заряд возникает при приближении к радужной оболочке, и в отличие от этого, отрицательный заряд возникает при удалении от радужной оболочки. В принципе, движение глазного яблока является движением радужной оболочки влево и вправо, то есть, в горизонтальном направлении. Даже если радужная оболочка левого глаза перемещается, при наличии расстояния между электродом 801 детектирования, который расположен приблизительно непосредственно над левым глазом, положение радужной оболочки практически не изменяется, и сигнал потенциала, который подается на вход электрода 801 детектирования, практически не зависит от изменения потенциала, который вызван движением левого глазного яблока. Кроме того, даже когда радужная оболочка правого глаза перемещается, при наличии расстояния между электродом 802 детектирования, который расположен приблизительно непосредственно над правым глазом, положение радужной оболочки практически не изменяется, и сигнал потенциала, который подается на вход электрода 802 детектирования, практически не зависит от изменения потенциала, который вызван движением правого глазного яблока. Как показано на фиг. 10, разница в расстояниях L1, L2 и L3 до электрода 801 или 802 детектирования в каждом положении P1, Р2 и P3 радужной оболочки, мала и, соответственно, величина влияния на потенциал глаза может быть примерно такой же. Кроме того, даже если электроды 801 и 802 детектирования расположены приблизительно непосредственно под глазами, а не приблизительно прямо над глазом, так же, влияние на изменение потенциала глаза, которое вызвано движением глазного яблока, почти не воспринимается.

С другой стороны, опорный электрод 803 установлен на месте, в котором расстояние от левого глаза и от правого глаза примерно одинаково. Как показано на фиг. 11, поскольку отрицательный потенциал возникает при удалении от радужной оболочки правого глаза, и положительный потенциал возникает при приближении к радужной оболочки левого глаза, когда оба глаза пользователя поворачиваются направо, то отсутствует влияние на изменения потенциала глаза, которое вызвано перемещением обоих глазных яблок. Аналогичным образом, как показано на фиг. 12, поскольку положительный потенциал возникает при приближении к радужной оболочки правого глаза, и отрицательный потенциал возникает при удалении от радужной оболочки левого глаза, когда пользователь поворачиваются влево, то отсутствует влияние на изменения потенциала глаза, которое вызвано перемещением обоих глазных яблок. Когда опорный электрод 803 расположен приблизительно в центре лица (лба), даже тогда, когда линия зрения пользователя находится в любом положении, так как расстояние от радужной оболочки увеличивается, когда любая одна радужная оболочка левого и правого глаза становится ближе, изменение потенциала глазного яблока смещается в направление левого и правого глаза.

Вкратце, как показано на фиг. 8 и 9, приняв конфигурацию датчика миогенного потенциала, в которой электрод 801 детектирования мигания левого глаза расположен приблизительно прямо над левым глазом, электрод 802 детектирования мигания правого глаза расположен приблизительно прямо над правым глазом, и опорный электрод 803 расположен недалеко от центра от каждого электрода 801 и 802 детектирования, то можно обнаружить мигание, подавляя влияние на потенциал глаза. Кроме того, когда это возможно, необходимо поддерживать взаимное расположение каждого электрода 801, 802 и 803, которые описаны выше, датчик миогенного потенциала может быть расположен в другом месте, чем в лобном контактном блоке 102.

Фиг. 13 иллюстрирует другой пример, в котором датчик миогенного потенциала для определения мигания, расположен в лобном контактном блоке 102. В примерах, которые показаны на фиг. 8 и 9, он выполнен таким образом, что два электрода 801 и 802 детектирования совместно используют электрод 803. В отличие от этого, в примере, который показан на фиг. 13, предусмотрен отдельный опорный электрод 803L для электрода 801 детектирования и опорный электрод 803R для электрода 802 детектирования, что не предусматривает совместное использование электрода для левого и правого глаза.

Кроме того, в очкообразной конфигурации, устройство, описанное в PTL 2 (как описано выше), в которой, электрод детектирования установлен на спинке носа и положение линии визирования детектируют на основе сигнала потенциала глаз путем размещения опорного электрода в части, соприкасающиеся с мочки ушей в височной области.

При обнаружении мигания на основании сигнала миогенного потенциала, используя аналогичную конфигурацию устройства, электрод детектирования, установленный на носовых стенках, принимает сигнала потенциала, который чутко реагирует на изменение потенциала, который ассоциирован с движением радужной оболочки, вызванного движением глазного яблока. Кроме того, поскольку опорный электрод расположен на затылке, который отделен от электрода детектирования и улавливает мозговые волны, также трудно определить изменение потенциала, вызванного миганием. В отличие от этого, в соответствии с вариантом осуществления, поскольку электрод 803 расположен в непосредственной близости от электродов 801 и 802 детектирования, то можно не допустить смешивания сигнала с мозговыми волнами.

Фиг. 14 схематически иллюстрирует конфигурацию схемы 1400, которая обрабатывает выходной сигнал датчика миогенного потенциала, который показан на фиг. 8 и 9. Показанная схема 1400 обработки установлена в блоке 705 получения информации состояния, например.

На входную положительную клемму первого дифференциального усилителя 1401 поступает сигнал потенциала электрода 801 детектирования мигания левого глаза, на входную отрицательную клемму поступает сигнал потенциала опорного электрода 803, и выполняется дифференциальное усиление по отношению к их разнице. Кроме того, первый фильтр 1403, сконфигурированный с помощью полосового фильтра, режекторного фильтра или т.п., фильтр исключает ненужную составляющую, которая находится в выходном сигнале после дифференциального усиления первым дифференциальным усилителем 1401 и затем выводит сигнал в блок 1405 определения.

Кроме того, на входную положительную клемму второго дифференциального усилителя 1402 поступает сигнал потенциала электрода 802 детектирования мигания правого глаза, на входную отрицательную клемму поступает сигнал потенциала опорного электрода 803, и выполняется дифференциальное усиление по отношению к их разнице. Кроме того, второй фильтр 1404, сконфигурированный с помощью полосового фильтра, режекторного фильтра или т.п., фильтр исключает ненужную составляющую, которая находится в выходном сигнале после дифференциального усиления вторым дифференциальным усилителем 1402 и затем выводит сигнал в блок 1405 определения.

Блок 1405 определения обнаруживает факт намеренного или нет мигания левого глаза, правого глаза и обоих глаз пользователя на основании сигналов D_L и D_R потенциалов после дифференциального усиления, которые получены из электрода 801 детектирования мигания левого глаза и электрода 802 детектирования мигания правого глаза, соответственно.

Фиг. 15 иллюстрирует сигналы потенциалов, которые получаются из электрода 801 детектирования мигания левого глаза и электрода 802 детектирования мигания правого глаза, соответственно.

Когда пользователь, который носит устройство отображения изображений на голове, преднамеренно мигает левым глазом, как обозначено ссылочной позицией 1501, колебательный сигнал возникает в сигнале потенциала из электрода 801 детектирования. Кроме того, сигнал, имеющий полярность, противоположную вышеуказанной полярности, который обозначается ссылочным номером 1502, возникает в сигнале потенциала из другого электрода 802 детектирования.

Кроме того, когда пользователь намеренно мигает правым глазом, колебательный сигнал, который обозначен ссылочным номером 1504, возникает в сигнале потенциала из электрода 802 детектирования. Кроме того, сигнал, имеющий полярность, противоположную вышеуказанной полярности, который обозначается позицией 1502, возникает в сигнале потенциала из другого электрода 801 детектирования.

Кроме того, когда пользователь намеренно мигает обоими глазами, колебательный сигнал, который обозначается ссылочным номером 1505, возникает в сигнале потенциала из электрода 801 детектирования. Кроме того, сигнал, имеющий полярность, которая является такой же, как указана выше, обозначен позицией 1506, возникает в сигнале потенциала из другого электрода 802 детектирования.

Когда сигналы потенциалов из электродов 801 и 802 детектирования поступают на вход, блок 1405 определения способен определить факт мигания только левым глазом, только правым глазом и одновременное мигание обоими глазами посредством сравнения уровней сигнала с соответствующими пороговыми значениями TH_L и TH_R. Кроме того, блок 1405 определения может выполнять процесс определения на основании величины ускорения и скорости, обозначающие крутизну волны, а не только посредством порогового значение уровня сигнала, для точного определения колебательного сигнала миогенного потенциала процесса мигания. Кроме того, при получении результата определения мигания из блока 1405 определения, блок 701 управления может выполнять заданную операцию пользовательского интерфейса на основании результата. Тем не менее, подробные описания работы пользовательского интерфейса будет приведено позже.

Кроме того, человек периодически обычно мигает бессознательно. Тем не менее, миогенный потенциал, который образуется вследствие бессознательного мигания, значительно ниже уровня, чем миогенный потенциал при преднамеренном мигании, и имеет слабый колебательный сигнал. Фиг. 16 иллюстрирует уровень миогенного потенциала при преднамеренном мигании, и уровень миогенного потенциала при бессознательном мигании, которые перекрываются друг с другом.

Кроме того, в то время как пользователь, который носит устройство отображения изображений на голове, использует UI в связи с миганием, изменение миогенного потенциала обычно возникает также из-за мышечного движения частей человеческого тела. Однако, поскольку уровень миогенного потенциала, который генерируется в месте, которое находится ниже шеи, которое отделено от электродов 801 и 802 детектирования, снижается из-за ослабления при достижении электродов 801 и 802 детектирования, то есть считается, что миогенный потенциал не влияет на процесс определения блоком 1405 определения. Кроме того, также считается, что миогенный потенциал, сгенерированный в месте, которое находится ниже шеи, ослабляется при прохождении тонкой шеи.

Фиг. 17 иллюстрирует процесс определения мигания левого глаза с помощью блок-схемы алгоритма, на основании сигнала D_L потенциала, который принимается из электрода 801 детектирования, в блоке 1405 определения. Кроме того, тот же самый процесс обработки может быть выполнен для сигнала потенциала, который принимается из электрода 802 детектирования.

Блок 1405 определения сравнивает уровень сигнала D_L потенциала с пороговым значением TH_L, во-первых (этап S1701).

Когда уровень сигнала D_L ниже порогового значения TH_L (НЕТ на этапе S1701), то блок 1405 определения определяет, что левый глаз не мигает.

С другой стороны, когда уровень сигнала D_L выше порогового значения TH_L (ДА на этапе S1701), то блок 1405 определения получает величину ступени выдержки по времени или разницу во времени значения сигнала D_L, получает величину скорости значения сигнала (этап S1702) и проверяет, находится или нет величина скорости в диапазоне заданной величины [V1, V2] (этап S1703).

Когда величина скорости значения сигнала находится вне диапазона заданного значения [V1, V2] (НЕТ на этапе S1703), то блок 1405 определения определяет, что левый глаз не мигает.

С другой стороны, когда величина скорости значения сигнала D_L находится в диапазоне [V1, V2] (ДА на этапе S1703), то блок 1405 определения получает величину ступени выдержки по времени или разницу во времени значения сигнала D_L, получает величину скорости значения сигнала (этап S1704) и проверяет, находится или нет величина скорости в диапазоне заданной величины [A1, А2] (этап S1705).

Когда величины скорости и ускорения значение сигнала находится вне диапазона заданного значения [A1, А2] (НЕТ на этапе S1705), то блок 1405 определения определяет, что левый глаз не мигает. С другой стороны, когда величина ускорения значения сигнала D_L находится в диапазоне [A1, А2] (ДА на этапе S1705), то блок 1405 определения определяет, что левый глаз мигает (этап S1706) и выводит результат определения в блок 701 управления.

Кроме того, в миогенном потенциале, который генерируется при выполнении преднамеренного мигания, есть индивидуальные различия для каждого пользователя. Соответственно, для того, чтобы блок 1405 определения точно определил факт мигания, считается, что необходимо знать точные величины пороговых значений TH_L и TH_R мигания левого и правого глаза, скорость, обозначающая крутизну формы колебательного сигнала и ускорение. Например, можно получить величины пороговых значений TH_L и TH_R для каждого пользователя, скорость [V1, V2] и ускорение [A1, А2], посредством выполнения пользователем нескольких мигающих операций глазами попеременно, а также путем проведения статистической обработки, например, посредством усреднения уровней миогенных потенциалов, которые получены в ходе мигания.

Желательно получить величины пороговых значений TH_L и TH_R, когда пользователь начинает использовать устройство отображения изображения. Например, пользователь должен точно установить длительность операции моргания для нормального функционирования установленного на голове дисплея посредством отображения шаблона сигнала для регулировки длительности моргания глаза в начале использования, как было предложено (например, см. PLT 5). Например, получение пороговых значений THL и THR может быть выполнено путем отображения сообщений, таких как "Пожалуйста, моргните левым глазом N раз" или "Пожалуйста, моргните правым глазом N раз" после выполнения регулировки продолжительности моргания глаза при настройке устройства, посредством мигания глазом пользователем, и путем измерения миогенного потенциала во времени.

Кроме того, полученный результат пороговых значений TH_L и TH_R, скорости [V1, V2] и ускорения {A1, А2} для каждого пользователя хранится в блоке 705 получения информации состояния или хранится в ROM 701А (запоминающее устройство способное выполнить перезапись, такое как EEPROM) или в RAM 701В.

С. Управление UI посредством мигания глаз пользователя

В соответствии с процессом функционирования UI, используя мигание глаз пользователя, возможны три действия по вводу информации, а именно, посредством мигания только левым глазом, миганием только правым глазом и одновременное мигание обоими глазами. Например, можно выделить следующие действия UI, такие как движение курсора в левом направлении посредством мигания только левым глазом, и операцию пользовательского интерфейса, такую как движение курсора в правильном направлении посредством мигания только правым глазом, соответственно. Работа UI, в котором курсор перемещается влево из-за мигания левым глазом, и курсор перемещается вправо из-за мигания правым глазом, интуитивно легко выполнима для пользователя.

Фиг. 18 иллюстрирует состояние, в котором позиция курсора на панели меню перемещается влево при одном мигании левым глазом, которое отображается на панели 709 дисплея. Кроме того, фиг. 19 иллюстрирует состояние, в котором позиция курсора на панели меню перемещается вправо при каждом мигании правого глаза. На фиг. 18 и 19 элементы меню, на котором находится курсор, обозначены жирной линией. При повторном мигании левым глазом и правым глазом позиция курсора перемещается влево или вправо по количеству повторений. Естественно, что мигание левым глазом и правым глазом может быть выполнено альтернативно, и позиция курсора перемещается в соответствии с числом раз мигания соответствующего левого и правого глаза.

Кроме того, можно выделить работу пользовательского интерфейса, в котором выбрано одновременное мигание обоих глаз в текущей позиции курсора. Фиг. 20 иллюстрирует состояние, в котором текущая позиция курсора в строке меню выбирается за счет одновременного мигания обоих глаз. На фиг. 20, выбранный пункт меню переключается на реверсивный дисплей (или подсвеченный дисплей), и обозначается как выбранное состояние. Кроме того, в выбранном состоянии мигает только левый глаз или только правый глаз, выбранное состояние может быть сброшено.

При этом, когда меню, которое выбрано одновременным миганием обоих глаз, включает в себя множество элементов меню, как показано на фиг. 21, список пунктов меню отображается опускающимся вниз. Как показано на фиг. 22, курсор переходит вниз при каждом мигании левым глазом в выпадающем меню. Кроме того, как показано на фиг. 23, курсор возвращается в верхнюю часть при каждом мигании правого глаза. В качестве альтернативы, курсор может перейти вниз при каждом мигании левым глазом и может вернуться к верхней части при каждом мигании правым глазом. Кроме того, из-за одновременного мигания обоими глазами, элемент меню в текущей позиции курсора выбирается на выпадающем меню. Кроме того, как показано на фиг. 24, выбранный пункт меню переключается на реверсивном дисплее (или подсвеченный дисплей), и обозначается как выбранное состояние. Кроме того, когда только левый глаз мигает или только правый глаз мигает в выбранном состоянии, установки выбранного состояния могут быть обнулены.

Кроме того, можно подтвердить выбранное состояние элемента меню миганием обоих глаз два раза подряд. Мигание обоими глазами два раза подряд соответствует двойному щелчку мыши, что является простым действием для пользователя, который интуитивно воспринимает подтверждающий отбор. Фиг. 25 иллюстрирует пример экрана меню воспроизведения видео контента. На чертеже курсор размещен на кнопке воспроизведения только посредством мигания левым глазом или только миганием только правым глазом, и находится в выбранном состоянии. В это время, выбор кнопки воспроизведения подтверждено миганием обоими глазами два раза подряд и процесс воспроизведения видеосигнала запускается. Естественно, если мигание обоими глазами выполняется два раза подряд, когда выбрана кнопка быстрой перемотки вперед, перемотки назад, пауза, остановка воспроизведения или тому подобное, то процесс обработки начинается аналогично.

Блок 701 управления может выполнять операции интерфейса, которые показаны на фиг. 18-25, на основании результатов обнаружения мигания левого и правого глаза, которые получены в блоке 705 получения информации состояния.

D. Применение устройства для ввода информации

Вариант осуществления, к которому применяется раскрытое в описании изобретение, описывает установленное на голове устройство отображения изображения. То есть, представлен вариант осуществления, в котором устройство отображения изображений функционирует, используя операции интерфейса, на основании мигания глаз пользователя, который получает выходной сигнал из датчика миогенного потенциала, включающий в себя электроды 801 и 802 детектирования и опорный электрод 803, и таким образом осуществляется управление функционированием устройства отображения изображения, используя мигание глаз пользователя.

Раскрытая в данном описании технология не ограничивается устройством отображения изображения и также может быть использована для устройства ввода информации для обеспечения управлением внешним устройством, таким как персональный компьютер, устройство воспроизведения видео или тому подобное, с помощью пользовательского интерфейса.

Фиг. 26 иллюстрирует пример внутренней конфигурации устройства 2600 для ввода информации, к которому применяется технология, раскрытая в описании. Хотя это и не показано, устройство 2600 для ввода информации используется будучи установленным на голове пользователя, который использует персональный компьютер, устройство для воспроизведения видео и т.п. аналогично как шлемной конструкции, показанной на фиг. 1-6, например, и имеет области, которые входят в плотный контакт с областью вблизи левого и правого глаза, например, лоб пользователя. Далее приведено описание каждого блока.

Блок 2601 управления включает в себя ROM 2601А или RAM 2601В. Программный код, который выполняется в блоке 2601 управления, или различные элементы данных хранятся в ROM 2601А. Блок 2601 управления выполняет общее управление всей работой устройства 2600, в том числе операции интерфейса, посредством выполнения программы, которая загружается в RAM 2601В.

Блок 2602 определения мигания включает в себя датчик миогенного потенциала и схему обработки, которая обрабатывает выходной сигнал от датчика миогенного потенциала. Датчик миогенного потенциала сконфигурирован с помощью пары электродов 801 и 802 детектирования мигания, которые вступают в контакт с областью левого и правого глаза и установлены приблизительно прямо над глазами (или, примерно непосредственно ниже), и опорного электрода 803, который расположен приблизительно в центральной области между электродами 801 и 802 детектирования, которые аналогичны тем, которые показаны на фиг. 8. Кроме того, схема обработки, которая обрабатывает выходной сигнал датчика миогенного потенциала, имеет ту же конфигурацию, что и на фиг. 14, обрабатывает сигналы потенциалов, которые выводятся из каждого из электродов 801 и 802 детектирования, в то же процедуре обработки, что и на фиг. 17, и определяет, мигает ли левый и правый глаз.

Кроме того, в устройстве 2600 для ввода информации величина сигнала, скорости, ускорения учитываются для обнаружения факта мигания на основании сигнала потенциала, который выводится из каждого из электродов 801 и 802 детектирования, или необходимо иметь пороговое значение величины сигнала, пороговое значение величины скорости и пороговое значение значения ускорения для каждого пользователя так же, как выше описано.

В качестве интерфейса 2603 ввода-вывода, внешние устройства, как целевые для операции интерфейса, такие как персональный компьютер, устройство воспроизведения видео и т.п. соединены друг с другом. Для взаимного соединения между устройствами можно использовать, например, коммуникации MHL или USB, HDMI, Bluetooth (зарегистрированная торговая марка), ИК-связь или тому подобное.

Хотя это и не показано, внешнее устройство, такое как персональный компьютер, устройство для воспроизведения видео и т.п. включает в себя устройство отображения, которое отображает экран меню и т.п., а также те же операции интерфейса, которые показаны на фиг. 18-25, выполняются на основе трех входных сигналов, а именно, миганием только левым глазом, миганием только правым глазом и одновременным миганием обоими глазами, которые направляются из устройства 2600 для ввода информации.

Е. Конфигурация раскрытой в описании технологии

Технология, которая раскрыта в описании может иметь следующие конфигурации.

(1) Устройство обработки информации включает в себя по меньшей мере один электрод, выполненный с возможностью генерировать по меньшей мере один сигнал, относящийся к факту мигания глаза пользователя; и схему обработки, выполненную с возможностью принимать по меньшей мере один сигнал и обнаруживать мигание глаз пользователя на основании по меньшей мере одного сигнала.

(2) Устройство по п. (1), в котором по меньшей мере один сигнал является индикативным по меньшей мере одного миогенного потенциала, относящимся к миганию глаза.

(3) Устройство по п. (1), в котором по меньшей мере один электрод включает в себя первый электрод, размещенный в непосредственной близости от правого глаза пользователя, и второй электрод, размещенный в непосредственной близости от левого глаза пользователя.

(4) Устройство по п. (3), в котором по меньшей мере один электрод дополнительно включает в себя опорный электрод, размещенный вблизи средней точки между первым электродом и вторым электродом.

(5) Устройство по п. (4), в котором, опорный электрод расположен в непосредственной близости от первого электрода и второго электрода.

(6) Устройство по п. (3), в котором, первый электрод расположен приблизительно выше или примерно ниже правого глаза пользователя, и второй электрод размещен приблизительно выше или примерно ниже левого глаза пользователя.

(7) Устройство по п. (1), в котором, схема обработки выполнена с возможностью детектировать мигание глаз путем выполнения по меньшей мере одной операции обработки по меньшей мере одного сигнала для генерации по меньшей мере одного обработанного сигнала и сравнением по меньшей мере одного обработанного сигнала по меньшей мере с одной из значений пороговой величины, диапазона величин скоростей сигнала и диапазона величин ускорений сигнала.

(8) Устройство по п. (7), в котором по меньшей мере одно из значений пороговой величины, диапазона величин скоростей сигнала и диапазона величин ускорений сигнала определяется в соответствии с процессом получения значений.

(9) Устройство по п. (1), в котором, схема обработки выполнена с возможностью детектировать мигание глаз путем усиления по меньшей мере одного сигнала для генерации по меньшей мере одного усиленного сигнала, фильтрации по меньшей мере одного усиленного сигнала для генерации по меньшей мере одного фильтрованного сигнала, и сравнения по меньшей мере одного отфильтрованного сигнала по меньшей мере с одним из значений пороговой величины, диапазона величин скоростей сигнала и диапазона величин ускорений сигнала.

(10) Устройство по п. (1), в котором, устройство выполнено с возможностью детектировать только мигание левого глаза, только мигание правого глаза и одновременное мигание правого глаза и левого глаза.

(11) Устройство по п. (1), в котором, устройство размещено в установленном на голове дисплее.

(12) Устройство по п. (11), в котором по меньшей мере один электрод размещен в лобном контактном блоке установленного на голове дисплея.

(13) Устройство по п. (12), в котором, лобный контактный блок регулируется.

(14) Устройство по п. (1), в котором по меньшей мере один электрод содержит по меньшей мере один из следующих гель проводящий электрод, сухой электрод и бесконтактный тип емкостной электрод.

(15) Устройство по п. (1), в котором, схема обработки выполнена с возможностью управлять работой дисплея на основании процесса детектирования мигания глаза.

(16) Устройство по п. (15), в котором, дисплей выполнен с возможностью отображать меню, и обнаруженное мигание левого глаза вызывает указание в меню для перемещения в направлении вправо-влево.

(17) Устройство по п. (15), в котором, дисплей выполнен с возможностью отображать меню и обнаруженное мигание правым глазом вызывает указание в меню для перемещения в направлении влево-вправо.

(18) Устройство по п. (15), в котором, дисплей выполнен с возможностью отображать меню, и обнаруженное одновременное мигание левого глаза и правого глаза вызывает выбор элемента меню.

(19) Устройство по п. (15), в котором, дисплей выполнен с возможностью отображать меню, и обнаруженное одновременное мигание левого глаза и правого глаза два раза подряд вызывает подтверждение выбора элемента меню.

(20) Способ обработки информации включает в себя получение по меньшей мере одного сигнала, относящегося к миганию глаза пользователя; и обнаружение мигания глаза пользователя на основании по меньшей мере одного сигнала.

(21) Невременный машиночитаемый носитель информации хранит машиночитаемую программу для реализации способа обработки информации, причем способ включает в себя получение по меньшей мере одного сигнала, относящегося к миганию глаз пользователя; и обнаружение мигания глаз пользователя на основании по меньшей мере одного сигнала.

(22) Устройство обработки информации включает в себя первый электрод, размещенный в непосредственной близости от левого глаза пользователя; второй электрод, размещенный в непосредственной близости от правого глаза пользователя; опорный электрод, размещенный вблизи средней точки между первым электродом и вторым электродом; и схему обработки, выполненную с возможностью обнаруживать мигание глаз пользователя на основании первого сигнала, полученного от первого электрода и опорного электрода, и второго сигнала, полученного от второго электрода и опорного электрода.

(23) Устройство отображения включает в себя дисплей; по меньшей мере, один электрод, выполненный с возможностью генерировать по меньшей мере один сигнал, относящийся к миганию глаз пользователя; и схему обработки, выполненную с возможностью принимать по меньшей мере один сигнал и обнаруживать мигание глаз пользователя на основании по меньшей мере одного сигнала, и управлять отображением на основании обнаруженного мигания глаз пользователя.

Технология, которая раскрыта в описании, может иметь следующую конфигурацию.

(1) Устройство отображения изображения включает в себя блок отображения, блок детектирования мигания, который обнаруживает мигание глаз пользователя, и блок управления, который осуществляет управление в соответствии с фактом мигания глаз, который детектируется посредством блока детектирования мигания.

(2) Устройство отображения изображения по п. (1), в котором, блок детектирования мигания включает в себя первый электрод детектирования, который расположен в непосредственной близости от левого глаза пользователя; второй электрод детектирования, который расположен в непосредственной близости от правого глаза пользователя; и опорный электрод, который расположен приблизительно в центральной части между первым электродом детектирования и вторым электродом детектирования, и в котором операции мигания левого глаза и правого глаза обнаруживаются на основании объединения первого сигнала потенциала, который получен между первым электродом детектирования и опорным электродом, и второго сигнала потенциала, который получен между вторым электродом детектирования и опорным электродом.

(3) Устройство отображения изображения по п. (2), в котором, блок детектирования мигания подавляет влияние потенциала глаза, который вызван движением радужной оболочки, путем размещения первого электрода детектирования и второго электрода детектирования примерно непосредственно выше или приблизительно непосредственно под левым глазом и правым глазом, соответственно.

(4) Устройство отображения изображения по п. (2), в котором, блок детектирования мигания компенсирует потенциал глаза, который ассоциирован с движением радужной оболочки левого глаза, и потенциал глаза, который ассоциирован с движением радужной оболочки правого глаза, посредством размещения опорного электрода в месте, где расстояние от левого глаза и расстояние от правого глаза становится примерно одинаковым.

(5) Устройство отображения изображения по п. (2), в котором, блок детектирования мигания подавляет влияние мозговых волн пользователя, посредством размещения опорного электрода в месте, которое близко от первого и второго электродов детектирования.

(6) Устройство отображения изображения по п. (2), в котором, блок детектирования мигания обнаруживает каждое мигание левого глаза и правого глаза путем сравнения первого электрода детектирования, который расположен в непосредственной близости от левого глаза пользователя, между собой пороговых значений сигнала первого сигнала потенциала и второго сигнала потенциала, порогового значения изменения скорости сигнала потенциала и порогового значения ускорения.

(7) Устройство отображения изображения по п. (6), в котором, блок детектирования мигания получает данные о пороговом значении величины сигнала потенциала, который используется при обнаружении мигания глаз каждого пользователя, пороговом значении изменения скорости сигнала потенциала и пороговом значении величины ускорения.

(8) Устройство отображения изображения по п. (1), в котором, блок управления выполняет операцию UI по отношению к экрану дисплея блока отображения в соответствии с действием мигания, которое обнаруживается с помощью блока детектирования мигания.

(9) Устройство отображения изображения по п. (8), в котором, блок управления выполняет операцию UI в соответствии с действием мигания только левым глазом, только правым глазом и миганием обоих глаз, соответственно.

(10) Устройство отображения изображения по п. (8), в котором, блок управления выбирает на экране дисплея направление движения курсора влево при каждом мигании только левым глазом, направление перемещения курсора вправо при каждом мигании только правым глазом, и текущее положение курсора при мигании обоими глазами.

(11) Устройство для ввода информации, которое используется, будучи установленным на голове пользователя, включает в себя блок детектирования мигания, который обнаруживает операции мигания левым и правым глазом пользователя; и интерфейс, который поставляет сигнал операции ввода информации, в соответствии с операциями мигания, которые обнаруживаются блоком детектирования мигания, на внешнее устройство.

(12) Устройство для ввода информации по п. (11), в котором, блок детектирования мигания включает в себя первый электрод детектирования, который расположен в непосредственной близости от левого глаза пользователя; второй электрод детектирования, который расположен в непосредственной близости от правого глаза пользователя; и опорный электрод, который расположен приблизительно в центральной части между первым электродом детектирования и вторым электродом детектирования, и определяет операции мигания левым глазом и правым глазом на основании комбинации первого сигнал потенциала, который получается между первым электродом детектирования и опорным электродом и вторым сигналом потенциала, который получается между вторым электродом детектирования и опорным электродом.

(13) Устройство для ввода информации по п. (12), в котором, блок детектирования мигания подавляет влияние на потенциал глаза, вызванный движением радужной оболочки путем размещения первого электрода детектирования, второго электрода детектирования примерно непосредственно выше или приблизительно непосредственно под левым глазом и правым глазом, соответственно.

(14) Устройство для ввода информации по п. (12), в котором, блок детектирования мигания компенсирует потенциал глаза, который связан движением радужной оболочки левого глаза, и потенциал глаза, который связан движением радужной оболочки правого глаза, посредством размещения опорного электрода в месте, где расстояние от левого глаза и расстояние от правого глаза становятся примерно одинаковым.

(15) Устройство для ввода информации по п. (12), в котором, блок детектирования мигания подавляет влияние мозговых волн пользователя, посредством размещения опорного электрода в месте, которое близко к первому и второму электродам детектирования.

(16) Устройство для ввода информации по п. (12), в котором, блок детектирования мигания обнаруживает каждую операцию мигания левым глазом и правым глазом путем сравнения первого электрода детектирования, который расположен в непосредственной близости от левого глаза пользователя, между собой пороговые значения сигнальных значений первого сигнала потенциала и второго сигнала потенциала, пороговые значения изменения скорости сигнала потенциала и пороговые значение ускорения.

(17) Устройство для ввода информации по п. (16), в котором, блок детектирования мигания узнает пороговое значение величины сигнала, которое используется при обнаружении мигания, каждого пользователя, пороговое значение изменения скорости сигнала потенциала и пороговое значение ускорения.

(18) Устройство для ввода информации по п. (11), в котором, информация операции ввода, соответствующая миганию только левым глазом, миганием только правым глазом и миганию обоими глазами, соответственно, выводятся из интерфейса.

(19) Устройство для ввода информации по п. (11), в котором, информация UI операции, которая выдает команды на перемещение влево при каждом мигании только левым глазом, перемещение вправо при каждом мигании только правым глазом и выбор текущего положения при мигании обоими глазами, соответственно, выводятся из интерфейса.

(20) Устройство отображения изображения, которое включает в себя блок отображения, блок детектирования сигнала потенциала, который обнаруживает сигнал потенциала в непосредственной близости от глаз пользователя, и блок управления, который выполняет управление в соответствии с результатом обнаружения блоком детектирования сигнала потенциала.

Настоящее изобретение содержит предмет изобретения, относящийся к тому, что раскрыто в приоритетной заявке на патент Японии JP 2012-243065, поданной в японское патентное ведомство 2 ноября 2012 г., полное содержание которой включено в настоящее описание путем ссылки.

Должно быть понятно специалистам в данной области техники, что могут быть сделаны различные модификации, комбинации, подкомбинации и изменения в зависимости от конструктивных требований и других факторов, если только они находятся в пределах объема прилагаемой формулы изобретения или ее эквивалентов.

Промышленная применимость

Как описано выше, технология, которая раскрыта в описании, была описана подробно со ссылкой на конкретные варианты осуществления. Тем не менее, очевидно, что специалисты в данной области техники могут выполнить модификации или замену в варианте осуществления без отклонения от сущности и объема изобретения, которое раскрыто в описании.

Установленное на голове устройство отображения изображения может быть классифицировано на светонепроницаемый тип и прозрачный тип, и в настоящем описании были в основном описаны варианты осуществления, относящиеся к светонепроницаемому типу установленного на голове устройства отображения изображения. Однако, естественно, можно аналогично применить технологию, раскрытую в описании, к прозрачному типу устройства.

Кроме того, изобретение, раскрытое в описании, не ограничивается случаем, где рассматривается как единое интегрированное устройство отображения изображения и может быть использовано для воспроизведения видео или операции ввода информации в персональном компьютере или тому подобное, посредством использования в качестве устройства для ввода информации на основании операции мигания глаз пользователя.

Подводя итог, можно сказать, что изобретение, которое раскрыто в описании, было описано иллюстративно и не следует истолковывать как ограниченное вариантами осуществления. Для определения объема раскрытого в описании изобретения ниже приведена формула изобретения.

Перечень ссылочных позиций

102 Лобный контактный блок

103 Носовой контактный блок

104 Верхний диапазон

105 Нижний диапазон

141 Микрокнопка

142 Вал вращения

143 Рычаг

144 Пружина

701 Блок управления

701A ROM

701В RAM

702 Блок ввода операции

703 Блок приема сигнала дистанционного управления

704 Блок получения информации условий окружающей среды

705 Блок получения информации состояния

706 Блок связи

707 Блок обработки изображения

708 Блок управления дисплеем

709 Панель дисплея

710 Оптический блок виртуального изображения

801, 802 Электрод детектирования операции мигания

803 Опорный электрод

2600 Устройство для ввода информации

2601 Блок управления

2601A ROM

2601В RAM

2602 Блок детектирования операции мигания

2603 Интерфейс ввода-вывода

Изобретение относится к устройству отображения изображения, которое используется при установке устройства на голове пользователя. Устройство содержит устройство обработки информации, содержащее: по меньшей мере один электрод, встроенный в лобный контактный блок установленного на голове дисплея, выполненный с возможностью генерировать по меньшей мере один сигнал, относящийся к миганию глаза пользователя, который характеризует по меньшей мере один миогенный потенциал, относящийся к миганию глаза, при этом указанный по меньшей мере один электрод содержит первый электрод, размещенный в непосредственной близости от правого глаза пользователя, и второй электрод, размещенный в непосредственной близости от левого глаза пользователя, причем указанный по меньшей мере один электрод дополнительно содержит первый опорный электрод для первого электрода и второй опорный электрод для второго электрода, расположенные вблизи средней точки между первым электродом и вторым электродом; и схему обработки, выполненную с возможностью принимать указанный по меньшей мере один сигнал и обнаруживать мигание глаза пользователя на основании указанного по меньшей мере одного сигнала, при этом схема обработки выполнена с возможностью управлять работой дисплея на основе обнаруженного мигания глаза. Также устройство содержит энергонезависимый машиночитаемый носитель информации, хранящий машиночитаемую программу для реализации способа обработки информации для управления установленным на голове дисплеем с помощью мигания глаза. Способ обработки информации для управления установленным на голове дисплеем с помощью мигания глаза, содержит этапы, на которых: получают по меньшей мере один сигнал, относящийся к миганию глаза пользователя, обнаруживают мигание глаза пользователя на основании указанного по меньшей мере одного сигнала и управляют работой дисплея на основании обнаруженного мигания глаза. Изобретение позволяет точно обнаруживать моргания глаз пользователя на основании миогенного потенциала сигнала и обеспечить UI операции, в которой рука не используется, основанные на комбинации процессов мигания левого и правого глаз. 3 н. и 5 з.п. ф-лы, 26 ил.

1. Установленный на голове дисплей, содержащий устройство обработки информации, содержащее:

по меньшей мере один электрод, выполненный с возможностью генерировать по меньшей мере один сигнал, относящийся к миганию глаза пользователя, причем указанный по меньшей мере один электрод встроен в лобный контактный блок установленного на голове дисплея, при этом указанный по меньшей мере один сигнал характеризует по меньшей мере один миогенный потенциал, относящийся к миганию глаза, при этом указанный по меньшей мере один электрод содержит первый электрод, размещенный в непосредственной близости от правого глаза пользователя, и второй электрод, размещенный в непосредственной близости от левого глаза пользователя, причем указанный по меньшей мере один электрод дополнительно содержит первый опорный электрод для первого электрода и второй опорный электрод для второго электрода, расположенные вблизи средней точки между первым электродом и вторым электродом; и

схему обработки, выполненную с возможностью принимать указанный по меньшей мере один сигнал и обнаруживать мигание глаза пользователя на основании указанного по меньшей мере одного сигнала, при этом схема обработки выполнена с возможностью управлять работой дисплея на основе обнаруженного мигания глаза.

2. Установленный на голове дисплей по п. 1, в котором первый электрод расположен приблизительно выше или приблизительно ниже правого глаза пользователя и второй электрод расположен приблизительно выше или приблизительно ниже левого глаза пользователя.

3. Установленный на голове дисплей по п. 1, в котором схема обработки выполнена с возможностью обнаруживать мигание глаза путем выполнения по меньшей мере одной операции над указанным по меньшей мере одним сигналом для генерации по меньшей мере одного обработанного сигнала и сравнения указанного по меньшей мере одного обработанного сигнала с пороговым значением, и/или диапазоном скоростей сигнала, и/или диапазоном ускорений сигнала.

4. Установленный на голове дисплей по п. 1, в котором схема обработки выполнена с возможностью обнаруживать мигание глаза путем усиления указанного по меньшей мере одного сигнала для генерации по меньшей мере одного усиленного сигнала, фильтрации указанного по меньшей мере одного усиленного сигнала для генерации по меньшей мере одного отфильтрованного сигнала и сравнения указанного по меньшей мере одного отфильтрованного сигнала с пороговым значением, диапазоном скоростей сигнала и диапазоном ускорений сигнала.

5. Установленный на голове дисплей по п. 1, в котором устройство выполнено с возможностью обнаруживать мигание только левого глаза, мигание только правого глаза и одновременное мигание правого глаза и левого глаза.

6. Установленный на голове дисплей по п. 1, в котором указанный по меньшей мере один электрод содержит электрод с проводящим гелем, и/или сухой электрод, и/или электрод бесконтактного типа с емкостной связью.

7. Способ обработки информации для управления установленным на голове дисплеем с помощью мигания глаза, содержащий этапы, на которых:

получают по меньшей мере один сигнал, относящийся к миганию глаза пользователя посредством по меньше мере одного электрода, причем указанный по меньшей мере один электрод встроен в лобный контактный блок установленного на голове дисплея, при этом указанный по меньшей мере один сигнал характеризует по меньшей мере один миогенный потенциал, относящийся к миганию глаза, при этом указанный по меньшей мере один электрод содержит первый электрод, размещенный в непосредственной близости от правого глаза пользователя, и второй электрод, размещенный в непосредственной близости от левого глаза пользователя, причем указанный по меньшей мере один электрод дополнительно содержит первый опорный электрод для первого электрода и второй опорный электрод для второго электрода, расположенные вблизи средней точки между первым электродом и вторым электродом;

обнаруживают мигание глаза пользователя на основании указанного по меньшей мере одного сигнала; и

управляют работой дисплея на основании обнаруженного мигания глаза.

8. Энергонезависимый машиночитаемый носитель информации, хранящий машиночитаемую программу для реализации способа обработки информации для управления установленным на голове дисплеем с помощью мигания глаза по п. 7.