НАГОЛОВНОЕ УСТРОЙСТВО ОТОБРАЖЕНИЯ И СПОСОБ УПРАВЛЕНИЯ НАГОЛОВНЫМ УСТРОЙСТВОМ ОТОБРАЖЕНИЯ Российский патент 2018 года по МПК H04N13/00 G09B19/10 G09G5/00 

ОБЛАСТЬ ТЕХНИКИ

[0001] Настоящее изобретение относится к наголовному устройству отображения.

УРОВЕНЬ ТЕХНИКИ

[0002] Известно наголовное устройство отображения (наголовный дисплей; HMD), которое представляет собой устройство отображения, используемое при установке его на голову. Например, наголовное устройство отображения генерирует, с помощью жидкокристаллического дисплея и источника излучения, излучение изображения, соответствующее изображению, и направляет генерируемое излучение изображения в глаза пользователя с помощью проекционной оптической системы и светопроводящей панели, чтобы посредством этого обеспечивать визуальное распознавание пользователем виртуального изображения.

[0003] В PTL 1 описывается метод генерирования излучения изображения в некоторой области для формирования виртуального изображения с целью коррекции положения излучения изображения относительно изображения внешней сцены, визуально распознаваемого посредством наголовного устройства отображения, чтобы обеспечивать визуальное распознавание пользователем излучения изображения и изображения внешней сцены как одного изображения.

СПИСОК БИБЛИОГРАФИЧЕСКИХ ССЫЛОК

ПАТЕНТНАЯ ЛИТЕРАТУРА

[0004] PTL 1: JP-A-2011-59435.

НЕПАТЕНТНАЯ ЛИТЕРАТУРА

[0005] NPL 1: Eishi Hirasaki "Head Movement and Eyeball movement for Maintaining Visual Line Stability during a Walk", Osaka University Knowledge Archive 26, March 2000, p. 177 to 193 (Ейши Хирасаки «Движение головы и движение глазных яблок для поддержания стабильности зрительной оси во время ходьбы», 26-й Архив Знаний Университета Осака, март 2000 г., с. 177-193).

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ПРОБЛЕМА

[0006] В наголовном устройстве отображения, описанном в PTL 1, излучение изображения и внешняя сцена визуально распознаются пользователем как одно изображение. Однако, например, в случае излучения изображения, такого как движущееся изображение контента, иногда целесообразно, чтобы обеспечивалось постоянное визуальное распознавание излучения изображения в соответствии с движением головы пользователя без объединения с внешней сценой. При этом, например, когда пользователь идет, целесообразно не объединять излучение изображения с внешней сценой и уменьшать отклонение положения между внешней сценой и излучением изображения.

РЕШЕНИЕ ПРОБЛЕМЫ

[0007] Преимущество некоторых аспектов изобретения состоит в решении, по меньшей мере, части вышеописанных проблем, при этом изобретение может быть реализовано в виде следующих аспектов.

[0008] (1) В одном из аспектов изобретения предлагается наголовное устройство отображения. Наголовное устройство отображения содержит: блок отображения изображений, содержащий блок генерирования излучения изображения, выполненный с возможностью генерирования излучения изображения на основе данных изображения и испускания излучения изображения, причем блок отображения изображений обеспечивает, в состоянии, в котором блок отображения изображений надет на голову пользователя, визуальное распознавание пользователем излучения изображения как виртуального изображения и передает внешнюю сцену; блок обнаружения, выполненный с возможностью обнаружения движения головы пользователя; и блок задания положения изображения, выполненный с возможностью изменения, на основе циклического изменения положения головы пользователя, прогнозируемого на основе обнаруженного движения головы, положения излучения изображения в области, в которой блок генерирования излучения изображения способен генерировать излучение изображения. При использовании наголовного устройства отображения в данном аспекте положение, в котором генерируется излучение изображения, корректируется в соответствии с прогнозируемым изменением положения головы пользователя. Следовательно, можно обеспечивать визуальное распознавание движущимся пользователем излучения изображения, имеющего тот же размер, и уменьшать отклонение между внешней сценой, визуально распознаваемой пользователем посредством блока отображения изображений, и генерируемым излучением изображения. Вследствие этого, можно ослабить чувство несоответствия генерируемого излучения изображения по отношению к внешней сцене, визуально распознаваемой пользователем, и ослабить неприятные ощущения от изображений, вызываемые у пользователя отклонением между внешней сценой, визуально распознаваемой пользователем, и генерируемым излучением изображения.

[0009] (2) В наголовном устройстве отображения в вышеописанном аспекте наголовное устройство отображения может дополнительно содержать блок установления направления зрительной оси, выполненный с возможностью установления направления зрительной оси пользователя. Блок задания положения изображения может изменять положение излучения изображения на основе циклического изменения установленного направления зрительной оси. При использовании наголовного устройства отображения в данном аспекте положение, в котором генерируется излучение изображения, корректируется с учетом направления зрительной оси пользователя в дополнение к изменениям положения и направления головы пользователя. Вследствие этого, можно дополнительно ослабить чувство несоответствия генерируемого излучения изображения по отношению к внешней сцене, визуально распознаваемой пользователем.

[0010] (3) В наголовном устройстве отображения в вышеописанном аспекте наголовное устройство отображения может дополнительно содержать блок установления зрительной оси, выполненный с возможностью установления направления зрительной оси пользователя. Блок задания положения изображения может изменять положение излучения изображения на основе базовой точки головы, находящейся на предварительно задаваемом расстоянии от глаза пользователя и служащей в качестве базовой точки циклического изменения положения головы, и точки наблюдения пользователя, устанавливаемой на основе направления зрительной оси. При использовании наголовного устройства отображения в данном аспекте положение, в котором генерируется излучение изображения, корректируется на основе базовой точки головы, задаваемой в соответствии с состоянием движения пользователя, и точки наблюдения, которую наблюдает пользователь. Вследствие этого, можно дополнительно ослабить чувство несоответствия генерируемого излучения изображения по отношению к внешней сцене, визуально распознаваемой пользователем.

[0011] (4) В наголовном устройстве отображения в вышеописанном аспекте блок задания положения изображения может изменять положение излучения изображения в том же направлении, что и направление прогнозируемого изменения положения головы, когда расстояние точки наблюдения от глаза пользователя до точки наблюдения меньше, чем предварительно задаваемое расстояние, и изменять положение излучения изображения в направлении, противоположном направлению прогнозируемого изменения положения головы, когда расстояние точки наблюдения больше, чем предварительно задаваемое расстояние. При использовании наголовного устройства отображения в данном аспекте положение, в котором генерируется излучение изображения, корректируется на основе базовой точки головы, устанавливаемой в соответствии с состоянием движения пользователя, и точки наблюдения, которую наблюдает пользователь. Вследствие этого, можно дополнительно ослабить чувство несоответствия генерируемого излучения изображения по отношению к внешней сцене, визуально распознаваемой пользователем.

[0012] (5) В наголовном устройстве отображения в вышеописанном аспекте блок генерирования излучения изображения может состоять из множества пикселей. Блок задания положения изображения может изменять положение излучения изображения путем изменения положения пикселя, в котором генерируется излучение изображения в блоке генерирования излучения изображения. При использовании наголовного устройства отображения в данном аспекте положение, в котором генерируется излучение изображения, задается просто. Отклонение между внешней сценой, визуально распознаваемой пользователем, и генерируемым излучением изображения легко корректируется.

[0013] Не все из множества компонентов аспектов изобретения, объясняемых выше, являются существенными. Для решения части или всех проблем или для достижения части или всех эффектов, описываемых в данном описании, в отношении части из множества компонентов можно при необходимости выполнять изменение, удаление, замену новыми другими компонентами и удаление части ограниченного контента. Для решения части или всех проблем или для достижения части или всех эффектов, описываемых в данном описании, можно также комбинировать часть или все из технических признаков, входящих в один аспект изобретения, с частью или всеми из технических признаков, входящих в другие аспекты изобретения, для формирования одного независимого аспекта изобретения.

[0014] Например, один аспект изобретения может быть реализован в виде устройства, содержащего, по меньшей мере, один или более, либо все из трех компонентов, а именно, блока отображения изображений, блока обнаружения и блока задания положения изображения. То есть, устройство может содержать или может не содержать блок отображения изображений. Устройство может содержать или может не содержать блок обнаружения. Устройство может содержать или может не содержать блок задания положения изображения. Блок отображения изображений может содержать, например, блок генерирования излучения изображения, выполненный с возможностью генерирования излучения изображения на основе данных изображения и испускания излучения изображения. Блок отображения изображений может обеспечивать визуальное распознавание пользователем излучения изображения как виртуального изображения и может передавать внешнюю сцену в состоянии, в котором блок отображения изображений надет на голову пользователя. Блок обнаружения может обнаруживать, например, движение головы пользователя. Блок задания положения изображения может изменять, например, на основе циклического изменения положения головы пользователя, прогнозируемого на основе обнаруженного движения головы, положение излучения изображения в области, в которой блок генерирования излучения изображения способен генерировать излучение изображения. Данное устройство может быть реализовано, например, в виде наголовного устройства отображения и может быть реализовано в виде устройств, отличных от наголовного устройства отображения. В соответствии с такой формой, можно достигать, по меньшей мере, одной из различных целей, таких как повышение работоспособности и упрощение устройства, интеграцию устройства и повышение удобства для пользователя, использующего устройство. Часть или все из технических признаков аспектов наголовного устройства отображения, изложенных выше, может применяться к данному устройству.

[0015] Помимо наголовного устройства отображения изобретение может быть реализовано в различных формах. Например, изобретение может быть реализовано в таких формах, как способ управления наголовным устройством отображения, наголовная система отображения, компьютерная программа для реализации функций наголовной системы отображения, носитель для записи, содержащий записанную на нем компьютерную программу, и информационный сигнал, содержащий компьютерную программу и реализованный в несущей волне.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0016] [фиг. 1] Фиг. 1 представляет собой пояснительную схему, на которой показана внешняя конструкция наголовного устройства 100 отображения.

[фиг. 2] Фиг. 2 представляет собой блок-схему, на которой показана конструкция наголовного устройства 100 отображения.

[фиг. 3] Фиг. 3 представляет собой пояснительную схему, на которой показано состояние, в котором излучение изображения испускается блоком генерирования излучения изображения.

[фиг. 4] Фиг. 4 представляет собой пояснительную схему, на которой показан график обработки коррекции положения изображения.

[фиг. 5] Фиг. 5 представляет собой пояснительную схему, на которой показан переходный участок изменения положения головы во время ходьбы пользователя US наголовного устройства 100 отображения.

[фиг. 6] Фиг. 6 представляет собой пояснительную схему, на которой показан переходный участок изменения положения головы во время ходьбы пользователя US наголовного устройства 100 отображения.

[фиг. 7] Фиг. 7 представляет собой пояснительную схему, на которой показано соотношение между изменениями положения и направления головы и изменением направления ED зрительной оси пользователя US.

[фиг. 8] Фиг. 8 представляет собой пояснительную схему, на которой показан переходный участок направления головы и направления ED зрительной оси пользователя US относительно расстояния ходьбы пользователя US.

[фиг. 9] Фиг. 9 представляет собой пояснительную схему, на которой показан переходный участок направления головы и направления ED зрительной оси пользователя US относительно расстояния ходьбы пользователя US.

[фиг. 10] Фиг. 10 представляет собой пояснительную схему, на которой показан пример изображения IM на дисплее, визуально распознаваемого пользователем US, перед тем, как корректируется положение изображения IM на дисплее.

[фиг. 11] Фиг. 11 представляет собой пояснительную схему, на которой показан пример изображения IM на дисплее, визуально распознаваемого пользователем US, после того, как корректируется положение изображения IM на дисплее.

[фиг. 12А] Фиг. 12А представляет собой пояснительную схему, на которой показана внешняя конструкция наголовного устройства отображения в модификации.

[фиг. 12В] Фиг. 12В представляет собой пояснительную схему, на которой показана внешняя конструкция наголовного устройства отображения в модификации.

ОПИСАНИЕ ВАРИАНТА ОСУЩЕСТВЛЕНИЯ

[0017] А-1. КОНСТРУКЦИЯ НАГОЛОВНОГО УСТРОЙСТВА ОТОБРАЖЕНИЯ

Фиг. 1 представляет собой пояснительную схему, на которой показана внешняя конструкция наголовного устройства 100 отображения. Наголовное устройство 100 отображения представляет собой устройство отображение, устанавливаемое на голове, и называется так же наголовным дисплеем (HMD). Наголовное устройство 100 отображения в данном варианте осуществления представляет собой наголовное устройство отображения светопропускающего типа, которое может обеспечивать визуальное распознавание пользователем виртуального изображения и обеспечивать непосредственное визуальное распознавание пользователем внешней сцены. Необходимо отметить, что в данном описании виртуальное изображение, визуально распознаваемое пользователем с помощью наголовного устройства 100 отображения, называется «изображением на дисплее», в том числе, для удобства. Испускание излучения изображения, генерируемого на основе данных изображения, называется также «отображением изображения».

[0018] Наголовное устройство 100 отображения содержит блок 20 отображения изображений, выполненный с возможностью обеспечения визуального распознавания пользователем виртуального изображения в состоянии, в котором блок 20 отображения изображений надет на голову пользователя, и блок 10 управления (контроллер 10), выполненный с возможностью управления блоком 20 отображения изображений.

[0019] Блок 20 отображения изображений представляет собой предназначенный для ношения корпус, надетый на голову пользователя, и в данном варианте осуществления имеет форму очков. Блок 20 отображения изображений содержит правый удерживающий блок 21, правый блок 22 управления отображением, левый удерживающий блок 23, левый блок 24 управления отображением, правый блок 26 отображения оптических изображений, левый блок 28 отображения оптических изображений, камеру 37 регистрации изображений правого глаза и камеру 38 регистрации изображений левого глаза. Правый блок 26 отображения оптических изображений и левый блок 28 отображения оптических изображений, соответственно, расположены перед правым и левым глазами пользователя, когда пользователь носит блок 20 отображения изображений. Один конец правого блока 26 отображения оптических изображений и один конец левого блока 28 отображения оптических изображений соединены друг с другом в положении, соответствующем середине лба пользователя, когда пользователь носит блок 20 отображения изображений.

[0020] Правый удерживающий блок 21 представляет собой элемент, предусмотренный проходящим из конца ER, который является другим концом правого блока 26 отображения оптических изображений, в положение, соответствующее временной области пользователя, когда пользователь носит блок 20 отображения изображений. Аналогичным образом, левый удерживающий блок 23 представляет собой элемент, предусмотренный проходящим из конца EL, который является другим концом левого блока 28 отображения оптических изображений, в положение, соответствующее временной области пользователя, когда пользователь носит блок 20 отображения изображений. Правый удерживающий блок 21 и левый удерживающий блок 23 удерживают блок 20 отображения изображений на голове пользователя таким же образом, как и дужки очков.

[0021] Правый блок 22 управления отображением и левый блок 24 управления отображением расположены на противоположных сторонах головы пользователя, когда пользователь носит блок 20 отображения изображений. Необходимо отметить, что в нижеследующем объяснении правый удерживающий блок 21 и левый удерживающий блок 23 в общем смысле просто называются также «удерживающим блоком». Правый блок 22 управления отображением и левый блок 24 управления отображением в общем смысле просто называются также «блоком управления отображением». Правый блок 26 отображения оптических изображений и левый блок 28 отображения оптических изображений в общем смысле просто называются также «блоком отображения оптических изображений».

[0022] Блоки 22 и 24 управления отображением содержат жидкокристаллические дисплеи 241 и 242 (именуемые в дальнейшем также «LCD 241 и 242») и проекционные оптические системы 251 и 252 (см. фиг. 2). Детали конструкции блоков 22 и 24 управления отображением объясняются ниже. Блоки 26 и 28 отображения оптических изображений, выполняющие функцию оптических элементов, содержат светопроводящие панели 261 и 262 (см. фиг. 2) и светозащитные панели. Светопроводящие панели 261 и 262 выполнены из светопрозрачного полимерного материала или подобного ему и проводят излучения изображений, выходящих из конструкции блоков 22 и 24 управления отображением, в глаза пользователя. Светозащитные панели представляют собой тонкие пластинчатые оптические элементы и размещаются для закрытия передней стороны блока 20 отображения изображений, которая является стороной, находящейся напротив стороны глаза пользователя. Светозащитные панели защищают светопроводящие панели 261 и 262 и уменьшают повреждение, появление пятен и т.д. на светопроводящих панелях 261 и 262. Благодаря регулировке светопропускания светозащитных панелей можно регулировать количество внешнего излучения, поступающего в глаза пользователя, и регулировать легкость визуального распознавания виртуального изображения. Необходимо отметить, что светозащитные панели могут быть исключены.

[0023] Камера 37 регистрации изображений правого глаза и камера 38 регистрации изображений левого глаза (именуемые в дальнейшем также «камерами 37 и 38 регистрации изображений глаз») представляют собой небольшие камеры на приборах с зарядовой связью (ПЗС-камеры), которые, соответственно, регистрируют изображения правого глаза и левого глаза пользователя. Необходимо отметить, что внешняя сцена относится к отраженному излучению, которое отражается на объекте (например, здании), входящем в предварительно задаваемый диапазон, и может визуально распознаваться пользователем.

[0024] Блок 20 отображения изображений дополнительно содержит блок 40 соединения для соединения блока 20 отображения изображений с блоком 10 управления. Блок 40 соединения содержит провод 48 основного корпуса, соединенный с блоком 10 управления, правый провод 42 и левый провод 44, а также соединительный элемент 46. Правый провод 42 и левый провод 44 представляют собой два провода, ответвляющиеся от провода 48 основного корпуса. Правый провод 42 вставлен в кожух правого удерживающего блока 21 со стороны участка АР дальнего конца в направлении прохождения правого удерживающего блока 21 и соединен с правым блоком 22 управления отображением. Аналогичным образом, левый провод 44 вставлен в кожух левого удерживающего блока 23 со стороны участка АР дальнего конца в направлении прохождения левого удерживающего блока 23 и соединен с левым блоком 24 управления отображением. Соединительный элемент 46 предусмотрен в точке ответвления провода 48 основного корпуса и правого и левого проводов 42 и 44. Соединительный элемент 46 содержит гнездо для подключения штекера 30 наушников. Правый наушник 32 и левый наушник 34 проходят из штекера 30 наушников.

[0025] Блок 20 отображения изображений и блок 10 управления выполняют передачу различных сигналов через блок 40 соединения. Соединители (на чертеже не показаны), которые стыкуются друг с другом, соответствующим образом предусмотрены на конце провода 48 основного корпуса на противоположной стороне соединительного элемента 46 и блока 10 управления. Блок 10 управления и блок 20 отображения изображений подключаются и отключаются в соответствии с вставлением и извлечением соединителя провода 48 основного корпуса и соединителя блока 10 управления. Например, в качестве правого провода 42, левого провода 44 и провода 48 основного корпуса может использоваться металлический трос или оптическое волокно.

[0026] Блок 10 управления представляет собой устройство для управления наголовным устройством 100 отображения. Блок 10 управления содержит клавишу 11 выбора, осветительный блок 12, клавишу 13 переключения отображения, трекпад 14, клавишу 15 переключения яркости, клавишу 16 направления, клавишу 17 меню и выключатель 18 электропитания. Клавиша 11 выбора обнаруживает операцию нажатия и выдает сигнал для определения контента операции в блоке 10 управления. Осветительный блок 12 уведомляет, с использованием своего состояния излучения света, о рабочем состоянии наголовного устройства 100 отображения. В качестве рабочего состояния наголовного устройства 100 отображения, например, имеется включение/выключение электропитания. В качестве осветительного блока 12, например, используется LED (светодиод). Клавиша 13 переключения отображения обнаруживает операцию нажатия и выдает, например, сигнал для переключения режима отображения движущегося изображения контента с 3-мерного (3D) на 2-мерный (2D). Трекпад 14 обнаруживает выполняемую пальцем пользователя операцию на рабочей поверхности трекпада 14 и выдает сигнал, соответствующий обнаруженному контенту. В качестве трекпада 14 могут использоваться различные трекпады, например, электростатические, реагирующие на давление и оптические. Клавиша 15 переключения яркости обнаруживает операцию нажатия и выдает сигнал для увеличения и уменьшения яркости блока 20 отображения изображений. Клавиша 16 направления обнаруживает операцию нажатия для клавиш, соответствующих направлениям вверх, вниз, влево и вправо, и выдает сигнал, соответствующий обнаруженному контенту. Выключатель 18 электропитания обнаруживает операцию скольжения переключателя для переключения состояния электропитания наголовного устройства 100 отображения.

[0027] Фиг. 2 представляет собой блок-схему, на которой функционально показана конструкция наголовного устройства 100 отображения. Как показано на фиг. 2, блок 10 управления содержит блок 110 получения входной информации, блок 120 хранения, источник 130 электропитания, блок 135 операций, центральный процессор (CPU) 140, интерфейс 180, блок 51 передачи (Тх 51) и блок 52 передачи (Тх 52). Блок 135 операций принимает операцию пользователя. Блок 135 операций состоит из клавиши 11 выбора, клавиши 13 переключения отображения, трекпада 14, клавиши 15 переключения яркости, клавиши 16 направления, клавиши 17 меню и выключателя 18 электропитания.

[0028] Блок 110 получения входной информации получает сигнал, соответствующий вводу операции пользователем. В качестве ввода операции, например, имеются вводы операций в трекпад 14, клавишу 16 направления и выключатель 18 электропитания, расположенный на блоке 135 операций. Источник 130 электропитания подает электропитание в блоки наголовного устройства 100 отображения. В качестве источника 130 электропитания может использоваться, например, вторичная батарея. Блок 120 хранения содержит хранящиеся в нем различные компьютерные программы. Блок 120 хранения состоит из постоянного запоминающего устройства (ROM), оперативного запоминающего устройства (RAM) и так далее. CPU 140 считывает и исполняет компьютерные программы, хранящиеся в блоке 120 хранения, тем самым, выполняя функцию операционной системы 150 (OS 150), блока 190 управления отображением, блока 170 обработки звука, блока 142 определения состояния, блока 145 установления направления зрительной оси и блока 160 обработки изображений.

[0029] Блок 190 управления отображением генерирует управляющие сигналы для управления правым блоком 22 управления отображением и левым блоком 24 управления отображением. В частности, блок 190 управления отображением индивидуально управляет, с помощью управляющих сигналов, включением/выключением управления правым LCD 241 с помощью блока 211 управления правым LCD, включением/выключением управления правой подсветкой 221 с помощью блока 201 управления правой подсветкой, включением/выключением управления левым LCD 242 с помощью блока 212 управления левым LCD и включением/выключением управления левой подсветкой 222 с помощью блока 202 управления левой подсветкой. Вследствие этого, блок 190 управления отображением управляет генерированием и испусканием излучения изображений правым блоком 22 управления отображением и левым блоком 24 управления отображением. Например, блок 190 управления отображением обеспечивает генерирование излучения изображений и правым блоком 22 управления отображением, и левым блоком 24 управления отображением, обеспечивает генерирование излучения изображений только одним из правого блока 22 управления отображением и левого блока 24 управления отображением, либо обеспечивает отсутствие генерирования излучения изображения и правым блоком 22 управления отображением, и левым блоком 24 управления отображением.

[0030] Блок 190 управления отображением передает управляющие сигналы в блок 211 управления правым LCD и блок 212 управления левым LCD соответственно через блоки 51 и 52 передачи. Блок 190 управления отображением передает управляющие сигналы, соответственно, в блок 201 управления правой подсветкой и блок 202 управления левой подсветкой.

[0031] Блок 145 установления направления зрительной оси устанавливает направление зрительной оси пользователя путем анализа изображений правого глаза и левого глаза пользователя соответственно, регистрируемых камерами 37 и 38 регистрации изображений глаз. Блок 145 установления направления зрительной оси может оценивать, в соответствии с установленным направлением зрительной оси, положение, наблюдаемое пользователем. Следовательно, блок 145 установления направления зрительной оси может устанавливать точку наблюдения пользователя (например, точку PG1 наблюдения и точку PG2 наблюдения, изображенные на фиг. 7). Блок 142 определения состояния определяет направление и движение блока 20 отображения изображений, обнаруживаемые девятиосным датчиком 66, объясняемым ниже, для оценки посредством этого изменения положения головы пользователя. Например, когда пользователь идет, направление движения пользователя устанавливается благодаря изменению положения головы. Голова пользователя циклически флуктуирует в вертикальном направлении и горизонтальном направлении вдоль направления движения (например, фиг. 6). Следовательно, блок 142 определения состояния может устанавливать скорость ходьбы пользователя, устанавливать циклическое изменение положения головы и изменение направления зрительной оси пользователя, а также устанавливать частоту изменения положения головы в вертикальном направлении и горизонтальном направлении и частоту изменения направления зрительной оси. Необходимо отметить, что прогнозируемое движение человека означает движение, которое можно прогнозировать при эргономическом проектировании на основе таких физических характеристик, как физические формы областей человеческого существа, движения областей, выполняемые при ходьбе или подобные им, а также физиологические реакции и изменения человеческого существа. Камеры 37 и 38 регистрации изображений глаз и блок 145 установления направления зрительной оси эквивалентны блоку установления направления зрительной оси в формуле изобретения.

[0032] Блок 160 обработки изображений получает сигнал изображения, входящий в контент. Блок 160 обработки изображений выделяет сигналы синхронизации, такие как сигнал Vsync вертикальной синхронизации и сигнал HSync горизонтальной синхронизации из полученного сигнала изображения. Блок 160 обработки изображений генерирует тактовый сигнал PCLK с помощью схемы PLL (фазовой автоматической подстройки частоты) или подобной ей (на чертеже не показана) в соответствии с циклами выделенных сигнала Vsync вертикальной синхронизации и сигнала HSync горизонтальной синхронизации. Блок 160 обработки изображений преобразует аналоговый сигнал изображения, из которого выделяются сигналы синхронизации, в цифровой сигнал изображения с помощью схемы аналого-цифрового преобразования или подобной ей (на чертеже не показана). Затем блок 160 обработки изображений сохраняет цифровой сигнал изображения после преобразования в динамическом оперативном запоминающем устройстве (DRAM) в блоке 120 хранения по отдельным кадрам в виде данных изображения (RGB-данных) целевого изображения. Необходимо отметить, что блок 160 обработки изображений может исполнять обработку изображений, такую как обработка с преобразованием разрешения, различные виды обработки с коррекцией тона, такие как регулировка яркости и цветности, и обработка с коррекцией трапецеидальных искажений в соответствии с необходимостью.

[0033] Блок 160 обработки изображений передает тактовый сигнал PCLK, сигнал Vsync вертикальной синхронизации и сигнал HSync горизонтальной синхронизации, генерируемые блоком 160 обработки изображений и данными Data изображений, хранящимися в DRAM в блоке 120 хранения, соответственно через передающие блоки 51 и 52. Необходимо отметить, что данные Data изображений, передаваемые через передающий блок 51, называются также «данными изображений для правого глаза», а данные Data изображений, передаваемые через передающий блок 52, называются также «данными изображений для левого глаза». Передающие блоки 51 и 52 выполняют функцию приемопередатчика для последовательной передачи между блоком 10 управления и блоком 20 отображения изображений.

[0034] Когда блок 142 определения состояния определяет, что голова пользователя циклически изменяется, блок 160 обработки изображений корректирует данные изображений на основе установленных частот изменения положения головы и изменения направления зрительной лин6ии пользователя и передает данные изображений в блок 20 отображения изображений. Примеры состава коррекций данных изображений включают в себя коррекцию для снижения влияния изменения направления зрительной оси относительно внешней сцены, визуально распознаваемой пользователем с помощью блока 20 отображения изображений. Необходимо отметить, что блок 160 обработки изображений и блок 142 определения состояния эквивалентны блоку задания положения изображения в формуле изобретения.

[0035] Блок 170 обработки звука получает звуковой сигнал, входящий в контент, усиливает полученный звуковой сигнал и подает усиленный звуковой сигнал на громкоговоритель (не показан на чертеже) в правом наушнике 32 и громкоговоритель (не показан на чертеже) в левом наушнике 34, подключенные к соединительному элементу 46. Необходимо отметить, что при использовании, например, системы Долби (зарегистрированный товарный знак) выполняется обработка для звукового сигнала. Различные звуки, частоты и т.д. которых изменяются, соответственно выдаются из правого наушника 32 и левого наушника 34.

[0036] Интерфейс 180 представляет собой интерфейс для подключения различных внешних устройств ОА, которые являются источниками подачи контента, к блоку 10 управления. Примеры внешних устройств ОА включают в себя персональный компьютер РС, терминал сотового телефона и игровой терминал. В качестве интерфейса 180 могут использоваться, например, USB-интерфейс, микро-USB-интерфейс или интерфейс для карты памяти.

[0037] Блок 20 отображения изображений содержит правый блок 22 управления отображением, левый блок 24 управления отображением, правую светопроводящую панель 261, выполняющую функцию правого блока 26 отображения оптических изображений, левую светопроводящую панель 262, выполняющую функцию левого блока 28 отображения оптических изображений, девятиосный датчик 66, камеру 37 регистрации изображений правого глаза и камеру 38 регистрации изображений левого глаза.

[0038] Девятиосный датчик 66 представляет собой датчик движения, выполненный с возможностью обнаружения ускорения (по трем осям), угловой скорости (по трем осям) и геомагнетизма (по трем осям). Поскольку девятиосный датчик 66 предусмотрен в блоке 20 отображения изображений, когда блок 20 отображения изображений надет на голову пользователя, девятиосный датчик 66 обнаруживает положение головы пользователя и изменения положения. Направление блока 20 отображения изображений устанавливается по обнаруженному положению головы пользователя. Необходимо отметить, что девятиосный датчик 66 и блок 142 определения состояния эквивалентны блоку обнаружения в формуле изобретения.

[0039] Правый блок 22 управления отображением содержит приемный блок 53 (Rx 53), блок 201 управления правой подсветкой (блок 201 управления правой BL) и правую подсветку 221 (правую BL 221), выполняющую функцию источника света, блок 211 управления правым LCD и правый LCD 241, выполняющий функцию элемента отображения, и правую проекционную оптическую систему 251. Блок 201 управления правой подсветкой и правая подсветка 221 выполняют функцию источника света. Блок 211 управления правым LCD и правый LCD 241 выполняют функцию элемента отображения. Необходимо отметить, что блок 201 управления правой подсветкой, блок 211 управления правым LCD, правая подсветка 221 и правый LCD 241 вместе называются также «блоком генерирования излучения изображения».

[0040] Приемный блок 53 выполняет функцию приемника для последовательной передачи между блоком 10 управления и блоком 20 отображения изображений. Блок 201 управления правой подсветкой управляет правой подсветкой 221 на основе входного управляющего сигнала. Правая подсветка 221 представляет собой, например, светоизлучающее тело, такое как светодиод или электролюминесценцию (EL). Блок 211 управления правым LCD управляет правым LCD 241 на основе тактового сигнала PCLK, сигнала Vsync вертикальной синхронизации, сигнала HSync горизонтальной синхронизации и данных изображений для правого глаза, вводимых через приемный блок 53. Правый LCD 241 представляет собой работающую на пропускание жидкокристаллическую панель, множество пикселей которой расположено в форме матрицы.

[0041] Правая проекционная оптическая система 251 состоит из коллимирующей линзы, которая изменяет излучение изображения, испускаемое из правого LCD 241, в световые лучи в параллельном состоянии. Правая светопроводящая панель 261, выполняющая функцию правого блока 26 отображения оптических изображений, проводит излучение изображения, выдаваемое из правой проекционной оптической системы 251, в правый глаз RE пользователя, в то же время, отражая излучение изображения вдоль предварительно задаваемого оптического пути. Необходимо отметить, что правая проекционная оптическая система 251 и правая светопроводящая панель 261 вместе также называются «светопроводящим блоком».

[0042] Левый блок 24 управления отображением имеет такую же конструкцию, как и конструкция правого блока 22 управления отображением. Левый блок 24 управления отображением содержит приемный блок 54 (Rx 54), блок 202 управления левой подсветкой (блок 202 управления левой BL) и левую подсветку 222 (левую BL 222), выполняющую функцию источника света, блок 212 управления левым LCD и левый LCD 242, выполняющий функцию элемента отображения, и левую проекционную оптическую систему 252. Блок 202 управления левой подсветкой и левая подсветка 222 выполняют функцию источника света. Блок 212 управления левым LCD и левый LCD 242 выполняют функцию элемента отображения. Необходимо отметить, что блок 202 управления левой подсветкой, блок 212 управления левым LCD, левая подсветка 222 и левый LCD 242 вместе называются также «блоком генерирования излучения изображения». Левая проекционная оптическая система 252 состоит из коллимирующей линзы, которая изменяет излучение изображения, испускаемое из левого LCD 242, в световые лучи в параллельном состоянии. Левая светопроводящая панель 262, выполняющая функцию левого блока 28 отображения оптических изображений, проводит излучение изображения, выдаваемое из левой проекционной оптической системы 252, в левый глаз LE пользователя, в то же время, отражая излучение изображения вдоль предварительно задаваемого оптического пути. Необходимо отметить, что левая проекционная оптическая система 252 и левая светопроводящая панель 262 вместе также называются «светопроводящим блоком».

[0043] Фиг. 3 представляет собой пояснительную схему, на которой показано состояние, в котором излучение изображения испускается блоком генерирования излучения изображения. Правый LCD 241 управляет жидкими кристаллами в положениях пикселей, расположенных в форме матрицы, для изменения посредством этого пропускания излучения, передаваемого через правый LCD 241, для модуляции излучения IL освещения, излучаемого из правой подсветки 221, в эффективное излучение PL изображения, соответствующее изображению. То же относится и к левой стороне. Необходимо отметить, что хотя в данном варианте осуществления используется система подсветки, как показано на фиг. 3, излучение изображения может испускаться с помощью системы передней подсветки или отражательной системы.

[0044] А-2. Обработка коррекции положения изображения

Фиг. 4 представляет собой пояснительную схему, на которой показан график обработки коррекции положения изображения. Обработка коррекции положения изображения представляет собой обработку, при которой циклическое движение пользователя устанавливается на основе прогнозируемого изменения положения головы и установленного направления зрительной оси пользователя, а положение изображения на дисплее корректируется для устранения отклонения между внешней сценой и изображением на дисплее, предполагаемым при движении пользователя.

[0045] При обработке коррекции положения изображения сначала блок 142 определения состояния определяет направление и движение блока 20 отображения изображений, обнаруживаемые девятиосным датчиком 66, для оценки изменения положения головы пользователя (этап S11). Затем блок 145 установления направления зрительной оси устанавливает направление зрительной оси и точку наблюдения пользователя с помощью зарегистрированных изображений камер 37 и 38 регистрации изображений глаз (этап S12). Затем блок 142 определения состояния определяет, являются ли изменение положения головы и изменение направления зрительной оси пользователя циклическими (этап S13).

[0046] Фиг. 5 и 6 представляют собой пояснительные схемы, на которых показан переходный участок изменения положения головы во время ходьбы пользователя US наголовного устройства 100 отображения. На фиг. 5 показан переходный участок изменения в вертикальном направлении положения головы пользователя US во время ходьбы пользователя US. Как показано на фиг. 5, положение головы пользователя US во время ходьбы циклически изменяется вдоль вертикального направления. Положение глаз пользователя US изменяется вдоль вертикального направления и вычерчивает траекторию ES. Когда обе ноги пользователя US находятся на земле GR, положение головы пользователя US находится в самом низком положении (именуемом в дальнейшем также «низшей точкой») вдоль вертикального направления. Когда только одна нога пользователя US находится на земле GR, а другая нога пересекает ногу на земле GR вдоль направления движения, положение головы пользователя US находится в самом высоком положении (именуемом в дальнейшем также «высшей точкой») вдоль вертикального направления. В данном варианте осуществления точка PG наблюдения присутствует на горизонтальной оси OL, которая проходит промежуточную точку между низшей точкой и высшей точкой в вертикальном направлении.

[0047] Направление ED зрительной оси пользователя US изменяется для коррекции циклического изменения положения головы. При ходьбе пользователя US с одновременным наблюдением точки PG наблюдения, если положение головы пользователя US находится в более низком положении, чем горизонтальная ось OL, направление ED зрительной оси направлено выше горизонтального направления. И наоборот, если положение головы пользователя US находится в более высоком положении, чем горизонтальная ось OL вдоль вертикального направления, направление ED зрительной оси направлено ниже горизонтального направления.

[0048] На фиг. 6 показан переходный участок изменения в горизонтальном направлении положения головы пользователя US во время ходьбы. Как показано на фиг. 6, когда пользователь US идет, если только правая нога пользователя US находится на земле GR, а голова пользователя US находится в высшей точке, центр головы пользователя US ортогонален правой стороне направления движения (в дальнейшем именуемой также «самой правой точкой») и находится на ней. Если только левая нога пользователя US находится на земле GR, а голова пользователя US находится в высшей точке, центр головы пользователя US ортогонален левой стороне направления движения (в дальнейшем именуемой также «самой левой точкой») и находится на ней. Следовательно, положение головы пользователя US в горизонтальном направлении изменяется, как траектория ES вдоль горизонтальной оси OL, которая проходит промежуточную точку между самой правой точкой и самой левой точкой. Необходимо отметить, что положение головы пользователя US находится в высшей точке, когда центр головы пользователя US находится в самой правой точке и самой левой точке. Следовательно, при изменении положения головы пользователя US цикл в вертикальном направлении составляет половину цикла в горизонтальном направлении. То есть, частота в вертикальном направлении вдвое превышает частоту в горизонтальном направлении.

[0049] Фиг. 7 представляет собой пояснительную схему, на которой показано соотношение между изменениями положения и направления головы и изменением направления ED зрительной оси пользователя US. На фиг. 7 показаны направление головы и направление ED зрительной оси, корректируемые в соответствии с изменением в вертикальном направлении положения головы. В NPL 1, когда точка PG наблюдения находится в 2 метрах от пользователя US, точка, в которой носо-затолочная ось фокусируется путем вращения головы вокруг поперечной оси (точка фиксации головы; (в дальнейшем именуется «базовой точкой HFP головы»), ближе к пользователю US, чем точка PG наблюдения. То есть, в соответствии с описанием в NPL 1, в этом случае направление головы с избытком компенсирует движения вверх и вниз, и с целью дополнения отклонения направления головы во время ходьбы необходимо циклическое компенсирующее вращение глаз. В соответствии с описанием, несмотря на то, что движение наклона головы слегка изменяется в соответствии с расстоянием от пользователя US до точки PG наблюдения, величина изменения весьма незначительна.

[0050] Как показано на фиг. 7, когда пользователь US наблюдает точку PG1 наблюдения, находящуюся в положении, более дальнем от глаз пользователя US, чем базовая точка HFP головы, направление ED зрительной оси пользователя US изменяется в направлении, противоположном направлению головы пользователя US. Например, когда положение головы пользователя US находится в высшей точке, направление головы пользователя US наклонено вниз на угол тета-h вдоль вертикального направления относительно горизонтальной оси OL. Однако направление ED зрительной оси пользователя US наклонено вверх на угол тета-1 вдоль вертикального направления относительно направления головы пользователя US. Как показано на фиг. 7, когда пользователь US наблюдает точку PG2 наблюдения, находящуюся в положении, более близком к глазам пользователя US, чем базовая точка HFP головы, направление ED зрительной оси пользователя US изменяется в том же направлении, что и направление головы пользователя US. Например, когда положение головы пользователя US находится в высшей точке, направление головы пользователя US наклонено вниз на угол тета-h вдоль вертикального направления относительно горизонтальной оси OL. Однако направление ED зрительной оси пользователя US дополнительно наклонено вниз на угол тета-2 вдоль вертикального направления относительно направления головы пользователя US.

[0051] Фиг. 8 и 9 представляют собой пояснительные схемы, на которых показан переходный участок направления головы и направления ED зрительной оси пользователя US относительно расстояния ходьбы пользователя US. На фиг. 8 показан переходный участок угла тета-h направления головы относительно расстояния ходьбы пользователя US (фиг. 7) и угол тета-1 направления ED зрительной оси относительно направления головы пользователя US (фиг. 7). Переходный участок возникает в тех случаях, когда пользователь US наблюдает точку PG1 наблюдения, более дальнюю от пользователя US, чем базовая точка HFP головы. На фиг. 8 в качестве угла ординаты угол вверх относительно горизонтальной оси OL принимается равным положительному значению, а угол вниз относительно горизонтальной оси OL принимается равным отрицательному значению. Как показано на фиг. 8, направление ED зрительной оси пользователя US изменяется в направлении, противоположном направлению головы пользователя US. Следовательно, когда угол тета-h направления головы является максимальным, угол тета-1 направления ED зрительной оси становится минимальным. Соотношение между углом тета-h направления головы и углом тета-1 направления ED зрительной оси представляет собой соотношение фазового сдвига величиной 180 градусов.

[0052] На фиг. 9 показан переходный участок угла тета-h направления головы относительно расстояния ходьбы пользователя US (фиг. 7) и угол тета-2 направления ED зрительной оси относительно направления головы пользователя US (фиг. 7). Переходный участок возникает в тех случаях, когда пользователь US наблюдает точку PG2 наблюдения, более близкую к пользователю US, чем базовая точка HFP головы. Как показано на фиг. 9, направление ED зрительной оси пользователя US изменяется в том же направлении, что и направление головы пользователя US. Следовательно, когда угол тета-h направления головы является максимальным, угол тета-2 направления ED зрительной оси становится максимальным. Соотношение между углом тета-h направления головы и углом тета-2 направления ED зрительной оси представляет собой соотношение без фазового сдвига. Необходимо отметить, что на фиг. 8 и 9 объясняется изменение в вертикальном направлении положения головы пользователя US. Однако изменение в горизонтальном направлении положения головы пользователя US имеет половинную частоту от частоты изменения в вертикальном направлении. Несмотря на то, что угол, служащий в качестве амплитуды, отличается, то же относится к изменению направления ED зрительной оси.

[0053] Когда при обработке на этапе S13 на фиг. 4 определено, что изменение положения головы пользователя US является циклическим (этап S13: ДА), блок 142 определения состояния устанавливает частоты изменения положения головы пользователя US в вертикальном направлении и горизонтальном направлении (этап S14). Затем блок 160 обработки изображений корректирует, на основе установленных частот, положение изображения на дисплее, чтобы оно соответствовало циклическому изменению направления ED зрительной оси (этап S15).

[0054] Фиг. 10 представляет собой пояснительную схему, на которой показан пример изображения IM на дисплее, визуально распознаваемого пользователем US, перед тем, как корректируется положение изображения IM на дисплее. На фиг. 10 визуально распознаваемое изображение IM на дисплее показано в точке PG наблюдения, расположенной дальше от глаз пользователя US, чем базовая точка HFP головы. Как показано на фиг. 10, положение и направление головы пользователя US изменяют центрирование на базовой точке HFP головы. Следовательно, когда положение отображения изображения IM на дисплее, генерируемого в блоке генерирования излучения изображения, не изменяется, изображение IM на дисплее визуально распознается пользователем US, как если бы изображение IM на дисплее двигалось относительно внешней сцены, визуально распознаваемой с помощью блока 20 отображения изображений. Например, когда положение головы пользователя US находится в высшей точке, по сравнению с тем, когда положение головы пользователя US находится в низшей точке, изображение IM на дисплее визуально распознается пользователем US, как если бы изображение IM на дисплее находилось на нижней стороне вдоль вертикального направления. Следовательно, центр изображения IM на дисплее вычерчивает траекторию PGL, которая изменяется в соответствии с изменением положения головы пользователя US.

[0055] Фиг. 11 представляет собой пояснительную схему, на которой показан пример изображения IM на дисплее, визуально распознаваемого пользователем US, после того, как корректируется положение изображения IM на дисплее. Как показано на фиг. 11, блок 160 обработки изображений корректирует положение отображения изображения IM на дисплее в соответствии с изменением направления ED зрительной оси пользователя US таким образом, что центр изображения IM на дисплее перекрывает точку PG наблюдения, которая является фиксированной точкой, без вычерчивания траектории PGL. Как показано на фиг. 11, расстояние от глаз пользователя US до точки PG наблюдения больше, чем расстояние от глаз пользователя US до базовой точки HFP головы. В этом случае угол тета-с коррекции изображения IM на дисплее представляет собой угол коррекции в направлении, противоположном направлению головы, относительно горизонтальной оси OL. В отличие от примера, изображенного на фиг. 11, в котором расстояние от глаз пользователя US до точки PG наблюдения меньше, чем расстояние от глаз пользователя US до базовой точки HFP головы, угол тета-с коррекции представляет собой угол коррекции в том же направлении, что и направление головы, относительно горизонтальной оси OL.

[0056] Блок генерирования излучения изображения, который генерирует изображение IM на дисплее, состоит из множества пикселей. Блок генерирования излучения изображения изменяет пиксели, образующие изображение IM на дисплее, для изменения положения отображения изображения IM на дисплее в блоке генерирования излучения изображения. Каждый из множества пикселей предварительно связан с телесным углом, визуально распознаваемым пользователем US. Следовательно, блок 160 обработки изображений корректирует относительное положение отображения изображения IM на дисплее относительно внешней сцены, визуально распознаваемой пользователем US, посредством блока 20 отображения изображений путем изменения пикселей, образующих изображение IM на дисплее, в соответствии с прогнозируемым циклическим изменением положения головы пользователя US и базовой точки HFP головы. Необходимо отметить, что множество пикселей, образующих блок генерирования излучения изображения, в данном варианте осуществления эквивалентно области, в которой может генерироваться излучение изображения, в формуле изобретения. Область, в которой может генерироваться излучение изображения, может представлять собой область испускания излучения виртуального изображения, в которой может испускаться излучение, визуальное распознавание которого как виртуального изображения обеспечивается пользователю US, либо может представлять собой область испускания излучения изображения, в которой испускается излучение изображения. Изменение пикселей, образующих изображение IM на дисплее, можно также перефразировать как изменение положения, в котором испускается излучение изображения, или изменение области испускания излучения изображения.

[0057] Когда при обработке на этапе S13 на фиг. 4 определено, что изменение положения головы пользователя US не является циклическим (этап S13: НЕТ), блок 160 обработки изображений завершает обработку коррекции положения, не корректируя положение отображения изображения IM на дисплее в блоке генерирования излучения изображения.

[0058] Как объяснялось выше, наголовное устройство 100 отображения в данном варианте осуществления, девятиосный датчик 66 и блок 142 определения состояния обнаруживают движение головы пользователя US. Блок 160 обработки изображений и блок 142 определения состояния изменяют положение отображения изображения IM на дисплее на основе прогнозируемого циклического изменения положения головы пользователя US. Следовательно, в наголовном устройстве 100 отображения в данном варианте осуществления положение отображения изображения IM на дисплее корректируется в соответствии с прогнозируемым изменением положения головы пользователя US. Следовательно, можно обеспечить визуальное распознавание пользователем US изображения IM на дисплее того же размера и уменьшить отклонение между внешней сценой, визуально распознаваемой пользователем US посредством блока 20 отображения изображений, и изображением IM на дисплее. Вследствие этого, можно ослабить чувство несоответствия изображения IM на дисплее по отношению к внешней сцене, визуально распознаваемой пользователем US, и ослабить неприятные ощущения от изображений, вызываемые у пользователя US отклонением между внешней сценой, визуально распознаваемой пользователем US, и изображением IM на дисплее.

[0059] В наголовном устройстве 100 отображения в данном варианте осуществления блок 160 обработки изображений и блок 142 определения состояния изменяют положение отображения изображения IM на дисплее на основе циклического изменения направления ED зрительной оси пользователя US. Следовательно, в наголовном устройстве 100 отображения в данном варианте осуществления положение отображения изображения IM на дисплее корректируется с учетом направления ED зрительной оси пользователя US в дополнение к изменениям положения и направления головы пользователя US. Вследствие этого, можно дополнительно ослабить чувство несоответствия изображения IM на дисплее по отношению к внешней сцене, визуально распознаваемой пользователем US.

[0060] В наголовном устройстве 100 отображения в данном варианте осуществления блок 160 обработки изображений и блок 142 определения состояния корректируют положение отображения изображения IM на дисплее на основе базовой точки HFP головы на предварительно задаваемом расстоянии от глаз пользователя US и точки PG наблюдения. Когда расстояние от глаз пользователя US до точки PG наблюдения больше, чем расстояние от глаз пользователя US до базовой точки HFP головы, угол тета-с коррекции изображения IM на дисплее представляет собой угол коррекции в направлении, противоположном направлению головы, относительно горизонтальной оси OL. И наоборот, когда расстояние от глаз пользователя US до точки PG наблюдения меньше, чем расстояние от глаз пользователя US до базовой точки HFP головы, угол тета-с коррекции изображения IM на дисплее представляет собой угол коррекции в том же направлении, что и направление головы, относительно горизонтальной оси OL. Следовательно, в наголовном устройстве 100 отображения в данном варианте осуществления положение отображения изображения IM на дисплее корректируется на основе базовой точки HFP головы, которое устанавливается в соответствии с состоянием движения пользователя US, и точки PG наблюдения, которую наблюдает пользователь US. Вследствие этого, можно дополнительно ослабить чувство несоответствия изображения IM на дисплее по отношению к внешней сцене, визуально распознаваемой пользователем US.

[0061] В наголовном устройстве 100 отображения в данном варианте осуществления, когда изменяются пиксели, образующие изображение IM на дисплее в блоке генерирования излучения изображения, изменяется положение отображения изображения IM на дисплее. Следовательно, положение отображения изображения IM на дисплее легко задается. Легко корректировать отклонение между внешней сценой, визуально распознаваемой пользователем US, и изображением IM на дисплее.

[0062] В. МОДИФИКАЦИИ

Необходимо отметить, что данное изобретение не ограничивается вариантами осуществления, объясняемыми выше. Изобретение может быть осуществлено в различных формах в пределах сущности изобретения. Например, возможны также модификации, объясняемые ниже.

[0063] В1. МОДИФИКАЦИЯ 1

В данном варианте осуществления блок 145 установления направления зрительной оси устанавливает направление ED зрительной оси и точку PG наблюдения пользователя US с помощью зарегистрированных изображений глаз пользователя US, зарегистрированных камерами 37 и 38 регистрации изображений глаз. Однако направление ED зрительной оси и точка PG наблюдения пользователя US не всегда должны устанавливаться. Коррекция положения отображения изображения IM на дисплее может выполняться в соответствии с циклическим изменением положения головы пользователя US. Например, точка PG наблюдения может быть задана в бесконечности (например, на расстоянии, в 2000 или более раз превышающем фокусное расстояние) для коррекции положения отображения изображения IM на дисплее. В данной модификации, даже если направление ED зрительной оси пользователя US не установлено, блок 160 обработки изображений может корректировать положение отображения изображения IM на дисплее в соответствии с направлением головы пользователя US.

[0064] В данном варианте осуществления направление ED зрительной оси пользователя US устанавливается блоком 145 установления направления зрительной оси, камерами 37 и 38 регистрации изображений глаз, при этом устанавливается базовая точка HFP головы. Однако базовая точка HFP головы не всегда должна устанавливаться. Коррекция положения отображения изображения IM на дисплее может выполняться в соответствии с направлением головы пользователя US и точкой наблюдения PG, устанавливаемой в соответствии с направлением ED зрительной оси.

[0065] Базовая точка HFP головы не обязательно устанавливается в соответствии с направлением ED зрительной оси пользователя US, а может устанавливаться в соответствии со способами передвижения или подобными им пользователя US. Когда пользователь US идет, поскольку известно, что базовая точка HFP головы изменяется в соответствии со скоростью движения, базовая точка HFP головы может устанавливаться в соответствии со скоростью движения пользователя US, обнаруживаемой девятиосным датчиком 66, для коррекции положения отображения изображения IM на дисплее.

[0066] В примере, объясняемом в данном варианте осуществления, пользователь US идет. Однако циклическое изменение положения головы не ограничивается изменением во время ходьбы пользователя US и может модифицироваться различным образом. Например, циклическое изменение положения головы может являться изменением во время бега пользователя US. Когда пользователь US едет на автомобиле, положение отображения изображения IM на дисплее может корректироваться для коррекции влияния циклической вибрации двигателя. Схемы частот повторения в состояниях движения пользователя US могут заранее сохраняться в блоке 120 хранения блока 10 управления. Циклическое изменение положения головы, обнаруживаемое блоком 142 определения состояния, может сличаться с этими схемами для установления состояния движения пользователя US. В данной модификации, поскольку состояния движения пользователя US сличаются со схемами частот повторения, благодаря устранению частоты шума по методу FFT (Быстрого Преобразования Фурье) можно скорректировать положение отображения изображения IM на дисплее для дополнительного уменьшения отклонения между положением отображения и внешней сценой.

[0067] В данном варианте осуществления обнаруживаются изменения положения головы пользователя US вдоль вертикального направления и горизонтального направления, и корректируется положение отображения изображения IM на дисплее. Однако направления обнаружения не всегда ограничиваются указанными направлениями и могут изменяться различным образом. Например, циклическое изменение положения головы может обнаруживаться только в вертикальном направлении для коррекции положения отображения изображения IM на дисплее. Напротив, обнаружение изменения и коррекция положения отображения изображения IM на дисплее могут выполняться только в горизонтальном направлении.

[0068] В2. МОДИФИКАЦИЯ 2

В данном варианте осуществления в качестве камер 37 и 38 регистрации изображений глаз используются небольшие ПЗС-камеры. Однако камеры 37 и 38 регистрации изображений глаз не всегда ограничиваются данным исполнением и могут различным образом изменяться. Например, может использоваться такое устройство регистрации изображений, как датчик изображений на комплементарных металло-оксидных полупроводниках (КМОП), либо могут использоваться иные устройства регистрации изображений. Поскольку вместо камер 37 и 38 регистрации изображений в наголовное устройство 100 отображения входит устройство, которое может обнаруживать направление ED зрительной оси пользователя US, можно дополнительно ослабить чувство несоответствия изображения IM на дисплее по отношению к внешней сцене, визуально распознаваемой пользователем US.

[0069] В данном варианте осуществления блок 135 операций выполнен в блоке 10 управления. Однако исполнение блока 135 операций может различным образом изменяться. Например, пользовательский интерфейс, выполняющий функцию блока 135 операций, может предусматриваться отдельно от блока 10 управления. В этом случае, поскольку блок 135 операций отделен от блока 10 управления, в котором выполнены источник 130 питания и так далее, блок 135 операций может быть уменьшен в размере. Удобство применения пользователем US повышается. Девятиосный датчик, который обнаруживает движение блока 135 операций, может быть выполнен в блоке 135 операций для выполнения различных видов операций на основе движения, обнаруженного девятиосным датчиком. При этом пользователь US может интуитивно управлять наголовным устройством 100 отображения.

[0070] Например, блок генерирования излучения изображения может содержать органический EL (органический электролюминесцентный) дисплей и органический EL блок управления. Например, в блоке генерирования излучения изображения вместо LCD могут использоваться LCOS (жидкие кристаллы на кремнии; LCoS является зарегистрированным товарным знаком), цифровое микрозеркальное устройство или подобное ему. Например, данное изобретение может также применяться к наголовному дисплею типа лазерной проекции сетчатки. В случае типа лазерной проекции сетчатки «область, в которой может испускаться излучение изображения в блоке генерирования излучения изображения» может быть определена как область изображения, распознаваемая глазами пользователя US.

[0071] Например, наголовный дисплей может представлять собой наголовный дисплей, в котором блок отображения оптических изображений закрывает лишь часть глаз пользователя US, иными словами, блок отображения оптических изображений не полностью закрывает глаза пользователя US. Наголовный дисплей может представлять собой наголовный дисплей так называемого монокулярного типа. Кроме того, наголовный дисплей не ограничивается светопропускающим типом и может быть непрозрачного типа, с помощью которого пользователь US не может визуально распознавать внешнюю сцену.

[0072] Фиг. 12А и 12В представляют собой пояснительные схемы, на которых показана внешняя конструкция наголовного устройства отображения в модификации. В примере, изображенном на фиг. 12А, наголовное устройство отображения в модификации отличается от наголовного устройства 100 отображения, изображенного на фиг. 1, тем, что блок 20а отображения изображений содержит правый блок 26а отображения оптических изображений вместо правого блока 26 отображения оптических изображений и содержит левый блок 28а отображения оптических изображений вместо левого блока 28 отображения оптических изображений. Правый блок 26а отображения оптических изображений выполнен меньшим, чем оптический элемент в данном варианте осуществления, и располагается наклонно над правым глазом пользователя US во время установки наголовного устройства 100а отображения. Аналогичным образом, левый блок 28а отображения оптических изображений выполнен меньшим, чем оптический элемент в данном варианте осуществления, и располагается наклонно над левым глазом пользователя US во время установки наголовного устройства 100а отображения. В примере, изображенном на фиг. 12В, наголовное устройство отображения в модификации отличается от наголовного устройства 100 отображения, изображенного на фиг. 1, тем, что блок 20b отображения изображений содержит правый блок 26b отображения оптических изображений вместо правого блока 26 отображения оптических изображений и содержит левый блок 28b отображения оптических изображений вместо левого блока 28 отображения оптических изображений. Правый блок 26b отображения оптических изображений выполнен меньшим, чем оптический элемент в данном варианте осуществления, и располагается наклонно под правым глазом пользователя US во время установки наголовного устройства 100b отображения. Левый блок 28b отображения оптических изображений выполнен меньшим, чем оптический элемент в данном варианте осуществления, и располагается наклонно под левым глазом пользователя US во время установки наголовного устройства 100b отображения. Таким образом, блок отображения оптических изображений должен располагаться вблизи глаз пользователя US. Размер оптических элементов, выполненных в блоке отображения оптических изображений, также является произвольным. Может быть реализовано головное устройство 100 отображения, в котором блок отображения оптических изображений закрывает лишь часть глаз пользователя US, иными словами, блок отображения оптических изображений не полностью закрывает глаза пользователя US.

[0073] В качестве наушников может использоваться тип заушников или тип оголовья. Наушники могут быть исключены. Например, блок отображения изображений может быть выполнен в виде наголовного дисплея, установленного на таких транспортных средствах, как автомобиль и самолет. Например, блок отображения изображений может быть выполнен в виде наголовного дисплея, встроенного в индивидуальное средство защиты, такое как шлем.

[0074] Конструкция наголовного устройства 100 отображения в данном варианте осуществления является лишь примером и может различным образом изменяться. Например, одно из клавиши 16 направления и трекпада 14, предусматриваемых в блоке 10 управления, можно исключить. В дополнение к клавише 16 направления и трекпаду 14 или вместо них может предусматриваться другой интерфейс операций, такой как рычаг операций. К блоку 10 управления могут быть подключены устройства ввода, такие как клавиатура и мышь. Блок 10 управления может принимать входные данные от клавиатуры и мыши.

[0075] Вместо блока 20 отображения изображений, носимого, как очки, в качестве блока отображения изображений, например, может использоваться блок отображения изображений другого типа, например, блок отображения изображений, носимый как шапка. Наушники 32 и 34 могут быть при необходимости исключены.

[0076] В данном варианте осуществления наголовное устройство 100 отображения может проводить излучение изображения, соответствующее одному и тому же изображению, в левый и правый глаза пользователя US и обеспечивать визуальное распознавание пользователем US двумерного изображения, либо может проводить излучение изображения, соответствующее различным изображениям, в левый и правый глаза пользователя US и обеспечивать визуальное распознавание пользователем US трехмерного изображения.

[0077] В данном варианте осуществления часть компонентов, реализуемых с помощью аппаратных средств, может быть заменена на программные средства. И наоборот, часть компонентов, реализуемых с помощью программных средств, может быть заменена на аппаратные средства. Например, в данном варианте осуществления блок 160 обработки изображений и блок 170 обработки звука реализованы с помощью CPU 140, считывающего и исполняющего компьютерную программу. Однако эти функциональные блоки могут быть реализованы с помощью аппаратной схемы.

[0078] Когда часть или все из функций изобретения реализуются с помощью программных средств, программные средства, (компьютерная программа) могут предусматриваться хранящимися в компьютерно-читаемом носителе записи. В данном изобретении «компьютерно-читаемый носитель записи» не ограничивается переносным запоминающим носителем, таким как гибкий диск и CD-ROM, и включает в себя различные внутренние запоминающие устройства в компьютере, такие как RAM и ROM, и внешние запоминающие устройства, прикрепленные к компьютеру, такие как жесткий диск.

[0079] В данном варианте осуществления, как показано на фиг. 1 и 2, блок 10 управления и блок 20 отображения изображений выполнены в виде отдельных компонентов. Однако конструкция блока 10 управления и блока 20 отображения изображений не ограничивается этим и может различным образом изменяться. Например, все компоненты, выполненные в блоке 10 управления, могут быть выполнены, либо часть компонентов может быть выполнена, во внутреннем пространстве блока 20 отображения изображений. Источник 130 электропитания в данном варианте осуществления может быть выполнен независимым и может быть заменен. Компоненты, выполненные в блоке 10 управления, могут быть выполнены с резервированием в блоке 20 отображения изображений. Например, CPU 140, изображенный на фиг. 2, может быть выполнен и в блоке 10 управления, и в блоке 20 отображения изображений. Функции, выполняемые CPU 140, выполненным в блоке 10 управления, и CPU, выполненным в блоке 20 отображения изображений, могут быть разделены.

[0080] Блок 10 управления и блок 20 отображения изображений могут быть объединены для создания носимого компьютера, прикрепляемого к одежде пользователя US.

[0081] Данное изобретение не ограничивается вариантами осуществления и модификациями, объясненными выше, и может быть реализовано в различных конфигурациях в пределах сущности изобретения. Например, технические признаки в варианте осуществления и модификациях, соответствующих техническим признакам в формах, описанных в сущности изобретения, могут быть при необходимости заменены или объединены с целью решения части или всех проблем или с целью достижения части или всех эффектов. Кроме тех случаев, когда технические признаки объясняются в данном описании как существенные технические признаки, технические признаки могут быть при необходимости исключены.

СПИСОК ПОЗИЦИОННЫХ ОБОЗНАЧЕНИЙ

10 Блок управления 11 Клавиша выбора 12 Осветительный блок 13 Клавиша переключения отображения 14 Трекпад 15 Клавиша переключения яркости 16 Клавиша направления 17 Клавиша меню 18 Выключатель электропитания 20 Блок отображения изображений 21 Правый удерживающий блок 22 Правый блок управления отображением 23 Левый удерживающий блок 24 Левый блок управления отображением 26 Правый блок отображения оптических изображений 28 Левый блок отображения оптических изображений 30 Штекер наушников 32 Правый наушник 34 Левый наушник 37 Камера регистрации изображений правого глаза (Блок установления направления зрительной оси) 38 Камера регистрации изображений левого глаза (блок установления направления зрительной оси) 40 Блок соединения 42 Правый провод 44 Левый провод 46 Соединительный элемент 48 Провод основного корпуса 51, 52 Передающие блоки 53, 54 Приемные блоки 66 Девятиосный датчик (Блок обнаружения) 100 Наголовное устройство отображения 110 Блок получения входной информации 120 Блок хранения 130 Источник электропитания 135 Блок операций 140 CPU 142 Блок определения состояния (Блок задания положения изображения, Блок обнаружения) 145 Блок установления направления зрительной оси (Блок установления направления зрительной оси) 150 Операционная система 160 Блок обработки изображений (Блок задания положения изображения) 170 Блок обработки звука 180 Интерфейс 190 Блок управления отображением 201 Блок управления правой подсветкой (Блок генерирования излучения изображения) 202 Блок управления левой подсветкой (Блок генерирования излучения изображения) 211 Блок управления правым LCD (Блок генерирования излучения изображения) 212 Блок управления левым LCD (Блок генерирования излучения изображения) 221 Правая подсветка (Блок генерирования излучения изображения) 222 Левая подсветка (Блок генерирования излучения изображения) 241 Правый LCD (Блок генерирования излучения изображения) 242 Левый LCD (Блок генерирования излучения изображения) 251 Правая проекционная оптическая система 252 Левая проекционная оптическая система 261 Правая светопроводящая панель 262 Левая светопроводящая панель VSync Сигнал вертикальной синхронизации HSync Сигнал горизонтальной синхронизации PCLK Тактовый сигнал тета-1, тета-2, тета-h, тета-с Углы ОА Внешнее устройство ED Направление зрительной оси RE Правый глаз LE Левый глаз PG, PG1, PG2
Точки наблюдения IL Излучение освещения PL Излучение изображения OL Горизонтальная ось EL, ER Концы IM Изображение на дисплее АР Дальний концевой участок GR Земля US Пользователь ES Траектория PGL Траектория HFP Базовая точка головы

Изобретение относится к наголовному устройству отображения. Технический результат заключается в обеспечении удобства эксплуатации. Наголовное устройство отображения содержит блок отображения изображений, содержащий блок генерирования излучения изображения, выполненный с возможностью генерирования излучения изображения на основе данных изображения и испускания излучения изображения, причем блок отображения изображений обеспечивает, в состоянии, в котором блок отображения изображений надет на голову пользователя, визуальное распознавание пользователем излучения изображения как виртуального изображения и передает внешнюю сцену, блок обнаружения, выполненный с возможностью обнаружения движения головы пользователя, и блок задания положения изображения, выполненный с возможностью изменения, на основе циклического изменения положения головы пользователя, прогнозируемого на основе обнаруженного движения головы, положения излучения изображения в области, в которой блок генерирования излучения изображения способен генерировать излучение изображения. 2 н. и 4 з.п. ф-лы, 13 ил.

1. Наголовное устройство (100) отображения, содержащее:

блок (20) отображения изображений, выполненный с возможностью передавать внешнюю сцену через себя и содержащий блок генерирования излучения изображения, выполненный с возможностью генерирования излучения изображения на основе данных изображения и испускания излучения изображения, причем блок отображения изображений позволяет, в состоянии, в котором блок отображения изображений надет на голову пользователя, визуальное распознавание пользователем излучения изображения в качестве виртуального изображения и непосредственное визуальное распознавание внешней сцены;

блок (66) обнаружения, выполненный с возможностью обнаружения движения головы пользователя; и

блок (142, 160) задания положения изображения, выполненный с возможностью изменения, на основе циклического изменения положения головы пользователя, прогнозируемого на основе обнаруженного движения головы, положения виртуального изображения, чтобы уменьшить отклонение между внешней сценой и упомянутым виртуальным изображением.

2. Наголовное устройство отображения по п. 1, дополнительно содержащее блок (37, 38, 145) установления направления зрительной оси, выполненный с возможностью установления направления зрительной оси пользователя, причем

блок задания положения изображения изменяет положение излучения изображения на основе циклического изменения установленного направления зрительной оси.

3. Наголовное устройство отображения по п. 1, дополнительно содержащее блок установления зрительной оси, выполненный с возможностью установления направления зрительной оси пользователя, причем

блок задания положения изображения изменяет положение излучения изображения на основе базовой точки головы, находящейся на предварительно задаваемом расстоянии от глаза пользователя и служащей в качестве базовой точки циклического изменения положения головы, и точки наблюдения пользователя, устанавливаемой на основе направления зрительной оси.

4. Наголовное устройство отображения по п. 3, в котором блок задания положения изображения изменяет положение излучения изображения в том же направлении, что и направление прогнозируемого изменения положения головы, когда расстояние точки наблюдения от глаза пользователя до точки наблюдения меньше, чем предварительно задаваемое расстояние, и изменяет положение излучения изображения в направлении, противоположном направлению прогнозируемого изменения положения головы, когда расстояние точки наблюдения больше, чем предварительно задаваемое расстояние.

5. Наголовное устройство отображения по п. 1, в котором блок генерирования излучения изображения состоит из множества пикселей, а блок задания положения изображения изменяет положение излучения изображения путем изменения положения пикселя, в котором генерируется излучение изображения в блоке генерирования излучения изображения.

6. Способ управления наголовным устройством отображения, содержащим блок (20) отображения изображений, выполненный с возможностью передавать внешнюю сцену через себя и содержащий блок генерирования излучения изображения, выполненный с возможностью генерирования излучения изображения на основе данных изображения и испускания излучения изображения, причем блок отображения изображений позволяет, в состоянии, в котором блок отображения изображений надет на голову пользователя, визуальное распознавание пользователем излучения изображения в качестве виртуального изображения и непосредственное визуальное распознавание внешней сцены,

причем способ управления включает в себя:

обнаружение движения головы пользователя; и

изменение, на основе циклического изменения положения головы пользователя, прогнозируемого на основе обнаруженного движения головы, положения виртуального изображения, чтобы уменьшить отклонение между внешней сценой и упомянутым виртуальным изображением.