УСТРОЙСТВО ОТОБРАЖЕНИЯ, ГОЛОВНОЙ ДИСПЛЕЙ, СИСТЕМА ОТОБРАЖЕНИЯ И СПОСОБ УПРАВЛЕНИЯ ДЛЯ УСТРОЙСТВА ОТОБРАЖЕНИЯ Российский патент 2017 года по МПК G06F3/01 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

[0001] Настоящее изобретение относится к устройству отображения пропускающего типа, которое позволяет пользователю визуально распознавать экран отображения в качестве виртуального изображения, головному дисплею, системе отображения и способу управления для устройства отображения.

ПРЕДПОСЫЛКИ СОЗДАНИЯ ИЗОБРЕТЕНИЯ

[0002] В родственной области техники применительно к данному виду устройства отображения пропускающего типа известен оптический головной дисплей пропускающего типа, который надевается на голову пользователя (обратитесь к PTL 1). В данном устройстве отображения пользователь может визуально распознавать изображение в качестве виртуального изображения и также может непосредственно визуально распознавать реальный пейзаж (внешний пейзаж).

СПИСОК ЦИТИРОВАНИЯ

ПАТЕНТНАЯ ЛИТЕРАТУРА

[0003] PTL 1: JP-A-2012-163637

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

ТЕХНИЧЕСКАЯ ЗАДАЧА

[0004] Между тем, система дополненной реальности (AR) может быть применена к такому устройству отображения пропускающего типа. Другими словами, распознается реальный объект в пределах поля зрения пользователя, и изображение дополненной реальности отображается так, чтобы добавляться к реальному объекту в пределах поля зрения (реальному пейзажу). Например, изображение дополненной реальности отображается, как если бы изображение размещалось на поверхности реального объекта. В соответствии с данной конфигурацией, поскольку изображение AR накладывается на визуально распознанный реальный объект, возможно получить более высокое ощущение реальности, чем в обычной системе AR, которая объединяет захваченное изображение с объектом изображения.

Тем не менее, если система AR применяется только к такому устройству отображения пропускающего типа, возникает следующая проблема. Другими словами, в таком устройстве отображения пропускающего типа изображение визуально распознается на фокусном расстоянии, которое согласуется с углом конвергенции пользователя. По этой причине существует проблема, состоящая в том, что фокусное расстояние изображения AR отклоняется от позиции реального объекта, и, следовательно, изображение AR распознается как отделенное от реального объекта. Вследствие этого, изображение AR не распознается как добавленное к реальному объекту (например, как помещенное на нем), и значительно уменьшается сходство между реальным пространством и виртуальным пространством. В частности, угол конвергенции пользователя, как правило, является углом конвергенции, который согласуется с бесконечностью, и, следовательно, фокусное расстояние изображения AR является бесконечностью. По этой причине чем ближе к пользователю реальный объект, тем сильнее изображение AR распознается как отделенное от реального объекта.

РЕШЕНИЕ ЗАДАЧИ

[0005] Преимущество некоторых аспектов изобретения состоит в том, чтобы предоставить устройство отображения, головной дисплей, систему отображения и способ управления для устройства отображения, выполненные с возможностью обеспечения распознавания изображения дополненной реальности, как добавленного к реальному объекту, с помощью простой конфигурации.

[0006] Аспект изобретения направлен на устройство отображения пропускающего типа, которое позволяет пользователю визуально распознавать экран отображения в качестве виртуального изображения и визуально распознавать экран отображения на фокусном расстоянии, которое согласуется с углом конвергенции пользователя, при этом устройство отображения, включающее в себя: секцию распознавания объекта, которая распознает реальный объект в пределах поля зрения пользователя; секцию обнаружения расстояния, которая обнаруживает расстояние от пользователя до реального объекта; секцию управления отображением, которая отображает экран отображения, на котором размещается изображение дополненной реальности для реального объекта; и секцию отображения, которая отображает экран отображения, при этом секция управления отображением отображает изображение для направления зрительной линии пользователя на угол конвергенции, который согласуется с обнаруженным расстоянием, на экране отображения.

[0007] Другой аспект изобретения направлен на головной дисплей пропускающего типа, который надевается на голову пользователя и позволяет пользователю визуально распознавать экран отображения в качестве виртуального изображения и визуально распознавать экран отображения на фокусном расстоянии, которое согласуется с углом конвергенции пользователя, при этом головной дисплей, включающий в себя: секцию распознавания объекта, которая распознает реальный объект в пределах поля зрения пользователя; секцию обнаружения расстояния, которая обнаруживает расстояние от пользователя до реального объекта; секцию управления отображением, которая отображает экран отображения, на котором размещается изображение дополненной реальности для реального объекта; и секцию отображения, которая отображает экран отображения, при этом секция управления отображением отображает изображение для направления зрительной линии пользователя на угол конвергенции, который согласуется с обнаруженным расстоянием, на экране отображения.

[0008] Еще один другой аспект изобретения направлен на систему отображения пропускающего типа, которая позволяет пользователю визуально распознавать экран отображения в качестве виртуального изображения и визуально распознавать экран отображения на фокусном расстоянии, которое согласуется с углом конвергенции пользователя, при этом система отображения, включающая в себя: секцию распознавания объекта, которая распознает реальный объект в пределах поля зрения пользователя; секцию обнаружения расстояния, которая обнаруживает расстояние от пользователя до реального объекта; секцию управления отображением, которая отображает экран отображения, на котором размещается изображение дополненной реальности для реального объекта; и секцию отображения, которая отображает экран отображения, при этом секция управления отображением отображает изображение для направления зрительной линии пользователя на угол конвергенции, который согласуется с обнаруженным расстоянием, на экране отображения.

[0009] Еще один другой аспект изобретения направлен на способ управления для устройства отображения пропускающего типа, которое позволяет пользователю визуально распознавать экран отображения в качестве виртуального изображения и визуально распознавать экран отображения на фокусном расстоянии, которое согласуется с углом конвергенции пользователя, при этом способ, включающий в себя: этап распознавания объекта, на котором распознают реальный объект в пределах поля зрения пользователя; этап обнаружения расстояния, на котором обнаруживают расстояние от пользователя до реального объекта; этап управления отображением, на котором отображают экран отображения, на котором размещается изображение дополненной реальности для реального объекта; и этап отображения, на котором отображают экран отображения, при этом на этапе управления отображением на экране отображения отображается изображение для направления зрительной линии пользователя на угол конвергенции, который согласуется с обнаруженным расстоянием.

[0010] В соответствии с конфигурациями угол конвергенции пользователя может быть приведен к тому, который согласуется с позицией реального объекта, посредством направления зрительной линии (угол конвергенции: степень скашивания глаз) пользователя на угол конвергенции, который согласуется с обнаруженным расстоянием до реального объекта, благодаря изображению, и, следовательно, фокусное расстояние (фокусная точка) изображения дополненной реальности может быть приведено к тому, которое согласуется с позицией реального объекта. Другими словами, можно отрегулировать фокусное расстояние изображения дополненной реальности лишь посредством отображения особого изображения (экранного эффекта) (лишь посредством управления отображением), и, следовательно, изображение дополненной реальности может быть распознано как добавленное к реальному объекту с помощью простой конфигурации. Вследствие этого изображение дополненной реальности может быть отображено как добавленное к реальному объекту, и, следовательно, можно улучшить сходство между реальным пространством и виртуальным пространством. В дополнение, отображение изображения предпочтительно осуществляется перед отображением изображения дополненной реальности. Кроме того, изображение может быть неподвижным изображением и может быть движущимся изображением.

[0011] В описанном выше устройстве отображения предпочтительно, что секция управления отображением отображает множество из объектов изображения, которые используются для вызова соответствующих приложений и преобразуются в направленные внутрь изображения в перспективе посредством использования перспективы, на экране отображения и постепенно меняет степень направленного внутрь наклона множества из объектов изображения в качестве изображения.

[0012] В данном случае предпочтительно, что множество из объектов изображения являются любыми из пиктограмм, меню и уменьшенных экранов приложения.

[0013] В соответствии с конфигурациями степень направленного внутрь наклона во множестве из объектов изображения меняется. Другими словами, множество из объектов изображения меняются, как если бы открывались и закрывались двери ворот из объектов изображения. Угол конвергенции пользователя меняется благодаря данному изменению. Как упомянуто выше, степень направленного внутрь наклона множества из объектов изображения меняется так, что угол конвергенции пользователя может быть направлен посредством использования объектов изображения для вызова соответствующего приложения.

[0014] Предпочтительно, что секция управления отображением отображает направляющий элемент, в котором множество из направляющих линий, проходящих от сторон наружного края экрана отображения в направлении его центральной стороны, размещаются в направлении по окружности, на экране отображения, и постепенно меняет шаг направляющих линий в направлении по окружности в направляющем элементе в качестве изображения.

[0015] В соответствии с конфигурацией шаг направляющих линий в направлении по окружности постепенно меняется так, что перспектива, возникающая посредством иллюзии перспективы, которая возникает из-за множества направляющих линий, менялась постепенно. Угол конвергенции пользователя меняется благодаря изменению перспективы. Как упомянуто выше, можно эффективно направлять угол конвергенции пользователя посредством изменения шага множества из направляющих линий.

[0016] Предпочтительно, что секция управления отображением отображает одно из следующего: изображение в форме рамки, окружающее центр экрана отображения, и изображение в форме окружности, окружающее центр экрана отображения, на экране отображения и постепенно меняет размер того же изображения в качестве изображения.

[0017] Предпочтительно, что секция управления отображением отображает одно из следующего: изображение в форме рамки, центрированное на реальном объекте, и изображение в форме окружности, центрированное на реальном объекте, на экране отображения и постепенно меняет размер того же изображения в качестве изображения.

[0018] В соответствии с конфигурациями размер изображения в форме рамки или изображения в форме окружности постепенно меняется, так что у пользователя создается иллюзия того, что изображение в форме рамки или изображение в форме окружности постепенно перемещается в направлении вперед по глубине. Угол конвергенции пользователя меняется благодаря данной иллюзии. Как упомянуто выше, размер изображения в форме рамки или изображения в форме окружности постепенно меняется, и, следовательно, можно эффективно направлять угол конвергенции пользователя.

[0019] Предпочтительно, что секция управления отображением отображает изображение градации, которое затемнено от сторон наружного края экрана отображения в направлении его центральной стороны, на экране отображения и постепенно меняет степень вариации по свету и тени в изображении градации в качестве изображения.

[0020] В соответствии с конфигурацией постепенно меняется перспектива, возникающая посредством иллюзии перспективы, которая возникает благодаря изображению градации со светом и тенью. Угол конвергенции пользователя меняется благодаря изменению перспективы. Как упомянуто выше, возможно эффективно направлять угол конвергенции пользователя посредством изменения степени вариации по свету и тени изображения градации.

[0021] Предпочтительно, что устройство отображения дополнительно включает в себя секцию обнаружения скорости, которая обнаруживает относительную скорость перемещения пользователя по отношению к реальному объекту, при этом секция управления отображением регулирует изображение на основе результата обнаружения от секции обнаружения скорости.

[0022] В соответствии с конфигурацией, поскольку изображение регулируется на основе относительной скорости перемещения пользователя по отношению к реальному объекту, согласование фокусного расстояния изображения дополненной реальности с позицией реального объекта может быть выполнено с высокой точностью.

[0023] Предпочтительно, что секция управления отображением отображает указатель, указывающий угол конвергенции пользователя на экране отображения.

[0024] В соответствии с конфигурацией пользователь может проверять угол конвергенции пользователя посредством подтверждения указателя.

[0025] Предпочтительно, что секция отображения включает в себя блок вывода света изображения, который выводит свет изображения; и блок световода, который направляет вывод света изображения в глаза пользователя, и блок световода пропускает через себя внешний свет, и позволяет внешнему свету падать на глаза пользователя наряду со светом изображения.

[0026] В соответствии с конфигурацией используется так называемое устройство отображения типа проецирования виртуального изображения, и, следовательно, можно предоставить недорогое устройство отображения пропускающего типа с помощью простой конфигурации.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0027] Фиг.1 является поясняющим видом, иллюстрирующим конфигурацию внешнего вида головного дисплея в соответствии с вариантом осуществления.

Фиг.2 является схемой, иллюстрирующей пример виртуального изображения и реального пейзажа, которые могут быть визуально распознаны пользователем.

Фиг.3 является структурной схемой, иллюстрирующей конфигурацию управления головного дисплея.

Фиг.4 является схемой, иллюстрирующей экран отображения

Фиг.5 является схемой перехода экранов, иллюстрирующей экранный эффект, использующий множество пиктограмм.

Фиг.6 является схемой перехода экранов, иллюстрирующей экранный эффект, использующий направляющий элемент в перспективе.

Фиг.7 является схемой перехода экранов, иллюстрирующей экранный эффект, использующий цель.

Фиг.8 является блок-схемой, иллюстрирующей операцию отображения изображения AR, выполняемую посредством головного дисплея.

Фиг.9 является схемой перехода экранов, иллюстрирующей Пример 1 модификации экранного эффекта, использующего цель.

Фиг.10 является схемой перехода экранов, иллюстрирующей Пример 2 модификации экранного эффекта, использующего цель.

Фиг.11 является схемой перехода экранов, иллюстрирующей экранный эффект, использующий изображение градации.

Фиг.12 является схемой перехода экранов, иллюстрирующей указатель.

ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

[0028] Далее, со ссылкой на сопроводительные чертежи будет приведено описание устройства отображения, головного дисплея, системы отображения и способа управления для устройства отображения в соответствии с вариантом осуществления изобретения. В настоящем варианте осуществления в качестве примера приведен головной дисплей, к которому применяется устройство отображения в соответствии с изобретением. Головной дисплей (HMD) является устройством отображения, которое надевается на голову пользователя. Головной дисплей настоящего варианта осуществления является оптическим головным дисплеем пропускающего типа (головной дисплей пропускающего типа, или головной дисплей прозрачного типа), который позволяет пользователю визуально распознавать изображение в качестве виртуального изображения и непосредственно визуально распознавать реальный пейзаж (внешний пейзаж), и имеет форму очков (форму защитных очков).

[0029] Как иллюстрируется на Фиг.1, головной дисплей 1 включает в себя правый удерживающий блок 11, правый блок 12 возбуждения дисплея, левый удерживающий блок 13, левый блок 14 возбуждения дисплея, правый оптический блок 15 отображения изображения, левый оптический блок 16 отображения изображения, внешнюю камеру 17, правый головной телефон 18 для правого уха и левый головной телефон 19 для левого уха.

[0030] Правый оптический блок 15 отображения изображения и левый оптический блок 16 отображения изображения размещаются соответственно так, чтобы располагаться перед правым и левым глазами пользователя, когда пользователь надевает головной дисплей 1. Один конец правого оптического блока 15 отображения изображения и один конец левого оптического блока 16 отображения изображения соединены друг с другом в позиции, соответствующей надпереносью пользователя, когда пользователь надевает головной дисплей 1. Правый удерживающий блок 11 проходит от концевой части ER, которая является другим концом правого оптического блока 15 отображения изображения. Подобным образом, левый удерживающий блок 13 проходит от концевой части EL, которая является другим концом левого оптического блока 16 отображения изображения.

[0031] Правый удерживающий блок 11 является деталью, которая предусмотрена так, чтобы проходить над позицией, соответствующей височной области пользователя, из концевой части ER правого оптического блока 15 отображения изображения, когда пользователь надевает головной дисплей 1, и так, чтобы находиться, по существу, перпендикулярно правому оптическому блоку 15 отображения изображения. Подобным образом, левый удерживающий блок 13 является деталью, которая предусмотрена так, чтобы проходить над позицией, соответствующей височной области пользователя, из концевой части EL левого оптического блока 16 отображения изображения, когда пользователь надевает головной дисплей 1, и так, чтобы находиться, по существу, перпендикулярно левому оптическому блоку 16 отображения изображения. Правый удерживающий блок 11 и левый удерживающий блок 13 удерживают головной дисплей 1 на голове пользователя подобно тому, как это делают дужки очков.

[0032] Правый блок 12 возбуждения дисплея размещается внутри правого удерживающего блока 11, т.е. на стороне, противоположной голове пользователя, когда пользователь надевает головной дисплей 1, и на стороне концевой части ER правого оптического блока 15 отображения изображения. В дополнение, левый блок 14 возбуждения дисплея размещается внутри левого удерживающего блока 13 и на стороне концевой части EL левого оптического блока 16 отображения изображения.

[0033] Внешняя камера 17 захватывает изображение реального пейзажа 23 в направлении поля зрения пользователя (перед пользователем) в надетом состоянии головного дисплея 1. Несмотря на то что ее подробности будут описаны позже, изображение, захваченное посредством внешней камеры 17, используется, чтобы распознавать маркер MK, предусмотренный на реальном объекте A, и дополнительно распознавать реальный объект A.

[0034] Правый головной телефон 18 и левый головной телефон 19 соответственно надеты на правое ухо и левое ухо, когда пользователь надевает головной дисплей 1, и выводят различные звуки в правое и левое уши.

[0035] Далее, со ссылкой на Фиг.2 будет приведено описание примера виртуального изображения 22 и реального пейзажа 23, которые могут быть визуально распознаны пользователем, который надел головной дисплей 1. Как иллюстрируется на Фиг.2, экран 26 отображения, сгенерированный посредством головного дисплея 1, отображается в качестве виртуального изображения 22 в поле 21 зрения пользователя, который надел головной дисплей 1. Экран 26 отображения отображается во всей области 27 отображения виртуального изображения, где отображается виртуальное изображение 22 (может быть отображено виртуальное изображение 22). В дополнение, пользователь может видеть реальный пейзаж 23 через правый оптический блок 15 отображения изображения и левый оптический блок 16 отображения изображения в поле 21 зрения пользователя. В примере на Фиг.2 стол, который является реальным объектом A, просматривается в качестве реального пейзажа 23. Другими словами, пользователь может визуально распознавать виртуальное изображение 22 и реальный пейзаж 23 вместе в пределах поля 21 зрения. В настоящем варианте осуществления виртуальное изображение 22 (экран 26 отображения) визуально распознается на фокусном расстоянии, которое согласуется с углом конвергенции пользователя.

[0036] Далее, со ссылкой на Фиг.3 будет описана конфигурация управления головного дисплея 1. Как иллюстрируется на Фиг.3, головной дисплей 1 включает в себя: секцию 30 отображения, которая позволяет пользователю визуально распознавать виртуальное изображение 22; внешнюю камеру 17; правый головной телефон 18; левый головной телефон 19; секцию 31 датчика, секцию 32 источника питания; интерфейс 33 беспроводной связи; и секцию 34 управления, которая управляет описанными выше составляющими элементами.

[0037] Секция 31 датчика обнаруживает различную информацию, которая относится к управлению головным дисплеем 1. В частности, секция 31 датчика включает в себя датчик 41 расстояния (блок обнаружения расстояния), приемник 42 GPS и девятикоординатный датчик 43. Датчик 41 расстояния обнаруживает расстояние от пользователя (более точно, головного дисплея 1) до реального объекта A (более точно, маркера MK), например, оптическим способом или ультразвуковым способом. Приемник 42 GPS получает позиционную информацию, указывающую позицию пользователя (более точно, головного дисплея 1) посредством приема сигнала GPS. Девятикоординатный датчик 43 обнаруживает трехкоординатное ускорение, трехкоординатную угловую скорость и трехкоординатный геомагнетизм.

[0038] Секция 32 источника питания подает питание к соответствующим составляющим элементам головного дисплея 1. Интерфейс 33 беспроводной связи осуществляет связь с внешним сервером через беспроводную сеть.

[0039] Секция 30 отображения включает в себя правый блок 12 возбуждения дисплея (блок вывода света изображения), левый блок 14 возбуждения дисплея (блок вывода света изображения), правую световодную пластину 46 (блок световода), которая является правым оптическим блоком 15 отображения изображения, и левую световодную пластину 47 (блок световода), которая является левым оптическим блоком 16 отображения изображения.

[0040] Правый блок 12 возбуждения дисплея включает в себя правый узел 51 управления подсветкой (BL) и правую подсветку 52 (BL), которая функционирует в качестве источника света, правый узел 53 управления жидкокристаллическим дисплеем (LCD) и правый LCD 54, который функционирует в качестве элемента отображения, и правую проекционную оптическую систему 55.

[0041] Правый узел 51 управления подсветкой управляет возбуждением правой подсветки 52 на основе входного сигнала управления. Правая подсветка 52 является, например, светоизлучающим телом, таким как светоизлучающий диод (LED) или электролюминесцентный (EL) элемент. Правый узел 53 управления LCD управляет возбуждением правого LCD 54 на основе входных данных отображения. Правый LCD 54 является жидкокристаллической панелью пропускающего типа, в которой множество пикселей организовано в матрицу.

[0042] Правая проекционная оптическая система 55 проецирует (выводит) свет изображения, который излучается из правого LCD 54, и формируется посредством использования, например, коллиматорной линзы. Правая световодная пластина 46 в качестве правого оптического блока 15 отображения изображения выполнена из пропускающего свет полимерного материала и отражает свет изображения, выводимый из правой проекционной оптической системы 55 по предварительно определенному световому пути так, чтобы направлять свет изображения в правый глаз пользователя. В дополнение, правая световодная пластина 46 пропускает через себя внешний свет (свет реального пейзажа 23) и обеспечивает падение внешнего света на глаз пользователя наряду со светом изображения.

[0043] Подобным образом в правом блоке 12 возбуждения дисплея левый блок 14 возбуждения дисплея включает в себя левый узел 61 управления подсветкой (BL) и левую подсветку 62 (BL), левый узел 63 управления LCD, левый LCD 64 и левую проекционную оптическую систему 65. Конфигурация или функция каждого составляющего элемента, включенного в левый блок 14 возбуждения дисплея, является точно такой же, как та, что у каждого составляющего элемента, включенного в правый блок 12 возбуждения дисплея, и ее описание здесь повторяться не будет. В дополнение, левая световодная пластина 47 в качестве левого оптического блока 16 отображения изображения выполнена из пропускающего свет полимерного материала и отражает свет изображения, выводимый из левой проекционной оптической системы 65 по предварительно определенному световому пути так, чтобы направлять свет изображения в левый глаз пользователя. В дополнение, левая световодная пластина 47 пропускает через себя внешний свет и обеспечивает падение внешнего света на глаз пользователя наряду со светом изображения.

[0044] Как описано выше, свет изображения, который направляется на оба глаза пользователя головного дисплея 1, формирует изображение на сетчатке пользователя, и, следовательно, пользователь визуально распознает виртуальное изображение 22 (экран 26 отображения) в области 27 отображения виртуального изображения, например, как иллюстрируется на Фиг.2. Другими словами, настоящий головной дисплей 1 имеет конфигурацию головного дисплея типа проецирования виртуального изображения. В настоящем головном дисплее 1 виртуальное изображение 22 визуально распознается пользователем на фокусном расстоянии, которое согласуется с углом конвергенции пользователя. В дополнение, в данном документе формирование изображения на сетчатке с помощью света изображения именуется как «отображение».

[0045] Секция 34 управления включает в себя центральный блок 67 обработки (CPU) и блок 68 хранения. Блок 68 хранения образуется посредством постоянной памяти (ROM), памяти с произвольной выборкой (RAM) и подобного и хранит различные компьютерные программы. CPU 67 считывает и исполняет компьютерные программы из блока 68 хранения с тем, чтобы функционировать в качестве операционной системы 71 (OS), узла 72 анализа изображения (узел распознавания объекта), узла 74 управления отображением, узла 75 управления состоянием отображения и узла 76 обработки звука.

[0046] Узел 72 анализа изображения получает сигнал изображения для изображения, захваченного посредством внешней камеры 17, и анализирует полученный сигнал изображения. Узел 72 анализа изображения распознает маркер MK для распознавания объекта, предусмотренного на реальном объекте A посредством анализа изображения, и распознает реальный объект A, обеспеченный маркером MK (обратитесь к Фиг.2 в отношении маркера MK и реального объекта A). Соответственно, распознается реальный объект A в пределах поля 21 зрения пользователя. В дополнение, настоящий вариант осуществления обладает конфигурацией, при которой маркер MK предусматривается на реальном объекте A, и реальный объект A распознается посредством распознавания маркера, однако может иметь конфигурацию, при которой характерные позиции (характерные точки) реального объекта A распознаются без использования маркера, так что распознается реальный объект A. В дополнение, может существовать конфигурация, при которой позиционная информация маркера MK в реальном пространстве обнаруживается на основе позиционной информации пользователя, полученной от приемника 42 GPS и девятикоординатного датчика 43, направления головы пользователя, полученного от девятикоординатного датчика 43, и позиции маркера MK в пределах поля 21 зрения, полученной посредством узла 72 анализа изображения, и реальный объект A распознается на основе обнаруженной позиционной информации. В данном случае может существовать конфигурация, при которой данные соответствия между позиционной информацией маркера MK и реального объекта A сохраняются в головном дисплее 1 заранее, и может существовать конфигурация, при которой информация по соответствующему реальному объекту A хранится на внешнем сервере, и получается с внешнего сервера посредством интерфейса 33 беспроводной связи всякий раз, как обнаруживается позиционная информация маркера MK.

[0047] Узел 74 управления отображением генерирует данные отображения и передает данные отображения к секции 30 отображения (правый узел 53 управления LCD и левый узел 63 управления LCD). Узел 74 управления отображением генерирует данные отображения экрана 26 отображения и передает данные отображения к секции 30 отображения так, что экран 26 отображения отображается в секции 30 отображения. Другими словами, в настоящем головном дисплее 1 данные отображения экрана 26 отображения генерируются и передаются к секции 30 отображения посредством узла 74 управления отображением (этап управления отображением), и экран 26 отображения отображается (изображение формируется на сетчатке посредством света изображения) посредством секции 30 отображения на основе переданных данных отображения (этап отображения).

[0048] В дополнение, узел 74 управления отображением отображает изображение G AR (изображение дополненной реальности) для распознанного реального объекта A на экране 26 отображения в соответствии с приложением AR. В частности, узел 74 управления отображением размещает и отображает изображение G AR для реального объекта A на экране 26 отображения так, что изображение AR добавляется к реальному объекту A (например, так, что изображение AR помещается на нем), на основе результата распознавания реального объекта A от узла 72 анализа изображения (обратитесь к Фиг.2). Другими словами, узел 74 управления отображением определяет позицию отображения, размер отображения и направление изображения G AR так, что изображение AR визуально распознается как добавленное к реальному объекту A, и размещает и отображает изображение G AR на экране отображения на их основе. В дополнение, что касается изображения G AR для реального объекта A, каждое изображение G AR, соответствующее каждому реальному объекту A, может быть сохранено в блоке 68 хранения, и каждое изображение G AR, соответствующее каждому реальному объекту A, может быть получено от внешнего сервера посредством интерфейса 33 беспроводной связи. Кроме того, узел 74 управления отображением отображает изображение G AR к тому же посредством добавления относительной скорости перемещения пользователя по отношению к реальному объекту A в дополнение к результату распознавания реального объекта A от узла 72 анализа изображения. Другими словами, относительная скорость перемещения пользователя по отношению к реальному объекту A обнаруживается посредством датчика 41 расстояния и девятикоординатного датчика 43 (узел обнаружения скорости), позиция отображения, размер отображения и направление изображения G AR на экране 26 отображения определяются на основе результата обнаружения и результата распознавания реального объекта A, и изображение G AR размещается и отображается на их основе.

[0049] Как подробно описывается позже, узел 74 управления отображением отображает экранный эффект, который направляет угол конвергенции пользователя к углу конвергенции, который согласуется с расстоянием от пользователя до реального объекта A, перед отображением изображения G AR.

[0050] Узел 75 управления состоянием дисплея генерирует сигналы управления для управления правым блоком 12 возбуждения дисплея и левым блоком 14 возбуждения дисплея и передает сигналы управления к секции 30 отображения так, чтобы управлять состоянием отображения изображения в секции 30 отображения. В частности, посредством использования сигналов управления узел 75 управления состоянием отображения индивидуально управляет правым узлом 53 управления LCD, чтобы включать и выключать возбуждение правого LCD 54, правым узлом 51 управления подсветкой, чтобы включать и выключать возбуждение правой подсветки 52, левым узлом 63 управления LCD, чтобы включать и выключать возбуждение левого LCD 64, и левым узлом 61 управления подсветкой, чтобы включать и выключать возбуждение левой подсветки 62. Вследствие этого, осуществляется управление генерированием и излучением света изображения посредством правого блока 12 возбуждения дисплея и левого блока 14 возбуждения дисплея.

[0051] Узел 76 обработки звука передает аудио сигналы к правому головному телефону 18 и левому головному телефону 19 так, что правый головной телефон 18 и левый головной телефон 19 выводят звуки.

[0052] Далее, экран 26 отображения головного дисплея 1 будет описан со ссылкой на Фиг.4. Экран 26 отображения является экраном, на котором размещаются пиктограммы 81 для вызова соответствующих приложений, и является, например, домашним экраном. В примере на Фиг.4, иллюстрируется экран 26 отображения, на котором не отображается изображение G AR. Как иллюстрируется на Фиг.4, экран 26 отображения включает в себя множество пиктограмм 81 (объекты изображения), которые размещаются слева и справа экрана 26 отображения, направляющий элемент 82 в перспективе (направляющий элемент), который формируется на всем экране 26 отображения за исключением центра, и цель 83 в форме двойной окружности, размещенную в центре экрана 26 отображения. В дополнение, область 84 обеспечения поля зрения для просмотра реального пейзажа 23 заранее установлена в центре экрана 26 отображения. Кроме того, полностью передается фон экран 26 отображения.

[0053] Множество из пиктограмм 81 размещаются только на отступающих областях 85, которые отступают к левой и правой сторонам области 84 обеспечения поля зрения так, чтобы избегать области 84 обеспечения поля зрения. Множество из пиктограмм 81 разделены на две части в левой и правой отступающих областях 85 и размещаются на обеих отступающих областях 85. В дополнение, в качестве каждой из пиктограмм 81 размещается изображение, в котором прямоугольное изображение пиктограммы преобразуется в изображение в перспективе посредством использования перспективы. В частности, размещается изображение, в котором прямоугольное изображение пиктограммы преобразуется в изображение в перспективе, которое имеет центр экрана 26 отображения в качестве точки схода и направлено внутрь области 84 обеспечения поля зрения (направление стороны области 84 обеспечения поля зрения). Другими словами, размещается прямоугольное изображение пиктограммы в перспективе. Соответственно, прямоугольные изображения пиктограммы множества из пиктограмм 81 отображаются как прикрепленные к левой и правой стенам в перспективе при просмотре пользователем. Кроме того, множество из пиктограмм 81 включает пиктограммы 81 для вызова приложений AR.

[0054] Направляющий элемент 82 в перспективе включает в себя: множество из первых направляющих линий 91, соответствующих линиям схода, которые имеют центр экрана 26 отображения в качестве точки схода; множество из вторых направляющих линий 92, соответствующих горизонтальным линиям; и множество из третьих направляющих линий 93, соответствующих вертикальным линиям. Множество из первых направляющих линий 91 размещаются как организованные в направлении по окружности и проходят от стороны наружного края экран 26 отображения до его центральной стороны. В частности, множество из первых направляющих линий 91 избегают область 84 обеспечения поля зрения и проходят от наружного края экрана 26 отображения до передней стороны области 84 обеспечения поля зрения. В дополнение, «направляющие линии», изложенные в прилагаемой формуле изобретения, формируются посредством первых направляющих линий 91.

[0055] Множество из вторых направляющих линий 92 проходят в горизонтальном направлении и избегают области 84 обеспечения поля зрения и размещаются в верхней и нижней концевых частях экрана 26 отображения. С другой стороны, множество из третьих направляющих линий 93 проходят в вертикальном направлении и избегают области 84 обеспечения поля зрения и размещаются в левой и правой концевых частях экран 26 отображения. Вследствие этого, в верхней и нижней концевых частях экрана 26 отображения, первые направляющие линии 91 и вторые направляющие линии 92 имеют формы верхней стены и нижней стены в перспективе. С другой стороны, в левой и правой концевых частях экрана 26 отображения, первые направляющие линии 91 и третьи направляющие линии 93 имеют формы левой стены и правой стены в перспективе. Другими словами, первые направляющие линии 91, вторые направляющие линии 92 и третьи направляющие линии 93 имеют форму комнаты (форму коробки) без передней и задней стен в перспективе.

[0056] Цель 83 формируется посредством двух изображений 94 в форме окружности, окружающих центр экрана 26 отображения. Два изображения 94 в форме окружности имеют разные диаметры и формируются в концентрической форме с центром экрана 26 отображения в качестве центральной точки.

[0057] Здесь, будет приведено описание отображения экранного эффекта, выполняемого посредством узла 74 управления отображением. Как описано выше, узел 74 управления отображением отображает экранный эффект, который направляет угол конвергенции (степень скашивания глаз) пользователя к углу конвергенции, который согласуется с расстоянием от пользователя до реального объекта A, перед отображением изображения G AR. В частности, в качестве экранного эффекта, формы изображений (множества из пиктограмм 81, направляющий элемент 82 в перспективе, и цель 83) на экране 26 отображения постепенно меняются так, что осуществляется направление угла конвергенции (каждой зрительной линии обоих глаз) пользователя. В настоящем варианте осуществления предполагается, что угол конвергенции пользователя согласуется с бесконечностью в состоянии по умолчанию перед тем, как отображается экранный эффект, величина регулировки угла конвергенции, которая требуется для согласования с расстоянием, получается посредством использования бесконечности в качестве опорного значения, и величина изменения форм изображения определяется на основе полученной величины регулировки угла конвергенции. В дополнение, определение величины изменения для величины регулировки угла конвергенции выполняется на основе таблицы данных каждой величины регулировки для каждой величины изменения, полученной заранее посредством эксперимента.

[0058] В дополнение, в настоящем изобретении узел 74 управления отображением регулирует экранный эффект на основе относительной скорости перемещения пользователя по отношению к реальному объекту A. Другими словами, узел 74 управления отображением обнаруживает относительную скорость перемещения пользователя по отношению к реальному объекту A посредством использования датчика 41 расстояния и девятикоординатного датчика 43 и определяет величину изменения на основе расстояния от пользователя до реального объекта A и скорости перемещения. Т.е., если пользователь перемещается, возникает вариация между обнаруженным расстоянием и фактическим расстоянием, когда отображается экранный эффект, из-за запаздывания во времени между тем, когда расстояние обнаруживается и тем, когда отображается экранный эффект. В настоящем варианте осуществления величина изменения корректируется с учетом вариации.

[0059] Далее, со ссылкой на Фиг.5 и 6 будет приведено описание каждого из экранных эффектов, использующих множество из пиктограмм 81, направляющий элемент 82 в перспективе, и цель 83. Фиг.5 является схемой перехода экранов, иллюстрирующей экранный эффект, использующий множество из пиктограмм 81. Как иллюстрируется на Фиг.5, узел 74 управления отображением постепенно меняет степень направленного внутрь наклона множества из пиктограмм 81 в перспективе в качестве экранного эффекта. Другими словами, множество из пиктограмм 81 постепенно меняются, как если бы открывались и закрывались двери ворот из пиктограмм. Т.е., двери ворот постепенно закрываются на определенную величину изменения. Соответственно, у пользователя может возникать иллюзия того, что множество из пиктограмм 81 приближаются так, что пользователь вынужден скашивать глаза, и, следовательно, угол конвергенции пользователя увеличивается.

[0060] Фиг.6 является схемой перехода экранов, иллюстрирующей экранный эффект, использующий направляющий элемент 82 в перспективе. Как иллюстрируется на Фиг.6, узел 74 управления отображением постепенно меняет шаг первых направляющих линий 91 в направлении по окружности в направляющем элементе 82 в перспективе в качестве экранного эффекта. Другими словами, шаг первых направляющих линий 91 в направлении по окружности постепенно увеличивается на определенную величину изменения. Соответственно, перспектива, возникающая посредством иллюзии перспективы, которая возникает из-за множества из первых направляющих линий 91, постепенно меняется так, что пользователь вынужден скашивать глаза, и, следовательно, угол конвергенции пользователя увеличивается.

[0061] Фиг.7 является схемой перехода экранов, иллюстрирующей экранный эффект, использующий цель 83. Как иллюстрируется на Фиг.7, узел 74 управления отображением постепенно меняет размер двух изображений 94 в форме окружности в цели 83 в качестве экранного эффекта. Другими словами, два изображения 94 в форме окружности постепенно увеличиваются на определенную величину изменения. Соответственно, у пользователя может создаваться иллюзия, что два изображения 94 в форме окружности постепенно перемещаются вперед так, что пользователь вынужден скашивать глаза, и, следовательно, угол конвергенции пользователя увеличивается.

[0062] В дополнение, несмотря на то, что на Фиг.с 5 по 7, каждый экранный эффект иллюстрируется по-отдельности, и иллюстрируется только каждое изображение, используемое для экранного эффекта, узел 74 управления отображением может отображать все экранные эффекты и может отображать только один из экранных эффектов перед отображением изображения G AR.

[0063] Далее, со ссылкой на Фиг.8, будет приведено описание операции отображения изображения G AR, выполняемой посредством головного дисплея 1. В дополнение, операция отображения выполняется в состоянии, при котором отображается экран 26 отображения, и выполняется посредством контроллера (не проиллюстрирован) в соответствии с приложением AR, посредством осуществления щелчка по пиктограмме 81 приложения AR.

[0064] Как иллюстрируется на Фиг.8, сначала головной дисплей 1 захватывает изображение реального пейзажа 23 посредством использования внешней камеры 17 (S1). В дополнение, маркер MK в захваченном изображении, полученном посредством внешней камеры 17, распознается посредством узла 72 анализа изображения так, что распознается реальный объект A (S2: этап распознавания объекта).

[0065] Если реальный объект A распознан, расстояние от пользователя до распознанного реального объекта A обнаруживается посредством датчика 41 расстояния (S3: этап обнаружения расстояния), и относительная скорость перемещения пользователя по отношению к распознанному реальному объекту A обнаруживается посредством датчика 41 расстояния и девятикоординатного датчика 43 (S4).

[0066] Далее, величина изменения в экранном эффекте определяется посредством узла 74 управления отображением на основе обнаруженного расстояния от пользователя до реального объекта A и обнаруженной скорости перемещения (S5). В дополнение, экранный эффект отображается на основе величины изменения (S6).

[0067] Когда отображение экранного эффекта завершается, позиция отображения, размер отображения и направление изображения G AR определяются посредством узла 74 управления отображением так, что изображение G AR добавляется к реальному объекту A, на основе результата распознавания реального объекта A от узла 72 анализа изображения и обнаруженной скорости перемещения (S7). В дополнение, изображение G AR отображается на основе определенной позиции отображения, размера отображения и направления (S8). Вследствие этого, операция отображения заканчивается.

[0068] В соответствии с вышеописанной конфигурацией угол конвергенции пользователя может быть приведен к тому, который согласуется с позицией реального объекта A, посредством направления угла конвергенции (степень скашивания глаз) пользователя к углу конвергенции, который согласуется с обнаруженным расстоянием до реального объекта A, благодаря экранному эффекту, и, следовательно, фокусное расстояние (фокусная точка) изображения G AR может быть приведено к тому, которое согласуется с позицией реального объекта A. Другими словами, можно отрегулировать фокусное расстояние изображения G AR лишь посредством отображения особого экранного эффекта (лишь посредством управления отображением), и, следовательно, изображение G AR может быть распознано как добавленное к реальному объекту A с помощью простой конфигурации. Вследствие этого, изображение G AR может быть отображено как добавленное к реальному объекту A, и, следовательно, можно улучшить сходство между реальным пространством и виртуальным пространством.

[0069] В дополнение, степень направленного внутрь наклона множества из пиктограмм 81 меняется в качестве экранного эффекта, и, следовательно, возможно направлять угол конвергенции пользователя посредством использования пиктограмм 81.

[0070] Кроме того, шаг первых направляющих линий 91 в направлении по окружности в направляющем элементе 82 в перспективе меняется в качестве экранного эффекта, и, следовательно, возможно эффективно направлять угол конвергенции пользователя.

[0071] Кроме того, размеры изображений 94 в форме окружности постепенно меняются в качестве экранного эффекта, и, следовательно, возможно эффективно направлять угол конвергенции пользователя.

[0072] Более того, поскольку обнаруживается относительная скорость перемещения пользователя по отношению к реальному объекту A, и экранный эффект регулируется на основе относительной скорости перемещения, согласование фокусного расстояние изображения G AR с позицией реального объекта A может быть выполнено с высокой точностью.

[0073] В дополнение, несмотря на то что в настоящем варианте осуществления цель 83 формируется посредством двух изображений 94 в форме окружностей, и размеры двух изображений 94 в форме окружностей меняются в качестве экранного эффекта, как иллюстрируется на Фиг.9, цель 83 может быть сформирована посредством двух изображений 101 в форме рамки, окружающих центр экрана 26 отображения, и размеры двух изображений 101 в форме рамки могут быть изменены в качестве экранного эффекта. Кроме того, цель 83 может быть сформирована посредством одного изображения в форме окружности или одного изображения в форме рамки.

[0074] Кроме того, несмотря на то что в настоящем варианте осуществления отображаются изображения 94 в форме окружности или изображения 101 в форме рамки, окружающие центр экрана 26 отображения, и размеры изображений 94 в форме окружности или изображений 101 в форме рамки меняются в качестве экранного эффекта, как иллюстрируется на Фиг.10, могут быть отображены изображения 94 в форме окружности или изображения 101 в форме рамки, которые центрируются на распознанном реальном объекте A, и размеры изображений 94 в форме окружности или изображений 101 в форме рамки могут быть изменены в качестве экранного эффекта.

[0075] Более того, в настоящем варианте осуществления изображение градации может быть использовано, чтобы исполнять экранный эффект. Другими словами, как иллюстрируется на Фиг.11, узел 74 управления отображением отображает изображение 102 градации, которое затемнено от сторон наружного края экрана 26 отображения в направлении центральной стороны, на экране 26 отображения, и постепенно меняет степень вариации по свету и тени в изображении 102 градации. Т.е., пользователя вынуждают распознавать изображение 102 градации, как если бы слева и справа были стены, и степень вариации по свету и тени постепенно меняется на определенную величину изменения. Соответственно, у пользователя создается иллюзия того, что стены подступают к передней стороне так, что пользователь вынужден скашивать глаза, и, следовательно, угол конвергенции пользователя увеличивается. В соответствии с данной конфигурацией можно эффективно направлять угол конвергенции пользователя посредством использования изображения 102 градации.

[0076] В дополнение, несмотря на то что в настоящем варианте осуществления угол конвергенции пользователя предполагается как согласующийся с бесконечностью в состоянии по умолчанию перед тем, как отображается экранный эффект, и угол конвергенции направляется посредством использования бесконечности в качестве опорного значения, угол конвергенции пользователя может быть обнаружен, и направление к углу конвергенции может быть выполнено посредством использования обнаруженного угла конвергенции в качестве опорного значения. В частности, головной дисплей 1 дополнительно включает в себя датчик обнаружения зрительной линии (например, инфракрасного типа), который обнаруживает зрительную линию каждого глазного яблока пользователя, и CPU 67 функционирует в качестве узла обнаружения угла конвергенции, который обнаруживает угол конвергенции пользователя на основе результата обнаружения от датчика обнаружения зрительной линии. Кроме того, узел 74 управления отображением получает величину регулировки угла конвергенции, которая требуется для того, чтобы согласовываться с обнаруженным расстоянием на основе результата обнаружения от узла обнаружения угла конвергенции посредством использования обнаруженного результата в качестве опорного значения, и определяет величину изменения экранного эффекта на основании величины регулировки. Кроме того, формы изображений меняются на определенную величину изменения. Более того, в случае, где требуется направление для уменьшения угла конвергенции, переход экранов, иллюстрируемый на фигурах, выполняется в обратном порядке (очередность вида Фиг.11C, 11B, и 11A).

[0077] В дополнение, в настоящем варианте осуществления, как иллюстрируется на Фиг.12, когда отображается экранный эффект, также может быть отображен указатель 103, указывающий угол конвергенции пользователя. В соответствии с данной конфигурацией пользователь может проверять угол конвергенции пользователя посредством визуального распознавания указателя 103.

[0078] Кроме того, несмотря на то что в настоящем варианте осуществления реальный объект A распознается на основе маркера MK или характерных позиций реального объекта A, в случае, когда реальный объект A является объектом отображения, таким как торговый знак или вывеска, который отображает строку символов, реальный объект A может быть распознан посредством распознавания отображенной строки символов.

[0079] Кроме того, несмотря на то, что в настоящем варианте осуществления, изображения (множество из пиктограмм 81, направляющий элемент 82 в перспективе, и цель 83), используемые для экранного эффекта, отображаются перед тем, как активируется приложение AR (перед тем, как выдается инструкция на отображение изображения G AR), изображения могут быть отображены после того, как активируется приложение AR, и могут быть отображены экранные эффекты.

[0080] Более того, несмотря на то что в настоящем варианте осуществления экранный эффект отображается перед тем, как отображается изображение G AR, экранный эффект может быть отображен после того, как отображается изображение G AR.

[0081] В дополнение, несмотря на то что в настоящем варианте осуществления множество из пиктограмм 81 отображаются на экране 26 отображения, изобретение этим не ограничивается при условии, что объект изображения для вызова каждого приложения отображается на экране 26 отображения. Например, меню, указывающее каждое приложение, или уменьшенный экран приложения может быть отображен в качестве объекта изображения на экране 26 отображения.

[0082] Кроме того, множество из объектов изображения (например, пиктограммы 81 или снимки с экрана) для вызова соответствующих файлов или директорий могут быть отображены на экране 26 отображения вместо множества из объектов изображения для вызова соответствующих приложений, и объекты изображения (например, кнопка-переключатель, кнопка выбора, программная клавиатура, и подобное) для выполнения соответствующих операций пользователя могут быть отображены на экране 26 отображения вместо множества объектов изображения для вызова соответствующих приложений.

[0083] Кроме того, в настоящем варианте осуществления головной дисплей 1 включает в себя контроллер (не проиллюстрирован), и некоторые или все из компонентов: узел 72 анализа изображения, узел 74 управления отображением, узел 75 управления состоянием отображения и узел 76 обработки звука, могут быть смонтированы в контроллере. В данном случае контроллер может быть соединен с секцией 34 управления, секцией 30 отображения, или подобным (секция 30 отображения, внешняя камера 17, секция 31 датчика, правый головной телефон 18, и левый головной телефон 19) проводным образом через кабель или подобное и может быть соединен с секцией 34 управления, секцией 30 отображения, или подобным беспроводным образом посредством беспроводной LAN, инфракрасной связи, Bluetooth (зарегистрированный торговый знак), или подобное. Более того, функция контроллера может быть реализована посредством персонального компьютера (PC), портативного информационного терминала (PDA, мобильный телефон, портативный терминал типа наручных часов, или интеллектуальный телефон), или подобного.

[0084] В дополнение, несмотря на то что в настоящем варианте осуществления головной дисплей 1 бинокулярного типа (оптический головной дисплей пропускающего типа) приведен в качестве примера устройства отображения, изобретение также применимо к головным дисплеям других типов, таким как монокулярный тип. Кроме того, несмотря на то что в настоящем варианте осуществления головной дисплей 1 типа, закрывающего переднюю сторону глаз, приведен в качестве примера, изобретение этим не ограничивается и также применимо к головному дисплею типа, неполностью закрывающего переднюю сторону глаз (типа, закрывающего часть передней стороны глаз). Кроме того, изобретение не ограничивается головным дисплеем, и также может быть применено к другим устройствам отображения, таким как дисплей на лобовом стекле.

[0085] Более того, несмотря на то что в настоящем варианте осуществления блок вывода света изображения включает в себя узлы управления подсветкой (правый узел 51 управления подсветкой и левый узел 61 управления подсветкой), подсветки (правая подсветка 52 и левая подсветка 62), узлы управления LCD (правый узел 53 управления LCD и левый узел 63 управления LCD), и LCD (правый LCD 54 и левый LCD 64), данный аспект является только примером. Блок вывода света изображения может включать в себя составляющие элементы для реализации других типов наряду с описанными выше составляющими элементами или вместо описанных выше составляющих элементов.

[0086] Например, блок вывода света изображения может включать в себя органический электролюминесцентный (EL) дисплей и узел управления органическим EL. В дополнение, блок вывода света изображения может включать в себя, например, LCoS (жидкие кристаллы на кремнии; LCoS является зарегистрированным торговым знаком) или цифровое микрозеркальное устройство вместо LCD.

[0087] Кроме того, несмотря на то что в настоящем варианте осуществления изобретение применяется к так называемому головному дисплею 1 типа проецирования виртуального изображения, изобретение также применимо к лазерному проецирующему на сетчатку типу (так называемому сканирующему сетчатку типу) головного дисплея.

[0088] Кроме того, несмотря на то что в настоящем варианте осуществления блок вывода света изображения включает в себя проекционные оптические системы (правая проекционная оптическая система 55 и левая проекционная оптическая система 65) и проецирует свет изображения, который излучается из LCD, блок вывода света изображения может включать в себя, например, сканирующую оптическую систему, формируемую посредством MEMS зеркала, и узел модуляции светового сигнала (узел генерирования светового сигнала), который излучает световой сигнал на сканирующую оптическую систему вместо проецирующих оптических систем. В данном случае световой сигнал, который генерируется и излучается посредством узла модуляции светового сигнала, падает на сканирующую оптическую систему (MEMS зеркало), которая является сканирующим узлом. Сканирующая оптическая система излучает световой сигнал в качестве сканирующего света в направлении проводящего тела с полузеркальным слоем, и сканирующий свет сканируется на поверхности полузеркального слоя так, что виртуальное изображение формируется посредством света изображения. Пользователь может воспринимать виртуальное изображение с помощью глаз и, следовательно, может распознавать изображение.

[0089] В дополнение, несмотря на то что в настоящем варианте осуществления изобретение применяется к головному дисплею 1, изобретение может быть применено в системе отображения, в которой головной дисплей 1 соединен с внешней аппаратурой или внешним сервером через сеть. В данном случае некоторые или все из компонентов: узел 72 анализа изображения, узел 74 управления отображением, узел 75 управления состоянием отображения и узел 76 обработки звука, монтируются на стороне внешней аппаратуры или стороне внешнего сервера.

СПИСОК ОБОЗНАЧЕНИЙ

[0090] 1: Головной дисплей

22: Виртуальное изображение

26: Экран отображения

30: Секция отображения

41: Датчик расстояния

72: Узел анализа изображения

74: Узел управления отображением

81: Пиктограмма

82: Направляющий элемент в перспективе

91: Первая направляющая линия

94: Изображение в форме окружности

A: Реальный объект

G: Изображение AR

Группа изобретений относится к технологиям, раскрывающим устройства отображения пропускающего типа. Техническим результатом является обеспечение восприятия виртуального объекта в правильном местоположении относительно реального объекта за счет возможности регулировать угол конвергенции пользователя так, чтобы он соответствовал обнаруженному расстоянию между пользователем и реальным объектом. Предложено устройство отображения пропускающего типа, которое позволяет пользователю визуально распознавать экран отображения в качестве виртуального изображения и визуально распознавать экран отображения на фокусном расстоянии, которое согласуется с углом конвергенции пользователя. Устройство содержит секцию распознавания объекта, секцию обнаружения расстояния, секцию управления отображением. Секция управления отображением управляет экраном для отображения изображения, окружающего упомянутый реальный объект, для направления зрительной линии пользователя на угол конвергенции, который согласуется с обнаруженным расстоянием, на экране отображения. 4 н. и 9 з.п. ф-лы, 12 ил.

1. Устройство отображения пропускающего типа, которое позволяет пользователю визуально распознавать экран отображения в качестве виртуального изображения и визуально распознавать экран отображения на фокусном расстоянии, которое согласуется с углом конвергенции пользователя, при этом устройство отображения содержит:

секцию распознавания объекта, которая распознает реальный объект в пределах поля зрения пользователя;

секцию обнаружения расстояния, которая обнаруживает расстояние от пользователя до реального объекта;

секцию управления отображением, которая отображает экран отображения, на котором размещается изображение дополненной реальности для реального объекта; и

секцию отображения, которая отображает экран отображения,

при этом секция управления отображением управляет экраном для отображения изображения, окружающего упомянутый реальный объект, для направления зрительной линии пользователя на угол конвергенции, который согласуется с обнаруженным расстоянием, на экране отображения.

2. Устройство отображения по п.1, в котором секция управления отображением управляет экраном для отображения множества из объектов изображения, которые используются для вызова соответствующих приложений и преобразуются в направленные внутрь изображения в перспективе посредством использования перспективы, на экране отображения, и постепенно меняет степень направленного внутрь наклона множества из объектов изображения в качестве изображения.

3. Устройство отображения по п.2, в котором множество из объектов изображения являются любыми из пиктограмм, меню и уменьшенных экранов приложения.

4. Устройство отображения по п.1, в котором секция управления отображением управляет экраном для отображения направляющего элемента, в котором множество из направляющих линий, проходящих от сторон наружного края экрана отображения в направлении его центральной стороны, размещаются в направлении по окружности, на экране отображения, и постепенно меняет шаг направляющих линий в направлении по окружности в направляющем элементе в качестве изображения.

5. Устройство отображения по п.1, в котором секция управления отображением управляет экраном для отображения одного из следующего: изображение в форме рамки, окружающее центр экрана отображения, и изображение в форме окружности, окружающее центр экрана отображения, на экране отображения, и постепенно меняет размер этого изображения в качестве изображения.

6. Устройство отображения по п.1, в котором секция управления отображением управляет экраном для отображения одно из следующего: изображение в форме рамки, центрированное на реальном объекте, и изображение в форме окружности, центрированное на реальном объекте, на экране отображения, и постепенно меняет размер того же изображения в качестве изображения.

7. Устройство отображения по п.1, в котором секция управления отображением управляет экраном для отображения изображения, окружающего упомянутый реальный объект, градации, которое затемнено от сторон наружного края экрана отображения в направлении его центральной стороны, на экране отображения, и постепенно меняет степень вариации по свету и тени в изображении градации в качестве изображения.

8. Устройство отображения по п.1, дополнительно содержащее:

секцию обнаружения скорости, которая обнаруживает относительную скорость перемещения пользователя по отношению к реальному объекту,

при этом секция управления отображением регулирует изображение на основе результата обнаружения от секции обнаружения скорости.

9. Устройство отображения по п.1, в котором секция управления отображением управляет экраном для отображения указателя, указывающего угол конвергенции пользователя на экране отображения.

10. Устройство отображения по п.1, в котором секция отображения включает в себя:

блок вывода света изображения, который выводит свет изображения; и

блок световода, который направляет вывод света изображения в глаза пользователя, и

при этом блок световода пропускает через себя внешний свет и позволяет внешнему свету падать на глаза пользователя наряду со светом изображения.

11. Головной дисплей пропускающего типа, который надевается на голову пользователя и позволяет пользователю визуально распознавать экран отображения в качестве виртуального изображения и визуально распознавать экран отображения на фокусном расстоянии, которое согласуется с углом конвергенции пользователя, при этом головной дисплей содержит:

секцию распознавания объекта, которая распознает реальный объект в пределах поля зрения пользователя;

секцию обнаружения расстояния, которая обнаруживает расстояние от пользователя до реального объекта;

секцию управления отображением, которая отображает экран отображения, на котором размещается изображение дополненной реальности для реального объекта; и

секцию отображения, которая отображает экран отображения,

при этом секция управления отображением управляет экраном для отображения изображения, окружающего упомянутый реальный объект, для направления зрительной линии пользователя на угол конвергенции, который согласуется с обнаруженным расстоянием, на экране отображения.

12. Система отображения пропускающего типа, которая позволяет пользователю визуально распознавать экран отображения в качестве виртуального изображения и визуально распознавать экран отображения на фокусном расстоянии, которое согласуется с углом конвергенции пользователя, при этом система отображения содержит:

секцию распознавания объекта, которая распознает реальный объект в пределах поля зрения пользователя;

секцию обнаружения расстояния, которая обнаруживает расстояние от пользователя до реального объекта;

секцию управления отображением, которая отображает экран отображения, на котором размещается изображение дополненной реальности для реального объекта; и

секцию отображения, которая отображает экран отображения,

при этом секция управления отображением управляет экраном для отображения изображения, окружающего упомянутый реальный объект, для направления зрительной линии пользователя на угол конвергенции, который согласуется с обнаруженным расстоянием, на экране отображения.

13. Способ управления для устройства отображения пропускающего типа, которое позволяет пользователю визуально распознавать экран отображения в качестве виртуального изображения и визуально распознавать экран отображения на фокусном расстоянии, которое согласуется с углом конвергенции пользователя, при этом способ содержит:

этап распознавания объекта, на котором распознают реальный объект в пределах поля зрения пользователя;

этап обнаружения расстояния, на котором обнаруживают расстояние от пользователя до реального объекта;

этап управления отображением, на котором отображают экран отображения, на котором размещается изображение дополненной реальности для реального объекта; и

этап отображения, на котором отображают экран отображения,

при этом на этапе управления отображением на экране отображения отображается изображение, окружающее упомянутый реальный объект, для направления зрительной линии пользователя на угол конвергенции, который согласуется с обнаруженным расстоянием.