УСТРОЙСТВО ДОПОЛНЕННОЙ РЕАЛЬНОСТИ С РАЗМНОЖЕНИЕМ ВЫХОДНОГО ЗРАЧКА И С ВОЗМОЖНОСТЬЮ ФОРМИРОВАНИЯ ТРЕХМЕРНОГО ИЗОБРАЖЕНИЯ И СПОСОБ ФОРМИРОВАНИЯ ИЗОБРАЖЕНИЯ ПОСРЕДСТВОМ УКАЗАННОГО УСТРОЙСТВА ДОПОЛНЕННОЙ РЕАЛЬНОСТИ С РАЗМНОЖЕНИЕМ ВЫХОДНОГО ЗРАЧКА Российский патент 2021 года по МПК G02B27/01 G02B30/22 

Область техники

Изобретение относится средствам дополненной реальности и способам формирований изображений в устройствах дополненной реальности с размножением выходного зрачка и формированием 3D-изображений, и может использоваться, в частности, в качестве автомобильных проекционных дисплеев, так называемых “head-up” (далее, как HUD) дисплеев или 3D дисплеях, используемых для встраивания в приборную панель автомобиля и подобных транспортных средством, а именно мотоциклов, велосипедов и т.д.

Описание предшествующего уровня техники

В настоящее время на рынке существует множество конфигураций, автомобильных проекционных дисплеев, но они в своем большинстве обладают полем зрения не более 15 градусов и объемом более 20 литров. Такое устройство сложно интегрировать в приборную панель автомобиля, поэтому появилась необходимость создания 3D дисплея с полем зрения более 15 градусов и объемом не более 5 литров.

Использование HUD устройств в автомобильной промышленности становится все более популярным. Такие устройства размещаются в приборной панели транспортного средства, формируют виртуальное изображение на конечном или бесконечном расстоянии от водителя и позволяют пользователю сосредоточиться на дороге или окружающей среде, одновременно получая информацию о скорости пользователя, состоянии двигателя, телефонных звонках и, возможно, другую внешнюю информацию, которая в противном случае отвлекала бы внимание пользователя за счет использования других внешних устройств. Применение таких дисплеев становится необходимым для повышения безопасности пользователя и в целом.

В уровне техники известно множестве решений, обеспечивающих формирование 3D изображений.

В патенте US 9838674 B2, IPC H04N 13/04, H04N 9/47, опубл. 05.12.2017 г. раскрыт многовидовый автостереоскопический дисплей и способ для управления дистанцией формирования виртуального изображения. При этом дисплей содержит оптический микролинзовый растровый элемент, расположенный на матрице пикселей панели дисплея, устройство управления оптимальным расстоянием просмотра, сконфигурированное для настройки изображений, видимых обоими глазами зрителя, и изображения на основе информации о положении зрителя, воспринимаемой датчиком, для автоматической настройки изображений, и для создания карты вида с использованием скорректированных изображений; модуль 3D форматирования, сконфигурированный для сопоставления данных пикселей многовидового изображения на основе карты видов, полученной от устройства управления оптимальным расстоянием просмотра; и схему управления панелью дисплея, сконфигурированную для записи пиксельных данных многовидового изображения, принятого из модуля 3D форматирования, на панель отображения. В данном дисплее для каждого вида изображения используется своя маска пикселей, выводимая на дисплей и такая конфигурация дисплея в комбинации с микролинзовым растром формирует отдельное изображение для правого и левого глаза.

Указанный многовидовый автостереоскопический дисплей используется в мониторах, может использоваться в телевидении для формирования стреоскопического изображения, а также для просмотра стереофильмов в домашних условиях, но не подлежит использованию в приборных панелях для автомобилей. Недостатками такой системы является то, что плоскость дисплея совпадает с плоскостью формирования изображения, что в свою очередь ограничивает разброс дистанции для вывода 3D изображения и вызывает дискомфорт при наблюдении 3D изображения из-за несогласованности конвергенции и аккомодации.

В US 8786683 B2, IPC G06T 15/00, H04N 13/04, опубл. 22.07.2014 г., представлено стереоскопическое устройство отображения, содержащее: панель отображения, выполненную с возможностью пропускания света, соответствующего данным изображения; блок преобразования состояния поляризации, содержащий первый подблок поляризации для преобразования света, передаваемого устройством отображения, в первое состояние поляризации, и второй подблок поляризации для преобразования света, передаваемого устройством отображения, во второе состояние поляризации; оптический разделительный элемент, который приводится, посредством приложения напряжения, во включенное состояние, в котором свет, передаваемый панелью отображения, преломляется, или в состояние выключения, в котором свет, передаваемый панелью отображения, не преломляется. В указанном стереоскопическом устройстве отображения пространственное изображение локализуется на конечном расстоянии, совпадающем с плоскостью дисплея и не обеспечивается угловое изображение, которое получается при формирование изображения в бесконечности, что ограничивает использование такого стереоскопического устройства отображения для встраивания в приборные панели автомобиля, поскольку виртуальное изображение формируется на конечном расстоянии от пользователя, что влечет снижение концентрации на дороге при переаккомодации взгляда на информационное виртуальное изображение.

В US 10545346 B2, IPC G02B 27/00, G02B 27/01, опубл.28.01.2020 г., раскрыт оптический дисплей для шлема, так называемый HUD дисплей, предназначенный для формирования виртуальных изображений, и включающий в себя набор волноводов, и голографические переключаемые дифракционные решетки, призматическую оптику, блок ввода изображения. Указанный дисплей является компактным, однако его конфигурация обеспечивает формирование только 2D изображений.

В US 2020/0073120 A1, IPC G02B 27/01, опубл. 05.03.2020 г. раскрыт HUD дисплей для транспортного средства, включающий в себя: панель дисплея, дефлектор, имеющий множество микролинз, и генератор изображения. Генератор изображений сконфигурирован для создания множества первичных элементарных изображений, которые умножаются оптическим умножителем на элементарные изображения, которые, в свою очередь, назначаются в каждом случае соответствующей одной из множества микролинз. Указанный дисплей является компактным и формирует 3D изображения. Одним из недостатков указанного дисплея является высокая плотность пикселей в комбинации с использованием микролинзового растра, что в свою очередь делает его производство достаточно затратным и, следовательно, нерентабельным для массового производства. Кроме того, конфигурация данного дисплея обеспечивает формирование изображения на конечном расстоянии, что требует повторной аккомодации для обзора виртуального изображения.

Наиболее близким техническим решением заявленного изобретения является устройство для формирования виртуального изображения, раскрытое в международной публикации WO 2019/238869 А1, IPC, B60K35/00, G02B 27/01, опубл. 19.12.2019 г., и используемое в приборных панелях транспортных средств. При этом устройство (см. фиг.5 в WO 2019/238869 А1) содержит источник света (14), который имеет, по меньшей мере, два переключаемых источника света (14R, 14G, 14B) для формирования излучения с разными длинами волн. Упомянутое устройство также содержит элемент (11) отображения для генерации изображения и оптический волновод для расширения выходного зрачка. Оптический волновод имеет по меньшей мере два оптических волновода (5R, 5G, 5B), которые могут переключаться синхронно с переключаемыми источниками света (14R, 14G, 14B) и выполнены с возможностью функционирования с разными длинами волн. Устройство обеспечивает формирование только 2D изображения, что значительно снижает обзор водителя транспортного средства.

Все вышеуказанные решения не обеспечивают современные требования, диктуемые в автомобильной промышленности, для обеспечения безопасности водителя транспортного средства, поскольку при формировании 2D изображений, водителю очень тяжело сконцентрировать свое внимание одновременно на дороге и на виртуальном изображении, что ведет к потере концентрации. При этом в современных дисплейных устройствах очень трудно одновременно совместить требования компактности устройства, позволяющие использовать его в приборных панелях транспортных средств, а также формирование 3D изображений с высоким разрешением формируемого изображения.

Заявленное устройство дополненной реальности с размножением выходного зрачка и с возможностью формирования трехмерного изображения направлено на решение вышеуказанных задач, а именно обеспечивает формирование 3D изображений с высоким разрешением и с полем зрения порядка 15 градусов, при сохранении его компактности с объемом менее 5 литров, что позволяет его интегрировать в приборную панель транспортного средства и использовать в других компактных переносных устройствах.

Сущность изобретения

Согласно первому аспекту изобретения предлагается устройство дополненной реальности с размножением выходного зрачка и с возможностью формирования трехмерного изображения, содержащее оптически сопряженные:

- модуль формирования многовидового изображения, выполненный с возможностью формирования многовидового изображения, и формирования выходного зрачка, содержащего указанное сформированное многовидовое изображение, при этом многовидовое изображение содержит по меньшей мере два изображения с одинаковым полем зрения(FoV), отличающихся по длине волны и/или состоянию поляризации, или разнесенные по времени;

- волновод, выполненный с возможностью размножения выходного зрачка, сформированного в модуле формирования многовидового изображения;

- модуль формирования зон видения в области выходного зрачка, выполненный с возможностью разделения изображений по длинам волн, и/или состоянию поляризации, или времени (t) формирования изображений; и вывода соответствующих изображениях в соответствующие зоны видения в области выходного зрачка с формированием трехмерного изображения;

дополнительно содержащий

- блок управления, соединенный с модулем формирования многовидового изображения, модулем формирования зон видения, и выполненный с возможностью управления указанными модулями по управляющему сигналу;

при этом модуль формирования многовидового изображения содержит оптически сопряженные по меньшей мере один источник излучения, объединитель излучения, по меньшей мере один источник изображения и проекционную оптику;

модуль формирования зон видения в области выходного зрачка содержит стек из по меньшей мере двух микролинзовых и/или микрозеркальных растров (LA1, LA2) и пространственную маску (SM), выполненную с возможностью функционирования в пассивном режиме, при котором осуществляется фильтрации излучения по длине волны и/или состоянию поляризации, или в активном режиме, при котором фильтрация излучения осуществляется по времени (t), в ответ на управляющий сигнал от блока управления. Пространственная маска SM располагается в оптически сопряженной плоскости выходного зрачка устройства дополненной реальности относительно оптического растра LA2.

Кроме того, модуль формирования многовидового изображения содержит по меньшей мере 2 источника излучения, каждый, выполненный с возможностью испускания света на одной длине волны или отличающихся длинах волн, или по меньшей мере 2 источника излучение выполнены с возможностью испускания RGB излучения.

В модуле формирования многовидового изображения источники излучения выполнены с возможностью испускания излучения одновременно или попеременно по сигналу от блока управления и источники излучения представляют собой одно из: светодиода, лазерного диода, лампы накаливания.

В модуле формирования многовидового изображения источники объединитель излучения выполнен с возможностью смешивания и объединения излучения от разных источников излучения и вывода смешанного излучения на источник изображения и представляет собой оптический элемент с соответствующим покрытием, например с дихроичным покрытием или с покрытием в виде призматических или дифракционных элементов, обеспечивающим отражение или перенаправление излучения в заданном направлении.

Предусмотрено также реализация объединителя излучения в виде волноводного объединителя.

В устройстве дополненной реальности согласно первому аспекту изобретения источник изображения выполнен с возможностью формирования зон видения и представляет собой одно из: самоизлучающий дисплей с использованием микроскопических светодиодов в качестве подсветки (uLED), жидкокристаллический дисплей (LCD), жидкокристаллический дисплей отражательного типа (LCOS), цифровое микрозеркальное устройство для вывода изображения (DMD), устройство формирования изображения посредством сканирующих зеркал (LBS).

А волновод выполнен в виде плоской подложки, с встроенной в нее элементом ввода, расширителем, и элементом вывода, и с возможностью поочередного размножения выходного зрачка, сначала по оси X, а потом по оси Y или наоборот, или с возможностью размножения выходного зрачка, одновременно, по оси X и Y.

При этом в волноводе элемент ввода выполнен с возможностью ввода излучения с предварительно заданным углом в волновод и представляет собой одно из: дифракционный элемент в виде дифракционных решеток, голографический элемент или полупрозрачное зеркало; а элемент вывода волновода выполнен с возможностью вывода излучения с заданным углом из волновода и представляет собой одно из: дифракционный элемент, в виде дифракционных решеток, голографический элемент или полупрозрачное зеркало; и расширитель волновода выполнен с возможностью размножения выходного зрачка внутри волновода и представляет собой одно из: дифракционный элемент, в виде дифракционных решеток, голографический элемент или полупрозрачное зеркало.

При этом при одновременном размножении выходного зрачка по оси X и Y, расширитель, элемент вывода и расширитель объединяются в один оптический элемент в виде дифракционного элемента.

Волновод может быть выполнен в виде комбинации из трех волноводов, каждый предназначен для переноса изображения одного цвета, например, R, G, B цветов, или в виде комбинации двух волноводов с комбинированием цветов, например один волновод B+G цветов, а другой R цвета или одни волновод для G+R цветов, а другой для B цвета.

Кроме того, волновод может быть выполнен в виде одного волновода с возможностью переноса изображения с комбинированием цветов, например, R+G+B цветов.

Кроме того, волновод может быть выполнен в виде комбинации различных волноводов, каждый из которых предназначен для переноса одной угловой части общего изображения для одного из цветов R, G, B и/или комбинации цветов.

Модуль формирования зон видения в области выходного зрачка содержит стек из по меньшей мере двух микролинзовых и/или микрозеркальных растров (LA1, LA2), выполненных таким образом, что обеспечивается телескопический ход лучей на входе и выходе указанного стека.

При этом стек из по меньшей мере двух микролинзовых и/или микрозеркальных растров содержит два микролинзовых и/или микрозеркальных растра (LA1, LA2).

При этом каждый из микролинзовых растров LA1, LA2 содержит по меньшей мере одну лентикулярную линзу, представляющую собой цилиндрическую линзу или сферическую линзу, при этом количество линз в первом микролинзовом растре LA1 равно количеству линз во втором микролинзрвом растре LA2.

В модуле формирования зон видения в области выходного зрачка первый растр LA1 может представлять собой микрозеркальный растр, состоящий из по меньшей мере одного зеркала, а второй растр LA2- по меньшей мере одну цилиндрическую или сферическую линзу, при этом количество зеркал в первом растре LA1 совпадает с количеством линз в растре LA2.

Согласно одному варианту реализации изобретения первый линзовый растр LA1 может встраиваться в элемент вывода волновода и с возможностью обеспечения вывода излучения и фокусирования излучения на пространственной маске SM.

При этом проекционная оптика представляет собой оптический блок, состоящий из по меньшей мере одного или комбинации из: линзы, зеркала, поляризационного разделителя пучка (PBS), четвертьволновой пластины(QWP) и полуволновой пластины (HWP), и обеспечивающая преобразование пространственного изображения в угловое изображение в одном и том же поле зрения (FOV).

Входящая в состав модуля формирования зон видения в области выходного зрачка пространственная маска SM работает в двух режимах: пассивном и активном. При пассивном режиме работы пространственная маска SM представляет собой слой поглощающего материала, с встроенными в нее чередующимися сегментами фильтров, каждый из которых пропускает излучение с заданной длиной волны, соответствующей длине волны излучения источника излучения в модуле формирования многовидового изображения.

При этом указанные сегменты фильтров представляют собой дихроичные фильтры.

Кроме того, при пассивном режиме работы пространственная маска SM выполнена с возможностью пропускания излучения по состоянию поляризации, представляющей собой одно из S поляризации, P поляризации, правосторонней циркулярной поляризации (RHCP), левосторонней циркулярной поляризации (RHCP).

При активном режиме работы пространственная маска выполнена с возможностью поочередного воспроизведения изображения для левого и правого глаза и представляет собой пространственный модулятор излучения, например в виде ЖК-дисплея, в котором частота смены маски соответствует режиму пропускания или блокирования излучения, проходящего через маску, и совпадает с частотой кадров дисплея в источнике изображения.

Устройство дополненной реальности согласно первому аспекту изобретения, дополнительно содержит синхронизатор для обеспечения синхронизации работы пространственной маски, работающей в активном режиме, с источником изображения по управляющему сигналу от блока управления, соединенного с модулем формирования многовидового изображения и с синхронизатором.

Устройство дополненной реальности согласно первому аспекту изобретения, дополнительно также содержит детектор, соединенный с блоком управления, и выполненный с возможностью регистрации смещения глаз пользователя, и приводное устройство выполненное с возможностью смещение пространственной маски, при пассивном режиме работы, по сигналу от блока управления.

При этом, при пассивном режиме работе пространственная маска выполнена с возможностью поочередного вывода изображения с одним спектральным составом или состоянием поляризации для правого и левого глаза посредством смещения маски по горизонтальной оси, совпадающей с расположением глаз пользователя.

Устройство дополненной реальности с размножением зрачка выполнено с возможностью встраивания в приборную панель любого транспортного средства, а также с возможностью использования в компактных переносных устройства, например, планшетах или в очках дополненной реальности.

Согласно второму аспекту изобретения предлагается способ формирования изображения в устройстве дополненной реальности с размножением выходного зрачка согласно первому аспекту изобретения, содержащий этапы, при которых:

- обеспечивают формирование многовидового изображения, и формирование выходного зрачка, содержащего указанное сформированное многовидовое изображение посредством модуля формирования многовидового изображения, при этом указанное многовидовое изображение, содержит по меньшей мере два изображения с одинаковым полем зрения FoV, отличающихся по длине волны и/или состоянию поляризации, или разнесенные по времени;

- посредством волновода обеспечивают размножение указанного выходного зрачка;

- формируют изображение дополненной реальности посредством модуля многовидового изображения и волновода,

- посредством модуля формирования зон видения в области выходного зрачка, обеспечивают разделение изображений по длинам волнам, и/или состоянию поляризации, или времени (t) формирования изображений; и

- выводят соответствующие изображения в соответствующие зоны видения в области выходного зрачка с формированием трехмерного изображения.

Краткое описание чертежей

Вышеописанные и другие признаки и преимущества настоящего изобретения поясняются в последующем описании, иллюстрируемом чертежами, на которых представлено следующее:

Фиг.1 - представлена схема формирования стереоскопического изображения согласно изобретению;

Фиг.2 - схематично представлена схема устройства дополненной реальности с размножением выходного зрачка и с возможностью формирования трехмерного изображения согласно изобретению;

Фиг.3 - представлена блок-схема модуля генерирования многовидового изображения согласно изобретению;

Фиг.4 - блок-схема формирования изображения выходного зрачка посредством модуля формирования зон видения в области выходного зрачка и волновода согласно изобретению;

Фиг.5 - представлена схема формирования изображения в плоскости выходного зрачка согласно изобретению;

Фиг.6 - представлена схема формирования изображения при пассивном режиме функционирования пространственной маски согласно изобретению;

Фиг.7а - схема прохождения излучения от источников излучения в источники изображения посредством соответствующих зеркал в волновод согласно изобретению;

Фиг.7b - график, иллюстрирующий зависимость коэффициента отражения зеркала M₁ в зависимости от длины волны λ₁ излучения, испускаемого источником излучения 1 согласно изобретению;

Фиг.8а - схематично представлен процесс размножения зрачка по одной оси поочередно в волноводе согласно предпочтительному варианту осуществления изобретения;

Фиг.8b - схематично представлен процесс размножения зрачка по двум осям одновременно;

Фиг.8с - схематично представлен вид в поперечном сечении волновода, в котором осуществляется размножение зрачка по одной оси, поочередно согласно предпочтительному варианту осуществления изобретения;

Фиг.9а - схематично представлены графики, показывающие зависимость коэффициента пропускания фильтров пространственной маски в зависимости от длины волны и схематично представлены соответствующие сегменты фильтров маски согласно изобретению;

Фиг.9b - представлена схема формирования видов в области выходного зрачка при работе пространственной маски в пассивном режиме согласно изобретению;

Фиг.10а - представлена схема модуля 3 формирования зон видения выходного зрачка, обеспечивающая формирование зон видения V₁…V_n по одной оси согласно изобретению;

Фиг.10b - представлена схема модуля 3 формирования зон видения выходного зрачка, обеспечивающая формирование зон видения V₁…V_n по одной оси согласно изобретению;

Фиг.11а - представлена схема прохождения лучей при прохождении через стек из двух микролинзовых растров LA1 и LA2 согласно предпочтительному варианту осуществления изобретения;

Фиг.11b - представлена схема прохождения лучей при прохождении через стек из двух микролинзовых растров LA1 и LA2 согласно изобретению;

Фиг.12а - представлена схема прохождения излучения в модуле формирования зон видения выходного зрачка и волновода согласно предпочтительному варианту осуществления изобретения;

Фиг.12b - представлена схема прохождения излучения в модуле формирования зон видения выходного зрачка и волновода согласно изобретению;

Фиг.13а - представлена схема формирования двух зон видения без смещения глаз водителя транспортного средства согласно изобретению;

Фиг.13b - схема формирования двух зон видения при смещения глаз водителя транспортного средства согласно изобретению;

Фиг.14а - представлена блок схема модуля формирования многовидового изображения согласно одному варианту реализации изобретения;

Фиг.14b - представлена блок схема модуля формирования многовидового изображения согласно другому варианту реализации изобретения согласно изобретению;

Фиг. 15а - представлена схема формирования двух зон видения при активном режиме работы пространственной маски согласно изобретению;

Фиг.15b - представлена схема формирования двух зон видения при активном режиме работы пространственной маски, при смещении положения глаз водителя транспортного средства согласно изобретению;

Фиг.16а - представлена примерная блок-схема модуля формирования многовидового изображения с одним дисплеем при активном режиме работы согласно изобретению;

Фиг.16b - представлена примерная блок-схема модуля формирования многовидового изображения с модулем изображения на основе LBS при активном режиме работы согласно изобретению;

Фиг.16с - представлена схема пространственной маски, функционирующая в активном режиме согласно изобретению;

Фиг.17а - представлена схема стандартной системы формирования изображения на основе волновода с одним дисплеем с одной длиной волны излучения;

Фиг.17b - представлена схема стандартной системы формирования изображения на основе двух дисплеев с разными длинами волн;

Фиг.17с - представлена схема HUD устройства в соответствии с настоящим изобретением;

Фиг.18а - представлена схема HUD устройства с двумя дисплеями в соответствии с настоящим изобретением;

Фиг.18b - представлена схема формирования лучей в конфигурации HUD устройства согласно фиг.18а и представлены изображения, воспроизводимые на сетчатке левого и правого глаза;

Фиг.19а - представлена схема компактного устройства на основании HUD устройства согласно изобретению с использованием складываемого объединителя луча;

Фиг.19b - представлена схема компактного устройства на основании HUD устройства согласно изобретению с использованием объединителя луча с функцией перенаправления луча;

Фиг.20 - представлена схема очков дополненной реальности на основании HUD устройства.

Предпочтительные варианты осуществления изобретения

Примеры вариантов осуществления настоящего раскрытия будут подробно описаны ниже. Примеры вариантов осуществления были проиллюстрированы на прилагаемых чертежах, на которых одинаковые или подобные ссылочные позиции относятся к одинаковым или подобным элементам или элементам, имеющим одинаковые или подобные функции. Примерные варианты осуществления, описанные со ссылкой на прилагаемые чертежи, являются иллюстративными, используются только для объяснения настоящего раскрытия и не должны рассматриваться как какие-либо ограничения к нему.

При этом авторы изобретения для обеспечения компактности устройства дополненной реальности с размножением выходного зрачка и с возможностью формирования 3D изображения(далее, как HUD устройство) интегрировали в конструкцию дисплея волновод, а для обеспечения формирования 3D изображения использовали технологию стереовывода, что предусматривает формирование отдельных изображений для левого и правого глаза, и благодаря эффекту параллакса конечное изображение получается объемным и может быть сформирована на различных дистанциях от пользователя.

При этом модуль формирования многовидового устройства, выполненный согласно изобретения в комбинации с волноводом обеспечивают формирование изображения дополненной реальности, а уникальная конструкция модуля формирования зон видения выходного зрачка, предложенная авторами настоящего изобретения, обеспечивает вывод различных изображений в соответствующие зоны видения с формированием 3D изображения.

В рамках настоящего изобретения будут использоваться следующие понятия и термины, толкование которых предоставляется ниже авторами изобретения:

Вид - единичное двумерное изображение многовидового изображения, соответствующее определенному ракурсу, которое генерируется в модуле формирования многовидового изображения (PGU - picture generation unit) для наблюдения в соответствующей зоне видения.

Зона видения - это область в плоскости выходного зрачка (eyebox) в которой наблюдается изображение, соответствующее виду. В рамках настоящего изобретения зоны видения формируются как изображение пространственной маски в области выходного зрачка, которое формируется линзовым растром, при этом количество источников излучения сформированных в модуле генерации изображения видов, используемых в HUD устройстве, определяет количество зон видения.

Выходной зрачок - это объем пространства, в котором наблюдается виртуальное изображение.

Размножение выходного зрачка - увеличение размеров выходного зрачка (посредством внедрения в оптическую систему волноводов с возможностью ввода, распространения излучения внутри и постепенного вывода с помощью дифракционных, голографических элементов или полупрозрачных зеркал).

Многовидовое изображение - это объемное изображение, сформированное из множества видов разных ракурсов. В рамках настоящего изобретения термины «многовидовое изображение» и «трехмерное изображение (далее, как 3D изображения)» являются взаимозаменяемыми.

Плоскость виртуального изображения - это плоскость в которой формируются два плоских изображения, т.е. стереопара.

Стереопара - пара двумерных изображений одного и того же объекта отображающих вид этого объекта с разных позиций наблюдения этого объекта.

Дополненная реальность (AR) рассматривается, как технология, с помощью которой виртуальные объекты могут быть наложены на реальную сцену, а виртуальная информация может быть применена к реальному миру, так что реальная сцена и виртуальные объекты накладываются в одно изображение или пространство в реальном времени, и могут быть просмотрены наблюдателем, тем самым обеспечивая иммерсивный опыт дополненной реальности.

Из уровня техники известны различающиеся по принципу действия способы формирования и наблюдения стереоскопических изображений, в частности поляризационный способ, способ анаглифов, голографические способы, способ создания и последующего объединения оптическими методами двух отдельных, предназначенных для левого и правого глаз, изображений, способ, основанный на применении оптических цилиндрических растров. Эти способы позволяют воспроизводить и наблюдать стереоскопические изображения, однако каждому из них присущи определенные недостатки, ограничивающие их широкое практическое использование.

Заявленное изобретение основано на способе формирования двух отдельных изображений для левого и правого глаза и, благодаря эффекту параллакса, формирования объемного(3D) изображения для наблюдателя.

На фиг.1 представлена схема формирования стереоскопического изображения, используемая в изобретении, где иллюстрируется формирование стереопары - отдельных двумерных изображений для левого глаза (x_L, y_L, z_L) и правого глаза (x_R, y_R, z_R). Результирующее объемное изображение формируется на расстоянии D(м) от наблюдателя и может варьироваться в зависимости от координат вывода стереопары. Изображенная на фиг.1 «Стрелка» + значок «50м» - это объемное 3D изображение, которое видит водитель.

3D изображение формируется с помощью технологии стереовывода, согласно которой разные плоские изображения формируются для левого и правого глаза, т.е. формируется стереопара.

Плоскость виртуального изображения - это плоскость в которой формируются два плоских изображения, т.е. стереопара, в данном случае (50м+стрелка), для левого и правого глаза. Оптическая система HUD устройства формирует изображения стереопары в плоскости виртуального изображения.

При наблюдении стереопары таким образом, чтобы каждый глаз воспринимал только изображение, предназначенное для него, возникает эффект наблюдения объемного 3D изображения.

Положение 3D изображения возможно менять путем изменения изображений стереопар и их координат вывода в плоскости виртуального изображения.

Заявленное устройство дополненной реальности с размножением выходного зрачка с возможностью формирования трехмерного изображения, в дальнейшем как HUD устройство, можно условно разделить на 3 основные части. Схематичное представление заявленного устройства представлено на фиг.2, где условно показан водитель автомобиля и сплошной линией условно обозначен капот и лобовое стекло, а пунктирной линией представлено распространение излучения, выходящего из заявленного HUD устройства. Излучение выходит из HUD устройства и отражается от лобового стекла в сторону глаз водителя (по пунктирной линии). Водитель в это время смотрит сквозь лобовое стекло и наблюдает изображение дороги+виртуальное изображение, т.е. формируемое HUD устройством, 3D изображение.

Устройство дополненной реальности с размножением выходного зрачка и с возможностью формирования трехмерного изображения содержит модуль 1 формирования многовидового изображения (PGU - picture generation unit), выполненный с возможностью формирования изображения по меньшей мере двух видов или картин изображения, т.е. видов V₁, V₂…V_n, при этом указанные виды имеют одинаковую величину поля зрения (FOV), но обладают отличительными характеристиками, например отличаются по длине волны излучения и/или состоянию поляризации, или также времени (t) формирования вида. Кроме того, заявленное устройство содержит волновод 2, осуществляющий размножение выходного зрачка модуля PGU, и формирование виртуального изображения на бесконечности и модуль 3 формирования зон видения в области выходного зрачка HUD устройства, включающий стек из по меньшей мере двух микролинзовых или микрозеркальных растров и пространственную маску (SM-spatial mask). При этом модуль 3 формирования зон видения в области выходного зрачка, обеспечивает телескопический ход лучей, выходящих из волновода 2 и сохраняет угловое распределение лучей, выходящих из волновода 2. При этом стек из двух микролинзовых растров используется в комбинации с пространственной маской, находящейся в оптически сопряженной плоскости выходного зрачка HUD устройства относительно второго линзового растра. При этом стек линзовых растров выполнен с возможностью сохранения углового направления лучей, а пространственная маска находится в сопряженной плоскости с областью выходного зрачка и фильтрует излучение таким образом, чтобы в области выходного зрачка формировались зоны видения V₁, V₂…V_n. Зоны видения в области выходного значка различаются по составу излучения соответствующего фильтрам пропускания в пространственной маске. При этом каждая зона видения обеспечивает обзор одного изображения, генерируемого модулем 1 формирования многовидового изображения.

Модуль 1 формирования многовидового изображения (далее, как модуль PGU) выполнен с возможностью формирования многовидового изображения, и формирования выходного зрачка, содержащего указанное многовидовое изображение. Указанный модуль PGU схематично представлен на фиг.3 и содержит по меньшей мере два источника излучения, объединитель излучения, источник изображения и проекционную оптику. Как уже указывалось ранее модуль генерации многовидового изображения выполнен с возможностью формирования по меньшей мере двух изображений, при этом сформированные изображения имеют одинаковую величину поля зрения (FOV), но обладают отличительными характеристиками, например, отличаются по длине волны излучения и/или состоянию поляризации, или также времени (t) формирования изображения.

Модуль формирования многовидового изображения (модуль PGU) вместе с волноводом обеспечивают формирование виртуального изображения дополненной реальности.

Источники излучения, в случае наличие двух или более в конфигурации модуля PGU 1, выполнены с возможностью испускания света как на одной длине волны, так и на отличающихся длинах волн, например, RGB излучение в диапазонах 450-480 нм, 510-540 нм, 610-650 нм, соответственно. При этом указанные примеры длин волн, на которых работает модуль PGU, не ограничивается данными диапазонами, а представлены как примеры. Источники излучения представляют собой светодиоды, лазерные диоды, лампы накаливания.

Объединитель излучения выполнен с возможностью смешивания и объединения излучения от разных источников излучения и вывода смешанного излучения на источник изображения. Объединитель излучения представляет собой дихроичное зеркало или многоканальную оптику, например, волноводный объединитель.

Источник изображения представляет собой дисплей (LCOS, DMD) или MEMS сканирующую систему, обеспечивающий отображение информации, а именно вывод текстовой и/или графической информации.

Проекционная оптика представляет собой оптический блок, состоящий из по меньшей мере одной или более из: линз, зеркал, поляризационных пластинок, и обеспечивающая преобразование пространственного изображения в угловое изображение в одном и том же поле зрения (FOV) в волновод 2 (W-waveguide).

Таким образом основной функцией модуля PGU 1 является совмещение, объединение излучения соответствующего каждой зоне видения, пропускание его через проекционную оптику, введение указанного излучения в волновод.

Схема формирования изображения выходного зрачка посредством модуля 3 формирования зон видения в области выходного зрачка и волновода будет описана со ссылкой на фиг.4.

Модуль 3 формирования зон видения выходного зрачка состоит из по меньшей мере двух линзовых растров, обозначенных, как LA1, LA2 на фиг.4. Каждый из указанных растров LА 1 и LА 2 состоит из множества цилиндрических линз или сферических линз. При этом первый микролинзовый растр LА1 выполнен с возможностью преобразования углового распределения виртуального изображения, получаемого из волновода 2 в пространственное изображение и ввода его в пространственную маску, обозначенную, как SM на фиг.4. При этом LА2 выполнен с возможностью преобразования пространственного изображения в угловое. При этом микролинзовые растры LА1 и LА2, вместе обеспечивают сохранение угловых направлений изображений, при одновременной фильтрации излучения по длине волны и/или состоянию поляризации, выполняемой в пространственной маске (SM).

Пространственная маска (SM) согласно варианту изобретения, представляет собой тонкий слой поглощающего материала с пропускающими излучение зонами, посредством которой изображение, поступаемое из модуля PGU, сформированное по меньшей мере двумя источником излучения и размноженное в волноводе 2 фильтруется по длине волны и/или состоянию поляризации излучения. При этом пространственная маска выполнена с возможностью фильтрации изображений по положению видов в плоскости выходного зрачка с учетом длин волн и состояния поляризации излучения, которое испускаются источниками излучения в модуле PGU.

Волновод 2 представлен на фиг.2 и обозначен ссылочной позицией 2W. При этом волновод выполнен с возможностью размножения выходного зрачка и формирования виртуального изображения на бесконечности волновод 2 (W) обеспечивает размножение зрачка с помощью двух одномерных размножений, т.е. сначала по Х, а потом по Y, или с помощью одного двумерного размножения, т.е. одновременно по Х и по Y и выполнен с возможностью ввода, переноса и вывода размноженного изображения выходного зрачка, сформированного модулем PGU 1.

Размноженные изображения при выходе из модуля 3 формирования зон видения в области выходного зрачка поступают в плоскость выходного зрачка устройства дополненной реальности с размножением выходного зрачка с возможностью формирования трехмерного изображения (HUD устройства), где формируется стереоизображение, которое наблюдается водителем транспортного средства или любым другим пользователем. Таким образом модуль 3 формирования зон видения в области выходного зрачка формирует 3D изображение, путем вывода различных изображений в соответствующие зоны видения.

На фиг.5 представлена схема формирования изображения в плоскости выходного зрачка.

Как уже указывалось выше, волновод 2W обеспечивает размножение выходного зрачка и на выходе его получаем смешанные лучи, которые соответствуют смешанным между собой изображениям для правого и левого глаза, сформированным модулем PGU 1. Далее расположены линзовые растры LA1 и LA2, линзовые растры имеют такие фокусные расстояния, чтобы обеспечивать телескопический ход лучей и формировать виртуальное изображение на бесконечности. Таким образом, два линзовых растра LA1+LA2, по сути представляют собой телескопическую систему, обеспечивающую формирование изображение на бесконечности. При этом линзовые растры LA1, LA2 выполнены из совокупности микролинз (цилиндрических или сферических) последовательно расположенных по горизонтали, т.е. в данном случае по оси совпадающей с расположением глаз пользователя транспортного средства. При этом первый линзовый растр LA1 фокусирует излучение в передней фокальной плоскости второго линзового растра LA2. Между LA1 и LA2 расположена пространственная маска SM, которая расположена в плоскости оптически сопряженной с плоскостью выходного зрачка. Линзовый растр LA2 переносит изображение маски SM в плоскость выходного зрачка. При этом маска SM выполнена таким образом, чтобы в области выходного зрачка сформировать зоны видения в области выходного зрачка. В зонах видения изображение отличается по своему составу спектральному или поляризационному.

При этом пространственная маска (SM) согласно изобретению, выполнена с возможностью функционирования в активном или пассивном режиме.

При активном режиме функционирования пространственной маски SM обеспечивается поочередное воспроизведение изображение для каждого глаза в соответствие c временем t.

Для пассивного режима функционирования пространственной маски SM предусматривается формирование одновременно нескольких зон видения в области выходного зрачка для этого авторы изобретения включают в модуль PGU по меньшей мере два источника изображения для формирования соответствующих зон видения. При этом каждый источник изображения формирует изображение с определенной длиной волны, или состоянием поляризации, отличающейся от другого источника изображения в модуле PGU. При этом для каждой зоны видения соответствует свое изображение, отличающееся по длине волны или состоянию поляризации. При движении транспортного средства положение глаз водителя смещается и в глаза попадает соответствующее изображение.

На фиг.6 представлена схема формирования изображения при пассивном режиме функционирования пространственной маски.

Таким образом, при пассивном режиме функционирования маски модуль PGU 1 формирует по меньшей мере 2 вида, отличающихся по своему спектральному составу или по состоянию поляризации, а при активном режиме пространственной маски модуль PGU формирует по меньшей мере 2 вида, разнесенные во времени t.

Таким образом, модуль PGU 1 содержит по меньшей мере один источник излучения и по меньшей мере один источник изображения.

При этом в предпочтительном варианте осуществления, т.е. при пассивном режиме функционирования маски SM, модуль PGU 1 содержит 2 или более источников излучения и один 1 или более источников изображения (на фиг.6 условно представлен один источник излучения и один источник изображения), т.е. в этом случае одному источнику изображения соответствует 2 или более источников излучения. В данном случае источник изображения формирует различные изображения для каждого вида с некоторой частотой, и источники излучения поочередно подсвечивают источник изображения, например, дисплей. В этом случае фильтры на маске SM остаются неизменными во времени.

Таким образом в модуле PGU 1 происходит формирование по меньшей мере двух изображений для правого и левого глаза, отличающихся по длине волны, которые формируют соответствующие виды (V₁, V₂… V_n) для зон видения в области выходного зрачка 4. Излучение из источника изображения проходит через проекционную оптику и попадает в волновод 2 , который состоит из плоской подложки со встроенной в нее элементом ввода, элементом вывода и расширителем, выполненными в виде дифракционных элементов, например дифракционных решеток. При этом волновод выполнен с возможностью размножения зрачка по одной оси Х и по двум осям Х и Y, как уже было описано ранее. Таким образом в волноводе обеспечивается ввод изображения, распространение изображения внутри волновода и вывод изображения, формируемого в модуле PGU 1. Более детально описание волновода будет описано со ссылками на фиг.8а-8с.

Далее изображение попадает в модуль 3 формирования зон видения в области выходного зрачка, который обеспечивает телескопический ход лучей, выходящих из волновода 2 и сохраняет угловое распределение лучей, выходящих из волновода 2. При этом модуль 3 формирования зон видения в области выходного зрачка состоит из стека из двух микролинзовых растров (LA1+LA2) (количество растров 2 представлено в качестве неограничивающего примера реализации изобретения) и используется в комбинации с пространственной маской (SM), находящейся в оптически сопряженной плоскости выходного зрачка HUD устройства относительно второго линзового растра LA2.

Следует отметить, что количество растров в стеке, входящего в состав модуля 3 формирования зон видения области выходного зрачка может быть увеличено и быть более двух растров, что обусловлено требованием увеличением поля зрения оптической системы и необходимостью обеспечения коррекции оптических аберраций.

Пространственная маска SM представляет собой тонкий слой поглощающего материала с встроенными в него чередующимися сегментами дихроичных фильтров, каждый из которых пропускает излучение с заданной длиной волны соответствующей длине волны источника излучения, входящего в конфигурацию модуля PGU, и соответствующей зоне видения. При этом стек линзовых растров выполнен с возможностью сохранения углового направления лучей, а пространственная маска находится в сопряженной плоскости с областью выходного зрачка и фильтрует излучение таким образом, чтобы в области выходного зрачка формировались зоны видения V₁, V₂...V_n. При этом в плоскости расположения лобового стекло автомобиля происходит отражение излучения после модуля 3 формирования зон видения в плоскость выходного зрачка 4. Зоны видения V₁, V₂…V_n в области выходного значка 4 различаются по составу излучения соответствующего дихроичным фильтрам пропускания в пространственной маске. При этом каждая зона видения обеспечивает обзор одного изображения, генерируемого модулем 1 формирования многовидового изображения (модулем PGU).

Модуль 1 формирования многовидового изображения (модуль PGU 1) содержит по меньшей мере один источник изображения. При этом количество источников изображения может включать 1, 2… n источников изображения. Каждый источник изображения содержит свое изображение для каждого вида из V₁…V_n и работает на определенной длине волны λ_1, λ_2, λ_3… λ_n, которые соответствуют свое зоне видения в области выходного зрачка 4.

Многовидовое изображение формируется в модуле PGU 1 посредством объединения изображений от различных источников изображения, например 1, 2…n, каждый, работающий на определенной длине волны λ_1, λ_2, λ_3… λ_n. При этом каждый источник изображения снабжен соответствующим сканирующим зеркалом M₁, M₂ и M_n.

При этом спектр отражения зеркала M1 соответствует спектру излучения источника излучения λ_1, и отражает свет только с длиной волны λ₁ (см. фиг.7а) который соответствует зоне видения V₁ в области выходного зрачка, а спектр отражения зеркала M_n соответствует спектру излучения источника излучения с длиной волны λ_n (см. фиг.7а)_, и отражает свет только с длиной волны λ _n, который соответствует зоне видения V_n. На графике, представленном на фиг.7b, иллюстрируется зависимость коэффициента отражения зеркала M1 в зависимости от длины волны λ₁ излучения, испускаемого источником излучения 1.

Пространственная маска(SM), как уже указывалось, выполнена с возможностью пропускания излучения в соответствии с количеством n видов. Пространственная маска SM согласно варианту изобретения, представляет собой тонкий слой поглощающего материала с встроенными в него чередующимися сегментами дихроичных фильтров, каждый из которых пропускает излучение с заданной длиной волны соответствующей длине волны источника излучения, входящего в конфигурацию модуля PGU, и соответствующей зоне видения. Все виды формируются в одном и том же поле зрения, но затем разделяются по спектральному составу в пространстве и формируют зоны видения в области выходного зрачка.

Модуль PGU 1 выполнен с возможностью функционирования в нескольких режимах, которые будут описаны далее.

1) В предпочтительно варианте осуществления изобретения модуль PGU 1 выполнен с возможностью формирования многовидового изображения, посредством комбинирования n изображений с одним полем зрения (FoV), но отличающихся по длине волны, например λ_1, λ_2, λ_3… λ_n, и при этом используется пространственная маска SM, в которой осуществляется фильтрация излучения по соответствующим длинам волн для формирования одновременно зон видения в области выходного зрачка, при этом изображения в зонах видения отличаются по длинам волн

2) Модуль PGU 1 обеспечивает формирование стереоизображения, посредством формирования только двух изображений в двух зонах видения, посредством двух источников изображения, но для того, чтобы при движении глаз, обеспечивалась наблюдение изображений левым и правым глазом, осуществляется смещение пространственной маски SM по горизонтальной оси, т.е. по оси X, за счет чего обеспечивается поочередный вывод изображения с одним спектральным составом или состоянием поляризации для правого и левого глаза.

3) Модуль PGU 1 выполнен с возможностью формирования многовидового изображения, посредством комбинирования n изображений с одним полем зрения (FoV), но отличающихся по состоянию поляризации, например, линейной P поляризации или S поляризации, а также правосторонней циркулярной поляризации (RHCP) или левосторонней циркулярной поляризации(LHCP).

4) Модуль PGU 1 обеспечивает формирование стереоизображения посредством формирования одного изображения посредством одного источника изображения с одним спектральным составом или состоянием поляризации и обеспечения регулировки функционирования пространственной маски таким образом, чтобы обеспечивать поочередное воспроизведение изображение для правого и левого глаза (активный режим функционирования пространственной маски SM).

Далее со ссылками на фиг. 8а-8с будет описан волновод 2 согласно изобретению.

Волновод представляет собой тонкую плоскую подложку со встроенной в нее элементом ввода, элементом вывода и расширителем, в виде дифракционных элементов, например, дифракционных решеток, голографических оптических элементов, полупрозрачных зеркал. При этом волновод выполнен с возможностью размножения зрачка по одной оси, например, оси Х, а потом по другой оси Y (см. фиг.7а) и по одновременно двум осям Х и Y, (см. фиг.7b), как уже было описано ранее. При этом со ссылкой на фиг.8а элемент ввода выполнен с возможностью введения излучения в волновод с заданным углом излучения, расширитель или размножитель выполнен с возможностью размножения введенного излучения внутри волновода по одной оси, например X и перенаправления излучения в область элемента вывода, а элемент вывода выполнен с возможностью размножения излучения по другой оси, например Y и осуществляется вывод излучения из волновода. Согласно фиг.8b представлена схема волновода, в котором размножение зрачка выполняется не поочередно по осям, а одновременно по двум осям. В данном случае элемент ввода выполнен с возможностью введения излучения в волновод с заданным углом излучения. Расширитель и элемент вывода объединены в один дифракционный элемент, который одновременно размножает излучение по двум осям Xи Y и выводит из волновода излучение c заданным углом излучения.

При этом в изобретении для формирования 3-ех цветного изображения могут использоваться:

a) комбинация из 3-ех волноводов, каждый для своего цвета, например R, G, B;

b) комбинация из 2-ух волноводов, с комбинированием цветов, например один волновод для B+G цветов и один для R цвета, или один для G+R цветов и один для B цвета;

c) 1 волновод с комбинированием цветов, например R+G+B;

d) волновод выполнен в виде комбинации различных волноводов, каждый из которых предназначен для переноса одной угловой части общего изображения для одного из цветов R, G, B и/или комбинации цветов.

Элементы ввода и вывода - дифракционные голографические или полупрозрачные зеркала

С помощью волновода, см.фиг.8с изображения проходят в одном и том же поле зрения FoV: α_1…α_m, где α_1…α_m - разброс углов направления излучения, и выводятся с формированием виртуального изображения на бесконечном расстоянии от пользователя в область выходного зрачка.

На фиг.9а схематично представлен график, показывающий зависимость коэффициента пропускания фильтра пространственной маски в зависимости от длины волны и схематично представлены соответствующие сегменты маски.

Количество фильтров (F₁,F₂…F_n) в каждом сегменте маски соответствует количеству зон V₁, V₂…V_n в области выходного зрачка. При этом на графике под маской иллюстрируются кривые, соответствующие каждому сегменту маски, т.е. фильтру (F₁,F₂…F_n) с пропускающей способностью соответствующей длине волны λ₁, λ_2…λ_n. Таким образом, каждому дихроичному фильтру (F₁,F₂…F_n) пространственной маски соответствует источник изображения и соответствующая зона видения. При этом коэффициенты отражения зеркал M₁,M₂…. M_n (см. фиг.7а) для соответствующих длин волн λ₁, λ_2…λ_n равны коэффициентам пропускания фильтров F₁,F₂…F_n для соответствующих длин волн λ₁, λ_2…λ_n.

При этом изображения видов V₁, V₂…. V_n отличаются друг от друга или например, если произвольно рассмотреть количество видов равное 6, тогда изображения видов V₁, V₂, V₃ комбинируются для глаза 1, а изображения видов V₄, V₅, V₆ комбинируются для глаза 2. И при перемещении транспортного средства, в каждом положении глаз водителя мы видим каждым глазом свое изображение.

На фиг.9b представлена схема формирования видов в области выходного зрачка при работе пространственной маски в пассивном режиме. При этом при движении транспортного средства водитель будет наблюдать различные изображения одного и того же объекта отображающих виды 1…n этого объекта с разных позиций наблюдения этого объекта, т.е. стерео изображения или псевдо 3D изображения. При этом каждый сегмент с фильтром пространственной маски SM характеризуется соответствующей пропускающей способностью F излучения, настроенной на соответствующую длину волны λ, на которой работает соответствующий источник изображения (фиг.9а).

При этом продольный размер сегментов фильтров в пространственной маске определяется, как:

W’_EB = M x W_EB (1)

где

W’_EB - представляет собой продольный размер в (мм) сегмента фильтров пространственной маски(SM),

W_EB - представляет собой продольный размер в(мм) выходного зрачка HUD устройства,

M - представляет собой увеличение второго линзового растра.

Увеличение М второго линзового растра определяется, как

M=-α'_EB/α_EB (2)

где

α'_EB - представляет собой расстояние в (мм) от пространственной маски(SM) до линзового растра LA2,

α_EB - представляет собой расстояние в (мм) от линзового растра LA2 до выходного зрачка HUD устройства.

При этом расстояние от пространственной маски(SM) до второго линзового растра LA2 определяется, как:

и

где

α'_EB - представляет собой расстояние в (мм) от пространственной маски до второго линзового растра,

α_EB - представляет собой расстояние в (мм) от второго линзового растра до выходного зрачка HUD,

f_LA2 - представляет собой фокусное расстояние в (мм) единичной линзы второго линзового растра LA2.

Стек линзовых растров выполнен таким образом, что фокусные расстояния и положения линз в линзовых растрах LA1, LA2 подобраны таким образом, что формируется телескопический ход лучей, т.е. параллельные пучки лучей на входе и выходе из линзового растра и при этом обеспечивается формирование виртуального изображения на бесконечности. При этом совокупность линз в линзовом растре выбирается либо в виде лентикулярных линз, например цилиндрических линз либо набора сферических линз. Количество линз в линзовом растре может составлять от 1 до n линз. При этом количество линз в первом линзовом растре LA1 должно совпадать с количеством линз во втором линзовом растре LA2. Согласно одному варианту реализации цилиндрические линзы в линзовых растрах LA1 и LA2 располагаются по горизонтальной оси, совпадающей по оси с расположением глаз пользователя транспортного средства (см. фиг. 10а), на которой представлен модуль 3 формирования зон видения выходного зрачка, состоящий из двух линзовых растров, LA1, LA2 и пространственной маски SM. В данном случае обеспечивается формирование зон видения V1…Vn, распределенное только по одной оси. При такой конфигурации цилиндрических линз в растрах обеспечивается формирования зон видения только по одной оси. На фиг.10b схема модуля 3 формирования зон видения выходного зрачка, состоящая из двух линзовых растров, LA1, LA2 и пространственной маски SM. В данном варианте сферические линзы в линзовых растрах LA1, LA2 обеспечивают формирование зон видения V₁…V_n по двум осям.

Со ссылкой на фиг.11а и 11b будут представлены схемы прохождения лучей при прохождении через стек микролинзовых растров LA1 и LA2. Н фиг.11a и 11b условно показаны единичная линза первого растра LA1 и единичная линза второго растра LA2.

Как уже указывалось ранее, линзовые растры LA1, LA2 подобраны таким образом, что обеспечивается телескопический ход лучей на входе и выходе оптической системы, при этом угловое увеличение, обеспечиваемое стеком линзовых растров M_LA=f_LA1/f_LA2,

где

f_LA1 - фокусное расстояние в (мм) единичной линзы в первом линзовом растре LA1;

f_LA2 - фокусное расстояние в (мм) единичной линзы во втором линзовом растре LA2.

В предпочтительном варианте реализации изобретения, согласно фиг. 11а, выполняются следующие условия:

1) f_LA1=f_LA2

фокусные расстояния f линз, входящих в линзовые растры LA1 и LA2, равны,

2) FoV₁=FoV₂

поле зрения FoV₁ на входе стека линзовых растров равно полю зрения FoV₂ на выходе.

3) M_LA=1- угловое увеличение стека линзовых растров M_LA=1,

4)D_LA2eff˃D_LA2,

где

D_LA2eff - эффективный диаметр в (мм) единичной линзы из второго линзового растра LA2, т.е. апертура через которую излучение проходит без энергетических потерь,

D_LA2 - действительный диаметр (в мм) единичной линзы из второго линзового растра LA2.

И таким образом эффективный диаметр линз из второго линзового растра LA2 больше чем действительный диаметр линз из второго линзового растра LA2, что вызывает потери полезного излучения (см. фиг.11а).

Согласно другому варианту осуществления, как представлено на фиг. 11b, выполняются следующие условия:

В предпочтительном варианте реализации изобретения, согласно фиг. 11b, выполняются следующие условия:

1) f_LA1 ˃ f_LA2

Т.е. фокусное расстояние f единичной линзы в первом и втором линзовых растрах LA1 и LA2, отличаются друг от друга,

2) FoV₁ ˂ FoV₂

поле зрения FoV₁ на входе стека линзовых растров меньше поля зрения FoV₂ на выходе.

3) M_LA˃1- угловое увеличение стека линзовых растров больше 1

4) D_LA2eff˂D_LA2,

где

D_LA2eff - эффективный диаметр (апертура)(мм) единичной линзы из второго линзового растра LA2,

D_LA2 - действительный диаметр (мм) единичной линзы из второго линзового растра LA2.

И таким образом эффективный диаметр линз из второго линзового растра LA2 меньше чем действительный диаметр линз из второго линзового растра LA2, в этом случае отсутствуют энергетические потери в схеме (см. фиг.11b).

Таким образом, эффективность HUD устройства может быть улучшена таким образом, что

1) поле зрение F₀V, в котором происходит вывод излучения из волновода 2, выбирается таким образом, чтобы оно было меньше конечного поля зрения, формируемого на выходе линзовых растров LA1, LA2;

2) подбор апертуры(D_LA2eff) второго линзового растра LA2, выполняется таким образом, чтобы исключить возникновение полос на виртуальном изображении, для этого в плоскости пространственной маски SM возможно включение диффузора.

На фиг.12а и 12b представлены схемы прохождения излучения в модуле формирования зон видения выходного зрачка и волновода.

На фиг.12а представлены схемы прохождения излучения в модуле формирования зон видения выходного зрачка и волновода. Модуль формирования зон видения выходного зрачка, состоит из по меньшей мере двух линзовых растров, обозначенных, как LA1, LA2 (количество растров 2 представлено в качестве неограничивающего примера реализации изобретения). Каждый из указанных растров LА1 и LА2 состоит из множества цилиндрических линз или сферических линз. При этом f_LA1-фокусное расстояние в (мм) линзы в первом линзовом растре LA1; f_LA2-фокусное расстояние в (мм) единичной линзы во втором линзовом растре LA2. При этом первый микролинзовый растр LА1 выполнен с возможностью преобразования углового распределения виртуального изображения, получаемого из волновода (где на фиг.12а, t_w-толщина в (мм) волновода и n_w-показатель преломления волновода) в пространственное изображение и ввода его в пространственную маску, обозначенную, как SM. При этом LА2 выполнен с возможностью преобразования пространственного изображения в угловое. При этом микролинзовые растры LА1 и LА2, вместе обеспечивают сохранение угловых направлений изображений, при одновременной фильтрацию излучения по длине волны и/или состоянию поляризации, выполняемой в пространственной маске (SM). При этом следует отметить, что линзовый растр LA1 выполнен с возможностью встраивания его в элемент вывода волновода, и с возможностью обеспечения вывода излучения и фокусирования излучения на пространственной маске SM. Такая конфигурация обуславливает снижение размеров заявленного устройства при сохранении качества формируемого 3D изображения.

На фиг.12b представлен модуль формирования зон видения выходного зрачка, состоящий из двух линзовых растров, обозначенных, как LA1, LA2, пространственной маски SМ, и представлен волновод W. Первый линзовый растр LА1 представляет собой зеркальный растр, состоящий из множества зеркал. Второй линзовый растр LА 2 состоит из множества цилиндрических линз или сферических линз. При этом f_LA2-фокусное расстояние (мм) единичной линзы во втором линзовом растре LA2; f_LA1-фокусное расстояние (мм) единичного зеркала в первом линзовом растре LA1. При этом первый микролинзовый растр LА1 расположен под волноводом и излучение из волновода распространяется «вниз» в LA1, который выполнен с возможностью преобразования углового распределения виртуального изображения, получаемого из волновода в пространственное изображение и ввода его в пространственную маску, обозначенную, как SM. При этом LА2 выполнен с возможностью преобразования пространственного изображения в угловое. Как уже указывалось ранее

При этом толщина волновода t_w в (мм) равна фокусному расстоянию f_LA1 единичного зеркала первого линзового растра. И если выполняется условие f_LA1=t_w/n_w, где f_LA1 представляет собой фокусное расстояние в(мм) единичной линзы первого линзового растра LA1, t_w-толщина волновода в (мм) и n_w-показатель преломления волновода, то толщина HUD устройства может значительно уменьшена, в данном случае на величину фокусного расстояния первого линзового растра LA1. Как уже описывалось ранее одним из режимов работы HUD устройства является формирование стереоизображения, посредством формирования только двух изображений в двух зонах видения, с помощью двух источников изображения, но для того, чтобы при движении глаз, обеспечивалась наблюдение изображений левым и правым глазом, осуществляется смещение пространственной маски SM по горизонтальной оси, т.е. по оси X, за счет чего обеспечивается поочередный вывод изображения с одним спектральным составом или состоянием поляризации для правого и левого глаза.

Более детально остановимся на особенностях данного режима работы HUD устройства со ссылкой на фиг. 13а и 13b, где представлены схемы формирования двух изображений в двух зонах видения E1 и E2.

На фиг.13а представлена схема формирования двух зон видения без смещения глаз водителя транспортного средства, где α'_EB представляет собой расстояние (мм) от пространственной маски до второго линзового растра,

α_EB представляет собой расстояние (мм) от второго линзового растра до выходного зрачка HUD, и f_LA2 представляет собой фокусное расстояние(мм)единичной линзы второго линзового растра LA2.

Таким образом, увеличение M второго линзового растра определяется, как

M=-α'_EB/α_EB

На фиг.13b схема формирования двух зон видения при смещении глаз водителя транспортного средства, на пример на величину Δx в (мм), отслеживая смещение глаз водителя, например посредством детектора, сигнал от детектора поступает в блок управления, который в режиме реального времени рассчитывает необходимую величину смещения пространственной маски по оси X, как Δx_SM=M*Δx,

где M - увеличение второго линзового растра LA2,

Δx - смещение(мм) глаз водителя от опорного положения.

При этом для регулирования ширины(профиля) зон видения E1, E2 предусмотрена возможность регулирования положения пространственной маски и по оси Z.

И по сигналу от блока управления выполняется смещение маски SM посредством приводного устройства.

На фиг.14а представлена блок схема модуля формирования многовидового изображения (модуль PGU), в котором предусмотрен один источник излучения, испускающий излучение как на одной длине волны, так и на отличающихся длинах волн. При этом испускание излучения осуществляется по сигналу от блока управления (не показан) в зависимости от выбранного режима работы HUD. И указанное излучение испускается на разных длинах волн одновременно или попеременно. Далее излучение проходит через проекционную оптику на светоразделительный куб, в данном случае поляризационный разделитель пучка (PBS), где излучение перенаправляется на источники изображения в виде Дисплея 1 и Дисплея 2 с возможностью формирования изображения двух видов или картин изображения, т.е. видов V₁, V₂, при этом указанные виды имеют одинаковую величину поля зрения (FOV), но обладают отличительными характеристиками, например отличаются по длине волны излучения или состоянию поляризации.

На фиг.14а представлен вариант, на котором представлены две четвертьволновые поляризационные пластины QWP, расположенные перед отражающими дисплеями 1 и 2, соответственно, для обеспечения изображения, формируемого в источниках изображения с заданным состоянием поляризации, т.е. с линейной P поляризацией или S поляризацией.

При этом Дисплей 1 и Дисплей 2 формируют изображения для правого и левого глаза, отличающиеся по состоянию поляризации, как показано на фиг. 14а или по длине волны. Полученные два изображения, одно с P-поляризацией, а другое с S-поляризацией, посредством проекционной оптики преобразуются из пространственных изображений в угловые изображения в одном и том же поле зрения (FOV)и через элемент ввода поступают в волновод W. Если в качестве источников изображения 1 и 2 используются LCoS дисплеи (LCoS-жидкие кристаллы на кремниевой основе) необходимо в качестве поляризатора использовать 2 поляризационных элемента, а именно четвертьволновую пластину(QWP) и полуволновую пластину (HWP). При этом QWP представляет собой четвертьволновую пластину, которая преобразует линейно-поляризованное излучение в циркулярное, HWP поворачивает состояние поляризации на 90 градусов.

На фиг.14b представлена блок схема модуля формирования многовидового изображения (модуль PGU), в котором предусмотрен два или более источников излучения, например, лазерные светодиоды, испускающие излучение на одной длине волны, например, источник излучения 1 и источник излучения 2, которые испускают излучения одного цвета или многоцветное излучение. Источники излучения также могут представлять собой лампы, светодиоды(LED) или лазерные диоды (LD). При этом испускание излучения осуществляется по сигналу от блока управления (не показан) в зависимости от выбранного режима работы HUD. Излучение поступает на сканирующее зеркало 1 и сканирующее зеркало 2, функционирует поочередно, по сигналу от блока управления, при этом зеркала 1, 2 выполнены с возможностью вращения по двум осям Х и Y и обеспечивают формирование 2D изображения для правого и левого глаза, соответственно. Таким образом, сканирующие зеркала представляют собой источники изображения. При этом источник излучения и сканирующее зеркало образуют проектор, например, лазерный проектор (LBS проектор).

На фиг.14b под поляризатором понимается поляризационный элемент, способный пропускать излучение только с одной компонентой поляризации (линейную S, линейную P, правоциркулярную или левоциркулярную).

QWP представляет собой четвертьволновую пластину, которая преобразует линейно-поляризованное излучение в циркулярное.

Таким образом, источник изображения 1 в виде сканирующего зеркала 1 с источником излучения 1, образуют проектор 1, который формирует изображение для правого глаза, при этом изображение проходит через поляризатор, где линейно поляризуется, потом проходит через четвертьволновую пластину(QWP), где линейно-поляризованное изображение преобразуется в изображение с циркулярной поляризацией, например, с правосторонней циркулярной поляризаций (RHCP)и попадает в поляризационный разделитель пучка PBS. Источник изображения 2 в виде зеркала 2 с источником излучения 2 образуют проектор 2, который формирует изображение, например, для левого глаза, которое проходит через поляризатор и четвертьволновую пластину (QWP) и преобразуется в изображение, например, с левосторонней циркулярной поляризаций (LHCP)и далее попадает в поляризационный разделитель пучка (PBS). В PBS изображения с RHCP и LHCP поляризацией комбинируются и пройдя через проекционную оптику, где полученные два изображения, одно с RHCP-поляризацией, а другое с LHCP-поляризацией, преобразуются из пространственных изображений в угловые изображения в одном и том же поле зрения (FOV) и через элемент ввода поступают в волновод (W).

Источники изображения представляют собой одно из: самоизлучающий дисплей с использованием микроскопических светодиодов в качестве подсветки (uLED), жидкокристаллический дисплей (LCD), жидкокристаллический дисплей отражательного типа (LCOS), цифровое микрозеркальное устройство для вывода изображения (DMD), устройство формирования изображения посредством сканирующих зеркал (LBS).

На фиг.15а представлена схема формирования двух зон видения при активном режиме работы пространственной маски,

Фиг.15b представлена схема формирования двух зон видения при активном режиме работы пространственной маски, при смещении положения глаз водителя транспортного средства.

При активном режиме функционирования пространственной маски SM обеспечивается поочередное воспроизведение изображение для каждого глаза. Для работы в активном режиме необходимо обеспечить синхронизацию работы источника изображения, например, дисплея и пространственной маски SМ. В данном режиме работы достаточно одного источника изображения и одной проекционной оптики.

При активном режиме работы модуль PGU 1 (не показан) обеспечивает формирование стереоизображения посредством формирования двух изображений посредством одного источника изображения с одним спектральным составом или одним состоянием поляризации. При этом работа маски регулируется таким образом, чтобы обеспечивать поочередное воспроизведение изображение для правого и левого глаза (Вид E1 и Вид E2) в области выходного зрачка. Таким образом, маска SM настроена на 2 режима работы, это вывод изображения в область левой зоны видения (Вид E1) и в область правой зоны видения (Вид E2) При этом частота смены картинки маски SM, т.е. частоты работы маски должна быть равна или быть близкой по значению с частотой смены кадров в дисплее модуля PGU при формировании изображения.

Маска в данном случае представляет собой пространственный модулятор излучения, например, прозрачный ЖК-дисплей, на который выводится изображение маски, которое состоит из черно-белых полос.

В том месте где полоса белая - маска пропускает излучение, где черная полоса- блокирует прохождение излучения. В данном случае маска работает как фильтр. При этом изображение маски (толщина и порядок полос) подбирается таким образом, чтобы в выходном зрачке устройства HUD была засвечена область только для одного глаза (правого или левого) - т.е. сформирована одна зона видения.

Таким образом на маске генерируется две картинки маски - для засветки правого и левого глаза. Эти маски меняются поочередно. Таким образом, поочередно засвечиваются то одна зона видения - то другая с определенной частотой. Одновременно модулем PGU генерируется поочередно изображения для правого и левого глаз - с такой же частотой что и работает маска. Таким образом водитель транспортного средства левым и правом глазом видит разные изображения. При движении глаз водителя транспортного средства выполняется вывод изображения пропускающего фильтра на пространственной маске с течением времени t. На схеме на фиг.15а под t2 понимается время вывода фильтра в пространственной маске, формирующего зону видения для правого глаза (Вид E2). При этом на фиг.15а, представлен вид, когда Вид E1-не активен, т.е. нет изображения, а Вид E2-активен, т.е. есть изображение.

При этом для работы маски рассчитывается статический шаг(Ps), т.е. пространственный шаг маски, определяющий положение зон видения от каждой линзы во втором линзовом растре LA2 и их корректное наложение. Таким образом, статический шаг маски Ps (мм) рассчитывается следующим образом.

Ps=M*P_LA2

где

Ps - статический шаг (мм)

P_LA2 - период линзового растра LA2 (мм).

M - увеличение M второго линзового растра LA2, которое определяется, как

M=-α'_EB/α_EB

где

где α'_EB представляет собой расстояние (мм) от пространственной маски до второго линзового растра,

α_EB представляет собой расстояние (мм) от второго линзового растра до выходного зрачка HUD устройства, и

f_LA2 представляет собой фокусное расстояние (мм) единичной линзы второго линзового растра LA2.

Следует отметить, что Ps, представляющий собой характеристику маски, должен быть согласована с периодом линзового растра LA2. На фиг.15b представлена схема формирования двух зон видения при активном режиме работы пространственной маски, при смещении положения глаз водителя транспортного средства на Δx (мм) в момент времени t4, которое указывает время вывода фильтра в пространственной маске, формирующего зону видения для правого глаза (Вид E2).

Описание активного режима функционирования пространственной маски SM и ее реализации опущено при описании фиг.15b, поскольку детально раскрыто при описании фиг.15а.

Согласно фиг.15b при изменении положения глаз водителя транспортного средства сигнал, характеризующий смещение глаз на величину Δx (мм), поступает в детектор, и блок управления посылает сигнал на маску SM о том, что изображение должно сместиться на несколько пикселей, в данном случае на величину Pd, представляющий собой динамический шаг, характеризующий пространственный шаг сдвига маски (пиксель). Как уже указывалось ранее по сигналу от синхронизатора обеспечивается синхронизация частоты работы маски, которая должна быть равна частоте смены кадров в источнике изображения модуля PGU при формировании изображения

При этом динамический шаг Pd (мм) определяется, как

Pd=M*Δx

M - увеличение второго линзового растра LA2,

Δx - смещение (мм) глаз водителя от опорного положения(мм).

Таким образом, активный режим функционирования пространственной маски и модуля PGU детально описан при описании фигур 15а и 15b, а на фиг. 16а (слайд 18, правый угол) представлена примерная блок-схема модуля формирования многовидового изображения (модуль PGU), в которой предусмотрен один источник излучения, испускающий излучение с одним спектральным составом или одним состоянием поляризации. Далее излучение проходит через проекционную оптику на светоразделительный куб, в данном случае поляризационный разделитель пучка (PBS), где излучение перенаправляется на источник изображения в виде Дисплея 1 с возможностью поочередного формирования двух изображений, для левого и правого глаза. Далее, посредством проекционной оптики полученные изображения преобразуются из пространственных изображений в угловые изображения в одном и том же поле зрения (FOV)и через элемент ввода поступают в волновод (W).

Указанная конфигурация достаточна дешевая и несложная в реализации. Однако, основной сложностью при работе в активном режиме является обеспечение синхронизации работы пространственной маски SM и источника изображения.

Источники изображения представляют собой одно из: самоизлучающий дисплей с использованием микроскопических светодиодов в качестве подсветки (uLED), жидкокристаллический дисплей (LCD), жидкокристаллический дисплей отражательного типа (LCOS), цифровое микрозеркальное устройство для вывода изображения (DMD), устройство формирования изображения посредством сканирующих зеркал (LBS).

На фиг.16b представлена примерная блок-схема модуля формирования многовидового изображения с модулем изображения на основе LBS при активном режиме работы.

В данном случае используется технология формирования изображения посредством сканирующих зеркал (LBS). При этом источник излучения в виде R, G, B лазеров испускают излучение на соответствующих длинах волн, которое поочередно направляется на сканирующее зеркало. При этом сканирующее зеркало выполнено с возможностью вращения по двум осям Х и Y и обеспечивают формирование 2D изображения для правого и левого глаза, соответственно. Таким образом, сканирующее зеркало представляют собой источник изображения. При этом источник излучения и сканирующее зеркало образуют проектор, например, лазерный проектор(LBS проектор). При этом для глаза 1 проектором формируется изображение в соответствующее время: t₁, t₃, t₅…t_2k-1, а для глаза 2 проектором формируется изображение в соответствующее время: t₂,t₄,t₆…t_2k.

Далее, посредством проекционной оптики полученные изображения преобразуются из пространственных изображений в угловые изображения в одном и том же поле зрения (FOV)и через элемент ввода поступают в волновод W.

Как уже указывалось ранее основным требованием работы модуля PGU в активном режиме, является обеспечение синхронизации частоты работы (смена кадров) маски SM, которая должна быть равна частоте смены кадров в источнике изображения, в данном случае проекторе модуля PGU при формировании изображения. Указанное требование обеспечивается введением в схему синхронизатора, который регулирует работу маски и источника изображения по сигналу от блока управления (см. фиг.15b).

На фиг.16с представлена схема пространственной маски, функционирующая в активном режиме. Указанная маска представляет собой пространственный модулятор излучения, например, ЖК панель, на которую выводится изображение маски, которая осуществляет пропускание или блокировку излучения и может состоять из черно-белых полос.

В том месте где полоса белая-единичный фильтр Е2 маски (на фиг.16с обозначено Маска Е2) пропускает излучение, где черная полоса-единичный фильтр Е1 маски (на фиг. 16с обозначено Маска E1)- блокирует прохождение излучения. В данном случае маска с единичными фильтрами Е1 и Е2 работает как фильтр.

При этом для единичного фильтра Е2 маски-состояние пропускания соответствует времени: t₂,t₄,t₆…t_2k; а состояние поглощения (блокирование излучения) соответствует времени: t₁, t₃, t₅…t_2k-1.

Для единичного фильтра Е1 маски-состояние пропускания соответствует времени: t₁, t₃, t₅…t_2k-1 , а состояние поглощения (блокирование излучения) соответствует времени: t₂,t₄,t₆…t_2k.

При этом ширина полосы пропускания в маске для формирования одного вида, т.е. размер единичного фильтра маски lm (мм)определяется как:

lm=n*P;

где n - число пикселей для каждого вида в единичной полосе пропускания;

P - шаг пикселя (мм), полученный на основании параметров Ps и Pd маски, описанные со ссылкой на фиг. 15а и 15b. При этом изображение маски (толщина и порядок полос) подбирается таким образом, чтобы в выходном зрачке устройства HUD была засвечена область только для одного глаза (правого или левого) - т.е. сформирована одна зона видения.

Таким образом, на маске генерируется две картинки маски - для засветки правого и левого глаза. Эти маски меняются поочередно. Таким образом, поочередно засвечиваются то одна зона видения - то другая с определенной частотой. Одновременно модулем PGU генерируется поочередно картинки для правого и левого глаз - с такой же частотой что и работает маска.

Эффекты изобретения

Устройство дополненной реальности с размножением выходного зрачка и с возможностью формирования трехмерного изображения (HUD устройство) обеспечивает следующие эффекты:

1) Модуль формирование многовидового изображения (модуль PGU), обеспечивает формирование многовидового изображения состоящего из нескольких изображений, сформированных из множества видов разных ракурсов.

2) Волновод обеспечивает компактность HUD устройства, менее 5л; и обеспечивает размножение зрачка, формирую широкий выходной зрачок.

3) Модуль формирования зон видения в области выходного зрачка обеспечивает перенос изображения пространственной маски в виде фильтра в плоскость выходного зрачка, при этом формируя зоны видения, и обеспечивая наблюдение трехмерного изображения (отображение автостереоскопического изображения).

Эффекты заявленного HUD наглядно были продемонстрированы авторами при моделировании различных конфигураций средств формирования изображений.

На фиг.17а представлена схема широко используемой стандартной системы формирования изображения на основе волновода с одним дисплеем с одной длиной волны излучения. В данном случае, сформированное изображение проходит через проекционную оптику попадает волновод и на выходе формируется в области выходного зрачка. В данном случае оба глаза (левый и правый) видят одну и ту же картинку.

На фиг.17b представлена схема широко используемой стандартной системы формирования изображения на основе двух дисплеев с разными длинами волн, где сформированные 2 изображения проходят проекционную оптику попадают в волновод и после вывода из волновода изображения попадают в область выходного зрачка изображения, где накладываются друг на друга. В данном случае оба глаза видят одну и ту же картинку из наложенных друг на друга изображений.

На фиг.17с представлена схема устройства дополненной реальности с размножением выходного зрачка в соответствии с настоящим изобретением согласно которой, для каждого глаза формируется свое изображение, для этого предусмотрен модуль формирования многовидового изображения, включающий два дисплея (как не ограничивающий пример реализации), работающие на разных длинах волн, волновод обеспечивающий размножение зрачка, и модуль формирования зон видения в области выходного зрачка, состоящий из по меньшей мере двух линзовых растров LA1, LA2(количество растров 2 представлено в качестве неограничивающего примера реализации изобретения) и пространственной маски, который обеспечивает перенос изображения пространственной маски в виде фильтра в плоскость выходного зрачка, при этом для каждого глаза формируется свое изображение, и в результате, если изображения для правого и левого глаза представляют собой стереопару обеспечивается наблюдение трехмерного изображения.

На фиг.18а представлена схема устройства дополненной реальности с размножением выходного зрачка (HUD устройство) согласно изобретению, обеспечивающая формирование изображений «А» и «В» посредством двух дисплеев.

В данном примере моделируется случай переноса изображения, когда дисплеи 1 и 2 работают на близких длинах волн: λ=519нм, λ=520нм, соответственно. При этом пространственная маска содержит дихроичные узкополосные фильтры, обеспечивающие пропускание изображения, в данном случае с λ=519нм и λ=520нм. Для каждой позиции правого глаза и левого глаза водитель или наблюдатель может видеть различные картинки «А» и «В» зеленого цвета. Если изображения для правого и левого глаза представляют собой стереопару, формируется 3D изображение.

На фиг.18b представлена схема формирования лучей в конфигурации HUD устройства согласно фиг.18а, где проиллюстрировано распространение лучей, характеризующих изображение в области выходного зрачка для левого и правого глаза для λ=519нм и λ=520нм.

А внизу представлены изображения, сформированные на сетчатке правого («А») и левого глаза («В») в области выходного зрачка, которые практически не отличаются по цвету, разница по цвету составляет около 1нм, но глаз это разницу не различат.

Преимущества использования заявленного HUD устройства

Заявленное устройство дополненной реальности с размножением выходного зрачка и с возможностью формирования трехмерного изображения (HUD устройство) является компактным решением с объемом менее 5 литров, что позволяет его интегрировать в приборные панели любых транспортных средств.

При этом обеспечивается высокая концентрация и безопасность водителя транспортного средства, которая достигается посредством формирования стереоизображения и виртуального изображения на бесконечности, т.е. формирования стереоизображения согласованного с реальной обстановкой на дороге, что позволяют водителю сосредоточиться на дороге или окружающей среде, одновременно получая информацию о скорости, состоянии двигателя, телефонных звонках и, возможно, другую внешнюю информацию, которая в противном случае отвлекала бы внимание водителя, за счет использования других внешних устройств.

Ключевым решением заявленного изобретения, которое обеспечивает все указанные преимущества и эффекты, является использование в заявленном устройстве волновода в комбинации с модулем формирования зон видения в области выходного зрачка, состоящего из линзовых растров и соответствующей пространственной маски, что обеспечивает формирование стереоизображения в области выходного зрачка. Такая конфигурация позволяет уменьшить объем устройства в несколько раз, по сравнению с подобными решениями автостереоскопических дисплеев известных из уровня техники.

Заявленное устройство является достаточно бюджетным при массовом производстве и удобным для интеграции в любой тип автомобилей.

Заявленное устройство также возможно использовать в любых компактных переносных устройствах типа планшетов или ноутбуков, а также в системах телеконференций.

На фиг.19а представлена схема компактного устройства на основании HUD устройства согласно изобретению с использованием складываемого объединителя луча.

На фиг.19b представлена схема компактного устройства на основании HUD устройства согласно изобретению, с использованием объединителя излучения с функцией перенаправления луча.

Принцип работы указанных устройств полностью совпадает с работой HUD устройства, раскрытого в настоящем описании, которой содержит модуль PGU, модуль формирования многовидового изображения в области выходного зрачка, объединитель излучения и волновод. При этом объединитель излучения представляет собой стеклянную пластину с соответствующим покрытием, обеспечивающим отражение или перенаправления изображения в область выходного зрачка. Для этого, на пластину нанесено отражающее покрытие, дихроичное покрытие, см. фиг.19а или дифракционные структуры, призматические структуры (фиг.19b). При этом угол отражения луча в область выходного зрачка может непосредственно задаваться объединителем излучения, или угол направления луча может задаваться проекционной оптикой при выходе из модуля PGU и далее посредством объединителя излучения перенаправляться в область выходного зрачка.

На фиг.20 представлена схема очков дополненной реальности на основании HUD устройства.

Заявленное устройство может использоваться и в очках с дополненной реальностью, схема которых представлена на фиг.20. Принцип работы указанных очков полностью повторяет работу HUD устройства, раскрытого в настоящем описании, и содержащего модуль PGU, модуль формирования многовидового изображения в области выходного зрачка, волновод, объединитель излучения. В данном решении формируется многовидовое изображение, позволяющее 3D изображения.

Направление распространения лучей на фиг. 19а, 19b и 20 иллюстрируются сплошными и прерывистыми, штрих-пунктирными линиями, характеризующими различные свойства лучей, отличающихся по своему составу: по длине волны, состоянию поляризации, или же разнесенные по времени. Кривые на графиках, расположенные рядом со схемами устройств на фиг.19а, 19b, 20 иллюстрируют интенсивности засветки зон видения для каждого луча, отличающегося по составу.

Промышленная применимость

Устройство дополненной реальности с размножением выходного зрачка, и с возможностью формирования трехмерного изображения может быть интегрировано в приборные панели транспортных средств, использоваться в компактных, переносных устройствах, например, планшетах, ноутбуках, системах телеконференций, в очках дополненной реальности и других устройствах, в которых имеется потребность в формировании автостереоскопического изображения.

Изобретение относится к устройствам дополненной реальности с размножением зрачка, в котором обеспечивают формирование многовидового изображения и формирование выходного зрачка. Указанное многовидовое изображение содержит по меньшей мере два изображения с одинаковым полем зрения, отличающиеся по длине волны и/или состоянию поляризации, или разнесенных по времени. Посредством волновода обеспечивают размножение указанного выходного зрачка. Изображение дополненной реальности формируют посредством модуля многовидового изображения и волновода. Посредством модуля формирования зон видения в области выходного зрачка обеспечивают разделение изображений по длинам волнам и/или состоянию поляризации, или времени (t) формирования изображений, и выводят соответствующие изображения в соответствующие зоны видения в области выходного зрачка с формированием трехмерного изображения. Изобретение позволяет повысить компактность устройства дополненной реальности и увеличить разрешение формируемого изображения. 2 н. и 40 з.п. ф-лы, 36 ил.

1. Устройство дополненной реальности с размножением выходного зрачка и с возможностью формирования трехмерного изображения, содержащее оптически сопряженные:

- модуль формирования многовидового изображения, выполненный с возможностью формирования многовидового изображения и формирования выходного зрачка, содержащего указанное сформированное многовидовое изображение, при этом многовидовое изображение содержит по меньшей мере два изображения с одинаковым полем зрения (FoV), отличающиеся по длине волны и/или состоянию поляризации, или разнесенные по времени;

- волновод, выполненный с возможностью размножения выходного зрачка, сформированного в модуле формирования многовидового изображения;

- модуль формирования зон видения в области выходного зрачка, выполненный с возможностью разделения изображений по длинам волнам, и/или состоянию поляризации, или времени (t) формирования изображений; и вывода соответствующих изображениях в соответствующие зоны видения в области выходного зрачка с формированием трехмерного изображения; и

дополнительно содержащее

- блок управления, соединенный с модулем формирования многовидового изображения, модулем формирования зон видения и выполненный с возможностью управления указанными модулями по управляющему сигналу;

при этом модуль формирования многовидового изображения содержит оптически сопряженные по меньшей мере один источник излучения, объединитель излучения, по меньшей мере один источник изображения и проекционную оптику;

модуль формирования зон видения в области выходного зрачка содержит стек из по меньшей мере двух микролинзовых и/или микрозеркальных растров (LA1, LA2) и пространственную маску (SM), выполненную с возможностью функционирования в пассивном режиме, при котором осуществляется фильтрации излучения по длине волны и/или состоянию поляризации, или в активном режиме, при котором фильтрация излучения осуществляется по времени (t), в ответ на управляющий сигнал от блока управления.

2. Устройство по п.1, в котором модуль формирования многовидового изображения содержит по меньшей мере 2 источника излучения, каждый, выполненный с возможностью испускания света на одной длине волны или отличающихся длинах волн.

3. Устройство по п.2, в котором по меньшей мере 2 источника излучения выполнены с возможностью испускания RGB излучения.

4. Устройство по п.1, в котором источники излучения выполнены с возможностью испускания излучения одновременно или попеременно по сигналу от блока управления.

5. Устройство по п.1, в котором источники излучения представляют собой одно из: светодиода, лазерного диода, лампы накаливания.

6. Устройство по п.1, в котором объединитель излучения выполнен с возможностью смешивания и объединения излучения от разных источников излучения и вывода смешанного излучения на источник изображения.

7. Устройство по п.6, в котором объединитель излучения представляет собой оптический элемент с соответствующим покрытием, обеспечивающим отражение или перенаправление излучения в заданном направлении.

8. Устройство по п.7, в котором оптический элемент представляет собой стеклянную пластину с дихроичным покрытием или с покрытием в виде призматических или дифракционных элементов.

9. Устройство по п.6, в котором объединитель излучения представляет собой волноводный объединитель.

10. Устройство по п.1, в котором источник изображения выполнен с возможностью формирования зон видения и представляет собой одно из: самоизлучающий дисплей с использованием микроскопических светодиодов в качестве подсветки (uLED), жидкокристаллический дисплей (LCD), жидкокристаллический дисплей отражательного типа (LCOS), цифровое микрозеркальное устройство для вывода изображения (DMD), устройство формирования изображения посредством сканирующих зеркал (LBS).

11. Устройство по п.1, в котором волновод выполнен с возможностью поочередного размножения выходного зрачка, сначала по оси X, а потом по оси Y или наоборот.

12. Устройство по п.1, в котором волновод выполнен с возможностью размножения выходного зрачка, одновременно, по оси X и Y.

13. Устройство по п.1, в котором волновод выполнен в виде плоской подложки с встроенными в нее элементом ввода, расширителем и элементом вывода.

14. Устройство по п.13, в котором элемент ввода выполнен с возможностью ввода излучения с предварительно заданным углом в волновод и представляет собой одно из: дифракционный элемент в виде дифракционных решеток, голографический элемент или полупрозрачное зеркало.

15. Устройство по п.13, в котором элемент вывода волновода выполнен с возможностью вывода излучения с заданным углом из волновода и представляет собой одно из: дифракционный элемент, в виде дифракционных решеток, голографический элемент или полупрозрачное зеркало.

16. Устройство по п.13, в котором расширитель волновода выполнен с возможностью размножения выходного зрачка внутри волновода и представляет собой одно из: дифракционный элемент, в виде дифракционных решеток, голографический элемент или полупрозрачное зеркало.

17. Устройство по п.13, в котором при одновременном размножении выходного зрачка по оси X и Y, расширитель и элемент вывода объединяются в один оптический элемент в виде дифракционного элемента.

18. Устройство по п.1, в котором при формировании RGB изображений в модуле формирования многовидового изображения, волновод выполнен в виде комбинации из трех волноводов, каждый предназначен для переноса изображения одного цвета, например R, G, B цветов.

19. Устройство по п.1, в котором волновод выполнен в виде комбинации двух волноводов с комбинированием цветов, например один волновод B+G цветов, а другой R цвета или одни волновод для G+R цветов, а другой для B цвета.

20. Устройство по п.1, в котором волновод выполнен в виде одного волновода с возможностью переноса изображения с комбинированием цветов, например R+G+B цветов.

21. Устройство по п.1, в котором волновод выполнен в виде комбинации различных волноводов, каждый из которых предназначен для переноса одной угловой части общего изображения для одного из цветов R, G, B и/или комбинации указанных цветов.

22. Устройство по п.1, в котором стек из по меньшей мере двух микролинзовых и/или микрозеркальных растров (LA1, LA2) выполнен таким образом, что обеспечивается телескопический ход лучей на входе и выходе указанного стека.

23. Устройство по п.1 или 22, в котором стек из по меньшей мере двух микролинзовых и/или микрозеркальных растров (LA1, LA2) содержит два микролинзовых и/или микрозеркальных растра (LA1, LA2).

24. Устройство по п.1, в котором каждый из микролинзовых растров (LA1, LA2) содержит по меньшей мере одну лентикулярную линзу, представляющую собой цилиндрическую линзу или сферическую линзу.

25. Устройство по п.24, в котором количество линз в первом микролинзовом растре LA1 равно количеству линз во втором микролинзовом растре LA2.

26. Устройство по п.23, в котором первый растр LA1 представляет собой микрозеркальный растр, состоящий из по меньшей мере одного зеркала, а второй растр LA2 представляет собой по меньшей мере одну цилиндрическую или сферическую линзу, при этом количество зеркал в первом растре LA1 совпадает с количеством линз в растре LA2.

27. Устройство по п.1, в котором первый микролинзовый растр LA1 выполнен с возможностью встраивания в элемент вывода волновода и с возможностью обеспечения вывода излучения и фокусирования излучения на пространственной маске SM.

28. Устройство по п.1, в котором проекционная оптика представляет собой оптический блок, состоящий из по меньшей мере одного или комбинации из: линзы, зеркала, поляризационного разделителя пучка (PBS), четвертьволновой пластины (QWP) и полуволновой пластины (HWP), и обеспечивающая преобразование пространственного изображения в угловое изображение в одном и том же поле зрения (FOV).

29. Устройство по п.1, в котором при пассивном режиме работы пространственная маска SM представляет собой слой поглощающего материала с встроенными в нее чередующимися сегментами фильтров, каждый из которых пропускает излучение с заданной длиной волны, соответствующей длине волны излучения источника излучения в модуле формирования многовидового изображения.

30. Устройство по п.29, в которым указанные сегменты фильтров представляют собой дихроичные фильтры.

31. Устройство по п.1, в котором при пассивном режиме работы пространственная маска SM выполнена с возможностью пропускания излучения по состоянию поляризации, представляющей собой одно из S поляризации, P поляризации, правосторонней циркулярной поляризации (RHCP), левосторонней циркулярной поляризации (RHCP).

32. Устройство по п.1, в котором пространственная маска SM выполнена с возможностью поочередного воспроизведения изображения с одним спектральным составом или состоянием поляризации для левого и правого глаза.

33. Устройство по п.1, в котором при активном режиме работы пространственная маска выполнена с возможностью поочередного воспроизведения изображения для левого и правого глаза и представляет собой пространственный модулятор излучения, например, в виде ЖК-дисплея.

34. Устройство по п. 32 или 33, в котором частота смены маски, соответствующая режиму пропускания или блокирования излучения, проходящего через маску, равна частоте кадров дисплея в источнике изображения.

35. Устройство по одному из пп.1, 32-34, дополнительно содержащее синхронизатор для обеспечения синхронизации работы пространственной маски, работающей в активном режиме, с источником изображения, по управляющему сигналу от блока управления, соединенного с модулем формирования многовидового изображения и с синхронизатором.

36. Устройство по п.1, дополнительно содержащее детектор, соединенный с блоком управления и выполненный с возможностью регистрации смещения глаз пользователя, и приводное устройство, выполненное с возможностью смещения пространственной маски по сигналу от блока управления.

37. Устройство по п.1, в котором при пассивном режиме работы маски пространственная маска выполнена с возможностью поочередного вывода изображения с одним спектральным составом или состоянием поляризации для правого и левого глаза посредством смещения маски по горизонтальной оси, совпадающей с расположением глаз пользователя.

38. Устройство по п.1, в котором пространственная маска SM располагается в оптически сопряженной плоскости выходного зрачка устройства дополненной реальности относительно оптического растра LA2.

39. Устройство по одному из пп.1-38, которое выполнено с возможностью встраивания в приборную панель транспортного средства.

40. Устройство по одному из пп.1-38, которое выполнено с возможностью использования в компактных переносных устройства, например планшетах или ноутбуках, системах телеконференций.

41. Устройство по одному из пп.1-38, которое выполнено с возможностью использования в очках дополненной реальности.

42. Способ формирования изображения в устройстве дополненной реальности с размножением выходного зрачка по одному из пп.1-41, содержащий этапы, при которых:

- обеспечивают формирование многовидового изображения и формирование выходного зрачка, содержащего указанное сформированное многовидовое изображение посредством модуля формирования многовидового изображения, при этом указанное многовидовое изображение содержит по меньшей мере два изображения с одинаковым полем зрения FoV, отличающиеся по длине волны и/или состоянию поляризации, или разнесенные по времени;

- посредством волновода обеспечивают размножение указанного выходного зрачка;

- формируют изображение дополненной реальности посредством модуля многовидового изображения и волновода,

- посредством модуля формирования зон видения в области выходного зрачка обеспечивают разделение изображений по длинам волнам, и/или состоянию поляризации, или времени (t) формирования изображений; и

- выводят соответствующие изображения в соответствующие зоны видения в области выходного зрачка с формированием трехмерного изображения.