СИСТЕМА СЛЕЖЕНИЯ ЗА ПОВОРОТОМ ГЛАЗА Российский патент 2019 года по МПК G02B27/00 

Область техники

Настоящее изобретение относится к системам слежения за поворотом глаз, а именно за ориентацией оптической оси глазного яблока в пространстве с помощью регистрации положения бликов, отраженных от сетчатки глаза.

Описание предшествующего уровня техники

В настоящее время все большую популярность набирают устройства виртуальной реальности, устройства дополненной реальности и устройства совмещенной реальности. Такие устройства используются в очках и шлемах виртуальной реальности, устройствах дополненной реальности и устройствах совмещенной реальности. Однако недостатками известных устройств является малое поле зрения, значительно меньшее чем поле зрения глаз наблюдателя, что приводит к недостатку визуальной информации при просмотре, кроме того большинство известных устройств учитывает движение глаз пользователя, и поэтому не может согласовывать выводимые изображения с направлением взгляда. Кроме того, устройства, способные следить за движением глаз, достаточно громоздки, и используют в своем составе множество светодиодов и дополнительных камер, вынесенных за пределы конструкции системы, имеющих консольное закрепление, что значительно усложняет систему, значительно увеличивает габариты и делает систему неудобной для использования.

Так, например, из уровня техники известно устройство очков с регулируемым полем зрения (см. документ US 2017/0035293 A1, опубликованный 09.02.2017). Известное решение относится к очкам для захвата, по меньшей мере, одного параметра, по меньшей мере, одного глаза испытуемого, носящего устройство, при этом устройство содержит оправу, выполненную с возможностью ношения на голове испытуемого, первый блок захвата, сконфигурированный для оптического захвата, по меньшей мере, одного параметра, по меньшей мере, одного глаза, и второй блок захвата, диапазон оптического захвата которого частично соответствует оптическому диапазону захвата, по меньшей мере, одного глаза и который сконфигурирован для вывода данных, касающихся поля обзора, которое коррелирует с диапазоном оптического захвата второго блока захвата, причем поле обзора является регулируемым. Недостатками известного устройства является увеличенные габариты устройства, связанные с необходимостью крепления камеры на вынесенном элементе конструкции перед глазом для регистрации положения глаза и усложнением оптической системы за счет необходимости совмещения с системой отображения информации в поле зрения наблюдателя и отсутствие возможности интеграции в другие устройства.

Также из уровня техники известно устройство адаптивной камеры и устройство отслеживания движения глаз (см. документ US 2010/0328444 A1, опубликованный 30.12.2010). Известное устройство отслеживания движения глаз включает в себя, по меньшей мере, один осветитель для освещения глаза, по меньшей мере, две камеры для визуализации глаза и контроллер. Конфигурация эталонного осветителя и камер такова, что, по меньшей мере, одна камера является соосной с эталонной подсветкой, и, по меньшей мере, одна камера не является соосной с эталонной подсветкой. Контроллер выполнен с возможностью выбора одной из активных камер, чтобы максимизировать метрику качества изображения и избежать экранирования объектов. Устройство отслеживания движения глаз работает в режиме двойной камеры для повышения точности. Недостатками известного устройства также является увеличенные габариты устройства, связанные с необходимостью крепления камеры и подсветки на вынесенном элементе конструкции перед глазом для регистрации положения зрачка и отсутствие возможности интеграции в другие устройства. Также для формирования необходимой структурированной подсветки необходимо использовать несколько светодиодов.

Из уровня техники известно устройство головного дисплея, включающее в себя устройство отслеживания движения глаз (см. документ US 2013/0207887 A1, опубликованный 15.08.2013). Известное устройство содержит световод, включающий в себя проксимальный конец, дистальный конец, дисплей, расположенный рядом с проксимальным концом, камеру слежения за положением зрачка глаза, расположенную на проксимальном конце или рядом с ним, проксимальный оптический элемент, расположенный в световоде возле проксимального конца и дистальный оптический элемент, расположенный в световоде возле дистального конца. Проксимальный оптический элемент оптически связан с дисплеем, камерой слежения за положением зрачка глаза и дистальным оптическим элементом, а дистальный оптический элемент оптически связан с проксимальным оптическим элементом, внешней входной областью и областью ввода/вывода. Недостатками известного устройства является увеличенный поперечный размер волновода, малый угол поля зрения системы детектирования поворота глаза, ограничение поля зрения оптическими элементами, входящими в состав системы.

Наиболее близким аналогом предлагаемого изобретения является известное из уровня техники устройство отслеживания движения глаз (см. документ US 2018/0113303 A1, опубликованный 26.04.2018). Известное устройство содержит источник света, детектор, и первый и второй волноводы. Первый волновод содержит входной ответвитель для введения излучения от источника света в волновод и первую решетку для передачи света из волновода на глаз. Второй волновод содержит вторую решетку для направления света, отраженного от глаза, в волновод и выходной ответвитель для направления света из волновода на детектор. Вторая решетка предназначена для формирования изображения глаза на детекторе. Недостатками известного устройства является использование комбинированных волноводов и решеток, что усложняет конструкцию устройства, устройство отличается очень низким показателем сигнал-шум и высокой температурной чувствительностью.

Недостатки известного уровня техники требуют создания компактной, с малыми поперечными к оси наблюдения размерами системы слежения за поворотом глаза, позволяющей проводить измерение поворота глаза в пределах больших углов поворота глаза, с возможностью интегрирования в носимые компактные устройства дополненной и виртуальной реальности, требующей малого количества потребляемой энергии, обладающей большим отношением сигнал-шум. Также система должна быть выполнена как с возможностью работы при интегрировании в устройство виртуальной реальности, так и с возможностью работы автономно, система должна иметь высокую скорость и простоту обработки сигнала, должна обладать высоким оптическим пропусканием.

Сущность изобретения

Предлагается система слежения за поворотом глаза, содержащая: источник инфракрасного излучения; коллимирующую линзу, выполненную с возможностью преобразовывать излучение от источника в квазиколлимированный пучок; инфракрасный светоделитель, выполненный с возможностью пропускать часть инфракрасного излучения и отражать часть инфракрасного излучения; волновод, по которому может распространяться излучение на основе принципа полного внутреннего отражения; первый элемент ввода/вывода, расположенный на волноводе, и выполненный с возможностью вводить в волновод инфракрасное излучение, прошедшее инфракрасный делитель, и выводить из волновода инфракрасное излучение, отразившееся от сетчатки глаза и распространяющееся в волноводе; второй элемент ввода/вывода, расположенный на волноводе и выполненный с возможностью выводить из волновода инфракрасное излучение, распространяющееся в волноводе, и вводить в волновод инфракрасное излучение, отразившееся от сетчатки глаза; массив фотодиодов, выполненный с возможностью принимать инфракрасное излучение, выведенное из волновода первым элементом ввода-вывода и отразившееся от инфракрасного делителя; модуль обработки сигналов, выполненный с возможностью обрабатывать сигналы, полученные от массива фотодиодов и формировать информацию о повороте глаза. Причем первый и второй элементы ввода/вывода могут представлять собой дифракционный оптический элемент. Причем второй элемент ввода/вывода может представлять собой дифракционный оптический элемент с оптической силой. Причем дополнительно между инфракрасным делителем и волноводом расположена линза с переменным фокусом. Причем линза с переменным фокусом является жидкокристаллической. Причем инфракрасный делитель содержит поляризационное покрытие, причем за инфракрасным делителем дополнительно располагается пластинка λ/4. Причем волновод имеет искривленные поверхности.

Также предлагается способ работы системы слежения за поворотом глаза, содержащей источник инфракрасного излучения; коллимирующую линзу, размещенную с возможностью коллимирования излучения; инфракрасный делитель, выполненный с возможностью пропускать часть инфракрасного излучения и отражать часть инфракрасного излучения; волновод, по которому может распространяться излучение; первый элемент ввода/вывода, расположенный на волноводе, и выполненный с возможностью вводить в волновод инфракрасное излучение, прошедшее инфракрасный делитель, и выводить из волновода инфракрасное излучение, отразившееся от сетчатки глаза и распространяющееся в волноводе; второй элемент ввода/вывода, расположенный на волноводе и выполненный с возможностью выводить из волновода инфракрасное излучение, распространяющееся в волноводе, и вводить в волновод инфракрасное излучение, отразившееся от сетчатки глаза; массив фотодиодов, выполненный с возможностью принимать инфракрасное излучение, выведенное из волновода первым элементом ввода-вывода и отразившееся от инфракрасного делителя; модуль обработки сигналов, выполненный с возможностью обрабатывать сигналы, полученные от массива фотодиодов и выдавать информацию о повороте глаза. Способ работы системы слежения за поворотом глаза содержит этапы, на которых: излучение от источника инфракрасного излучения проходит коллимирующую линзу, попадает на инфракрасный делитель; часть излучения, прошедшая инфракрасный делитель, проходит через волновод к первому элементу ввода/вывода, после первого элемента ввода/вывода распространяется по волноводу путем полного внутреннего отражения от стенок волновода, попадает на второй элемент ввода/вывода и после второго элемента ввода/вывода выходит из волновода; та часть вышедшего излучения, которая по нормали попадает в зрачок пользователя: отражается от сетчатки, выходит из зрачка, проходит через волновод ко второму элементу ввода/вывода, и после второго элемента ввода/вывода распространяется по волноводу путем полного внутреннего отражения от стенок волновода, попадает на первый элемент ввода/вывода, после первого элемента ввода/вывода выходит из волновода, попадает на инфракрасный делитель, после делителя часть излучения направляется на массив фотодиодов, преобразующий излучение в сигнал; сигнал, полученный от массива фотодиодов обрабатывается модулем обработки сигналов, причем модуль обработки сигналов выдает информацию о повороте глаза.

Также предлагается система виртуальной реальности, использующая систему слежения за поворотом глаза, содержащая: источник изображения; линзу для фокусировки излучения от источника изображения; диафрагму; систему смещения изображения; источник инфракрасного излучения; инфракрасное зеркало, выполненное с возможностью отражения излучения от источника инфракрасного излучения и пропускания излучения, от системы смещения изображения; коллимирующую линзу, расположенную за инфракрасным зеркалом; инфракрасный делитель, выполненный с возможностью пропускать часть инфракрасного излучения, коллимированного коллимирующей линзой, и пропускать излучение от источника изображения; волновод, по которому может распространяться излучение, поступающее от инфракрасного делителя; первую дифракционную решетку RGB, расположенную на волноводе для ввода излучения от источника изображения; первый элемент ввода/вывода, расположенный на волноводе, и выполненный с возможностью вводить в волновод инфракрасное излучение, прошедшее инфракрасный делитель, и выводить из волновода инфракрасное излучение, отразившееся от сетчатки глаза и распространяющееся в волноводе; второй элемент ввода/вывода, расположенный на волноводе и выполненный с возможностью выводить из волновода инфракрасное излучение, распространяющееся в волноводе, и вводить в волновод инфракрасное излучение, отразившееся от сетчатки глаза; вторую дифракционную решетку RGB, расположенную на волноводе для вывода излучения от источника изображения, распространяющееся в волноводе, из волновода; массив фотодиодов, выполненный с возможностью принимать инфракрасное излучение, выведенное из волновода первым элементом ввода-вывода и отразившееся от инфракрасного делителя; модуль обработки сигналов, выполненный с возможностью обрабатывать сигналы, полученные от массива фотодиодов, и выдавать информацию о повороте глаза; контроллер, выполненный с возможностью передавать инструкции для системы смещения изображения, на основании информации о повороте глаза, полученной от модуля обработки сигналов. Причем первый и второй элементы ввода/вывода могут представлять собой дифракционный оптический элемент. Причем второй элемент ввода/вывода может представлять собой дифракционный оптический элемент с оптической силой. Причем дополнительно между инфракрасным делителем и волноводом расположена линза с переменным фокусом. Причем линза с переменным фокусом является жидкокристаллической. Причем инфракрасный делитель содержит поляризационное покрытие, причем за инфракрасным делителем дополнительно располагается пластинка λ/4.

Краткое описание чертежей

Вышеописанные и другие признаки и преимущества настоящего изобретения поясняются в последующем описании, иллюстрируемом чертежами, на которых представлено следующее:

На Фиг. 1 показано стандартное поле зрения (FoV) голографического шлема виртуальной реальности.

На Фигуре 2 изображена предлагаемая система слежения за поворотом глаза, интегрированная в одну из известных систем виртуальной реальности.

На Фигурах 3A и 3B схематично изображена методика определения поворота глаза фотодиодными массивами размерами 2×2 и 2×10 соответственно.

На Фигуре 4 показана предлагаемая система слежения за поворотом глаза.

На фигуре 5A показан ход лучей при выполнении второго элемента ввода/вывода 13 в виде отклоняющей дифракционной решетки без оптической силы.

На фигуре 5B показан ход лучей при выполнении второго элемента ввода/вывода 13 в виде голографического оптического элемента, обладающего оптической силой.

На Фигуре 6 показана диаграмма интегрирования предлагаемой системы в известные устройства носимых дисплеев (HMD)

Подробное описание изобретения

Технического задачей, на решение которой направлено предлагаемое изобретение, является создание компактной, невидимой, высокоскоростной системы слежения за поворотом глаза, которую можно использовать как в качестве отдельного устройства, так и встроенной в любой тип устройств, таких как, например, устройства дополненной реальности (AR), виртуальной реальности (VR), смешанной реальности (MR), в устройствах (носимых или нашлемных) дисплеев (HMD).

Предлагается компактная, незаметная, высокоскоростная система слежения за поворотом глаза, которая может быть использована, как отдельное устройство (фиг. 4) или интегрирована (фиг. 2) в существующие устройства виртуальной реальности, либо дополненной реальности, либо совмещенной реальности, используемые, например, в шлеме виртуальной реальности. Предлагаемая система позволяет увеличить область, в которой глаз человека видит изображение (Eye Box), то есть, глаз, перемещаясь в пределах этой области при наблюдении дополненной реальности, будет обозревать все поле зрения, что уменьшает дискомфорт при наблюдении дополненной реальности, либо виртуальной реальности, либо совмещенной реальности. Предлагаемая система слежения за поворотом глаза позволяет отслеживать поворот глаза и совмещать его с положением изображения.

Система слежения за поворотом глаза содержит инфракрасную подсветку, волновод, дифракционные оптические элементы в виде элементов ввода/вывода и массив фотодиодов. Причем длина волны подсветки выбирается такой, что подсветка является невидимой для глаз. Благодаря использованию в системе в качестве элементов ввода/вывода дифракционных оптических элементов обеспечивается широкий угол обнаружения поворота глаза, осевое освещение и обнаружение, высокая прозрачность, малая толщина и минимальный вес, низкое энергопотребление, точное отслеживание, высокая скорость обработки сигнала, высокая чувствительность, невидимость для пользователя. Предлагаемое изобретение преодолевает все недостатки известного уровня техники. Для обнаружения малых углов поворота глаза используется только один источник света и низкочувствительный детектор с матрицами CCD (ПЗС) и CMOS (КМОП). Для возможности интеграции с устройствами виртуальной реальности информация с дисплея и из системы слежения за поворотом глаза разделяется по состоянию поляризации, по длине волны или с помощью светоделительных покрытий. Для того, чтобы предлагаемая система была достаточно невидимой, для освещения и слежения используется инфракрасное излучение. Для повышения скорости работы системы и понижения энергопотребления используется один источник света и фотодиодный детектор. Для снижения риска повреждения глаза используется только один маломощный инфракрасный источник света, благодаря чему блики от освещения зрачков глаз не мешают распознаванию поворота глаз.

Предлагаемая система слежения за поворотом глаза обеспечивает широкое поле зрения, в котором детектируется поворот глаза, и является безопасной для глаз. Кроме того, система, являясь хорошо пропускающей, не затеняет общую картину виртуальной или дополненной реальности. Также, за счет использования волновода и дифракционных элементов в качестве элементов ввода/вывода, система является тонкой и легкой. Предлагаемая система слежения за поворотом глаза позволяет получить очень точное положение глаза, является высокоскоростной, обеспечивает низкое потребление энергии за счет использования массива фотодиодов.

Общеизвестно, что поле зрения (FoV) голографического шлема виртуальной реальности определяется фокусным расстоянием (f) линзы и размером D промежуточного изображения пространственного модулятора света (где уже сформировано промежуточное изображение) (см. фиг.1).

(1)

область (h) в пределах которой может располагаться зрачок определяется следующим образом:

(2),

где ,

- максимальный угол дифракции на структуре пространственного модулятора света (SLM) после оптической системы,

- длина волны излучения, которое используется для освещения пространственного модулятора света (SLM),

- размер элемента периодической структуры пространственного модулятора света.

Как видно из фигуры 1 при смещении глаза в сторону от точки, на которой сфокусировано изображение в известных шлемах виртуальной реальности, глаз не будет видеть изображение.

На фигуре 2 показана предлагаемая система слежения за поворотом глаза, интегрированная, например, в систему виртуальной реальности (это может быть любая из систем AR, VR, MR, HMD и аналогичные им). Система виртуальной реальности содержит источник изображения, представляющий собой пространственный модулятор света (SLM) 1, первую линзу 2, диафрагму 3, систему поперечного смещения изображения 4, вторую линзу 5 (коллимирующую линзу), инфракрасный делитель 6, первую дифракционную решетку RGB 7, обладающую селективностью по длинам волн. Излучение вводится в волновод 8, распространяется по волноводу путем полного внутреннего отражения, падает на вторую дифракционную решетку RGB 9. Излучение выводится через вторую дифракционную решетку RGB 9 и изображение фокусируется на сетчатке глаза.

Предлагаемая система слежения за поворотом глаза содержит источник инфракрасного излучения 10, например, светодиод или лазерный диод, излучающие ближний ИК-диапазон, причем мощность используемого источника выбирается такая, чтобы уровень безопасности излучения соответствовал стандартам безопасности для глаз человека. Необходимо отметить, что стекловидное тело человеческого глаза прозрачно для такого диапазона длин волн. Излучение от упомянутого источника отражается от инфракрасного зеркала 11, проходит через вторую линзу 5, коллимированное излучение проходит через инфракрасный делитель 6. Поскольку излучение находится в ИК диапазоне, то оно проходит через дифракционную решетку RGB 7 без дифракции, попадает на первый элемент ввода/вывода 12, представляющий собой дифракционный оптический элемент ИК-диапазона. Поскольку ИК-излучение, попадая в волновод претерпевает дифракцию на первом элементе ввода/вывода 12, дифрагированное излучение за счет эффекта полного внутреннего отражения распространяется по волноводу 8 и попадает на второй элемент ввода/вывода 13, который представляет собой дифракционный оптический элемент ИК-диапазона и который выводит это излучение в сторону глаза. Если глаз расположен прямо (то есть оптическая ось зрачка перпендикулярна второму элементу ввода/вывода 13), в зрачок попадает излучение (сплошные стрелки показывают ход лучей при одном положении глаза, пунктирные стрелки показывает ход лучей при другом положение глаза, когда глаз переместился), проходящее от второго элемента ввода/вывода 13, перпендикулярно второй дифракционной решетке RGB 9; если оптическая ось зрачка расположена под углом ко второму элементу ввода/вывода 13 в зрачок попадает излучение (пунктирная стрелка), проходящее от второго элемента ввода/вывода 13 под углом ко второй дифракционной решетке RGB 9. Излучение, которое попадает в зрачок, отражается от сетчатки глаза, минуя вторую дифракционную решетку RGB 9 без взаимодействия с ней, попадает на второй элемент ввода/вывода 13, дифрагирует на нем и посредством полного внутреннего отражения проходит волновод, попадает на первый элемент ввода/вывода 12, снова претерпевает дифракцию и выводится из волновода, попадает на инфракрасный делитель 6 и, отражаясь от инфракрасного делителя 6, попадает на массив фотодиодов 14, массив фотодиодов связан с модулем обработки сигнала. Необходимо отметить, что излучение имеет потери в процессе распространения в волноводе и на элементах ввода/вывода, представляющих собой дифракционные элементы (дифракционные элементы характеризуются таким понятием как дифракционная эффективность) и потери при освещении глаза, поскольку пучок, которым освещается глаз, должен быть заведомо больше размера зрачка, и то, что не прошло в зрачок - рассеивается и обратно не возвращается. Инфракрасный делитель может представлять собой селективное зеркало, которое пропускает видимый диапазон, т.е. полностью прозрачно для него, и отражает ИК диапазон. Причем такое селективное зеркало может быть выполнено таким образом, чтобы отражать именно ту длину волны, которая соответствует используемому ИК источнику излучения.

Общеизвестно, что дифракционные решетки применяются для ввода излучения в волновод и вывода излучения из волновода. Если в волновод направить недифрагированное излучение, оно пройдет сквозь волновод и не останется в нем, то есть не будет распространяться по волноводу. При использовании дифракционной решетки на входе в волновод излучение, благодаря дифракции, отклоняется на угол полного внутреннего отражения от стенок волновода, что позволяет излучению оставаться в волноводе и распространяться внутри него. При попадании распространяющегося в волноводе излучения на дифракционную решетку, расположенную на выходе из волновода, излучение, претерпевая дифракцию, отклоняется дифракционной решеткой на угол, позволяющий ему выйти из волновода, и не распространяться в волноводе дальше.

На Фигуре 3A схематично изображена методика определения поворота глаза фотодиодным массивом размером 2×2.

Если оптическая ось зрачка перпендикулярна ко второму элементу ввода/вывода 13 (то есть глаз смотрит прямо, X0⁰Y0⁰ на фигуре 3), то распределение сигнала по площадкам светодиодов одинаковое. Если оптическая ось зрачка расположена под углом к второму элементу ввода/вывода 13, то есть глаз смотрит в сторону (где X - угловое смещение глаза в стороны, Y - угловое смещение глаза вверх и вниз) -возможны, например, варианты X5°Y0°, X10°Y0°, X15°Y0°, X20°Y0°, X25°Y0°, X30°Y0° на фигуре 3a. Если глаз смотрит вверх или вниз - возможны, например, варианты X0°Y5°, X0°Y10°, X0°Y15°. То есть лучше будет освещена часть фотодетекторов, которая принимает излучение, попавшее в зрачок и отразившееся от сетчатки глаза, освещенная часть массива фотодетекторов показывает поворот глаза. То есть, по освещению фотодетекторов можно легко без всяких алгоритмических расчетов определить поворот глаза, что значительно повышает скорость работы системы.

Очевидно, что чем большее количество фотодетекторов использовано в массиве, тем больше чувствительность системы, как видно из фигуры 3B, где схематично отображена методика определения поворота глаза фотодиодным массивом 2×10. На фигуре 3а видно, что горизонтальное смещение 20°, 25° и 30° различить нельзя, тогда как с увеличением количества светодиодов (фигура 3b) смещения 20°, 25° и 30° вполне различимы.

После определения поворота глаза на систему смещения изображения 4 по обратной связи поступает сигнал от модуля обработки сигналов, приходящих от массива фотодетекторов. Поступивший сигнал дает команду системе смещения изображения 4 на смещение поле зрения виртуального изображения системы виртуальной реальности в ту или иную сторону, чтобы совместить изображение со зрачком глаза. Система смещения изображения может представлять собой любой оптический элемент, способный смещать/сдвигать изображение системы виртуальной реальности. Это может быть, например, зеркало, отклоняющее пучок, или смещающаяся поперек оптической оси призма, или линза, или жидкокристаллический дефлектор и т.п.

Толщина и вес системы слежения за поворотом глаза минимальны благодаря использованию тонкого волновода с дифракционными решетками или дифракционными оптическими элементами ИК-диапазона в качестве элементов ввода/вывода. С помощью предлагаемой системы возможно захватить всю область, в пределах которой располагается зрачок при движении глаза. Широкий угол поворота глаза определяется количеством элементов массива фотодиодов. Необходимо отметить, что для слежения за конвергенцией, когда меняется дистанция, на которой находится объект наблюдения для каждого глаза используется своя отдельная система слежения за поворотом глаза. Но в устройствах, где информация выводится только для одного глаза можно установить только одну систему слежения за поворотом глаза. При работе устройства виртуальной реальности две системы слежения за поворотом глаза могут согласовываться с помощью компьютерных программ, которые обеспечивают пересчет изображения в случае стереоизображения и смещение изображений для левого и правого глаза, чтобы не было двоения при просмотре двумя глазами, причем для левого и правого глаза изображение должно находится в одном и том же месте пространства. В результате такой компьютерной обработки получается объемное изображение, например, стереоизображение или компьютерно-синтезированная голограмма, благодаря чему можно создать перемещение виртуального объекта в пространстве перед глазами пользователя, или производить слежение на чем сфокусирован взгляд человека.

Поскольку зрение каждого человека индивидуально, а именно индивидуально межглазное расстояние, глубина посадки глаз, наличие косоглазия и т. п., требуется калибровка перед началом использования как одной системы слежения за поворотом глаза, так и двух согласованных систем слежения за поворотом глаза.

На Фигуре 4 показана предлагаемая система слежения за глазом с дифракционными элементами в качестве элементов ввода/вывода для ввода/вывода излучений из волновода, работающая в автономном режиме. Первый элемент ввода/вывода 12 может быть представлена дифракционной решеткой без изменяющегося периода, то есть угол дифракции для всех лучей будет одинаков, за счет чего, все лучи будут распространяться в волноводе параллельно. Излучение, отраженное от сетчатки, возвращается по тому же направлению, по которому пришло в зрачок, то есть излучение попадет в ту же самую точку на втором элементе ввода/вывода 13, испытает ту же дифракцию и вернется под тем же самым углом, под которым оно падало на первый элемент ввода/вывода 12, то есть легко определить с какой стороны пришло отраженное излучение, а с какой стороны не пришло излучение. При таком подходе достигается большой угол детектирования поворота глаза, высокая прозрачность системы, поскольку элементы ввода/вывода не взаимодействуют с излучением, видимым для человеческого глаза, и волновод является прозрачным. Предлагаемая система обладает низкой толщиной, за счет использования волновода с минимальным весом. Система обладает высокой точностью определения поворота глаза, поскольку используется эффект световозвращения, и детектируется именно то излучение, которое прошло зрачок и отразилось от сетчатки. Система также обладает высокой скоростью обработки сигнала и получения информации о повороте глаза в реальном времени, поскольку имеется прямая корреляция между отклонением зрачка и сигналом, получаемым массивом фотодиодов 14. То есть как только изменился сигнал на массиве фотодиодов 14, модуль обработки сигналов 15 констатирует изменение поворота глаза. Система имеет высокую чувствительность, поскольку размер площадки массива фотодиодов 14 может быть любым. Также, за счет использования невидимого глазу ИК-излучения маленькой мощности - система безопасна для глаз. Система потребляет мало энергии, за счет использования маломощного источника ИК-излучения и массива фотодиодов.

Второй элемент ввода/вывода 13 может представлять собой линзу или плоскую дифракционную решетку (см. фигуру 5A), то есть отклоняющую дифракционную решетку без оптической силы, или объемную дифракционную решетку, или дифракционный элемент, обладающий оптической силой, например, в виде голографического оптического элемента, обладающего оптической силой (см. фигуру 5B). Общеизвестно, что плоской называется дифракционная решетка, где набег фазы, и соответственно отклонение лучей, происходит за счет рельефа, изменения толщины материала; а объемной называется дифракционная решетка, на которой дифракция происходит внутри материала за счет изменения показателя преломления.

Как показано на фигуре 5A, излучение, пройдя дифракционный оптический элемент с регулярной структурой, фокусируется хрусталиком на сетчатке глаза. На фигуре 5B показано прохождение излучения через дифракционный оптический элемент с нерегулярной структурой, в результате чего параллельный пучок, после прохождения такого элемента выходит сформированный таким образом, чтобы сфокусироваться в центре вращения глаза, что позволяет всегда иметь излучение, распространяющееся перпендикулярно к зрачку, в каком бы положении глаз не находился. Излучение, нормальное к зрачку повышает эффективность и снижает энергозатраты системы, то есть нет необходимости освещать глаз широким пучком излучения, это позволяет получить еще более широкую область слежения за глазом, поскольку при повороте глаза всегда найдутся лучи, идущие по нормали к зрачку.

Необходимо заметить, что излучение может проходить и через склеру глаза, но в склере глаза преобладает рассеивание и поглощение излучения, и поэтому оно не может отразиться от сетчатки глаза. Излучение, которое попадает в зрачок не по нормали, а под углом к зрачку, попадает на сетчатку глаза, точно также отражается, как и упавшее по нормали, снова проходит через хрусталик выходят и распространяются в обратном направлении под таким же по величине углом. Однако, излучение, которое попадает в зрачок не по нормали является неинформативным, поскольку после отражения от сетчатки может не попасть в волновод, или не введется в волновод под нужным углом, или может остаться в волноводе, поскольку не выведется из волновода, или выведется из волновода, но в направлении мимо модуля фотодиодов. То есть необходимо, чтобы излучение попадало в зрачок именно по нормали, тогда оно точно вернется в ту же самую точку на инфракрасном делителе, от которой попало в волновод, и, часть, отразившаяся от делителя, точно попадет на массив фотодиодов.

Предлагаемая система легко может быть интегрирована в обычные устройства носимого (нашлемного, наголовного) дисплея (HMD). Как показано на фигуре 6 предлагаемая система слежения за поворотом глаза содержит источник излучения, представляющий собой источник инфракрасного излучения 10; модуль перенаправления и распространения света, представляющий собой волновод 8, который также используется устройством HMD, с первым элементом ввода/вывода 12 и вторым элементом ввода/вывода 13; массив фотодиодов 14; модуль обработки сигнала 15. Модуль обработки сигнала, получивший и обработавший информацию о повороте глаза выдает сигнал системе обратной связи, состоящей из своего модуля обработки сигналов и системы смещения изображения 4, сигнал указывает как необходимо сместиться системе смещения 4, чтобы изображение виртуальной реальности подстроилось под поворот глаза. Этот же сигнал приходит к системе виртуальной реальности, которая в свою очередь также содержит свой модуль обработки сигналов и корректирует изображение в модуле изображения HMD, в зависимости от поворота глаза. Необходимо отметить, что предлагаемая система слежения за поворотом глаза, интегрированная в известные устройства дополненной или виртуальной реальности, вообще не увеличивает размеры известных устройств дополненной или виртуальной реальности.

В предлагаемой системе возможно предусмотреть появление дисторсий, которые могут вносить расфокусировку изображения на массиве фотодетекторов. В случае, когда в качестве второго элемента ввода/вывода 13 используется дифракционный элемент с оптической силой, для повышения чувствительности системы, важно совмещать точку фокусировки лучей, прошедших зрачок с центром вращения сферы глаза, то есть глаз должен быть расположен в расчетной позиции. Однако, если пользователь, например, приблизит глаз ближе, чем это необходимо для нормальной работы системы, то возникает дисторсия, то есть точка фокусировки лучей, прошедших зрачок будет расположена не в центре сферы глаза, и соответственно отраженные от сетчатки лучи будут распространяться не параллельно, из-за чего на фотодиоде получится расфокусированная картина освещения, то есть уровень сигнала упадет. Для избежания подобной ситуации между инфракрасным делителем 6 и волноводом 8 можно поставить линзу с переменным фокусом, причем, когда глаз расположен в расчетной позиции, линза с переменным фокусом выключена (то есть ее оптическая сила равна нулю), когда глаз выходит из расчетной позиции, линза с переменным фокусом работает таким образом, что излучение фокусируется в центре сферы глаза. То есть показатель преломления такой линзы меняется в зависимости от приложенного напряжения. Подобная линза может быть выполнена, например, из жидкокристаллического материала.

Инфракрасный делитель 6 может быть простым частично отражающим делителем, например, 50% ИК-излучения проходит через делитель и 50% ИК-излучения отражается делителем, или интерференционным зеркалом, селективным к выбранной длине волны или другим подходящим элементом.

Также инфракрасный делитель 6 может содержать поляризационное покрытие, то есть, если поляризация падающего излучения и покрытия совпадают, то делитель пропускает излучение. После такого делителя устанавливается пластинка λ/4, которая поворачивает поляризацию на ортогональную. Поскольку поляризационное покрытие может, например, пропускать p-поляризацию и отражать s-поляризацию (или наоборот) то пропущенное излучение, например, с p-поляризацией, проходит четвертьволновую пластину, получая круговую поляризацию, вернувшись после отражения от сетчатки глаза, опять проходит четвертьволновую пластину и получает s-поляризацию, которая полностью отражается поляризационным покрытием светоделителя и попадает на массив фотодиодов без потери интенсивности.

Волновод 8 может иметь различные формы, например, волновод может быть прямым или волновод может иметь искривленные поверхности, в этом случае первый элемент ввода/вывода 12 и второй элемент ввода/вывода 13 могут быть скорректированы под кривизну волновода при изготовлении.

При осуществлении предлагаемой системы нет необходимости использовать в качестве массива фотодиодов 14 матрицу с высоким разрешением, но важно использовать матрицу, имеющую высокую скорость обработки сигнала, то есть анализ изображения с матрицы и цифровая обработка изображения не требуются, а по разности сигналов с соседних элементов возможно снимать аналоговый управляющий сигнал. Если картина на матрице симметричная, значит никакой сигнал на систему смещения изображения не подается, если картина на матрице несимметричная, значит на систему смещения изображения подается разностный сигнал, и изображение смещается. Такие матрицы должны иметь частоту обновления порядка 1,6-2 кГц, что намного быстрее, чем микросаккады глаз, то есть такие матрицы могут фиксировать даже микросаккады глаз.

Предлагаемая система слежения за поворотом глаза может быть использована в различных областях деятельности человека.

Например, предлагаемую систему, интегрированную в очки совмещенной реальности, могут использовать туристы. При знакомстве с достопримечательностями туристу, имеющему очки совмещенной реальности со встроенной системой слежения за поворотом глаза, достаточно, например, просто остановить взгляд на достопримечательности, заинтересовавшей его, и тут же перед глазами туриста возникнет информация, описывающая эту достопримечательность.

Предлагаемую систему можно использовать для задания PIN-кода. Пользователь надевает очки со встроенной системой слежения за поворотом глаза и взглядом «набирает» PIN-код, останавливаясь на нужных цифрах.

Предлагаемая система может быть использована для улучшения качества жизни инвалидов и обездвиженных больных.

Система слежения за поворотом глаза может быть использована для мониторинга усталости человека. Например, для контроля за водителями, система может определять, что человека клонит ко сну по микросаккадам глаз.

Система слежения за поворотом глаза может быть использована при сборе информации о товарах, интересующих покупателя. То есть возможно фиксировать остановку взгляда покупателя на тех или иных товарах, то есть определять степень интереса покупателя к тем или иным товарам.

Хотя изобретение описано в связи с некоторыми иллюстративными вариантами осуществления, следует понимать, что сущность изобретения, не ограничивается этими конкретными вариантами осуществления. Напротив, предполагается, что сущность изобретения включает в себя все альтернативы, коррекции и эквиваленты, которые могут быть включены в сущность и объем формулы изобретения.

Кроме того, изобретение сохраняет все эквиваленты заявляемого изобретения, даже если пункты формулы изобретения изменяются в процессе рассмотрения.

Изобретение относится к компактной, невидимой, высокоскоростной системе слежения за поворотом глаза, которую можно использовать как в качестве отдельного устройства, так и встроенной в любой тип устройств виртуальной реальности. Предлагается система слежения за поворотом глаза и способ работы системы. Система содержит источник инфракрасного излучения, коллимирующую линзу, инфракрасный делитель, волновод, первый и второй элементы ввода/вывода, массив фотодиодов, модуль обработки сигналов. Также предлагается система виртуальной реальности, использующая систему слежения за поворотом глаза, содержащая: источник изображения, линзу, диафрагму, систему смещения изображения, источник инфракрасного излучения, инфракрасное зеркало, коллимирующую линзу, инфракрасный делитель, волновод, первую и вторую дифракционные решетки RGB, первый и второй элементы ввода/вывода, массив фотодиодов, модуль обработки сигналов, контроллер. Технический результат - создание компактной, невидимой, высокоскоростной системы слежения за поворотом глаза, которую можно использовать как в качестве отдельного устройства, так и встроенной в любой тип устройств, таких как, например, устройства дополненной реальности (AR), виртуальной реальности (VR), смешанной реальности (MR), в устройствах (носимых или нашлемных) дисплеев (HMD). 3 н. и 13 з.п. ф-лы, 6 ил.

1. Система слежения за поворотом глаза, содержащая:

источник инфракрасного излучения;

коллимирующую линзу, выполненную с возможностью преобразовывать излучение от источника в квазиколлимированный пучок;

инфракрасный делитель, выполненный с возможностью пропускать часть инфракрасного излучения и отражать часть инфракрасного излучения;

волновод, по которому может распространяться излучение;

первый элемент ввода/вывода, расположенный на волноводе и выполненный с возможностью вводить в волновод инфракрасное излучение, прошедшее инфракрасный делитель, и выводить из волновода инфракрасное излучение, отразившееся от сетчатки глаза и распространяющееся в волноводе;

второй элемент ввода/вывода, расположенный на волноводе и выполненный с возможностью выводить из волновода инфракрасное излучение, распространяющееся в волноводе, и вводить в волновод инфракрасное излучение, отразившееся от сетчатки глаза;

массив фотодиодов, выполненный с возможностью принимать инфракрасное излучение, выведенное из волновода первым элементом ввода-вывода и отразившееся от инфракрасного делителя;

модуль обработки сигналов, выполненный с возможностью обрабатывать сигналы, полученные от массива фотодиодов и выдавать информацию о повороте глаза.

2. Система по п. 1, в которой первый элемент ввода/вывода представляет собой дифракционный оптический элемент.

3. Система по п. 1, в которой второй элемент ввода/вывода представляет собой дифракционный оптический элемент.

4. Система по п. 1, в которой второй элемент ввода/вывода представляет собой дифракционный оптический элемент с оптической силой.

5. Система по п.1, в которой дополнительно между инфракрасным делителем и волноводом расположена линза с переменным фокусом.

6. Система по п.5, в которой линза с переменным фокусом является жидкокристаллической.

7. Система по любому из пп.1-6, в которой инфракрасный делитель содержит поляризационное покрытие, причем за инфракрасным делителем дополнительно располагается пластинка λ/4.

8. Система по любому из пп.1-6, в которой волновод имеет искривленные поверхности.

9. Способ работы системы слежения за поворотом глаза по любому из пп. 1-8, причем способ содержит этапы, на которых:

излучение от источника инфракрасного излучения проходит коллимирующую линзу, попадает на инфракрасный делитель;

часть излучения, прошедшая инфракрасный делитель, проходит к первому элементу ввода/вывода, после первого элемента ввода/вывода распространяется по волноводу путем полного внутреннего отражения от стенок волновода, попадает на второй элемент ввода/вывода и после второго элемента ввода/вывода выходит из волновода;

та часть вышедшего излучения, которая по нормали попадает в зрачок пользователя:

отражается от сетчатки,

выходит из зрачка,

проходит через второй элемент ввода/вывода, и, после второго элемента ввода/вывода,

распространяется по волноводу путем полного внутреннего отражения от стенок волновода,

попадает на первый элемент ввода/вывода,

после первого элемента ввода/вывода выходит из волновода,

попадает на инфракрасный делитель,

после делителя часть излучения направляется на массив фотодиодов, преобразующий излучение в сигнал;

сигнал, полученный от массива фотодиодов, обрабатывается модулем обработки сигналов, причем модуль обработки сигналов выдает информацию о повороте глаза.

10. Система виртуальной реальности, использующая систему слежения за поворотом глаза, содержащая:

источник изображения;

линзу для фокусировки излучения от источника изображения;

диафрагму;

систему смещения изображения;

источник инфракрасного излучения;

инфракрасное зеркало, выполненное с возможностью отражения излучения от источника инфракрасного излучения и пропускания излучения, от системы смещения изображения;

коллимирующую линзу, расположенную за инфракрасным зеркалом;

инфракрасный делитель, выполненный с возможностью пропускать часть инфракрасного излучения, коллимированного коллимирующей линзой, и пропускать излучение от источника изображения;

волновод, по которому может распространяться излучение, поступающее от инфракрасного делителя;

первую дифракционную решетку RGB, расположенную на волноводе для ввода излучения от источника изображения;

первый элемент ввода/вывода, расположенный на волноводе, и выполненный с возможностью вводить в волновод инфракрасное излучение, прошедшее инфракрасный делитель, и выводить из волновода инфракрасное излучение, отразившееся от сетчатки глаза и распространяющееся в волноводе;

второй элемент ввода/вывода, расположенный на волноводе и выполненный с возможностью выводить из волновода инфракрасное излучение, распространяющееся в волноводе, и вводить в волновод инфракрасное излучение, отразившееся от сетчатки глаза;

вторую дифракционную решетку RGB, расположенную на волноводе для вывода из волновода распространяющегося в волноводе излучения от источника изображения;

массив фотодиодов, выполненный с возможностью принимать инфракрасное излучение, выведенное из волновода первым элементом ввода/вывода и отразившееся от инфракрасного делителя;

модуль обработки сигналов, выполненный с возможностью обрабатывать сигналы, полученные от массива фотодиодов, и выдавать информацию о повороте глаза;

контроллер, выполненный с возможностью передавать инструкции для системы смещения изображения, на основании информации о повороте глаза, полученной от модуля обработки сигналов.

11. Система по п. 10, в которой первый элемент ввода/вывода представляет собой дифракционный оптический элемент.

12. Система по п. 10, в которой второй элемент ввода/вывода представляет собой дифракционный оптический элемент.

13. Система по п. 10, в которой второй элемент ввода/вывода представляет собой дифракционный оптический элемент с оптической силой.

14. Система по п.10, в которой дополнительно между инфракрасным делителем и волноводом расположена линза с переменным фокусом.

15. Система по п.14, в которой линза с переменным фокусом является жидкокристаллической.

16. Система по любому из пп.10-15, в которой инфракрасный делитель содержит поляризационное покрытие, причем за инфракрасным делителем дополнительно располагается пластинка λ/4.