Способ слежения за положением глаз пользователя и контактная линза (варианты) Российский патент 2024 года по МПК A61B3/113 G02C7/04 

Группа изобретений относится к сфере носимой оптики, а именно к способам слежения за положением глаз пользователя (eye-tracking) и контактным линзам, посредством которых такой способ может быть реализован, и может быть использован в системах формирования дополненной, виртуальной, смешанной или расширенной реальности (AR/VR/MR/XR).

Из уровня техники известен способ измерения угла наклона камеры к опорной плоскости, снабжённой изображением периодической решетки, заключающийся в проведении анализа муаровых полос, образующихся при наложении на указанное изображение второй периодической решетки, с последующим вычислением относительного угла наклона двух решеток и угла обзора камеры (патент CN107808399B, кл. G06T7/80, опубл. 26.10.2021). Основным недостатком известного способа является его применение только для определения положения камеры относительно некоторого объекта, но не положения интересующего объекта относительно камеры.

Наиболее близким по технической сущности к заявленному изобретению в части способа является способ слежения за положением глаз пользователя, согласно которому располагают множество камер в оправе очков с возможностью регистрации глаз пользователя, устанавливают на глаз пользователя контактную линзу и определяют положение глаз пользователя по положению глаза с контактной линзой относительного головы пользователя (патент US11393435B2, кл. G02B27/00, опубл. 19.07.2022). Основными недостатками известного способа являются потенциально низкая точность определения положения глаз и сложность реализации такого способа: необходимо использовать очки с множеством встроенных в них камер, а контактная линза должна быть оснащена камерой для отслеживания направления взгляда пользователя.

Наиболее близкой по технической сущности к заявленному изобретению в части устройства является косметическая контактная линза, содержащая центральную часть, в рабочем положении расположенную напротив зрачка пользователя, и периферическую часть, расположенную за пределами поля зрения пользователя, по меньшей мере частично выполненную из прозрачного материала, и снабжённую многослойной структурой, создающей “переливающуюся” муаровую картину за счет наложения периодических паттернов разных слоев (патент CA1317490C, кл. G02C 7/04, опубл. 11.05.1993). Основным недостатком известного устройства является его ограниченная функциональность, определяющая его использование только в косметических целях.

Технической проблемой, решаемой предлагаемыми изобретениями, является необходимость устранения вышеуказанных недостатков и создание сравнительно простой и дешевой в изготовлении системы, обеспечивающей высокую точность определения положения глаз пользователя относительно камеры. Кроме того, целесообразно применить высокоточный метод определения нормали к поверхности разных частей контактной линзы для динамического определения ее формы и, соответственно, опосредованного определения интраокулярного (внутриглазного) давления.

Технический результат заключается в повышении точности измерения положения контактной линзы и, как следствие, глаз пользователя.

Поставленная проблема решается, а технический результат достигается в части способа тем, что согласно предлагаемому способу слежения за положением глаз пользователя, располагают камеру с возможностью регистрации глаз пользователя, устанавливают, по меньшей мере, на один глаз пользователя контактную линзу, снабжённую оптической структурой, формирующей стереоскопическое изображение, и определяют положение глаз пользователя по линейному размеру этого изображения, регистрируемого камерой, и угловому положению этого изображения относительно оптической оси указанной камеры. Указанную оптическую структуру предпочтительно выполняют или в виде голограммы, или в виде автостереограммы и декодирующего элемента, разделённых слоем прозрачного материала. Для определения интраокулярного давления указанную оптическую структуру выполняют в виде, по меньшей мере, двух секций, расположенных по периметру контактной линзы, определяют угловое положение формируемого стереоскопического изображения по каждой из указанных секций и на основе полученных данных определяют радиус изгиба контактной линзы.

Поставленная проблема решается, а технический результат достигается в части устройства по первому варианту выполнения тем, что в контактной линзе, содержащей центральную часть, в рабочем положении расположенную напротив зрачка пользователя, и периферическую часть, расположенную за пределами поля зрения пользователя, по меньшей мере, частично выполненную из прозрачного материала, и снабжённую оптической структурой, указанная оптическая структура выполнена в виде автостереограммы и декодирующего щелевого растра, сформированного на наружной поверхности периферической части контактной линзы и обеспечивающего возможность формирования стереоскопического изображения, закодированного в указанной автостереограмме, причём автостереограмма сформирована за счёт отражения указанного щелевого растра в зеркальном покрытии, нанесённом на внутреннюю поверхность периферической части контактной линзы, или указанная автостереограмма сформирована за счёт образования тени от указанного щелевого растра на диффузно отражающем покрытии, нанесённом на внутреннюю поверхность периферической части контактной линзы.

Поставленная проблема решается, а технический результат достигается в части устройства по второму варианту выполнения тем, что в контактной линзе, содержащей центральную часть, в рабочем положении расположенную напротив зрачка пользователя, и периферическую часть, расположенную за пределами поля зрения пользователя, по меньшей мере, частично выполненную из прозрачного материала, и снабжённую оптической структурой, указанная оптическая структура выполнена в виде разделённых слоем прозрачного материала автостереограммы и декодирующего элемента, обеспечивающего возможность формирования стереоскопического изображения, закодированного в указанной автостереограмме, причём указанная автостереограмма и/или декодирующий растр сформированы в виде реального изображения, образованного повторяющимися элементами с периодом p и, по меньшей мер, двумя различными характерными линейными размерами, по меньшей мере, один из которых d₁<1/2·p. Указанные повторяющиеся элементы предпочтительно выполнены с возможностью формирования стереоскопического изображения, обеспечивающего возможность его использования в качестве гониометрической шкалы. Указанная периферическая часть контактной линзы предпочтительно простирается за пределы радужной оболочки глаза пользователя.

Поставленная проблема решается, а технический результат достигается в части устройства по третьему варианту выполнения тем, что в контактной линзе, содержащей центральную часть, в рабочем положении расположенную напротив зрачка пользователя, и периферическую часть, расположенную за пределами поля зрения пользователя, по меньшей мере, частично выполненную из прозрачного материала, и снабжённую оптической структурой, указанная оптическая структура выполнена в виде голограммы, записанной для заданной длины волны излучения и обеспечивающей возможность формирования стереоскопического изображения, при освещении контактной линзы пучком, содержащем излучение с указанной длиной волны.

На фиг.1 представлена общая схема реализации предлагаемого способа;

на фиг.2 - вариант реализации способа с помощью камеры, установленной на оправе очков;

на фиг.3 - контактная линза, обеспечивающая реализацию указанного способа с помощью оптической структуры, образованной декодирующим элементом в виде щелевого растра и автостереограммой в виде реального изображения (в осевом сечении);

на фиг.4 - контактная линза, обеспечивающая реализацию указанного способа с помощью оптической структуры, образованной декодирующим элементом в виде кодирующей апертуры (общий вид);

на фиг.5 - вариант выполнения такой кодирующей апертуры;

на фиг.6 - предлагаемая контактная линза по первому варианту с автостерегораммой в виде отражения в зеркальном покрытии или тени на диффузно отражающем покрытии (в осевом сечении);

на фиг.7 - предлагаемая контактная линза по второму варианту с оптической структурой, образованной автостереограммой в виде реального изображения и декодирующим растром в виде массива микролинз (общий вид);

на фиг.8 - участок изображения для автостереограммы по фиг.7 в виде гониометрической шкалы;

на фиг.9 - предлагаемая контактная линза по второму варианту с оптической структурой, образованной автостереограммой и декодирующим растром в виде реальных изображений, разделенных слоем прозрачного материала;

фиг.10 - пример изображения для оптической структуры по фиг.7 в виде пары ориентированных в перпендикулярных направлениях решеток, образованных повторяющихся элементов с семью различными характерными линейными размерами;

фиг.11 - регистрируемое камерой изображение, формируемое оптической структурой по фиг.10, при угле наблюдения 45 градусов и расстоянии 3 см;

фиг.12 - регистрируемое камерой изображение, формируемое оптической структурой по фиг.10, при угле наблюдения 15 градусов и расстоянии 10 см;

фиг.13 - предлагаемая контактная линза по третьему варианту с оптической структурой в виде голограммы (общий вид);

фиг.14-16 - фотографии серий муаровых полос от оптической структуры в виде двух реальных изображений дифракционных решеток, разделенных слоем прозрачного материала, которые получены при помощи камеры мобильного телефона под разными ракурсами и с разного расстояния;

фиг.17 - график зависимости квадрата разности интенсивности муаровых полос, зафиксированных при помощи камеры, и соответствующей расчётной интенсивности от угла наклона оптической структуры к оптической оси камеры - функция в диапазоне углов от 0 до 90 градусов;

фиг.18 - то же, что на фиг.17 в диапазоне углов от 14 до 16 градусов.

Суть предлагаемого способа слежения за положением глаз пользователя (eye tracking) заключается в использовании пары (для слежения за обоими глазами) или одной (для слежения за положением одного глаза) контактной линзы 1 с многослойной оптической структурой 2, формирующей некоторое стереоскопическое изображение для камеры 3 [фиг.1].

Камера 3 может быть расположена на оправе очков [фиг.2] (на крае дужки очков, рамке оправы, шарнире, флексе, хвостовике и т.д.), в мобильном телефоне, стационарно на корпусе ноутбука, монитора, офисной и домашней мебели или в любом другом доступном месте, обеспечивающем возможность достоверной регистрации глаз пользователя. Если камера 3 установлена с возможностью поворота, её дополнительно снабжают устройством определения положения собственной оптической оси и поворота относительно этой оси.

Чтобы не ограничивать поле зрения, контактная линза 1 содержит центральную часть, в рабочем положении расположенную напротив зрачка 4 пользователя, и периферическую часть, расположенную за пределами поля зрения пользователя. Периферическая часть частично или полностью выполнена из прозрачного материала и именно её снабжают оптической структурой 2. Для обеспечения лучшей видности (на белом фоне белка глаза) периферическую часть выполняют простирающейся за пределы радужной оболочки глаза пользователя.

После установки такой контактной линзы 1 на глаз пользователя, его положение (направление взгляда) определяют (восстанавливают) по положению и ориентации контактной линзы 1 в пространстве. Положение поверхности контактной линзы 1, в свою очередь, определяют по положению одной сложной или нескольких простых оптических структур 2. Предпочтительно выполнение оптической структуры 2 в виде нескольких секций, расположенных по периметру контактной линзы 1: таким образом можно определить нормали к поверхности линзы 1 в разных ее частях. Это позволяет корректно найти положение глаз даже если контактная линза 1 повернулась на некоторый угол, а также повысить точность измерения. При достаточной точности возможно даже определять изменение радиуса изгиба контактной линзы 1 (если определить угловое положение формируемого стереоскопического изображения для двух или более секций).

Указанная оптическая структура 2 может быть выполнена в виде голографического оптического элемента (голограммы), компьютерной голограммы (спроектированная специализированными вычислительными методами и изготовленная при помощи литографии метаповерхность, обладающая свойствами аналогичными настоящей голограмме, т.е. создающая некоторое стереоскопическое изображение при внешнем освещении), многослойной структуры и т.п.

В простейшем случае оптическая структура выполнена в виде автостереограммы (автостереография - комплекс технологий и методов, позволяющий при помощи плоского изображения воссоздавать иллюзию объемной картинки) и декодирующего элемента (например, щелевого растра 5 [фиг.3] или кодирующей апертуры 6 [фиг.4]).

Когда декодирующий элемент находится на некотором расстоянии (равном толщине слоя прозрачного материала контактной линзы 1) от автостереограммы, то при наблюдении оптической структуры 2 под разными углами сквозь него видны соответственно разные участки автостереограммы. Таким образом, структура объекта, выступающего в роли автостереограммы, определяет угловую зависимость интенсивности (а также потенциально и спектрального состава) света и может быть использована для дизайна желаемого стереоскопического изображения. Если стереоизображение находится на бесконечности, то каждый участок стереоскопического изображения должен быть виден строго под соответствующим ему углом вне зависимости от того, какой участок автостереограммы рассматривается. В этом случае проектирование автостереограммы достаточно тривиально - необходимо просто использовать периодический декодирующий элемент и повторить проецируемое на бесконечность изображение с периодом этого декодирующего элемента в соответствующем масштабе, после чего сфокусировать камеру 3 на бесконечность. Тогда в любой из частей периодического декодирующего элемента будет виден только тот участок изображения, который соответствует углу наблюдения. Отсюда становится очевидным, что чем меньше эта часть (например, ширина щели растра 5) по отношению к периоду, тем большее угловое разрешение будет у стереоскопического изображения, но тем меньшая у него будет яркость и контрастность.

В качестве альтернативного объяснения, можно рассматривать каждую из щелей растра 5 в качестве камеры обскура, которая проецирует маленькое изображение из автостереограммы на бесконечность. Поскольку в одной отдельной щели растра 5 мы видим только малую часть интересующего нас стереоскопического изображения, то для наблюдения всех частей изображения необходимо повторять ту же структуру множество раз, что и приводит к формированию решетки.

Исходя из двух объяснений, становится понятно, что совершенно не обязательно делать автостерограмму и декодирующий элемент строго периодическими структурами, как на [фиг.3] - важно только то, чтобы соответствующие их части были совмещены друг с другом (как, например, может быть в случае кодирующей апертуры 6 [фиг.4], [фиг.5]).

Декодирующий растр может представлять из себя решетку щелей (щелевой растр 5 - [фиг.3], [фиг.6], [фиг.9]) или отверстий (pinhole), цилиндрических или сферических микролинз 7 (лентикулярный растр) [фиг.7] и т.п. Автостереограмма может быть выполнена в виде периодически, квазипериодически, апериодически повторяющегося реального изображения, а также в виде зеркального отражения или тени декодирующего растра (например, щелевого растра 5) на покрытии 8 [фиг.6], соответственно, зеркальном или диффузионно отражающем и т.п.

В простейшем случае оптическая структура 2 состоит из двух или более строго периодических, градиентных (аподизированных) решеток, апериодических или квазикристаллических структур, разделенных слоем прозрачного материала [фиг.3]. В случае двух решеток одна из них (сформированная с помощью внутренней поверхности контактной линзы 1) выполняет функцию автостереограммы, а вторая (выполненная на внешней поверхности контактной линзы 1) - декодирующего элемента (например, щелевого растра 5). Альтернативно оптическая структура 2 может быть выполнена в виде отдельно изготавливаемой слоистой структуры, полностью интегрируемой внутрь контактной линзы 1 (на чертежах не показано), что не ограничивает суть изложенных ниже вариантов выполнения.

Поскольку стереоскопическое изображение формируется на некотором (потенциально бесконечном) расстоянии от оптической структуры 2, то оптическую структуру 2 можно воспринимать как апертуру (“окно”), ограничивающую видимую область стереоскопического изображения. По тому, какую именно часть стереоскопического изображения регистрирует камера 3 можно судить о взаимном расположении камеры 3 и оптической структуры 2, а, следовательно, определить расстояние между ними и угол между нормалью к поверхности оптической структуры 2 и оптической осью камеры 3.

В контактной линзе 1 по первому варианту выполнения автостереограмма сформирована за счёт отражения указанного щелевого растра 6 в покрытии 8 [фиг.6], выполненном зеркальным. Альтернативно автостереограмма может быть сформирована за счёт образования тени от указанного щелевого растра 6 на покрытии 8, выполненном диффузно отражающим (диффузная поверхность). Покрытие 8 может быть нанесено на внутреннюю поверхность периферической части контактной линзы 1 или помещено в некоторой плоскости ее сечения. Предложенный вариант выполнения обладает рядом описанных ниже преимуществ.

В случае отражения формируемое зеркальное изображение декодирующего щелевого растра 5 находится от него на расстоянии в два раза большем, чем зеркальная плоскость покрытия 8 (что, соответственно, в два раза увеличивает чувствительность к изменению угла при фиксированных размерах оптической структуры 2). В условиях практической ограниченности толщины контактной линзы 1 несколькими сотнями микрометров, эффективное увеличение ее толщины в два раза является несомненным преимуществом, позволяющим потенциально также в два раза увеличить точность определения положения глаз и направления взгляда пользователя. Вторым несомненным преимуществом является избавление от необходимости совмещения изображения автостереограммы и декодирующего щелевого растра 5 - при сохранении параллельности всех плоскостей зеркальное изображение в поверхности 8 автоматически совмещено с отражающимся растром 5.

Использование тени в качестве автостереограммы также частично решает проблему совмещения. Линии тени на поверхности 8 в этом случае также параллельны линиям исходного щелевого растра 5, но смещены на некоторое расстояние в зависимости от угла засветки структуры. Также использование тени позволяет увеличить контрастность изображения. В частности, этого можно добиться за счет использования яркого внешнего источника света малого углового размера или монохроматического источника вместе с фильтром для камеры 3 на соответствующую длину волны.

В контактной линзе 1 по второму варианту выполнения оптическая структура 2 выполнена в виде разделённых слоем прозрачного материала автостереограммы и декодирующего элемента в виде растра (не обязательно щелевого растра 5 - это может быть, например, лентикулярный растр или массив микролинз 7 [фиг.7]]). Хотя бы один из этих элементов (например, автостереограмма) должен быть сформирован в виде реального изображения, которое может быть получено, например, путём нанесения диффузно рассеивающего или иного материала, контрастного по отношению к фону. Для увеличения углового разрешения стереоскопического изображения и точности измерения положения глаза автостереограмма должна быть образована повторяющимися элементами с периодом p и, по меньшей мере, двумя различными характерными линейными размерами d_1…d_N [фиг.10]. По меньшей мере, один из указанных линейных размеров должен удовлетворять неравенству d₁<1/2·p. Это обусловлен том, что элементы размером меньше половины периода естественным образом приводят к образованию мелких деталей стереоскопического изображения, которые в свою очередь могут быть использованы для более точного определения взаимной ориентации оптической структуры 2 и камеры 3. Взаимодействие декодирующего растра и автостереограммы приводит к формированию стереоскопического изображения, закодированного в указанной автостереограмме. Угол наблюдения его с различных сторон легко может быть определен по изображению на камере 3. Для автостереограммы и декодирующего щелевого растра 5 в виде пары ориентированных в перпендикулярных направлениях решеток, образованных повторяющимися элементами с семью различными характерными линейными размерами (общим периодом p будет период самых крупных элементов), стереоскопическое изображение будет представлять собой набор муаровых полос. При наблюдении камерой 3 под разными углами и с разного расстояния за муаровыми полосами [фиг.11], [фиг.12] будут видны разные их участки. По соотношению фаз муаровых полос разных подрешеток можно судить от том, какой именно участок общего стереоскопического изображения наблюдает камера 3 и, соответственно, под каким углом её оптическая ось наклонена к оптической структуре 2. По видимому угловому диапазону спектрального изображения можно восстановить расстояние от камеры 3 до оптической структуры 2.

Предложенная контактная линза 1 по второму варианту выполнения позволяет выбирать декодирующий растр и автостерограмму независимо друг от друга, а значит получать практически произвольное стереоскопическое изображение. В частности, несмотря на техническую сложность реализации, выбор некоторых стереоскопических изображений может значительно упростить интерпретацию получаемых данных. Например, можно использовать в качестве автостереограммы реальное изображение гониометрической шкалы [фиг.8], на которой обозначены метками и подписаны значения полярного и азимутального углов. Для восстановления такой автостереограммы удобно использовать растр в виде матрицы микролинз 7 [фиг.6]. В этом случае наблюдатель или камера 3 будет напрямую “видеть”, под каким углом расположена к нему оптическая структура 2.

В контактной линзе 1 по третьему варианту выполнения оптическая структура 2 выполнена в виде голограммы [фиг.13]. Такую голограмму проще всего записывать непосредственно на линзе, содержащей фоторефрактивный материал, чувствительный к заданной длине волны излучения (например, 532 нм). Длину волны выбирают в зависимости от предполагаемой схемы дальнейшего восстановления в видимом диапазоне спектра (при обычном освещении) или за его пределами (для ИК или УФ излучения), при этом для восстановления необходимо использовать соответствующий источник излучения.

Такой вариант выполнения позволяет избежать сложностей с отдельным изготовлением автостереограммы и декодирующего элемента, т.к. сразу за единую процедуру записи голограммы получается оптическая структура 2, формирующая требуемое стереоскопическое изображение.

При всех описанных преимуществах, на практике восстановление ориентации оптической структуры 2 по наблюдаемому камерой 3 изображению является отдельной задачей обработки данных. Общая концепция восстановления параметров может быть описана следующим примером.

Пример.

Полученное на камере 3 изображение сопоставляется с теоретической оценкой того, как должна выглядеть оптическая структура 2 под различными углами наблюдения. Затем по наиболее близкой теоретической оценке восстанавливают, под каким углом и на каком расстоянии от оптической структуры 2 была расположена камера 3. В зависимости от сложности оптической структуры 2, зашифрованного в ней стереоскопического изображения, а также взаимного положения структуры 2 и камеры 3 теоретический анализ изображения может быть произведен как чисто аналитически, так и посредством численного моделирования, применения современных методов обработки и анализа изображения и последующей постобработки.

Ниже рассмотрена одна из простых оптических структур 2 в виде одной решетки (из нескольких подрешеток разных периодов из элементов с различными линейными размерами) и другой аналогичной решетки, расположенной на некотором расстоянии . Такая структура может действительно состоять из двух одинаковых решеток [фиг.3], а может быть образована одной решеткой и её зеркальным изображением [фиг.6]. Такая решетка может использоваться на практике, а также позволяет сравнительно просто восстановить ориентацию оптической структуры 2 относительно камеры 3.

Оптическая структура 2, в которой изображение получается в результате наложения решетки и ее тени имеет схожий принцип работы. Однако, при восстановлении угла поворота такой оптической структуры 2 необходимо учитывать положение источника света, что делает обработку данных несколько сложнее, поэтому соответствующее описание не приведено.

Допустим, оптическая структура 2 состоит из нескольких щелевых растров 5 [фиг.10] в виде решеток разных периодов, нанесенных на внешнюю поверхность контактной линзы 1. Решетки выбираются так, что решетка под номером имеет период . Важно, чтобы все решетки были совмещены таким образом, что середины центральных штрихов всех решеток находятся на одной линии. Для восстановления ориентации плоскости оптической структуры 2 во всех направлениях удобно использовать пару одинаковых серий решеток, ориентированных в перпендикулярных направлениях - т.е. повернутых на 90 градусов друг относительно друга.

На внутреннюю поверхность контактной линзы 1 нанесено зеркальное покрытие 8. Считая, что локально, на масштабах рассматриваемой оптической структуры 2 контактная линза 1 представляет собой плоскопараллельную пластинку толщиной [фиг.6], на расстоянии от исходной решетки мы получаем автостереограмму в виде отражения декодирующего щелевого растра 5. В качестве альтернативы автостереограмма может быть выполнена на расстоянии и напрямую в виде реального изображения, эквивалентного декодирующему щелевому растру 5 [фиг.3], без использования покрытия 8. Все последующие результаты в этом случае будут аналогичные с точностью до меньшего расстояния между компонентами оптической структуры 2.

При наблюдении за такой оптической структурой 2 со стороны камеры 3 мы будем видеть муаровые узоры, появляющиеся за счет наложения исходной решетки и ее отражения. Этот эффект связан с тем, что разные участки оптической структуры 2 мы видим под разными углами, но в то же время в результате параллакса под разными углами наблюдения полосы решеток накладываются друг на друга в разной фазе, что и приводит к периодической смене темных и светлых муаровых полос.

В параксиальном приближении для пары решеток одинакового периода период муаровых полос в пространстве углов будет соответствовать . Таким образом, в рассматриваемой геометрии период муаровых полос пропорционален периоду решеток, и в свою очередь пропорционален степеням двойки.

На [фиг.14], [фиг.15], [фиг.16] показаны фотографии сфабрикованной литографическими методами оптической структуры из двух идентичных титановых решеток, разделенных слоем стекла, под серией разных ракурсов и с разного расстояния. Решетки смещены друг относительно друга на некоторое случайное расстояние, из-за чего муарова картина сдвинута в пространстве углов на соответствующий угол. Оптическая структура 2 освещается диффузным светом сзади для повышения контрастности картины, а камера 3 сфокусирована на бесконечность. Фотографии демонстрируют четко различимые линии муаровых полос разных периодов.

При относительном движении камеры 3 наблюдается следующий эффект: на получаемом видеоизображении муаровые полосы остаются неподвижными, как будто бы они действительно находятся на бесконечности. При этом площадь всей оптической структуры выступает в роли “окна” (ограниченной своими рамками видимой области), которое позволяет увидеть ту или иную часть расположенного вдали стереоскопического изображения муаровых полос. По соотношению интенсивности полос в каждом сечении изображения можно судить о том, под каким углом по отношению к оптической оси камеры 3 находится соответствующая часть оптической структуры 3. По количеству муаровых полос, помещающихся на площади оптической структуры 2 можно судить о ее угловом размере (апертуре), а зная размер решетки можно легко восстановить и ее расстояние до камеры 3.

Таким образом, например, при приближении камеры 3 к оптической структуре 2 мы видим большее число полос (апертура “окна” увеличивается, а угловой период муаровых решеток постоянен). По количеству полос, помещающихся в “окно” известной ширины можно легко восстановить расстояние до решетки. В параксиальном приближении расстояние между камерой 3 и оптической структурой 2 можно найти как , где - ширина решетки, - расстояние между решетками, - количество муаровых полос для - ой решетки, а - ее период.

Каждая отдельная пара решеток малого периода сама по себе не может быть использована для определения угла в широком диапазоне, поскольку соответствующая ей муарова картина периодична. Любая, сколь угодно продвинутая обработка данных в этом случае дает значение угла поворота с точностью до одного или нескольких периодов . По этой причине, чтобы иметь возможность измерить угол в большом диапазоне и с большой точностью нужно использовать оптическую структуру 2 из нескольких решеток. У нескольких решеток может быть сравнительно большой общий период p (период сверхрешетки) или его может не быть вообще (структура апериодична и не повторяется в пространстве), что позволяет получать неповторяющийся муаровый паттерн в большом диапазоне углов, но при этом с достаточно мелкими, уникальными особенностями. Описанный подход, являющийся одним из вариантов реализации мультимасштабных структур, позволяет обеспечить высокую точность измерений в широком диапазоне.

Для простоты примера, в рамках данного патента рассмотрена серия строго периодичных решеток, периоды которых пропорциональны степеням двойки. Тем не менее, необходимыми свойствами могут обладать наборы решеток других периодов, в том числе случайных, градиентные решетки, слабо апериодичные решетки, квазирешетки и многие другие структуры, обладающие ближним порядком. В этом конкретном примере решетки большого периода и соответствующие им муаровые полосы наиболее полезны для грубого определения угла поворота оптической структуры 2. При этом мелкие решетки намного более чувствительны к поворотам и могут быть использованы для более точного измерения углов.

При наблюдении за картиной по нормали к ее поверхности, наблюдаются светлые полосы для всех решеток, поскольку все решетки выровнены относительно начала координат и “полосы” в верхних решетках не перекрывают “прорези” в нижних. Обозначим значение интенсивности -ой полосы и будем считать, что для светлой полосы , а для темной . В рамках простейшей теоретической модели можно считать, что интенсивность муаровых полос меняется между максимумами и минимумами по гармоническому закону. В рамках этого приближения мы пренебрегаем Фурье-гармониками высокого порядка величина которых на практике действительно сравнительно невелика. Таким образом, теоретическая оценка дает нам

.

Таким образом, на практике мы извлекаем из фотографии чисел и перед нами стоит задача восстановить угол , при котором соответствующие интенсивности реализуются. С математической точки зрения мы имеем дело с переопределенной системой уравнений. Система должна быть переопределенной для того, чтобы быть устойчивой к погрешностям и заведомо избежать возможных неоднозначностей в решении (нескольких значений угла, которые удовлетворяют уравнению).

Наиболее стандартный подход к решению переопределенных систем уравнений - метод наименьших квадратов. В применении к нашей задаче он состоит в нахождении значения угла при котором минимизируется следующее выражение

где - интенсивность - ой решетки на фотографии.

На [фиг.12] показано построенное в графическом редакторе изображение оптической структуры 2 из пары идентичных решеток с подрешетками с периодом на расстоянии мкм друг от друга. Эта оптическая структура 2 повернута на угол 15 градусов по одной из осей относительно камеры 3. По полученному изображению мы извлекли соответствующие значения интенсивности и построили зависимость отклонения теоретической оценки интенсивностей от измеренных величин как функцию от угла поворота

.

В случае идеальной точности извлечения данных с фотографии, для верного значения угла величина отклонения должна была бы обратиться в строгий ноль. Неминуемая погрешность приводит к тому, что провал не доходит до строго нулевого значения, но тем не менее его положение может и должно быть использовано для определения угла поворота.

Как видно из [фиг.17], для функции наблюдается ожидаемый провал в районе 15 градусов, а также целая серия побочных провалов для углов больше 50 градусов. Причина в том, что при соответствующих значениях углов набор получаемых параметров идентичен или очень близок тому набору, который дает нам угол поворота в 15 градусов. Поскольку углы, при которых наблюдаются побочные пики, сильно отстают от правильного значения - нам не составляет труда выбрать “правильный” пик. Например, по общему изображению на камере, которое и используется для фиксации муаровой картины отличить угол поворота около 15 градусов от угла поворота более 50 градусов при помощи стандартных методов не составит труда.

В то же время, более детальный анализ положения линии провала [фиг.18] дает оценку угла в 14.98 градусов. Это значение находится в пределах ожидаемой погрешности, равной половине периода наиболее частого муара .

Таким образом, практически доказано, что использование предлагаемого способа и вариантов устройств в виде контактных линз позволяет значительно упростить реализацию слежения за положением глаз пользователя (eye tracking) и значительно повысить точность определения положения глаз.

Группа изобретений относится к сфере носимой оптики, а именно к способам слежения за положением глаз пользователя (eye-tracking) и контактным линзам, посредством которых такой способ может быть реализован, и может быть использована в системах формирования дополненной, виртуальной, смешанной или расширенной реальности (AR/VR/MR/XR). Согласно способу слежения за положением глаз пользователя располагают камеру с возможностью регистрации глаз пользователя, устанавливают, по меньшей мере, на один глаз пользователя контактную линзу с оптической структурой, формирующей стереоскопическое изображение, и определяют положение глаз пользователя по линейному размеру и угловому положению этого изображения относительно камеры. В контактной линзе по первому варианту оптическая структура выполнена в виде автостереограммы и декодирующего щелевого растра, причём автостереограмма сформирована за счёт отражения указанного щелевого растра в зеркальном покрытии, или за счёт образования тени от указанного щелевого растра на диффузно отражающем покрытии. В контактной линзе по второму варианту оптическая структура выполнена в виде разделённых слоем прозрачного материала автостереограммы и декодирующего растра в виде реальных изображений из повторяющихся элементов с периодом p и, по меньшей мере, двумя различными характерными линейными размерами (d₁<1/2⋅p). В контактной линзе по третьему варианту оптическая структура выполнена в виде голограммы. Группа изобретений позволяет повысить точность измерения положения контактной линзы и, как следствие, глаз пользователя. 4 н. и 5 з.п. ф-лы, 18 ил.

1. Способ слежения за положением глаз пользователя, согласно которому располагают камеру с возможностью регистрации глаз пользователя, устанавливают, по меньшей мере, на один глаз пользователя контактную линзу, снабжённую оптической структурой, формирующей стереоскопическое изображение, и определяют положение глаз пользователя по линейному размеру этого изображения, регистрируемого камерой, и угловому положению этого изображения относительно оптической оси указанной камеры.

2. Способ по п.1, отличающийся тем, что указанную оптическую структуру выполняют в виде автостереограммы и декодирующего элемента, разделённых слоем прозрачного материала.

3. Способ по п.1, отличающийся тем, что указанную оптическую структуру выполняют в виде голограммы.

4. Способ по п.1, отличающийся тем, что указанную оптическую структуру выполняют в виде, по меньшей мере, двух секций, расположенных по периметру контактной линзы, определяют угловое положение формируемого стереоскопического изображения по каждой из указанных секций и на основе полученных данных определяют радиус изгиба контактной линзы.

5. Контактная линза, содержащая центральную часть, в рабочем положении расположенную напротив зрачка пользователя, и периферическую часть, расположенную за пределами поля зрения пользователя, по меньшей мере, частично выполненную из прозрачного материала, и снабжённую оптической структурой, отличающаяся тем, что указанная оптическая структура выполнена в виде автостереограммы и декодирующего щелевого растра, сформированного на наружной поверхности периферической части контактной линзы и обеспечивающего возможность формирования стереоскопического изображения, закодированного в указанной автостереограмме, причём автостереограмма сформирована за счёт отражения указанного щелевого растра в зеркальном покрытии, нанесённом на внутреннюю поверхность периферической части контактной линзы, или указанная автостереограмма сформирована за счёт образования тени от указанного щелевого растра на диффузно отражающем покрытии, нанесённом на внутреннюю поверхность периферической части контактной линзы.

6. Контактная линза, содержащая центральную часть, в рабочем положении расположенную напротив зрачка пользователя, и периферическую часть, расположенную за пределами поля зрения пользователя, по меньшей мере, частично выполненную из прозрачного материала, и снабжённую оптической структурой, отличающаяся тем, что указанная оптическая структура выполнена в виде разделённых слоем прозрачного материала автостереограммы и декодирующего растра, обеспечивающего возможность формирования стереоскопического изображения, закодированного в указанной автостереограмме, причём указанная автостереограмма и/или декодирующий растр сформированы в виде реального изображения, образованного повторяющимися элементами с периодом p и, по меньшей мере, двумя различными характерными линейными размерами, по меньшей мере, один из которых d₁<1/2⋅p.

7. Контактная линза по п.6, отличающаяся тем, что указанные повторяющиеся элементы выполнены с возможностью формирования стереоскопического изображения, обеспечивающего возможность его использования в качестве гониометрической шкалы.

8. Контактная линза по п.6, отличающаяся тем, что указанная периферическая часть контактной линзы простирается за пределы радужной оболочки глаза пользователя.

9. Контактная линза, выполненная с возможностью реализации способа по п.1 и содержащая центральную часть, в рабочем положении расположенную напротив зрачка пользователя, и периферическую часть, расположенную за пределами поля зрения пользователя, по меньшей мере, частично выполненную из прозрачного материала, и снабжённую оптической структурой, отличающаяся тем, что указанная оптическая структура выполнена в виде голограммы, записанной для заданной длины волны излучения и обеспечивающей возможность формирования стереоскопического изображения, при освещении контактной линзы пучком, содержащим излучение с указанной длиной волны.