Устройство определения координат линии взора наблюдателя в режиме реального времени Российский патент 2020 года по МПК A61B3/00 

Область техники

Изобретение относится к области физики, а именно к обработке данных, в частности к получению в режиме реального времени точных угловых координат линии взора наблюдателя относительно заданной точки на изображении и координат пересечения линии взора наблюдателя с плоскостью изображения.

Уровень техники

Изобретение относится к области физики, а именно к обработке данных, в частности – получения в режиме реального времени точных угловых координат линии взора наблюдателя относительно заданной точки на изображении и координат пересечения линии взора с плоскостью изображения, формируемого устройством вывода визуальной информации – матрицей, экраном проектора или иным устройством (Visual Information Output Device – VIOD), встроенном в приспособление, размещенное на голове, например (но не ограничиваясь), шлем виртуальной реальности или очки дополненной или смешанной реальности (Head-Mounted Device – HMD) и может быть использовано во всех случаях, когда для получения корректного результата требуется точное, представленное в виде калиброванных данных, отслеживание координат линии взора наблюдателя, в частности – для создания измерительных устройств для измерения физиологических и зрительных функций организма; для реализации методик, использующих видеонистагмографию; в медицине (офтальмологии, неврологии, психиатрии, хирургии, психологии, реабилитации и т.д.), психолингвистике и других областях для получения объективной картины и достоверных результатов при исследовании физиологических и зрительных функций или проведении лечебных процедур; в маркетинге, образовании и игровой индустрии при тестировании различного видео-контента и работы с видео-тренажерами; в устройствах моделирования, диагностирования, ремонта, настройки и управления сложными системами и других областях; в системах создания виртуальной, дополненной и смешанной реальности для устранения негативной реакции в виде потери ориентации, утомляемости, головокружении, тошноты и т.д.; а также в качестве устройств ввода-вывода данных для взаимодействия человека с компьютером во всех областях.

Из уровня техники известна система отслеживания взгляда (US8510166B2, опубл. 13.08.2013). Система отслеживания взгляда представляет собой устройство отслеживания взгляда, размещенное на голове и сервер с программным обеспечением. Устройство, размещенное на голове выполнено с возможностью связи с сервером. Сервер получает изображения сцен от устройства слежения за взглядом, которое захватывает внешние сцены, просматриваемые наблюдателем, носящим устройство, установленное на голове. Сервер также получает информацию о направлении взгляда от устройства отслеживания взгляда, смонтированного на голове. Информация о направлении взгляда указывает, куда во внешних сценах смотрел наблюдатель при просмотре внешних сцен. Алгоритм распознавания изображений выполняется на изображениях сцены, чтобы идентифицировать элементы в пределах внешних сцен, просматриваемых наблюдателем. Создается журнал наблюдения, отслеживающий идентифицированные предметы, просматриваемые наблюдателем.

Недостатки данного решения: для отслеживания движения глаз в системе используется камера, работающая в видимом диапазоне. Системы подсветки нет. В этом случае могут быть проблемы при использовании при ярком освещении (блики и насыщение) или в тёмных условиях (плохо виден зрачок). Кроме того, такие системы обычно имеют узкое поле зрение, поэтому при больших поворотах зрачка будет существенное искажение формы и возможно даже будет потеря зрачка. Кроме того, присутствует возможность появления ошибок определения направления линии взора на изображение за счет: погрешностей, в частности геометрических, вносимых системой отслеживания линии взора, которая находится не линии взора; задержки при обработки визуальной информации, получаемой с системы слежения за линией взора (eye tracker); анатомических особенностей каждого человека, в частности за счет разного межзрачкового расстояния.

Из уровня техники известно устройство обнаружения точки взора (US9262680B2, опубл.16.02.2016). Устройство обнаружения точки обзора обнаруживает точку обзора объекта на окружающую среду. Устройство включает в себя: средство получения изображения глазного яблока, выполненное с возможностью получения изображения глазного яблока субъекта; средство оценки точки отражения, выполненное с возможностью оценки первой точки отражения, в которой отражается входящий свет в направлении оптической оси глазного яблока субъекта от изображения глазного яблока; средство вычисления скорректированной точки отражения, сконфигурированное для вычисления скорректированной точки отражения в качестве скорректированной первой точки отражения путем коррекции первой точки отражения на основе личного параметра, указывающего разницу между направлением взгляда субъекта и направлением оптической оси глазное яблоко.

Недостатки данного решения: для работы устройства требуется калибровка под каждый глаз, которая зависит от положения камеры. Система для калибровки достаточно сложная для реализации ее в носимом на голове устройстве. Кроме того, устройство «обнаруживает точку обзора объекта на окружающую среду», другим словами не предназначено для работы с системами генерирующими изображение устройствами вывода визуальной информации – матрицей, экраном проектора или иным устройством. Кроме того, обработка данных, получаемых с устройства, происходит с помощью средств обнаружения и вычисления, которые являются программами, работающими на компьютере, а следовательно, в этом случае, появляется вероятность ошибок определения направления оптической оси глазного яблока за счет задержки при обработке информации, в компьютере.

Точные координаты и их изменение в режиме реального времени необходимы во всех случаях, когда для получения корректного результата требуется точное, представленное в виде калиброванных данных, отслеживание координат линии взора наблюдателя, в частности – для создания измерительных устройств для измерения физиологических и зрительных функций организма; для реализации методик, использующих видеонистагмографию; в медицине (офтальмологии, неврологии, психиатрии, хирургии, психологии, реабилитации и т.д.), психолингвистике и других областях для получения объективной картины и достоверных результатов при исследовании физиологических и зрительных функций или проведении лечебных процедур; в маркетинге, образовании и игровой индустрии при тестировании различного видео-контента и работы с видео-тренажерами; в устройствах моделирования, диагностирования, ремонта, настройки и управления сложными системами и других областях; в системах создания виртуальной, дополненной и смешанной реальности для устранения негативной реакции в виде потери ориентации, утомляемости, головокружении, тошноты и т.д.; а также в качестве устройств ввода-вывода данных для взаимодействия человека с компьютером во всех областях.

Задача определения координат линии взора наблюдателя на изображение с помощью устройств слежения (eye tracker), усложняется необходимостью отслеживания изменения положения головы наблюдателя относительно объекта фиксации взора. Для отслеживания изменения положения головы наблюдателя применяются специальные датчики, показания которых обрабатываются компьютерными программами.

В результате накапливаются ошибки, связанные с ограниченной точностью работы датчиков и задержкой, вызванной временем обработки их показаний.

Устранить эти ошибки возможно зафиксировав положение устройства фиксации линии взора относительно устройства вывода визуальной информации (VIOD) в едином блоке, встроенном в приспособление, размещенное на голове (HMD), например, (но не ограничиваясь) шлем виртуальной реальности или очки дополненной, или смешанной реальности. Однако, в этом случае, остается возможность появления ошибки определения координат линии взора на изображение за счет: погрешностей, в частности геометрических, вносимых системой отслеживания координат линии взора; задержки при обработки визуальной информации, получаемой с системы слежения за линией взора (eye tracker); анатомических особенностей каждого человека, в частности за счет разного межзрачкового расстояния.

Раскрытие изобретения

Задачей, решаемой заявленным техническим решением, является создание устройства для определения в режиме реального времени угловых координат линии взора наблюдателя относительно заданной точки на изображении, а также координат пересечения линии взора с плоскостью изображения, формируемого устройством вывода визуальной информации – матрицей, экраном проектора или иным устройством (Visual Information Output Device – VIOD), встроенном в приспособление, размещенное на голове, например, (но не ограничиваясь) шлем виртуальной реальности или очки дополненной или смешанной реальности (Head-Mounted Device – HMD). А также создание устройства с минимальной погрешностью и с минимальной задержкой при обработке информации. Заявленное техническое решение позволяет получать калиброванные данные результатов измерения координат линии взора наблюдателя, в результате чего также позволяет устранить такие неприятные явления для наблюдателя, как потеря ориентации, утомляемость, головокружение, тошнота и т.д., которые возникают при использовании неправильно настроенных шлемов виртуальной реальности или очков дополненной или смешанной реальности.

Технический результат заявленного изобретения заключается в снижении погрешности, в уменьшение задержки при обработке информации и в повышении точности настройки оптических осей устройств вывода визуальной информации (VIOD) относительно оптических осей глаз.

Технический результат заявленного изобретения достигается за счет того, что устройство определения координат линии взора наблюдателя в режиме реального времени содержит оптические блоки для правого глаза и левого глаза наблюдателя, расположенные на одной плоскости, таким образом, что их оптические оси параллельны и проходят в непосредственной близости от линии взора наблюдателя; устройство регулирования расстояния между упомянутыми оптическими блоками и контроллер регулирования расстояния между оптическими блоками, выполненные с возможностью автоматического регулирования расстояния между оптическими блоками, в плоскости перпендикулярной оптическим осям упомянутых блоков; сенсоров определения движения головы, контроллера связи с внешними устройствами и внешние устройства, при этом каждый оптический блок состоит из оптической системы, состоящей по меньшей мере из одной линзы, зеркала со спектральным делением каналов, устройства вывода визуальной информации и отслеживающего устройства на базе монокристальной видеосистемы, при этом вокруг оптической системы, в плоскости перпендикулярной оптической оси блока расположены источники инфракрасного излучения, а оптическая система расположена между глазом и зеркалом со спектральным делением каналов, а зеркало со спектральным делением каналов расположено между оптической системой и устройством вывода визуальной информации под углом к оптической оси блока, при этом отслеживающее устройство расположено под углом к зеркалу со спектральным делением каналов.

В частном случае реализации заявленного технического решения контроллер регулирования расстояния между оптическими блоками выполнен с возможностью обработки данных с отслеживающего устройства, их сравнения с координатами пересечения линии взора с плоскостью изображения на устройстве вывода визуальной информации и подачи команды устройству регулирования расстояния между оптическими блоками на изменение расстояния между оптическими блоками для совмещения оптических осей обоих глаз наблюдателя с центрами изображения на устройствах вывода визуальной информации.

В частном случае реализации заявленного технического решения устройство регулирования расстояния между оптическими блоками расположено между или сзади или сверху или снизу от оптических блоков.

В частном случае реализации заявленного технического решения внешние устройства выполнены в виде устройств, генерирующих визуальную информацию и/или требующих для работы информацию о координатах линии взора, такие как компьютеры, измерительные устройства, контроллеры для решения задач в области медицины, образования, игровой индустрии, моделирования, диагностирования, ремонта, настройки и управления сложными системами, видео-тренажеры.

В частном случае реализации заявленного технического решения отслеживающее устройство выполнено на базе монокристальной видеосистемы представляет собой видеосистему, предназначенную для определения угловых координат линии взора, а также для обнаружения и идентификации быстро меняющихся малоразмерных целей в условиях неоднородного, изменяющегося во времени фона.

В частном случае реализации заявленного технического решения устройство регулирования расстояния между оптическими блоками представляет собой механизм, приводимый в действие электромотором или иным электрическим устройством.

В частном случае реализации заявленного технического решения источники инфракрасного излучения выполнены в виде отдельных светодиодов или в виде ленточных светодиодов.

В частном случае реализации заявленного технического решения выполнено в виде устройства, встроенного в приспособление, размещенное на голове, например, шлем виртуальной реальности или очки дополненной или смешанной реальности.

Для устранения указанных выше причин появления ошибок определения координат линии взора на изображение, использованы следующие технические решения:

• зеркало со спектральным делением каналов (spectral beamsplitter mirror - SBSM)

• система отслеживания координат линии взора (eye tracker) на базе монокристальной видеосистемы (System-on-a-Chip – SOC);

• устройство автоматического совмещения оптической оси глаза и оптической оси устройства вывода визуальной информации (VIOD).

Совместное использование этих технических решений позволяет получить в режиме реального времени максимально точное значение угловых координат линии взора наблюдателя относительно заданной точки на изображении и координат пересечения линии взора с плоскостью изображения для всех наблюдателей вне зависимости от межзрачкового расстояния.

Использование зеркала со спектральным делением каналов (SBSM) позволяет разместить оптическую ось отслеживающего устройства на линии взора и, таким образом, получить изображение зрачка глаза на камере отслеживающего устройства с минимальными геометрическими искажениями.

Система отслеживания координат линии взора (eye tracker) на базе монокристальной видеосистемы (SOC) позволяет исключить процессы передачи изображения и обработки видеоизображения с помощью специальных компьютерных программ, что решает сразу две задачи: первая – значительно сократить время обработки информации, поскольку все процессы анализа и обработки визуальной информации происходят в едином кристалле и в качестве результата видеосистема SOC выдает координаты зрачка на матрице видеосистемы; и вторая – сокращает требования в вычислительной мощности процессоров и устраняет необходимость использования сложных программ обработки изображения, что совместно позволяет использовать более экономичные вычислительные системы (экономия времени и денег).

Использование устройства автоматического совмещения оптической оси глаза и оптической оси устройства вывода визуальной информации (VIOD), позволяет устранить ошибки определения координат линии взора, а также другие искажения и ограничения видимого изображения, вызванные несовпадением оптической оси глаза и центра изображения на устройстве вывода визуальной информации (VIOD).

Краткое описание чертежей

Детали, признаки, а также преимущества настоящего изобретения следуют из нижеследующего описания вариантов реализации заявленного технического решения с использованием чертежей, на которых показано:

Фиг.1 – общая схема устройства;

Фиг.2 – структура оптического блока с оптической системой, состоящей из одной линзы;

Фиг.3 – структура оптического блока с оптической системой, состоящей из двух линз;

Фиг.4 – два варианта проекции глаза на устройство вывода визуальной информации (VIOD) – без использования зеркала со спектральным делением каналов и при использовании такого зеркала;

Фиг.5 – смещение оптических осей при разном значении межзрачкового расстояния и расстояния между осями устройств вывода визуальной информации (VIOD);

Фиг.6 – искажения и ограничения видимого изображения, возникающие в результате смещения оптических осей при разном значении межзрачкового расстояния и расстояния между осями устройств вывода визуальной информации (VIOD).

Фиг.7 – схема отслеживающего устройства на базе монокристальной видеосистемы (SOC);

Фиг.8 – сравнение размеров системы eye tracker «Eyelink 1000» и отслеживающего устройства на базе монокристальной видеосистемы – SOC;

Фиг.9 – пример механизма регулирования расстояния между оптическими блоками.

На фигурах цифрами обозначены следующие позиции:

1а – правый глаз; 1b – левый глаз; 2 – оптические блоки с зеркалом со спектральным делением каналов; 3 – контроллер регулирования расстояния между оптическими блоками; 4 – устройство регулирования расстояния между оптическими блоками; 5 – сенсоры определения движения головы; 6 – контроллер связи с внешними устройствами; 7 – внешнее устройство; 8 – источники инфракрасного излучения; 9 – оптическая система; 10 – зеркало со спектральным делением каналов; 11 – устройство вывода визуальной информации (VIOD); 12 – отслеживающее устройство; 13 – оптический блок без зеркала со спектральным делением каналов, характеризующий существующий уровень техники – оптические оси отслеживающего устройства и линия взора находятся под углом друг к другу; 14 – проекция глаза на отслеживающее устройство с зеркалом со спектральным делением каналов, происходит без геометрических искажений; 15 – проекция глаза на отслеживающее устройство без зеркала со спектральным делением каналов, происходит с геометрическими искажениями; 16 – сенсор (матрица пикселей); 17 – блок управления сенсором; 18 – блок приема данных от сенсора; 19 – блок вычисления параметров обнаруженных целей; 20 – система eye tracker «Eyelink 1000», характеризующая существующий уровень техники; 21 – отслеживающее устройства системы eye tracker на базе монокристальной видеосистемы – SOC; 22 – редуктор; 23 – электродвигатель; 24 – реечный механизм регулирования расстояния между оптическими блоками.

Сокращения и термины:

• Линия взора – пространственная ориентация сетчатки глаза (зрительная ось);

• Приспособление, размещенное на голове, например, шлем виртуальной реальности или очки дополненной, или смешанной реальности (Head-Mounted Device – HMD);

• Устройства вывода визуальной информации – матрица, экран проектора или иное устрой ство предназначенное для вывода визуальной информации (Visual Information Output Device – VIOD);

• Отслеживающее устройство (eye tracker) на базе монокристальной видеосистемы (System-on-a-Chip – SOC);

• Наблюдатель – человек или машина, ведущий наблюдение за изображением, формируемым устройством вывода визуальной информации – матрицей, экраном проектора или иным устройством (Visual Information Output Device – VIOD), встроенном в приспособление, размещенное на голове (Head-Mounted Device – HMD).

Раскрытие изобретения

Схема устройства определения координат линии взора в режиме реального времени изображена на фиг.1.

Устройство определения координат линии взора наблюдателя состоит из двух, левого и правого оптических блоков (2), контроллера регулирования расстояния между упомянутыми оптическими блоками (3), устройства регулирования расстояния между оптическими блоками (4), сенсоров определения движения головы (5) и контроллера (6) связи с внешними устройствами (7).

Оптические блоки (2) расположены на одной плоскости, таким образом, что их оптические оси параллельны и проходят в непосредственной близости от линии взора.

Устройство (4) регулирования расстояния между оптическими блоками (2) в вариантах реализации заявленного технического решения может быть расположено между, сзади, сверху или снизу от оптических блоков (2). Задача устройства (4) изменять расстояние между оптическими блоками (2), перемещая их в плоскости перпендикулярной их оптическим осям. Контроллеры регулировки расстояния между блоками и контроллеры связи с внешними устройствами расположены на платах в непосредственной близости от оптических блоков (2).

Под внешними устройствами (7) подразумеваются устройства, генерирующие визуальную информацию и/или требующие для работы информацию о координатах линии взора, например, но не только, компьютеры, измерительные устройства, контроллеры для решения специальных задач в области медицины, здравоохранения, образования, игровой индустрии, моделирования, диагностирования, ремонта, настройки и управления сложными системами, видео-тренажеры и т.д.

Оптические блоки (2) для правого и левого глаза имеют идентичную конструкцию. Схемы оптических блоков с одной и двумя линзами изображены на фиг. 2 и фиг. 3.

Оптический блок (2) состоит из источников инфракрасного излучения (8), оптической системы, состоящей из одной или более линз (9), зеркала со спектральным делением каналов (10), устройства вывода визуальной информации (VIOD) (11) и отслеживающего устройства на базе монокристальной видеосистемы (SOC) (12).

Источники инфракрасного излучения (8) расположены вокруг оптической системы (9), в плоскости перпендикулярной оптической оси блока (2). Оптическая система (9) расположена между глазом и зеркалом со спектральным делением каналов (SBSM) (10). Зеркало со спектральным делением каналов (SBSM) (10) расположено между оптической системой (9) и устройством вывода визуальной информации (VIOD) (11) под углом к оптической оси блока. Отслеживающее устройство на базе монокристальной видеосистемы (SOC) (12) расположено под углом к зеркалу со спектральным делением каналов (10).

Отслеживающее устройство на базе монокристальной видеосистемы (12) представляет собой видеосистему на кристалле (SOC), предназначенную для обнаружения и идентификации быстро меняющихся (перемещающихся и/или меняющих яркость) малоразмерных целей (световых пятен) в условиях неоднородного, изменяющегося во времени фона. Алгоритм обработки изображения обеспечивает определение X-, Y- координат центра тяжести, площади, признака формы, а также яркости одновременно нескольких целей.

Все узлы и блоки отслеживающего устройства расположены в одном кристалле (монокристальная система – SOC). Изображение проецируется на сенсор (матрицу пикселей) (16) (см. фиг. 7) и через блок приема данных от сенсора (17) передается на блок вычисления параметров цели (18) в котором реализуется алгоритм обработки изображения и вычисления требуемых параметров цели. Блок управления сенсором (19) осуществляет управление процессом считывания изображения с матрицы.

Глаз наблюдателя подсвечивается одним или несколькими источниками (8) света, работающими в инфракрасном диапазоне и расположенными вокруг оптической системы (9), в плоскости перпендикулярной оптической оси блока. Количество источников (8) света не влияет на результат действия устройства и определяется только конструкторским решением.

Источники (8) могут быть, как дискретные (например, светодиоды), так и ленточные (например, светодиодное кольцо). Зеркало (10) со спектральным делением каналов отражает свет в инфракрасном диапазоне и проецирует изображение глаза на отслеживающее устройство (SOC) (12) без геометрических искажений, как, если бы оно находилось непосредственно на линии взора. При этом для видимого цветового диапазона зеркало является прозрачным и позволяет глазу видеть изображение на устройстве вывода визуальной информации (VIOD).

Наличие зеркала со спектральным делением каналов позволяет отслеживать поворот глазного яблока и, соответственно, определять координаты линии взора, размеры и площадь зрачка, и другие параметры без искажений с максимальной точностью во всем диапазоне угла обзора.

На фиг. 4 изображены два варианта конструкции оптических блоков с использованием зеркала со спектральным делением каналов (2) и без использования такого зеркала (13).

Из рисунка видно, что в случае непосредственного наблюдения за глазным яблоком отслеживающим устройством (13), расположенным с сбоку от линии взора, зрачок, который является объектом непосредственного наблюдения, проецируется на отслеживающее устройство с геометрическими искажениями (15).

Эти искажения ограничивают угол возможного слежения и вносят значительные погрешности в результат измерения. Использование зеркала (10) со спектральным делением каналов позволяет разместить оптическую ось отслеживающего устройства (монокристальная видеосистема – SOC) на линии взора и, таким образом, получить изображение (14) зрачка глаза на камере отслеживающего устройства с минимальными геометрическими искажениями. Что, в свою очередь, дает возможность определять изменение координат линии взора на изображение с максимальной точностью во всем диапазоне угла обзора.

Однако, для получения в режиме реального времени точных угловых координат линии взора относительно заданной точки на изображении и координат пересечения линии взора с плоскостью изображения, формируемого устройством вывода визуальной информации (VIOD) необходимо совмещение оптической оси глаза и оптической оси устройства вывода визуальной информации (VIOD).

На фиг. 6 показано, что происходит при несоблюдении этого условия. Предположим, что глаз поворачивается на угол α, в случае совпадения осей, точка пересечения линии взора с плоскостью изображения отклонится на величину ∆х₁, в случае не совпадения осей, точка пересечения линии взора с плоскостью изображения отклонится на величину ∆х₂. При этом ∆х₁≠∆х₂ (на примере ∆х₁<∆х₂), что внесет погрешность в результат.

Межзрачковое расстоянием у разных людей – различается. Для взрослых оно составляет 58÷66мм, для детей – 41÷55мм.

Такой разброс не позволяет создавать универсальные устройства определения координат линии взора, подходящие любому человеку. Для устранения этого недостатка используют разнообразные приспособления для настройки устройства или компенсации возникающих искажений.

Описываемое решение производит автоматическое совмещение оптической оси глаза и оптической оси устройства вывода визуальной информации (VIOD). Что в свою очередь позволяет устранить ошибки определения координат линии взора, а также другие искажения и ограничения видимого изображения, вызванные несовпадением оптической оси глаза и центра изображения на устройстве вывода визуальной информации (см. фиг. 1).

Отслеживающее устройство (SOC) (12) определяет угловые координаты линии взора, а также другие параметры, например, но те только, размер, признаки формы, яркость зрачка, а также иных объектов, расположенных в зоне действия устройства, и передает их в контроллер регулирования расстояния между оптическими блоками (3).

Контроллер регулирования расстояния между оптическими блоками (3) обрабатывает эти данные, сравнивает их с координатами пересечения линии взора с плоскостью изображения на устройстве вывода визуальной информации (VIOD) и дает команду устройству регулирования расстояния между оптическими блоками (4) на изменение расстояния между оптическими блоками для совмещения оптических осей обоих глаз наблюдателя с центрами изображения на устройствах вывода визуальной информации (VIOD). Данные об изменении расстояния также поступают в контроллер, который актуализирует команды устройству регулирования расстояния между оптическими блоками (4). Эти действия повторяются до того момента, когда будет достигнуто совмещение точек пересечения линии взора с плоскостью устройства вывода визуальной информации (VIOD) с заданными координатами на этой плоскости.

Устройство регулирования расстояния между оптическими блоками (4) представляет собой механизм (червячный, шестереночный, рычажной, реечные или иной, конструкция устройства не влияет на принцип действия системы) приводимый в действие электромотором или иным электрическим устройством. Задача устройства изменять расстояние между оптическими блоками перемещая их в плоскости перпендикулярной их оптическим осям. На фиг. 9 приведен пример реализации устройства регулирования расстояния между оптическими блоками. Устройство приводится в действие электродвигателем (23). Посредством редуктора (22) и реечного механизма (24) вращательное движение оси электродвигателя преобразуется в поступательное. Реечный механизм (24) осуществляет перемещение оптических блоков (2).

В качестве отслеживающего устройства использована монокристальная видеосистема (SOC). Преимущество такого решения в том, что один монокристалл SOC заменяет сложный дорогостоящий аппаратно-программный комплекс, состоящий из видеокамеры, процессора и программного обеспечения. Благодаря использованию отслеживающего устройства на базе монокристальной видеосистемы (SOC) удается получить значительную экономию в размерах и стоимости решения.

Используемая в устройстве монокристальная видеосистема SOC имеет следующие характеристики: частота обновления до 2000 кадров в секунду, точность 5 угловых минут. Традиционные устройства, не экономичны (требуют большой вычислительной мощности и, следовательно, дополнительного охлаждения) и в силу громоздкости не могут быть использованы в мобильных устройствах, в частности в приспособлениях, размещенных на голове (HMD), например, шлемах виртуальной реальности или очках дополненной, или смешанной реальности. К примеру, eye tracker Eyelink 1000 (Канада), имеющий сходные характеристики по частоте и точности имеет размеры 29 см x 18 см x 9 см, вес 7 кг, требует для работы дополнительный монитор и компьютер и стоит в минимальной комплектации $31000. На фиг. 8 представлены фотографии eye tracker Eyelink 1000 (слева) и отслеживающего устройства на базе монокристальной видеосистемы (SOC) (справа).

Изобретение относится к области физики, а именно к обработке данных, в частности к получению в режиме реального времени точных угловых координат линии взора наблюдателя относительно заданной точки на изображении и координат пересечения линии взора наблюдателя с плоскостью изображения. Устройство содержит оптические блоки для правого глаза и левого глаза наблюдателя, расположенные на одной плоскости таким образом, что их оптические оси параллельны и проходят в непосредственной близости от линии взора наблюдателя; устройство регулирования расстояния между упомянутыми оптическими блоками; контроллер регулирования расстояния между оптическими блоками; сенсоры определения движения головы; контроллер связи с внешними устройствами и внешние устройства. При этом каждый оптический блок состоит из оптической системы. Оптическая система состоит по меньшей мере из одной линзы, зеркала со спектральным делением каналов, устройства вывода визуальной информации и отслеживающего устройства на базе монокристальной видеосистемы. Вокруг оптической системы, в плоскости, перпендикулярной оптической оси блока, расположены источники инфракрасного излучения. Оптическая система расположена между глазом и зеркалом со спектральным делением каналов. Зеркало со спектральным делением каналов расположено между оптической системой и устройством вывода визуальной информации под углом к оптической оси блока. Отслеживающее устройство расположено под углом к зеркалу со спектральным делением каналов. 7 з.п. ф-лы, 9 ил.

1. Устройство определения координат линии взора наблюдателя в режиме реального времени, содержащее

оптические блоки для правого глаза и левого глаза наблюдателя, расположенные на одной плоскости таким образом, что их оптические оси параллельны и проходят в непосредственной близости от линии взора наблюдателя;

устройство регулирования расстояния между упомянутыми оптическими блоками и контроллер регулирования расстояния между оптическими блоками, выполненные с возможностью автоматического регулирования расстояния между оптическими блоками, в плоскости, перпендикулярной оптическим осям упомянутых блоков;

сенсоры определения движения головы,

контроллер связи с внешними устройствами и внешние устройства,

при этом каждый оптический блок состоит из оптической системы, состоящей по меньшей мере из одной линзы, зеркала со спектральным делением каналов, устройства вывода визуальной информации и отслеживающего устройства на базе монокристальной видеосистемы, причем вокруг оптической системы в плоскости, перпендикулярной оптической оси блока, расположены источники инфракрасного излучения, а оптическая система расположена между глазом и зеркалом со спектральным делением каналов, причем зеркало со спектральным делением каналов расположено между оптической системой и устройством вывода визуальной информации под углом к оптической оси блока, при этом отслеживающее устройство расположено под углом к зеркалу со спектральным делением каналов.

2. Устройство по п.1, отличающееся тем, что контроллер регулирования расстояния между оптическими блоками выполнен с возможностью обработки данных с отслеживающего устройства, их сравнения с координатами пересечения линии взора с плоскостью изображения на устройстве вывода визуальной информации и подачи команды устройству регулирования расстояния между оптическими блоками на изменение расстояния между оптическими блоками для совмещения оптических осей обоих глаз наблюдателя с центрами изображения на устройствах вывода визуальной информации.

3. Устройство по п.1, отличающееся тем, что устройство регулирования расстояния между оптическими блоками расположено между, или сзади, или сверху, или снизу от оптических блоков.

4. Устройство по п.1, отличающееся тем, что внешние устройства выполнены в виде устройств, генерирующих визуальную информацию и/или требующих для работы информации о координатах линии взора, такие как компьютеры, измерительные устройства, контроллеры для решения задач в области медицины, образования, игровой индустрии, моделирования, диагностирования, ремонта, настройки и управления сложными системами, видеотренажеры.

5. Устройство по п.1, отличающееся тем, что отслеживающее устройство выполнено на базе монокристальной видеосистемы, представляет собой видеосистему, предназначенную для определения угловых координат линии взора, а также для обнаружения и идентификации быстро меняющихся малоразмерных целей в условиях неоднородного, изменяющегося во времени фона.

6. Устройство по п.1, отличающееся тем, что устройство регулирования расстояния между оптическими блоками представляет собой механизм, приводимый в действие электромотором или иным электрическим устройством.

7. Устройство по п.1, отличающееся тем, что источники инфракрасного излучения выполнены в виде отдельных светодиодов или в виде ленточных светодиодов.

8. Устройство по п.1, отличающееся тем, что выполнено в виде устройства, встроенного в приспособление, размещенное на голове, например шлем виртуальной реальности или очки дополненной или смешанной реальности.