Способ определения направления взгляда Российский патент 2024 года по МПК A61B3/113 G06F3/01 

Настоящее изобретение относится к устройствам и способам определения направления взгляда и может быть использовано в различных областях техники, в том числе робототехнике.

Патент РФ RU 2696042 описывает изобретение, относящееся к технологиям, используемым для определения областей фиксаций взгляда при движении глаз, и может быть использовано для объективной оценки процессов зрительного внимания, управления интерфейсами компьютера посредством направления взгляда, в операторской деятельности, маркетинге и пр. Согласно заявленному способу определения областей фиксации взгляда во время движения глаза, респонденту с фиксированным положением головы предоставляют по меньшей мере одно изображение стимулятора во время представления стимулирующего изображения. При этом покрывают область глаза инфракрасным излучением, записывают отраженный сигнал и обрабатывают результирующую видеопоследовательность с определением координат центра зрачка в каждом кадре видео. Далее координаты преобразуют в систему координат стимулирующего изображения, формируя двумерный массив значений координат центра зрачка в хронологической последовательности, соответствующей кадрам видеопоследовательности, а потом используют сегментный анализ для выбора по меньшей мере трех точек, рассматриваемых областью фиксации взгляда.

Недостатком данного технического решения является то, что фиксацию взгляда при движении глаз осуществляют при фиксированном положении головы респондента относительно предъявляемого изображения. Кроме того, точность определения направления взгляда является недостаточно высокой, что особенно важно при необходимости определения направления на конкретный объект, находящийся среди множества других объектов.

Патент США US 10234940 описывает способ отслеживания взгляда, включающий следующие этапы: запись видеоизображений глаза человека таким образом, что записываются зрачок глаза и блик на глазном яблоке, вызванный источником света; обработку видеоизображений для вычисления смещения между положением заранее определенного пространственного элемента и заранее заданным положением относительно блика; и посредством источника света, такого как дисплей, испускание света от светового рисунка в местоположении, выбранном из множества предварительно сконфигурированных местоположений световых рисунков, к глазу человека. Местоположение контролируют сигналом обратной связи; управляют местоположением светового рисунка среди предварительно определенных местоположений световых рисунков в ответ на смещение, так что предварительно определенное положение относительно блика, вызванного источником света, отслеживает пространственную особенность человеческих глаз. При этом вышеописанные этапы повторяют для установления контура управления с расположением светового рисунка, управляемого с помощью сигнала обратной связи. Трекер взгляда сконфигурирован для фильтрации видеоизображений, чтобы идентифицировать один или несколько бликов, которые могут возникать из светового шаблона, причем предварительно определенное положение относительно блика вычисляется относительно идентифицированного одного или нескольких пунктов.

Данное устройство позволяет повысить точность распознавания положения взгляда и формирования полученного изображения, однако предъявляет повышенные требования к аппаратной части.

Патент США US 9830512 описывает способ отслеживания взгляда, который включает следующие этапы: определение положения центральной точки роговицы с использованием по меньшей мере двух точек отражения света, обнаруженных в области глазного яблока первого изображения лица пользователя; вычисление первого вектора относительно по меньшей мере двух фиксированных характерных точек, обнаруженных по первому изображению лица и положению центральной точки роговицы; вычисление положения центральной точки роговицы относительно области глазного яблока второго изображения лица с использованием положения характерной точки, обнаруженной по второму изображению лица, и первого вектора, когда по меньшей мере две точки отражения света не обнаружены от глазного яблока области второго изображения лица пользователя; вычисление второго вектора с использованием вычисленного положения центральной точки роговицы и положения центральной точки зрачка, обнаруженного по области глазного яблока второго изображения лица; и отслеживание взгляда пользователя с использованием второго вектора.

Данные известные способ и система для отслеживания взгляда позволяют повысить точность распознавания положения взгляда и формирования полученного изображения, но являются достаточно сложными и требовательными к вычислительным ресурсам.

В качестве ближайшего аналога настоящего изобретения может быть выбран способ слежения за взглядом на основе адаптивного томографического сопоставления согласно патенту США US 9684827. Способ слежения включает этапы, на которых оценивают взгляд, при котором используют адаптивное преобразование томографического сопоставления для коррекции смещения, при этом адаптивное преобразование томографического сопоставления обучается за счет минимизации целевой функции на основе данных, соответствующих множеству положений головы и направлений взгляда, чтобы компенсировать пространственно варьирующиеся ошибки взгляда или зависимые от позы головы ошибки относительно позиции калибровки; захватывают текущие данные бликов и связанные со зрачком данные в изображении с использованием множества источников света и камеры; предоставляют текущие данные бликов и связанные со зрачком данные, обработанные из изображения, в качестве признаков, чтобы получать зависимые от позы головы данные, на основе распознаваемого адаптивного преобразования томографического сопоставления, которые используются, чтобы определять текущую информацию взгляда.

Известный способ слежения за взглядом на основе адаптивного томографического сопоставления также позволяет повысить точность распознавания положения взгляда и формирования полученного изображения, но является достаточно сложным и требовательным к вычислительным ресурсам, а кроме того, требует дополнительных действий от пользователя.

Таким образом, существует задача по созданию такого способа определения направления взгляда, при применении которого достаточно разовой калибровки для одного пользователя, что упрощает многократное использование системы, который повышает точность определения направления взгляда даже при небольших изменениях положения системы на пользователе.

Техническим результатом заявленного изобретения является повышение точности определения направления взгляда, высокая скорость обработки данных, а значит, низкие аппаратные требования, что приводит к снижению веса носимого устройства, и возможность использования высокопроизводительных камер высокого разрешения для еще большего повышения точности определения направления взгляда.

Поставленная задача решается, а технический результат достигается в способе определения направления взгляда пользователя, который включает этапы получения изображения левого глаза и изображения правого глаза, содержащих блики от источников света левого глаза и правого глаза, определения положения зрачка глаза, определения положения и нумерации бликов на роговице глаза, определения оптической оси направления взгляда каждого глаза и определения направления взгляда.

При определении положения зрачка каждого глаза на изображении каждого глаза выполняют предварительный поиск зрачка, выполняют построение предварительного эллипса зрачка и по его узловым точкам строят эллипс зрачка.

При определении положения и нумерации бликов на роговице каждого глаза на изображении глаза выполняют поиск бликов, вычисляют размер радужки исключают блики, находящиеся за пределами радужки, и выполняют нумерацию бликов для определения вектора направления взгляда.

При определении оптической оси направления взгляда каждого глаза определяют нодальную точку глаза, точку рефракции для центра зрачка, положение центра зрачка в системе координат камеры сцены.

Определение направления взгляда выполняют на основании определенной оптической оси направления взгляда и калибровки направления взгляда.

В предпочтительном варианте реализации заявленного способа для предварительного поиска зрачка определяют предварительное положение центра зрачка, а также количество пикселей в области зрачка, предварительно характеризующее его размер. При построении предварительного эллипса зрачка, предпочтительно, в предварительной области зрачка находят порог бинаризации и выполняют бинаризацию для определения границы зрачка для построения предварительного эллипса зрачка. Для построения эллипса зрачка по узловым точкам границы предварительного эллипса зрачка можно использовать метод наименьших квадратов. При этом предпочтительно отфильтровывать узловые точки таким образом, чтобы они образовывали выпуклую фигуру.

Поиск бликов на роговице глаза можно выполнять, например, пороговой обработкой изображения глаза с выделением кластеров и фильтрацией кластеров по яркости, размеру и параметру отклонения от круглости.

При вычислении размера радужки предпочтительно используется информация о среднем размере человеческой радужки и информация о расстояния от соответствующей камеры левого глаза или камеры правого глаза до зрачка, что повышает точность определения направления взгляда.

Нумерация бликов может выполняться от одного блика из верхней пары, ближайшего к переносице, по кругу, в сторону от переносицы, т.е. по часовой стрелке для правого глаза и против часовой стрелки для левого глаза.

При определении оптической оси направления взгляда каждого глаза определяют нодальную точку глаза, точку рефракции для центра зрачка, положение центра зрачка в системе координат камеры сцены.

Заявленный способ определения направления взгляда также может включать этап калибровки направления взгляда, который выполняется либо на одном из указанных этапов, либо заранее. При этом достаточно единожды выполнить калибровку для конкретного пользователя, и повторной калибровки уже не потребуется. В частности, при калибровке направления взгляда учитывают индивидуальные особенности пользователя и взаимное положение камер левого и правого глаза и камеры сцены.

Далее изобретение, а также некоторые возможные варианты его осуществления подробно поясняются со ссылкой на фигуры, на которых показано:

на фиг.1 приведен общий вид варианта устройства для реализации заявленного способа;

на фиг.2 схематично показан вид спереди варианта устройства для реализации заявленного способа;

на фиг.3 схематично показан вид сзади варианта устройства для реализации заявленного способа;

на фиг.4 схематично показано взаимное расположение левого или правого глаза, камеры левого или правого глаза и одного источника света левого или правого глаза, а также схема хода лучей;

на фиг.5 а показан этап нахождения центра зрачка;

на фиг.5b показан этап аппроксимации положения зрачка эллипсом;

на фиг.5с показан этап определения позиции бликов;

на фиг.5d показан пример нумерации бликов;

на фиг.5е показан этап определения направления оптической оси глаза.

На фигурах ссылочными позициями отмечены:

1 - устройство определения направления взгляда;

2 - корпус;

3.1 - левый ободок;

3.2 - правый ободок; 4 - носовик;

5.1, 5.2 - боковые прижимные планки;

6.1 - камера левого глаза;

6.2 - камера правого глаза;

7 - камера сцены;

8 - источник света;

8i - i-ый источник 8 света;

9 - вычислительный модуль;

10 - модуль управления;

11 - глаз;

12 - радужка глаза;

С - нодальная точка глаза;

Р - центр зрачка;

R - точка преломления;

Qi - точка отражения i-го источника 8 света;

О - нодальная точка камеры;

V - изображение центра зрачка;

Ui - изображение блика i-го источника 8 света.

Заявленный способ определения направления взгляда может быть реализован с использованием устройства, предпочтительный вариант исполнения которого подробно описан далее.

Устройство 1 определения направления взгляда пользователя содержит корпус 2, который по существу выполнен в форме очков, имеющих левый ободок 3.1 и правый ободок 3.2, носовик 4 и две боковые прижимные планки 5.1, 5.2.

Корпус 2 выполняется, предпочтительно, из прочного и легкого материала, пригодного для постоянного или длительного ношения устройства 1 с учетом антропометрических данных головы пользователя. Для большего удобства пользователя и обеспечения возможности корректировки положения устройства 1 с целью правильной работы всех систем могут использоваться сменные носовики 4, регулирующие положение корпуса 2 по высоте и подбираемые под переносицу для предотвращения ее зажатости. Правильность подбора расстояния от глаза до ободков 3.1, 3.2 способствует правильности работы системы распознавания изображений глаза.

В нижних частях ободков 3.1, 3.2, предпочтительно в областях световых проемов в плоскостях, проходящих через вертикальные оси световых проемов, установлены соответственно камера 6.1 левого глаза и камера 6.2 правого глаза, далее для краткости также называемые камерами 6.1, 6.2 глаза.

Камеры 6.1, 6.2 глаза предназначены для регистрации и записи видеопоследовательности, отображающей процесс движения глаз, и получения изображений соответствующего глаза. Одновременно регистрируется движение как левого, так и правого глаза пользователя, что является необходимым для точного определения направления взгляда и исключения ложных срабатываний. Камеры 6.1,6.2 глаза содержат светочувствительные матрицы и соответствующие оптические системы (объективы) для формирования увеличенного сфокусированного изображения глаз на светочувствительных матрицах.

Для корректного определения направления взгляда осуществляется регистрация изображений зрачка и бликов (описано далее) и последующее определение координат центра зрачка и каждого из бликов в системе координат камер 6.1, 6.2 глаза (локальных координат).

Для улучшения эргономических характеристик изделия светочувствительная матрица камер 6.1, 6.2 глаза располагается в плоскости, находящейся под углом к главным плоскостям оптической системы глаза 11, как схематично показано на фиг.4. Такое расположение не будет создавать препятствий и закрывать пользователю обзор.

Для определения направления взгляда при любых положениях зрачка используется одна камера 6.1, 6.2 глаза для регистрации изображения каждого глаза 11 с одного ракурса - снизу (фиг.4). Выбранный ракурс обуславливается тем, что нижние ресницы существенно короче, чем верхние, и не создают препятствий для регистрации изображений. Угол между оптической осью объектива и осью направления взгляда выбирается исходя из соображений компромисса между наилучшим углом регистрации изображения (соответствует углу 0°) и углом, при котором камера гарантированно не попадает в поле зрения пользователя (соответствует углу 90°). Наиболее предпочтительным является значение указанного угла от 45° до 60°.

В качестве светочувствительных матриц предпочтительно использовать цветную светочувствительную матрицу. Это обусловлено тем, что отображение глаза в цветной палитре позволяет использовать процедуру бинаризации цветного изображения по уровням каждой цветовой компоненты, что, в свою очередь, позволяет гарантированно выделить детектируемые объекты за счет их ахроматических цветов (зрачок - резко черный, блики - ярко белые) на этапе обработки изображений глаза. Данный подход упрощает алгоритм распознавания детектируемых объектов за счет исключения дополнительных процедур фильтрации частиц, которые приводят к потерям важных деталей изображения.

Оптическая система камер 6.1, 6.2 глаза (на фигурах не показана) предназначена для формирования изображения в плоскости светочувствительной матрицы.

Оптическая система содержит несколько линз и светофильтр. Расстояние от выходного зрачка объектива до глаза изменяется незначительно и может считаться фиксированным. Для формирования неискаженного изображения в плоскости матрицы может быть использована оптическая схема компактного четырехкомпонентного объектива с выходной асферической линзой для компенсации дисторсии.

На носовике 4 установлена камера 7 сцены (фиг.2), которая используется для получения изображения окружающей сцены и обеспечения фиксации окружающей обстановки, к которой в дальнейшем выполняется привязка вектора направления взгляда. Камера 7 сцены расположена, предпочтительно, на верхней части корпуса 2 очков.

На каждом из ободков 3.1, 3.2 вокруг световых проемов установлены источники 8 света, формирующие блики на соответствующем глазу (фиг.3). Источники 8 света предназначены для создания минимально необходимого уровня освещения и формирования точечных бликов за счет отражений от роговицы глаза.

В качестве источника 8 света может быть использован источник ИК излучения, в частности, ИК светодиод.

Внеосевое ИК освещение глаза создает эффект темного зрачка и формирует изображения источников 8 света за счет отражения излучения от роговицы глаза. Изображения источников 8 света, формируемые при отражении от роговицы, называются первыми изображениями Пуркинье, или бликами. Темный зрачок и блики затем визуализируются оптической систему камер 6.1, 6.2 глаза и захватываются светочувствительными матрицами, обладающими достаточной чувствительностью в ближней области ИК спектра. Изображения зрачка и бликов движутся пропорционально вращению глазного яблока, но по отличающимся траекториям. Разностный вектор между этими двумя особенностями используется для определения вектора направления взгляда.

Центральная длина волны излучения источников 8 света выбирается, предпочтительно, из диапазона длин волн от 860 до 990 нм, что в наилучшем варианте исполнения заявленного устройства 1 соответствует рабочему диапазону камер 6.1, 6.2 глаза (ближний инфракрасный диапазон). Выбор ближнего ИК излучения для источников 8 света обусловлен несколькими причинами, в частности:

- ближнее ИК излучение невидимо для глаза человека, не отвлекает внимание пользователя и не вызывает расширение зрачка;

- ближнее ИК излучение не вызывает деградации и разрушения рецепторного аппарата глаза человека;

- ближнее ИК излучение регистрируется теми же средствами, что и видимое излучение;

- при использовании ИК излучения изображение зрачка отличается высоким контрастом за счет отражения от сетчатки (схема освещения с темным зрачком);

- применение ИК излучения позволяет отделить полезную информацию от внешних засветок, приходящихся на видимую часть спектра.

Количество источников 8 света определяет количество бликов на роговице, относительно которых будет измеряться расстояние до центра зрачка. В устройстве 1 определения направления взгляда использован метод измерения по шести бликам на каждый глаз. Такой подход позволяет повысить не только точность, но и надежность устройства. Кроме этого, применение шести бликов позволяет увеличить рабочий диапазон углов устройства 1 за счет надежного восстановления информации о направлении вектора взгляда при больших углах поворота глазного яблока. При таких углах часть бликов приходится на склеру глаза и не детектируется камерами 6.1, 6.2 глаза, но за счет применения шести бликов не менее четырех из них приходятся на зрачок или радужку 12 (фиг.4), и их координаты определяются с достаточно высокой надежностью.

Источники 8 света устанавливаются в ободках 3.1,3.2 в области левого и правого световых проемов и располагаются относительно светового проема таким образом, чтобы шесть бликов на роговице каждого глаза формировали контрольный рисунок (pattern) в виде шестиугольника (на фиг.5а-5е четко видны пять бликов, а шестой блик, расположенный рядом с пятым бликов, тусклый).

Источники 8 света могут быть установлены на площадки, расположенные в специальных пазах на ободках 3.1, 3.2. Углы площадок рассчитываются так, чтобы обеспечить равномерную засветку области глаза.

Предпочтительно, облучение производится неколлимированными расходящимися пучками для равномерного освещения всей анализируемой области. Так как выбрана внеосевая (относительно оптической оси объективов камер 6.1, 6.2 глаза) схема освещения, угол между оптической осью объектива камер 6.1, 6.2 глаза и нормалью к светоизлучающей площадке источников 8 света лежит в диапазоне от 0 до 90° и много больше нуля (см. фиг.4). Такая схема позволяет использовать шесть раздельных источников 8 света на каждый световой проем и упрощает процесс компоновки устройства 1. При этом является предпочтительным размещение источников 8 света симметрично относительно горизонтальной и вертикальной осей светового проема, на равных расстояниях от оптических осей объективов камер 6.1, 6.2 глаза.

Кроме того, также предпочтительно, если источники 8 света работают в режиме модуляции по периодическому закону для увеличения эффективности процесса выделения полезной информации на фоне внешних засветок, продления срока службы, уменьшения энергопотребления и снижения облучения роговицы и сетчатки глаза человека. Управление интенсивностью свечения источников 8 света осуществляется путем модуляции тока питания.

Устройство 1 также содержит вычислительный модуль 9, модуль 10 управления и блок питания (на фигурах не показан). Размещение вычислительного модуля 9 и модуля 10 управления может быть любым, например, на прижимных планках 5.1, 5.2, как показано на фиг.1,3.

Вычислительный модуль 9 предназначен для реализации алгоритма определения направления взгляда и выполняет следующие функции:

- определение координат вектора направления взгляда в системе координат камер 6.1, 6.2 глаза;

- преобразование координат вектора направления взгляда из системы координат камер 6.1, 6.2 глаза в систему координат камеры 7 сцены,

- осуществление калибровки направления взгляда;

- при необходимости - передача информации о глобальных координатах вектора направления взгляда на внешнее устройство.

Для выполнения своих функций вычислительный модуль 9 содержит детектор положения и размера зрачка (на фигурах не показан; далее также ДПРЗ) или связан с ним как с внешним устройством. ДПРЗ предназначен для обработки изображения глаза в режиме реального времени с частотой кадров не менее 50 Гц с целью построения эллипса, совпадающего с контуром зрачка, и последующего определения координат его центра (фиг.5а-5е). Также ДПРЗ вычисляет положения бликов.

Модуль 10 управления обеспечивает выполнение двух функций:

- согласование интерфейса камер 6.1, 6.2 глаза с интерфейсом вычислительного модуля 9;

- управление яркостью источников 8 света, как было указано выше, например, с использованием широтно-импульсного регулирования.

Данные от камер 6.1, 6.2 глаза поступают через модуль 10 управления в ДПРЗ. Параметры эллипса и бликов, определенные ДПРЗ по изображению зрачка, передаются в вычислительный модуль 9, где используются для расчета направления взгляда.

В качестве блока питания может использоваться любой подходящий источник питания, перезаряжаемый (аккумуляторная батарея) или не перезаряжаемый.

Кроме того, устройство 1 может дополнительно содержать блок хранения информации (на фигурах не показан), в частности, для хранения результатов калибровки направления взгляда, о чем сказано ниже.

Устройство 1 непрерывно отслеживает направление взгляда пользователя и передает координаты пересечения вектора направления взгляда с плоскостью изображения, получаемого с камеры 7 сцены при условии нахождении вектора направления взгляда в поле зрения камеры 7 сцены. Фиксация точки (области) внимания может осуществляться волевым морганием, удержанием внимания на этой точке (области) в течение фиксированного времени или другим методом.

Согласно настоящему изобретению, в способе определения направления взгляда, или вектора направления взгляда, использован метод цифровой инфракрасной видеоокулографии с последующей привязкой найденного вектора направления взгляда к изображению окружающей обстановки. В данном методе глаз освещается светом, в частности инфракрасным светом, который отражается от роговицы и хрусталика глаза 11, а затем регистрируется при помощи камер 6.1, 6.2 глаза. Положение зрачка вычисляется как центр области с резким контрастом внутри радужной оболочки глаза, которая наблюдается при подсветке источниками 8 света. Блик на роговице глаза, вызываемый роговичным отражением, используется как опорная точка для измерения направления взгляда. Вектор разности координат центра зрачка и бликов изменяется при изменении направления взгляда и связан геометрическими соотношениями с вектором направления взгляда. Привязка вектора направления взгляда к окружающей обстановке осуществляется наложением найденных координат вектора на изображение окружающей сцены, которая может быть получена с помощью камеры 7 сцены. Повышение точности определения вектора направления взгляда достигается, в том числе, за счет калибровки устройства, которая может выполняться как в процессе осуществления способа, так и заранее, единожды для данного пользователя.

Обработка изображений выполняется в режиме реального времени.

Устройство 1 может работать в двух режимах: режиме калибровки и рабочем режиме.

Пример варианта проведения калибровки включает следующие действия:

- формируют калибровочную метку, например, выводя ее на экране монитора компьютера;

- получают изображения с камеры 7 сцены, тем самым также определяя систему координат камеры 7 сцены (далее также - глобальная система координат);

- определяют координаты центра калибровочной метки в системе координат камеры 7 сцены;

- определяют вектор направления взгляда в системе координат камер 6.1, 6.2 глаза (далее также - локальная система координат);

- рассчитывают коэффициенты перевода из локальной системы координат в глобальную систему координат.

Достаточно однократно провести калибровочную процедуру для конкретного пользователя.

После калибровочной процедуры можно использовать устройство 1 в рабочем режиме, при котором посредством камер 6.1, 6.2 глаза определяют вектор направления взгляда в локальной системе координат (т.е. в системе координат камер 6.1, 6.2 глаза), производят пересчет локальных координат вектора направления взгляда в глобальные координаты вектора направления взгляда (т.е. в систему координат камеры 7 сцены) и получают соответствующую точку фиксации взгляда на изображении сцены.

Далее описаны основные этапы определения положения зрачка глаза.

Первый этап. Получение изображений левого и правого глаза с камер 6.1, 6.2 глаза. Изображение глаза поступает с камер 6.1, 6.2 глаза с частотой не менее 50 Гц. Поле зрения камер 6.1, 6.2 глаза выбрано так, чтобы глаз всегда оставался в кадре независимо от вариаций положения устройства 1 на голове пользователя. Положение глаза в кадре изображения глаза может меняться, он не всегда расположен по центру кадра.

Второй этап. Предварительный поиск зрачка. Зрачок является наибольшей по размеру связной темной областью в изображении глаза. Определяют предварительное положение центра зрачка, а также количество пикселей в области зрачка, предварительно характеризующее его размер. Ввиду не совсем равномерного освещения темной области зрачка часть зрачка может оказаться не включенной в область зрачка, так что центр и размер зрачка определяются не вполне точно на данном этапе (фиг.5а).

Третий этап. С помощью анализа гистограммы значений яркости пикселей в области, выделенной на втором этапе, находят порог бинаризации для точного построения эллипса зрачка. Далее используют бинаризацию для определения границы зрачка, и на основании границы зрачка выполняют построение предварительного эллипса зрачка.

Четвертый этап. Точное построение эллипса зрачка. Точное построение эллипса зрачка производят по узловым точкам границы зрачка, определенной на третьем этапе, отфильтрованным таким образом, чтобы узловые точки образовывали выпуклую фигуру. Построение эллипса значка осуществляют методом наименьших квадратов.

Проведенное авторами моделирование этих методов согласно третьему и четвертому этапам показывает высокую вероятность визуального совпадения точно построенного эллипса зрачка с границей зрачка, видимой на изображениях глаза, полученных с камер 6.1, 6.2 глаза на первом этапе (фиг.5b).

Пятый этап. Определение положения бликов и нумерация бликов.

При нахождении положения бликов на роговице глаза используют пороговую обработку с выделением кластеров (см., например, Suzuki, S. and Abe, К., "Topological Structural Analysis of Digitized Binary Images by Border Following". Computer Vision, Graphics, and Image Processing 30 1, pp 32-46, 1985) и их фильтрацией по яркости, размеру и параметру отклонения от кругл ости.

Размер радужки вычисляют из среднего размера человеческой радужки и расстоянию от камер 6.1, 6.2 глаза до зрачка (фиг.5 с). Блики, находящиеся за пределами радужки, отфильтровывают.

Блики нумеруют для определения вектора направления взгляда в глобальной системе координат, например, в следующем порядке: от одного из верхней пары, ближайшего к переносице, по кругу, в сторону от переносицы (по часовой для правого глаза и против часовой для левого), как показано на фиг.5d.

Предварительно для каждого глаза проводят нумерацию бликов одного кадра изображения. Полученные координаты бликов в системе координат камер 6.1, 6.2 глаза сохраняют как тестовую нумерацию бликов. Далее нумерацию бликов производят в несколько проходов. На первом проходе выбирают два верхних блика, на их основе строят матрицу перехода от тестовой нумерации к текущему массиву бликов и проверяют качество наложения на тестовые координаты расстоянием от блика до ближайшей тестовой координаты блика, а также наклон матрицы преобразования. На втором проходе выбирают дальние от переносицы блики и повторяют процедуру. Если успешен только один из проходов, выбирают нумерацию по нему, а если оба, то берут среднюю матрицу перехода и проводят еще одну нумерацию по ней.

Шестой этап. Определение направления оптической оси глаза (фиг.5е). Решают известную систему уравнений (см., например, Guestrin, Elias & Eizenman, Moshe. (2006). "General Theory of Remote Gaze Estimation Using the Pupil Center and Corneal Reflections". Biomedical Engineering, IEEE Transactions on. 53. 1124 - 1133. 10.1109/TBME. 2005.863952), в частности, с помощью алгоритма Левенберга-Марквардта, для чего, в частности, определяют нодальную точку С глаза, точку R преломления для центра зрачка, положение центра Р зрачка в локальной системе координат, нодальную точку О камеры, положение изображения V центра зрачка, а также точку Qi отражения и положение изображения блика от i-ого источника 8 света, обозначенного на фиг.4 позицией 8i (см. фиг.4).

Седьмой этап. Определение направления взгляда. Сначала определяют углы направления вектора направления взгляда в локальной системе координат. Далее пересчитывают их в глобальную систему координат. При этом учитывают индивидуальные особенности пользователя (углы отклонения области наилучшего зрения от вектора направления глаза) и конструктивные особенности устройства определения направления взгляда пользователя (в частности, взаимное расположение камер 6.1, 6.2 и камеры 7 сцены), которые определяются на этапе калибровки.

Этап калибровки. Калибровка направления взгляда пользователя состоит из двух шагов. На первом шаге производят собственно калибровку, на втором шаге осуществляют проверку калибровки. Калибровку проводят с помощью, например, экрана монитора или планшета, по которому движется метка ArUco. Нахождение указанной метки происходит при помощи алгоритма из широко распространенной библиотеки ArUco (S. Garrido-Jurado, R. Munoz-Salinas, F. J. Madrid-Cuevas, and M. J. Mann-Jimenez. 2014. "Automatic generation and detection of highly reliable fiducial markers under occlusion". Pattern Recogn. 47, 6, 2280-2292. DOI=10.1016/j.patcog.2014.01.005). В ходе разработки процедуры калибровки было установлено, что движущаяся метка дает примерно в три раза более точные результаты по сравнению со стационарной меткой, а также лучше удерживает внимание пользователя.

Таким образом, настоящее изобретение позволяет достичь высокую точность определения направления взгляда даже при небольших изменениях положения системы на пользователе, при этом оставаясь компактным и потребляющим малую мощность.

Изобретение относится к устройствам и способам определения направления взгляда и может быть использовано в различных областях техники, в том числе робототехнике. Способ определения направления взгляда пользователя включает получение изображения левого глаза и изображения правого глаза, содержащих блики, созданные соответственно источниками света левого глаза и источниками света правого глаза, определение положения зрачка глаза, определение положения и нумерацию бликов на роговице глаза, определение оптической оси глаза и определение направления взгляда на основании определенной оптической оси глаза и информации об окружающей сцене. Технический результат - повышение точности определения направления взгляда, высокая скорость обработки данных, низкие аппаратные требования, снижение веса носимого устройства. 10 з.п. ф-лы, 5 ил.

1. Способ определения направления взгляда пользователя с использованием устройства определения направления взгляда пользователя, содержащего камеру левого глаза и камеру правого глаза для получения изображения соответственно левого глаза и правого глаза в системе координат камер глаза, камеру сцены для получения изображения окружающей сцены в системе координат камеры сцены, и шесть источников света левого глаза и шесть источников света правого глаза для формирования бликов соответственно на левом глазу и правом глазу, при этом способ включает следующие этапы:

a) получение изображения левого глаза и изображения правого глаза, содержащих блики, созданные соответственно источниками света левого глаза и источниками света правого глаза,

b) определение положения зрачка каждого глаза, при котором:

b1 на изображении глаза выполняют предварительный поиск зрачка,

b2) выполняют построение предварительного эллипса зрачка и

b3) по узловым точкам границы предварительного эллипса зрачка строят эллипс зрачка,

c) определение положения и нумерация бликов на роговице каждого глаза, при которых:

c1) выполняют поиск бликов на роговице глаза,

с2) вычисляют размер радужки,

с3) отфильтровывают блики, находящиеся за пределами радужки, и

с4) выполняют нумерацию бликов для определения вектора направления взгляда в системе координат камеры сцены;

d) определение направления вектора направления взгляда каждого глаза, при котором определяют нодальную точку глаза, точку рефракции для центра зрачка, положение центра зрачка в системе координат камеры сцены; и

e) определение направления взгляда, при котором:

e1) определяют углы направления вектора направления взгляда в системе координат камер глаза и

е2) пересчитывают указанные углы направления оптической оси в систему координат камеры сцены с учетом калибровки направления взгляда.

2. Способ по п. 1, в котором на этапе b1 определяют предварительное положение центра зрачка, а также количество пикселей в области зрачка, предварительно характеризующее его размер, и формируют предварительную область зрачка.

3. Способ по п. 1, в котором на этапе b2 в предварительной области зрачка находят порог бинаризации и выполняют бинаризацию для определения границы зрачка для построения предварительного эллипса зрачка.

4. Способ по п. 1, в котором этап b3 выполняют методом наименьших квадратов.

5. Способ по п. 1, в котором на этапе b3 узловые точки отфильтровывают таким образом, чтобы они образовывали выпуклую фигуру.

6. Способ по п. 1, в котором этап c1 выполняют пороговой обработкой изображения глаза с выделением кластеров и фильтрацией кластеров по яркости, размеру и параметру отклонения от круглости.

7. Способ по п. 1, в котором этап с2 выполняют с использованием информации о среднем размере человеческой радужки и информации о расстоянии от соответствующей камеры левого глаза или камеры правого глаза до зрачка.

8. Способ по п. 1, в котором этап с4 выполняют от одного блика из верхней пары, ближайшего к переносице, по кругу, в сторону от переносицы, по часовой стрелке для правого глаза и против часовой стрелки для левого глаза.

9. Способ по п. 1, в котором при калибровке направления взгляда учитывают взаимное положение камер левого и правого глаза и камеры сцены.

10. Способ по п. 1, в котором калибровку направления взгляда осуществляют заранее на одном из указанных этапов.

11. Способ по пп. 1 и 10, в котором при калибровке направления взгляда учитывают индивидуальные особенности пользователя.