СПОСОБ И СИСТЕМА ДЛЯ РЕГИСТРАЦИИ ДВИЖЕНИЯ ГЛАЗ Российский патент 2019 года по МПК A61B3/113 

Область техники, к которой относится изобретение

Настоящее изобретение относится к измерительной технике и компьютерным технологиям, а именно, к технологиям, используемым для определения областей фиксаций взора (или взгляда) при движении глаз, и может быть использовано для объективной оценки процессов зрительного внимания, в операторской деятельности, для управления интерфейсами компьютера посредством направления взгляда, в маркетинге и пр. Следует отметить, что фиксацию взора (или взгляда) при движении глаз осуществляют при фиксированном положении головы респондента относительно предъявляемого изображения. Изобретение применимо, преимущественно, для случаев рассматривания статических изображений.

Уровень техники

Динамика изменения направления взгляда, а также длительность фиксаций на отдельных точках рассматриваемого объекта является крайне информативным параметром, характеризующим внимание человека в процессе осуществления им когнитивной деятельности [Velichkovsky В.М., Pannasch et al Neurocognitive investigations of human eye movements: Interaction between levels. XX Conference of the Physiological Society "I.P. Pavlov". Moscow (2007), Franke, I.S., Pannasch, Velichkovsky B.M. et al (2008). Towards attention-centered interfaces: An aesthetic evaluation of perspective with eye tracking. ACM Transactions on Multimedia Computing Communications and Applications, 4(3), Art. №18]. Обширные исследования в этой области привели к развитию ряда технологий, позволяющих оптимизировать взаимодействие человека с техническими средствами, оптимизировать информационные потоки с точки зрения наилучшего восприятия человеком предоставляемой информации, контролировать внимание человека, задействованного в сложных производственных процессах с целью уменьшения вероятности возникновения ситуаций, обусловленных человеческим фактором.

Развитие данных технологий, а также осуществление исследовательской деятельности в области когнитивной эргономики напрямую связанно с созданием систем определения направления взгляда и точки фиксации внимания непосредственно на рассматриваемом объекте (алгоритмов выделения фиксаций и саккад). В настоящее время существует ряд коммерческих систем:

1) SMI (https://www.smivision.com);

2) Tobii (https://www.tobii.com);

3) Eye Tribe (https://www.theeyetribe.com),

позволяющих обеспечить определение этих параметров, однако они имеют несколько недостатков, к которым можно отнести ограничения по скорости обработки и другие ограничения алгоритмов обработки информации.

В частности, из уровня техники известен способ и система детектирования саккад, основанный на определении угловой скорости, опубликованный на портале психологических изданий PsyJournals.ru http://psyiournals.ru/exp/2008/n1/Demidov_Jegallo_full.shtml [Оборудование SMI для регистрации движений глаз: тест-драйв - Экспериментальная психология - 2008. Том. 1, №1]. Система интерпретирует движение как саккаду в том случае, если скорость движения в середине пути от одной точки к другой превышает определенное пороговое значение, например, 75%ек. В противном случае система детектирует фиксацию. Подобный алгоритм предложен, например, Смите и Хуг (Smeets & Hooge, 2003). Данный алгоритм рекомендуется использовать для установок с высокой частотой дискретизации (более 200 Гц), чтобы иметь возможность распознать короткие саккады, которые очень часто встречаются, например, при чтении. Альтернативой данному алгоритму является случай использования значений угловой скорости для анализа фиксаций (Rotting, 2001). Если угловая скорость движения находится ниже определенного значения (как правило, менее 10°/сек), то система детектирует фиксацию. Алгоритм применяется для отсечения «шума» в данных.

Однако алгоритмы выделения фиксаций по критерию скорости и на основе дисперсии точек положения взора имеют ряд ограничений, основным из которых является критерий скорости обработки информации и возможность адекватного и точного подбора уровня величины скорости или значения координаты, относительно которого происходит сравнение алгоритмом текущего и предшествующего значений анализируемого показателя. Использование заявляемого способа, включающего алгоритм сегментационного анализа, посредством которого обрабатывается массив данных требует меньшего времени. Из этого следует увеличение скорости обработки массива. Это влечет за собой, соответственно, уменьшение затрат машинных ресурсов. В целом, надо отметить, что использование заявляемого способа ведет к существенному снижению погрешностей при выделении фрагментов массива.

Из данного источника информации известен также способ и система детекции фиксаций, базирующийся на определении дисперсии и продолжительности фиксации. Фиксацией считается набор соседних отсчетов, находящихся внутри пространства заданного диаметра (как правило, это круг), общей продолжительностью не меньше заданной. Примером данного алгоритма может служить I-DT алгоритм, предложенный Сальвучи и Голдбергом (Salvucci, Goldberg, 2000).

Однако недостатками данных алгоритмов являются низкая скорость обработки массивов координат и неточности при выделении релевантных глазодвигательных событий. Наиболее критичным аспектом работы алгоритмов являются ошибки первого и второго рода при детекции в массиве данных участков, соответствующих глазодвигательным событиям (саккадам и фиксациям). Кроме того, известно, что важно бывает определить «краевые условия», т.е. те пространственные и временные критерии, по которым должна начинаться детекция события. Сегментационный алгоритм, используемый в заявляемом изобретении, позволяет провести детекцию оптимальным образом. Его работа основана на выделении отличающихся от всего массива «сегментов». Таким образом, подход фиксирует сами события, а не их начало и конец, как это делают вышеописанные алгоритмы.

Кроме того, из данного источника информации известен также способ и система детекции, основанный на определении угловой скорости, использующий дополнительный критерий продолжительности фиксаций. Данный способ использует принципы детекции движений глаз из двух вышеуказанных алгоритмов.

Однако именно совмещение двух подходов для детекции фиксаций взора создает ограничения для показателя скорости обработки данных. Сегментационный алгоритм, используемый в заявляемом изобретении, снижает количество ошибок и, таким образом повышает эффективность выделения фрагментов данных из массива, соответствующих фиксациям и саккадам.

Проблема детекции движений глаз приобретает особую актуальность именно в случаях обращения к автоматизированным программным средствам обработки данных. В ранних окулографических исследованиях при ручной обработке данных использование алгоритмов детекции саккад и фиксаций было во многом излишним, поскольку аккуратность самого исследователя вкупе с разрешающей способностью регистрирующей установки сами по себе выступали некими алгоритмами детекции.

Наиболее близким к заявляемому является способ и система для отслеживания движения глаз (Патент US 7522344). Решение представляет собой оптическую систему, содержащую проекционный, закрепленный на голове (head-mounted) дисплей с оптической системой внутри, применяемой для айтрекинга. В частности, система содержит следующие конструктивные элементы:

- двойной источник света для обеспечения первого и второго ИК-излучателей соответственно для инфракрасной подсветки глаза респондента, позволяющих создать несколько так называемых «глинтов» - отражений на поверхности глаза, по которым происходит детекция направления взгляда. Система содержит возможность dual light - подсветки глаз двумя типами света для получения изображения зрачка с чередующимися кадрами положительного и отрицательного контраста. Это требуется для вычитания одного изображения из другого для получения максимальной точности определения зрачка для айтрекинга;

- оптическую систему для создания head-mounted дисплея оптической части и айтрекинговой части; при этом эти части объединены для уменьшения веса проекционной части. Оптическая система включает также первое и второе теплые зеркала, которые отражают ИК-лучи и пропускают видимый свет, и которые необходимы для проецирования изображения глаза на матрицу видеокамеры;

- видеокамеру для записи движений глаз посредством записи нескольких отражений ИК-излучений; при этом один источник излучения находится на оси камеры, а второй за пределами оси; при работе камера снимает кадры (с положительным и отрицательным контрастом), чередуя их, а затем вычитая один из другого;

- устройство для обеспечения процессинга, которое на основе набора алгоритмов осуществляет определение положения зрачка глаза респондента, основываясь на информации о движении, полученной из светлого и темного изображений зрачка, записанных камерой.

- дисплей для предъявления изображений респонденту.

Способ обеспечения айтрекинга внутри проекционного head-mounted дисплея, представленный в материалах патента US 7522344, включает:

- формирование множественных инфракрасных пучков лучей от первого и второго источника ИК-излучения для освещения зрачка глаза респондента;

- использование первого и второго теплых зеркал вместе с первым и вторым источником ИК-излучения, соответственно, для получения изображения глаза на матрице видеокамеры;

- чередующаяся запись множественных отражений (глинтов) на кадрах со зрачком в положительном и отрицательном контрастах;

- получение данных о движениях глаз из светлого изображения зрачка и темного изображения зрачка.

Однако предлагаемое решение характеризуется рядом недостатков. Например, двойная подсветка и два теплых зеркала увеличивают размеры системы и создают дополнительные факторы отвлечения внимания участника в процессе регистрации. Одновременно с этим точность, получаемая при регистрации зрачка с использованием апроксимации на основе нескольких отражений подсветки ниже из-за умножения погрешности, связанной с каждым отдельных отражением (глинтом). С экономической точки зрения предлагаемая система отличается рядом недостатков, связанных с удорожанием стоимости за счет использования 2 теплых зеркал и двух ИК-излучателей, применяемых в системе.

Из-за того, что аналоги используют алгоритмы выделения событий, которые оперируют краевыми условиями (при поиске фиксаций), всегда существует высокая вероятность потери значений из массива данных (координат точек положения взгляда). Потери также могут быть связаны с пропусками в массивах данных. В подобных случаях дисперсионный алгоритм и алгоритм поиска по задаваемому порогу могут нерелевантно оценивать имеющиеся артефактные участки в таблице данных, что в свою очередь приводит к погрешности при получении итогового вывода.

Раскрытие изобретения

Техническая проблема, решаемая посредством заявляемого изобретения, заключается в преодолении недостатков, присущих аналогам, раскрытым при описании уровня техники, за счет создания способа и устройства для определения областей фиксаций взора при движении глаз, обеспечивающих получение достоверных данных при уменьшении длительности записываемого видеоряда изображений зрачка глаза и увеличении скорости обработки измеренных данных.

Таким образом, заявляемое решение помимо повышения достоверности получаемых результатов, позволяет обрабатывать массивы данных за более короткое время, и следовательно, с использованием меньших программно-аппаратных ресурсов, по сравнению с известными способами.

Техническим результатом изобретения является обеспечение возможности обработки больших массивов изображений с повышением достоверности выделения областей фиксации взора. Заявляемое изобретение позволяет детектировать именно участки данных, соответствующие областям фиксаций взора, отличающиеся от остального массива, а не «края» этих участков, что дает возможность с большей вероятностью определить необходимые фрагменты. В случае айтрекинга это особенно критично, поскольку данные события как раз являются фиксациями и саккадами. При этом заявляемое решение отвечает критерию большей скорости обработки массива данных и поиска в нем релевантных фрагментов, соответствующих фиксациям взора.

Технический результат достигается тем, что согласно способу определения областей фиксаций взора при движении глаз респонденту при фиксированном положении головы предъявляют, по меньшей мере, одно стимульное изображение, в процессе предъявления стимульного изображения освещают область глаза респондента инфракрасным светом, регистрируют отраженный сигнал с получением видеоряда изображений зрачка глаза, обрабатывают полученный видеоряд с определением координат центра зрачка в каждом кадре видеоряда и последующим формированием в хронологической последовательности двумерного массива значений координат центра зрачка, соответствующих кадрам видеоряда, из которого посредством сегментационного анализа выделяют не менее трех точек, которые считают областью фиксации взора.

Для всех выявленных областей фиксации дополнительно определяют их центры с последующим вычислением для соседних областей углового расстояния между их центрами и при выявлении значения углового расстояния меньше 1,5° соседние области объединяют в одну с определением ее центра и последующим повторением описанных действий в отношении оставшихся областей фиксации. Для всех выявленных областей фиксации дополнительно определяют граничные значения областей фиксации, которые считают границами саккад. Регистрацию отраженного сигнала осуществляют в течение не менее 5 Оме с получением не менее 5 кадров видеоряда. Стимульные изображения размещают на уровне глаз респондента на расстоянии с обеспечением углового расстояния между центрами соседних областей фиксации не более 20-25 градусов. Координаты центра зрачка определяют в системе координат, составляющих видеоряд изображений глаза, регистрируемых видеокамерой (в системе координат матрицы видеокамеры), а координаты взора - в системе стимульных изображений или в системе координат изображений.

Стимульные изображения размещают на уровне глаз респондента на расстоянии, не менее 30 см, обеспечивающем возможность получения отраженного изображения глаза участника исследования и вычисления координат положения взора по показателям предварительно проведенной калибровки с использованием координат центра зрачка на матрице видеокамеры.

Технический результат достигается тем, что система для определения областей фиксаций взора при движении глаз включает ИК-излучатель, размещенный с возможностью освещения области глаза респондента, фильтр - отражатель, выполненный с возможностью пропускания видимого света и отражения ИК-излучения, установленный на уровне глаз респондента, блок предъявления стимульного изображения, расположенный за фильтром-отражателем, блок регистрации отраженного от зрачка ИК-излучения в виде видеоряда изображений зрачка глаза, содержащего, по меньшей мере, пять кадров, включающий видеокамеру, и блок обработки изображения с видеокамеры, выполненный с возможностью обработки данных посредством сегментационного анализа и получением областей фиксаций взора при движении глаз.

ИК-излучатель выполнен с возможностью излучения на длине волны 860 нм, захватывая область ±40 нм. Подобный диапазон излучения попадает в максимум спектральной чувствительности матрицы видеокамеры, но остается невидимым для зрительного анализатора человека. ИК-излучатель размещен с возможностью освещения области глаза прямым или отраженным от фильтра-отражателя излучением. Фильтр -отражатель выполнен в виде теплого зеркала, которое состоит из 55-65 чередующихся слоев материалов: TiO₂ и SiO₂, и расположен от зрачка респондента на расстоянии не более 10 см. Теплое зеркало пропускает свет видимого диапазона и отражает свет в ИК-диапазоне. Видеокамера снабжена матрицей, имеющую спектральную чувствительность, максимум которой лежит в области 650-850 нм, в частности, характеризующейся кривой спектральной чувствительности, представленной на фиг. 1.

Согласно работам (Lemire, 2007; Bellman, Roth, 1969) для хранения динамически изменяющихся данных нужна большая точность (в битах), чем для обработки постоянных значений. Поэтому для реализации сегментационного анализа используется 64-битный алгоритм, а не 32-битный. Линейный алгоритм по сравнению, например, с алгоритмом Дугласа-Пекера дает выигрыш во времени, т.к. время, требуемое для вычислений растет в данном случае линейно (в алгоритме Дугласа-Пекера квадратично).

Отличительной особенностью предлагаемых решений является использование сегментационного анализа для выделения глазодвигательных событий из данных координат позиционирования взора на изображении. Эти данные получаются при обработке видеоряда изображений зрачка глаза, полученного с видеокамеры при предъявлении стимульного материала, а также пересчете координат на основании данных калибровки из системы координат матрицы видеокамеры в систему координат стимульного изображения, предъявляемого на мониторе.

Краткое описание чертежей

Изобретение поясняется чертежами.

На фиг. 1 представлена кривая спектральной чувствительности видеокамеры.

На фиг. 2 схематично представлены заявляемые система и способ с использованием айтрекера, включая условное изображение респондента, системный блок компьютера, осуществляющий управление работой программно-аппаратной части, предъявление необходимых зрительных стимулов на экране монитора, а также реализующий выделение событий из массива данных координат (с использованием сегментационного алгоритма); на схеме также отмечены эмиссионные фильтры (теплые зеркала), с помощью которых регистрируется изображение глаза, видеокамера и ИК-подсветка, размещенные за пределами зрительной области респондента, и экран монитора, на котором респонденту предъявляют стимульные изображения.

На фиг. 3 представлена блок-схема алгоритма сегментационного анализа. На вход направляют массив данных (координат положения взора), который последовательно аппроксимируется полиномами разной степени. При этом на каждом шаге производят оценку точности аппроксимации. На определенной итерации по критерию минимальной ошибки определяют оптимальный вид полинома (ошибка минимальна). Для данного полинома реализую сегментацию входного массива по фрагментам, соответствующим фиксациям взора. Алгоритм реализуется на основе динамического программирования, дающего выигрыш в скорости обработки данных.

На фиг. 4 представлена оптическая схема (движения пучка ИК-излучения) используемая для регистрации областей фиксаций взора при движении глаз. На схеме показана проекция изображения глаза (и, соответственно, зрачка на фоне радужки) на матрицу видеокамеры в ИК-спектре за счет освещения глаза ИК-подсветкой и отражением изображения от теплого зеркала на матрицу видеокамеры. На схеме отмечены теплые зеркала, через которые респондент может беспрепятственно видеть изображение, предъявляемое ему на экране монитора, видеокамера.

На фиг. 5 представлены пример визуализации выделенных из исходных данных глазодвигательных событий (фиксаций и саккад), нанесенных на рассматриваемое респондентом изображение. Радиусы окружностей тем больше, чем длительнее были фиксации взора. На изображении также отмечены положения взора для каждого кадра видеоряда (каждая точка соответствует одному кадру). Из положений взора в каждом кадре методом сегментационного анализа получают положения фиксаций, для которых определяют длительность и координата их центра.

На фиг. 6. представлено изображение глаза со зрачком, аппроксимированным (фитированным) эллипсом. На пересечении осей эллипса находится ключевая точка, для которой определяются текущие координаты.

На фиг. 7 показано представление рядов координат положения центра зрачка, используемых для алгоритма сегментационного анализа.

Позициями на чертежах обозначены: 1 - респондент, 2 - эмиссионные фильтры (теплые зеркала), 3 - ИК-излучатель (подсветка), 4 - видеокамера, 5 - экран монитора, 6 - компьютер с установленным на нем модулем 7, реализующим заявляемый способ, представляющий собой блок памяти с программным обеспечением, 8 - компьютерная мышь, 9 - вывод изображений на экран, 10 - ИК-лучи, 11 - захват видеоизображения зрачка.

Осуществление изобретения

При описании осуществления изобретения использованы следующие термины и определения.

Фиксация - остановка взора во время глазодвигательной активности при рассматривании изображения (физиологич.). С точки зрения математики, фиксация - это фрагмент массива координат, соответствующий периоду времени остановки взора при рассматривании изображения.

Точка фиксации взора - место (координаты) позиционирования взора респондента в момент фиксации, т.е. остановки взора.

Область фиксации - набор точек положения взора и, соответственно, их координат, характеризующих место фиксации взора, т.е. его остановки, а также соответствующая им область пространства на плоскости координат рассматриваемого на экране монитора изображения.

Саккада - быстрое скачкообразное движение глазных яблок, переводящее взгляд с одного предмета на другой (физиол.). С точки зрения математического анализа, саккада - это участок траектории (и соответствующий ему фрагмент массива данных координат положения взора), соединяющий соседние фиксации.

Стимульное изображение - предъявляемое на экране или в реальных условиях изображение, на которое смотрит респондент.

Теплое зеркало (англ. hot mirror) - термин, которым обозначается прозрачный для видимого света фильтр, который при этом отражает излучение ИК-диапазона.

Сегментационный анализ - математический алгоритм, описанный в статье Lemire D. A better alternative to piecewise linear time series segmentation // Proceedings of the 2007 SIAM International Conference on Data Mining. - Society for Industrial and Applied Mathematics, 2007. - C. 545-550.

позволяющий разделять непрерывный ряд данных на фрагменты с учетом опционально определяемых условий.

1) Последовательностями (или сериями) названы массивы данных следующего вида:

(x₀,y₀), …, (x_n-1, y_n-1), где значения x - это соответствующие временным отсчетам значения координат.

2) Сегментационные индексы z₀, …, z_k - отметки, делящие последовательность на интервалы.

3) S₁, …, S_k - интервалы, определяемые сегментационными индексами S_i={(x_i,y_i)|z_i-1≤i<z_j}

Сегментационный анализ включает:

Определения сегментационной ошибки по формуле:

, где Q - это квадрат регрессионной ошибки .

Поиск значений Q, которые вычисляются по формуле (p(x_r)-y_r)², где минимум определяется по полиномиальному p заданной степени.

Основной задачей в оценке выделения сегментов и определения ошибки сегментационного анализа является наиболее подходящая аппроксимация (поиск наилучшего полинома).

Алгоритм вычислений представляет собой набор действий динамического программирования для оптимального поиска сегментов, составляющих общий массив данных, в процессе которого реализуются следующие действия:

Первая часть алгоритма динамического программирования для поиска оптимальной сегментации временных серий в интервалы, имеющие степени 0, …, N-1.

1. INPUT: временные серии (x_i, y_i) длиной n.

2. INPUT: модельная сложность k и максимальная степень N (N=2 => постоянная и линейная).

3. INPUT: Функция E(p,q,d), вычисляющая ошибку фитирования полинома степени d в ряду (x_p, x_q) (постоянное время).

4. R,D,P←k*n+1 матрицы (инициализированы на 0).

5. for r∈{0, …, k-1} do

6. {r сканирует ряды матриц}

7. for q∈{0,…, n} do

8. {q сканирует колонки матриц}

9. Нахождение минимума R_r-1-d,P+E(p,q,d) и сохранение его значений в R_r,q и соответствующих d,p в два шага в D_r,q, P_r,q для 0<d<min(r+1,N) и 0<p<q+1 при условии, что R→∞ для отрицательных рядов кроме R_-1,0=0

10. RETURN Значение матрицы R, степени матрицы D, сегментационных точек матрицы Р.

Вторая часть алгоритма динамического программирования для поиска оптимальной сегментации.

1. INPUT: k*n+1 матрицы R,D,P.

2. x←n

3. s←empty list

4. while r>0 do

5. p←Pr,x

6. d←Dr,x

7. r←r-d+1

8. добавочный интервал из p в x степени d в s

9. x←p

10. RETURN Оптимальную сегментацию s.

Таким образом, алгоритм выделяет оптимальные фрагменты (сегменты) числовых рядов координат из всей последовательности, характеризуемой определенным временным периодом.

Ниже представлено подробное описание способа и системы определения областей фиксаций взора при движении глаз. Для подтверждения соответствия заявляемого решения требованию «промышленная применимость», а также для лучшего понимания сущности изобретения ниже представлены примеры его конкретной реализации, которые не ограничивают заявляемое изобретение.

Респонденту предлагают сесть в кресло и зафиксировать голову на лобно-подбородной подставке напротив экрана монитора. Экран монитора располагают на расстоянии комфортного видения от глаз респондента (40-70 см), хотя технические возможности системы не ограничивают этот показатель в заявленных пределах. Затем респонденту предлагают пройти калибровку, представляющую собой предъявление набора точек на экране с заранее известными координатами. Это процедура необходимо, чтобы получить реперные значения для пересчета координат положений взора во время рассматривания любых других изображений в течение эксперимента. Предъявление, регистрация и обработка данных (как предъявление калибровки и стимульных изображений, так и регистрация координат положения зрачка) могут быть реализованы с помощью доступных программных средств, обладающих функционалом по предъявлению и записи результатов измерения в файлы. Также в программном обеспечении должен быть реализован алгоритм сегментационного анализа с целью выделения фиксаций и соответствующих им саккад для последующей визуализации этих результатов (событий) методом наложения на предъявляемое изображение.

В процессе предъявления стимульного изображения освещают область глаза респондента инфракрасным светом. Излучатель ИК находится рядом с цифровой камерой, регистрирующей отраженное изображение глаза. ИК-лучи, отразившись от теплого зеркала, освещают глаз респондента, обратный ход луча проецирует полученное изображение на матрицу видеокамеры. В качестве теплого зеркала может быть использовано изделие, например, см. http://www.photooptic-filters.com/hot_mirrors/. ИК-излучение позволяет добиваться максимального контраста изображения зрачка относительно радужки, что повышает вероятность правильного выделения зрачка используемыми в программе алгоритмами выделения изображения.

В процессе просмотра стимульного изображения регистрируют изображение глаза респондента в виде отраженного сигнала ИК-излучения с получением видеоряда изображений зрачка глаза, и обрабатывают полученный видеоряд с определением координат центра зрачка в каждом кадре видеоряда. ИК-излучение после двойного отражения от теплого зеркала (первый путь ИК-излучение проходит от излучателя и попадает на глаз, второй, отразившись от глаза, возвращается в объектив видеокамеры, которая расположена рядом с ИК-излучателем. Отраженное ИК-излучение переносит изображение глаза на матрицу видеокамеры, которая регистрирует данное изображение. Из каждого кадра этого видеоряда выделяют зрачок и определяют координаты его центра. Далее эти координаты пересчитывают в систему координат изображения, на которое смотрел респондент, и из этих координат выделяют фиксации методом сегментационного анализа.

Алгоритм выделения зрачка (Kim S.I. et al. A fast center of pupil detection algorithm for VOG-based eye movement tracking // Engineering in Medicine and Biology Society, 2005. IEEE-EMBS 2005. 27th Annual International Conference of the. - IEEE, 2006. - C. 3188-3191.; Zhu D., Moore S.Т., Raphan T. Robust pupil center detection using a curvature algorithm // Computer methods and programs in biomedicine. - 1999. - T. 59. - №. 3. - C. 145-157.) из изображения анализирует каждый кадр и ищет релевантную область, определяемую по ряду критериев (наиболее темное изображение, эллиптическая форма) и аппроксимирует зрачок эллипсом, определяя в тоже время его центр. Координаты, рассчитанные для центра эллипса, пересчитываются из системы координат матрицы видеокамеры в систему координат изображения (см. фиг. 6). Координаты могут быть выгружены в таблицу, например, виде:

Из этого массива координат методом сегментационного анализа выделяют участки, соответствующие остановкам взора - фиксациям. Визуализация этих участков может быть представлена в виде, показанном на фиг. 7.

Результаты работы сегментационного алгоритма позволяют выделить участки (сегменты) фиксированной координаты оптимальным образом. После реализации всех блоков, отмеченных на рисунке, находят массив значений сегментов, соответствующих фиксациям взора, для них (вычитанием) определяют длительности, соответствующие этим фиксациям и координаты центра этих фиксаций, формируя итоговый выходной массив значений.

Итоговая таблица содержит характеристики фиксаций и саккад (в том числе координаты центров фиксаций). Для реализации заявляемого способа может быть использовано программное обеспечение, которое позволяет визуализировать полученный результат, наложив на изображение, которое рассматривал респондент, визуализацию фиксаций одновременно с координатами положений взора в системе координат изображения (см. фиг. 5).

Для подтверждения достижения заявленного технического результата был проведен модельный эксперимент. Респондент сам отмечал, на какие элементы изображения он смотрит, а также, в какой последовательности. Одновременно с этим был проведен анализ на основе экспертного метода оценки по видеозаписи изображения глаза, а также по сравнению с записью на системе SMI 250Hz. Было установлено, что количество не детектированных фиксаций у системы SMI 250Hz выше, по сравнению с заявляемым решением, использующим сегментационный анализ (2 потерянные фиксации на записи длительностью 5 минут у SMI 250Hz по сравнению со всеми выделенными на заявляемом айтрекере).

Был также проведен модельный эксперимент, в котором использовался макет искусственного глаза, закрепленного неподвижно. Запись велась в течение одной минуты (60 сек.) с последующим анализом разброса точек фиксации взора. Было установлено, что стабильность фиксации взора в подобных условиях очень высока: погрешность позиции фиксации взора в таком модельном эксперименте составила ±1 пксл, что соответствует относительной погрешности 0.01%. Это является свидетельством точности работы как аппаратной части, так и точности работы алгоритма выделения фиксаций из исходных данных.

Таким образом, преимуществом настоящего изобретения является возможность получения данных о фиксациях по минимальному количеству точек в «облаке» (т.е. кучности точек, соответствующей фиксации) - начиная от трех, детектируемых благодаря использованию сегментационного анализа. При этом с точки зрения физиологии параметры фиксации должны быть от 50 мс и выше. В случае, если исследуется восприятие сколько-нибудь сложной когнитивной информации, параметры фиксации должны быть не менее 60-80 мс. Алгоритм детекции фиксаций по пороговому уровню (скорости, координаты) также характеризуется высокой скоростью, но при его использовании существует проблема с выбором порога (что считать «отсечкой», относительно которой можно судить, что скорость превысила критический уровень и далее событие является уже саккадой. Отсюда следует, что алгоритм, работающий по такому принципу, является в значительной степени быстрым, но страдает наличием ошибок первого и второго рода в высокой зависимости от выбранного уровня порога, который, если выбирается экспертно, страдает субъективностью, а автоматический алгоритм не может точно подобрать отмеченный параметр. То есть, при работе такого алгоритма, часто детектируются фиксации в тех местах, где их нет и, наоборот, не выделяются фиксации, которые объективно существуют.

По сравнению со способом, основанном на использовании дисперсии, заявляемый способ с использованием сегментационного анализа реализуется быстрее по скорости, о чем указано выше, и следовательно, экономит ресурсы компьютера при получении таких же результатов по скорости при наличии меньшей аппаратной мощности. Основой такого подхода является динамическое программирование, позволяющее разделить большую задачу на подзадачи, более низкого уровня, и реализовать вычисления с высокой скоростью. Для других алгоритмов (например, для дисперсионного) ресурсозатратность (т.е. задействование аппаратных мощностей, таких как оперативная память, ресурсы процессора и пр.) растет по квадратичному закону в зависимости от количества координат (точек), составляющих входной массив данных.

Изобретение относится к измерительной технике и компьютерным технологиям, а именно к технологиям, используемым для определения областей фиксаций взора или взгляда при движении глаз, и может быть использовано для объективной оценки процессов зрительного внимания, в операторской деятельности, для управления интерфейсами компьютера посредством направления взгляда. Предложен способ определения областей фиксаций взора при движении глаз, характеризующийся тем, что респонденту при фиксированном положении головы предъявляют, по меньшей мере, одно стимульное изображение, в процессе предъявления стимульного изображения освещают область глаза респондента инфракрасным излучением, регистрируют отраженный сигнал в течение не менее 50 мс с получением не менее 5 кадров видеоряда изображений зрачка глаза, обрабатывают полученный видеоряд с определением координат центра зрачка в каждом кадре видеоряда, после чего эти координаты пересчитывают в систему координат стимульного изображения, формируют двумерный массив значений координат центра зрачка в хронологической последовательности, соответствующей кадрам видеоряда, из которого посредством сегментационного анализа выделяют не менее трех точек, которые считают областью фиксации взора. Также предложена система для определения областей фиксаций взора при движении глаз, включающая ИК-излучатель, размещенный с возможностью освещения области глаза респондента, фильтр-отражатель, выполненный с возможностью пропускания видимого света и отражения ИК-излучения, установленный на уровне глаз респондента, блок предъявления стимульного изображения, расположенный за фильтром-отражателем, блок регистрации отраженного от зрачка ИК-излучения в виде видеоряда изображений зрачка глаза, содержащего, по меньшей мере, пять кадров, включающий видеокамеру, и блок обработки изображения с видеокамеры, выполненный с возможностью обработки данных посредством сегментационного анализа и получением областей фиксаций взора при движении глаз. Группа изобретений обеспечивает возможность обработки больших массивов изображений с повышением достоверности выделения областей взора. 2 н. и 10 з.п. ф-лы, 2 табл., 7 ил.

1. Способ определения областей фиксаций взора при движении глаз, характеризующийся тем, что респонденту при фиксированном положении головы предъявляют, по меньшей мере, одно стимульное изображение, в процессе предъявления стимульного изображения освещают область глаза респондента инфракрасным излучением, регистрируют отраженный сигнал в течение не менее 50 мс с получением не менее 5 кадров видеоряда изображений зрачка глаза, обрабатывают полученный видеоряд с определением координат центра зрачка в каждом кадре видеоряда, после чего эти координаты пересчитывают в систему координат стимульного изображения, формируют двумерный массив значений координат центра зрачка в хронологической последовательности, соответствующей кадрам видеоряда, из которого посредством сегментационного анализа выделяют не менее трех точек, которые считают областью фиксации взора.

2. Способ по п. 1, характеризующийся тем, что для всех выявленных областей фиксации взора дополнительно определяют их центры - точки фиксации взора, с последующим вычислением для соседних областей углового расстояния между их центрами и при выявлении значения углового расстояния меньше 1,5° соседние области объединяют в одну с определением ее центра и последующим повторением описанных действий в отношении оставшихся областей фиксации.

3. Способ по п. 1, характеризующийся тем, что для всех выявленных областей фиксации взора дополнительно определяют граничные значения областей фиксации, по которым определяют границы саккад.

4. Способ по п. 1, характеризующийся тем, что стимульные изображения размещают на уровне глаз респондента на расстоянии с обеспечением углового расстояния между центрами соседних областей фиксации не более 20-25 градусов.

5. Способ по п. 1, характеризующийся тем, что координаты центра зрачка определяют в системе координат стимульных изображений.

6. Способ по п. 1, характеризующийся тем, что координаты центра зрачка определяют в системе координат изображений, составляющих видеоряд изображений глаза.

7. Система для определения областей фиксаций взора при движении глаз, включающая ИК-излучатель, размещенный с возможностью освещения области глаза респондента, фильтр-отражатель, выполненный с возможностью пропускания видимого света и отражения ИК-излучения, установленный на уровне глаз респондента, блок предъявления стимульного изображения, расположенный за фильтром-отражателем, блок регистрации отраженного от зрачка ИК-излучения в виде видеоряда изображений зрачка глаза, содержащего, по меньшей мере, пять кадров, включающий видеокамеру, и блок обработки изображения с видеокамеры, выполненный с возможностью обработки данных посредством сегментационного анализа и получением областей фиксаций взора при движении глаз.

8. Система по п. 7, характеризующаяся тем, что ИК-излучатель размещен с возможностью освещения области глаза прямым или отраженным от фильтра-отражателя ИК-излучением.

9. Система по п. 7, характеризующаяся тем, что фильтр-отражатель выполнен в виде теплого зеркала, пропускающего свет видимого диапазона и отражающего свет в ИК-диапазоне, которое включает слои из чередующихся материалов: ТiO₂ и SiO₂.

10. Система по п. 7, характеризующаяся тем, что видеокамера снабжена матрицей, имеющей спектральную чувствительность, максимум которой лежит в области 650-850 нм.

11. Система по п. 7, характеризующаяся тем, что фильтр-отражатель расположен от зрачка на расстоянии не более 10 см.

12. Система по п. 7, характеризующаяся тем, что ИК-излучатель выполнен с возможностью излучения на длине волны 860 нм, захватывая область ±40 нм.