СПОСОБ И УСТРОЙСТВО ОПРЕДЕЛЕНИЯ НАПРАВЛЕННОСТИ ВЗГЛЯДА Российский патент 2015 года по МПК G06K9/28 G06F3/01 

Изобретение относится к контрольно-измерительной технике и может быть использовано для измерения динамики движения глаз в процессе выполнения человеком когнитивных задач, а также для реализации интерфейсов, чувствительных к вниманию, интерфейсах глаз - мозг - компьютер, в системах, осуществляющих коммуникацию между людьми с нарушениями моторных функций.

Уровень техники

Техника относится к системам регистрации движений глаз. Механизмы восприятия и активной обработки визуальной информации широко изучаются в рамках прикладных когнитивных наук уже более пятидесяти лет [5, 4]. В процессе этих исследований были описаны устойчивые связи между динамикой движений глаз и параметрами восприятия зрительной информации человеком (так называемая глубина внимания) [4, 5, 6]. Данные закономерности позволили реализовать методы измерения зрительного внимания, а также распознавания намерений пользователя на основе анализа глазодвигательной активности [4, 5, 8, 14]. Это открывает перспективу создания ряда уникальных устройств, обеспечивающих интерфейс взаимодействия человека с техническими системами посредством взгляда. Областью применения таких систем является, например, дистанционное управление автономными робототехническими системами и технологическими процессами. Измерение зрительного внимания дает возможность прогнозировать способность пользователя своевременно реагировать на изменения в окружающем его пространстве [4]. Назначением подобных систем является учет человеческого фактора (например, оценка состояния оператора, вовлеченного в сложные технологические процессы, водителя транспортного средства и т.д.). Внедрение подобных систем в транспортные средства является особенно актуальной задачей в связи с большим количеством жертв автомобильных аварий в России [7].

Несмотря на значительное количество накопленных знаний в области когнитивных наук, создание устройств, которые бы в полной мере реализовали описанные выше возможности, представляет сложную техническую задачу. Традиционные методы регистрации движений глаз являются контактными, что ограничивает их применение в широком круге прикладных задач. Крепление датчиков в таких системах осуществляется непосредственно на лице испытуемого (например, в методе электроокулографии) [22]. Многолетний опыт использования традиционных методов позволил сформулировать основные требования к подобным системам в целом:

1. Возможность бесконтактной, дистанционной регистрации движения зрачка;

2. Максимальная свобода на естественные движения пользователя;

3. Использование пассивных методов регистрации (без задействования специальной подсветки или обучения пользователя).

Последнее требование обусловлено необходимостью в ряде случаев проводить длительные наблюдения за человеком, в то время как наличие засветки накладывает значительные временные ограничения на подобные измерения (вследствие накопления дозы излучения). Частичное достижение вышеперечисленных требований стало возможным только с появлением детектирующих устройств на базе матричных фотодетекторов (ПЗС, КМОП), где основной упор делается на обработку изображений. В их состав входит непосредственно само детектирующее устройство (одно или несколько), а также персональный компьютер, обеспечивающий обработку полученных изображений в режиме реального времени. Алгоритмы обработки изображений при этом реализуют сложные многоэтапные математические методы, среди которых обычно последовательно производится поиск лица и глаз пользователей на изображении, поиск зрачка, его оконтуривание, вычисление пространственного положения пользователя и вычисление линии взгляда. На сегодняшний день доступны несколько коммерческих систем, имеющих описанную выше архитектуру [9, 10]. Несмотря на значительные преимущества по сравнению с традиционными контактными методами, они по прежнему обладают рядом значительных недостатков. Точность измерений в реальных условиях зависит от изменений градиента и уровня внешней освещенности. Технические возможности ряда детектирующих устройств позволяют частично компенсировать данные условия. В процессе регистрации изображений производится адаптивная подстройка времени экспозиции в зависимости от засветки фоточувствительной матрицы (шатерный механизм -англ. shutter). Это позволяет избегать насыщения элементов матричного фотодетектора и при изменении уровня освещенности поддерживать контраст изображения. Однако полностью компенсировать внешние факторы и выдерживать постоянный контраст с помощью шатерного механизма не всегда возможно. Это в значительной степени влияет на работу алгоритмов обработки изображений, которые крайне чувствительны к контрасту изображений. На сегодняшний день это является основным фактором, влияющим на работу систем. Пример - регистрация лица и глаз водителя в условиях ночного движения, где фары встречных автомобилей создают неравномерные перепады освещенности. Интенсивность встречного движения может привести к невозможности проводить указанные измерения. Повышение контраста изображений, содержащих лицо и глаза пользователя, в условиях плохой освещенности или при ее резких перепадах в некоторых системах достигается путем подсветки лица низкоинтенсивным излучением ближнего ИК диапазона (700-950 нм). Данный диапазон не воспринимается глазом человека, но соответствует спектральному диапазону чувствительности устройств на базе ПЗС. Однако в полевых условиях соответствующая компонента внешних мощных световых источников (например, фар встречных автомобилей, солнечный свет) также содержит соответствующую компоненту, что влияет на зашумленность видеоданных.

Решение, предложенное в рамках настоящей заявки, обеспечивает значительное снижение влияния внешней засветки и градиента освещенности от внешних источников на этапе регистрации изображений. Это достигается путем расширения спектрального диапазона регистрации изображений пользователя. Предлагается осуществлять регистрацию в видимом (спектральный диапазон <1000 нм) и дальнем ИК диапазоне (длина волны ≥3000 нм). Низкий уровень шума в изображениях дальнего ИК диапазона объясняется отсутствием соответствующей спектральной составляющей в большинстве внешних источников освещения, окружающих человека в повседневной жизни (в тех же источниках, где она присутствует, ее влияние на качество изображений пренебрежительно мало). Изображения в указанных диапазонах регистрируются последовательно или одновременно. Сопоставление данных изображений позволяет точно определить область лица и глаз пользователя независимо от положения и интенсивности внешних источников. Техническая реализация подобного рода систем до недавнего времени была нецелесообразна в связи с несовершенством матричных фотодетекторов дальнего ИК диапазона. В основном это были устройства, обеспечивающие приемлемый уровень сигнал/шум при низкой температуре. В качестве охладителя использовались жидкий азот или гелий. В связи с этим обвязка данных устройств состояла из системы охлаждения (микроболометр с циркулирующим внутри газом) и не позволяла миниатюризировать устройство. Однако последние достижения в развитии этих технологий и появление неохлаждаемых миниатюрных матриц для данного диапазона [19] позволило задействовать их в широком круге задач. Отсутствие в необходимости дополнительных охлаждающих устройств позволило создавать миниатюрные портативные приборы визуализации в дальнем ИК диапазоне. Совмещение изображений дальнего ИК диапазона и обычного видимого диапазона на этапе регистрации и обработки в системах айтрекинга может значительно снизить влияние внешнего шума и, как следствие, повысить точность измерений.

Обзор аналогов

Известно техническое решение [20], в котором осуществляется подсветка объекта несколькими источниками излучения, которые формируют световой паттерн на поверхности объекта. В качестве объекта рассматривается глаз пользователя. Производят регистрацию изображений объекта, детектируя также отражение светового паттерна. Производят обнаружение объекта путем обработки полученных изображений, содержащих световой паттерн и образ объекта. По положению паттерна определяют пространственное положение объекта. Основным недостатком системы является наличие активной засветки, а также детектирование изображений в спектральном диапазоне излучателя. Регистрация производится в видимом и ближнем ИК диапазоне (в случае излучателя дальнего ИК диапазона может быть нанесено тепловое повреждение самого объекта, в связи с чем применительно к описываемой задаче использование такого рода источников излучения не имеет практического смысла). Помимо этого наличие внешней засветки в указанном диапазоне может привести к зашумлению сигнала и значительному снижению точности измерений. Основным отличием предлагаемого решения описанного выше является отсутствие каких-либо дополнительных источников излучения. Регистрация изображений производится не только в видимом, но также и в дальнем ИК диапазоне. Отсутствие внешних источников шумов в дальнем ИК диапазоне в большинстве случаев обеспечивает приемлемое соответствие в уровне сигнал/шум в получаемых изображениях. Это приводит к более высокому контрасту изображений и более устойчивой работе алгоритмов обработки.

Известно решение [21], в котором производится регистрация объекта детектирующими устройствами. Производится подсветка объекта, в качестве которого рассматривается лицо пользователя несколькими низкоинтенсивными источниками ближнего ИК диапазона. Производится детектирование изображений объекта с помощью детектирующих устройств. Полученные изображения бинаризуются и анализируются путем одновременного сканирования изображения в вертикальном и горизонтальном направлении. Производится поиск светлых пикселей на изображении, что соответствует области объекта. На основании светлых областей на изображении производится локализация объекта. Авторами не указывается спектральный диапазон источника облучения, однако, как отмечалось выше, практическое значение имеет только видимый и ближний ИК диапазоны (≤1000 нм). Регистрация изображений также осуществляется в спектральном диапазоне излучателя (для получения контраста светлых пикселей на фоне темных). Недостатком системы по-прежнему являются возможные зашумления изображений внешними источниками, которые могут снизить контраст отраженного от объекта сигнала. В предлагаемом решении отсутствуют какие-либо дополнительные излучатели. Регистрация изображений производится в нескольких спектральных диапазонах, в частности, в дальнем ИК. Контраст объекта в данном случае обеспечивается собственным излучением объекта, не зависит от внешних источников излучений и является постоянной величиной.

Известно решение [11], в котором производится детектирование изображений объекта и расчет его ориентации. Предлагается повышение точности вычислений путем устранения запаздывания на этапе передачи зарегистрированного изображения объекта в устройство обработки. Данное решение может повысить устойчивость работы систем, в частности при переключении шатерного механизма детектирующего устройства. Однако предложенное решение не позволяет отфильтровать шум и локализовать непосредственно сам объект по его изображениям. Таким образом, сутью данного изобретения является устранение описанной выше задержки передачи видеосигнала, в то время как в настоящем изобретении приводится решение для уменьшения шумов на этапе регистрации изображений при одновременном упрощении обработки видеоданных. Такая комбинация возможна за счет смещения части регистрации изображений в дальний ИК диапазон.

Также известно решение [12], в котором производится регистрация изображений объекта, обработка этих изображений с последующей локализацией объекта на изображениях. К основному недостатку этого решения относится то, что детектирование производится в видимом диапазоне. Это приводит к зашумлению полученных изображений от внешней засветки. Предлагаемое решение в рамках данной заявки смещает часть измерений в дальний ИК диапазон, где количество источников шумов значительно меньше, чем в видимом диапазоне. Это позволяет добиться относительно низкого уровня шумов на этапе регистрации изображений.

Также известно решение [13], в котором производится засветка объекта источниками излучения. Излучение сформировано в паттерн. Производится детектирование объекта детектирующими устройствами с последующей обработкой данных изображений. Производится локализация объекта на изображениях с последующей установкой пространственного положения объекта. Основным недостатком системы является детектирование изображений в видимом диапазоне, а также наличие дополнительной засветки, также производящейся в видимом спектральном диапазоне. При наличии внешней шумовой засветки, спектральный диапазон которой совпадает со спектральным диапазоном дополнительного источника облучения, контраст паттерна будет низким. Аналогично контраст объекта также будет низок для устойчивой работы алгоритмов обработки. Основным отличием данной системы от предлагаемого решения является активная засветка лица и глаз пользователя. В предлагаемом изобретении регистрация производится в пассивном режиме. В дальнем ИК диапазоне лицо пользователя само представляет собой источник теплового излучения.

Наиболее близким к предлагаемому способу регистрации лица и глаз пользователя является изобретение [1]. В работе описывается способ определения пространственного положения головы, а также ее ориентация. Способ основан на методах восстановления пространственной структуры объекта по серии обычных двухмерных изображений, снятых с различных ракурсов (методами эпиполярной геометрии) [2]. Метод заключается в установке нескольких детектирующих устройств, ориентированных под разными углами по отношению к некоторой области пространства. Производится регистрация головы пользователя внутри данного пространства. Далее для каждого изображения производится последовательное нахождение анатомических особенностей головы (features extraction), поиск присутствующих на всех изображениях особенностей, расчет конфигурации детектирующих устройств с использованием эпиполярной геометрии и пространственная реконструкция головы с вычислением ее пространственного положения [2]. Основным отличием данной работы от предлагаемого изобретения является регистрация всех изображений в видимом диапазоне. Как отмечалось выше, подобные системы являются максимально чувствительными к внешней засветке. В предлагаемом изобретении регистрация изображений спектрально разнесена на видимый и дальний ИК диапазоны с различными алгоритмами обработки. В предлагаемом решении регистрация производится одновременно как в дальнем ИК, так и в видимом спектральном диапазоне. Определение положения объекта исследования и его отдельных сегментов производится по ИК изображению с использованием обычных пороговых методов (бинаризация изображения с фиксированным или плавающим порогом).

Наиболее близким к предлагаемому решению является [3]. В работе предлагается система, где объект находится на изображениях, полученных с детектирующего устройства, имеющего чувствительность в видимом диапазоне, путем пороговой обработки. Отличие предложенного в данном изобретении решения заключается в регистрации изображения в дальнем ИК диапазоне. Это обеспечивает низкий уровень шумов при определении лица и глаз пользователя в условиях изменяющейся засветки. Помимо этого в связи с низкими уровнями шумов (чувствительность детектирующих устройств дальнего ИК диапазона имеет порядка 0.1 градуса) предлагаемый метод позволяет использовать более простые процедуры обработки. В качестве таких процедур предлагается простая бинаризация изображения.

Таким образом, во всех приведенных решениях основной проблемой остается чувствительность систем к внешней шумовой засветке. Наличие такой засветки значительно снижает контраст изображений (как в случае активных систем, так и пассивных), что не позволяет проводить измерения направленности взгляда и динамики движений глаз.

Таким образом, решаемая техническая задача состоит в том, чтобы обеспечить снижение шумов, вносимых внешними источниками, на этапе регистрации изображений. Существует возможность эффективного решения этой задачи на этапе регистрации изображений объекта. Этого можно достигнуть путем регистрации части изображений в спектральном диапазоне, в котором практически не имеется внешних источников излучения, вносящих шумовую засветку в изображения (а также резких кратковременных перепадов освещенности, наличия градиента освещенности или интенсивной засветки, приводящей к работе фотодетектора вблизи зоны насыщения). Разделение регистрации сигнала по различным спектральным диапазонам позволяет значительно упростить алгоритмы обработки для отделения объекта от фона и улучшить локализации отдельных сегментов объекта.

Техническая задача решается предложенной совокупностью существенных признаков.

Способ определения направленности взгляда, состоящий в том, что устанавливают не менее двух предварительно калиброванных детектирующих устройств изображения объекта в пространстве (ДУ), по крайней мере, одно из которых регистрирует изображения в дальнем ИК диапазоне со спектральным диапазоном чувствительности >=3000 нм, а остальные регистрируют изображения в видимом диапазоне 400-1000 нм, при этом ДУ, регистрирующее изображения в ИК диапазоне, установлено неподвижно, все ДУ регистрируют изображения области пространства, соответствующей образу объекта, результаты регистрации обрабатывают с помощью БСОИ, при этом вначале регистрируют изображения части пространства ДУ, обладающим чувствительностью в дальнем ИК диапазоне с длиной волны >3000 нм и получают ИК изображения объекта и некоторого фона за ним, после чего производят обработку полученного ИК изображения, отделяя объект от фона и локализуя области на изображении, соответствующие образу объекта, на локализованной части изображения выделяют отдельные сегменты объекта, также локализуя их на изображении, после чего определяют координаты этих сегментов в координатной системе, привязанной к изображению, регистрируют изображения части пространства ДУ, обладающего чувствительностью в видимом диапазоне 400-1000 нм, производят перерасчет координат сегментов, полученных при регистрации в ИК диапазоне, в координаты, привязанные изображениям с ДУ, имеющих чувствительность в видимой области, после чего локализуют соответствующие сегменты объекта на изображениях видимого диапазона, и рассчитывают направленность линии взгляда для случая, если ДУ ИК диапазона и видимого диапазона фиксированы друг относительно друга, или производят перерасчет координат сегментов, полученных при регистрации в ИК диапазоне, в координаты ориентации ДУ видимого диапазона, после чего ориентируют ДУ видимого диапазона и регистрируют часть пространства, содержащую образы выделенных сегментов объекта на ИК изображениях, и на основании полученных изображений рассчитывают направленность линии взгляда для случая, если ДУ ИК диапазона и видимого диапазона подвижны друг относительно друга.

При этом:

- ДУ калибруют, преобразуя координаты положения объекта и/или его сегментов на изображениях, получаемых с ДУ ИК диапазона в координаты положения объекта на изображениях, получаемых с ДУ видимого диапазона, для случая, если все ДУ фиксированы друг относительно друга.

- ДУ калибруют, преобразуя координаты положения объекта и/или его сегментов на изображениях, получаемых с ДУ ИК диапазона в координаты ориентации ДУ видимого диапазона относительно ДУ ИК диапазона для регистрации сегментов объекта, локализованных на ИК изображениях в случае, если ДУ видимого диапазона подвижны относительно ДУ ИК диапазона.

- регистрацию изображения части пространства в инфракрасном и видимом диапазоне проводят одновременно.

- регистрацию изображения части пространства в ИК и видимом диапазоне проводят последовательно.

- производят обработку сначала ИК изображения, отделяя изображения от фона с помощью анализа градиентов тепловых полей.

- после отделения объекта от фона производят определение положения отдельных сегментов объекта на изображении, используя анализ градиентов тепловых полей.

- после определения положения сегментов на ИК изображении, находят данные сегменты на изображениях видимого диапазона с использованием данных калибровки, для случая, если все ДУ фиксированы друг относительно друга.

- после определения положения сегментов на ИК изображении на основании калибровки ориентируют ДУ видимого диапазона таким образом, что они производят регистрацию области пространства, содержащую образы сегментов объекта, локализованных на ИК изображениях, для случая, если ДУ видимого диапазона подвижны относительно ДУ ИК диапазона;

- рассчитывают направленность линии взгляда на основании изображений, полученных с ДУ видимого диапазона, выводя результаты обработки на визуально воспринимаемый носитель.

- в качестве объекта определяют лицо пользователя, а в качестве сегментов - глаза пользователя.

Технический результат достигается также совокупностью признаков, изложенных ниже.

Устройство определения направленности взгляда, включающее не менее двух размещенных в пространстве детектирующих изображения объекта средств (ДУ), по крайней мере, одно из которых регистрирует изображения в дальнем ИК диапазоне (спектральным диапазон чувствительности >=3000 нм), а остальные регистрируют изображения в видимом диапазоне (спектральный диапазон чувствительности 400-1000 нм), при этом ДУ, регистрирующее изображения в ИК диапазоне, установлено неподвижно и все ДУ соединены с блоком сбора и обработки информации БСОИ.

При этом:

- ДУ видимого диапазона установлены неподвижно.

- ДУ видимого диапазона установлены подвижно, при этом исполнительный механизм, обеспечивающий подвижность, соединен с блоком сбора и обработки информации.

- ДУ установлены так, что их поля зрения совпадают в плоскости перемещения объекта.

- ДУ установлены так, что их поля зрения не совпадают плоскости перемещения объекта, при этом поле зрения ДУ ИК диапазона больше поля зрения ДУ видимого диапазона.

- БСОИ производит сбор изображений со всех ДУ одновременно или последовательно, производит обработку изображений, производит выработку управляющего сигнала для пространственной ориентации ДУ видимого диапазона, производит расчет направленности линии взгляда.

При расчете направленности взгляда человека производят оконтуривание области зрачка и радужки глаз методами [17] и с использованием анализа проекции данного контура производят расчет направленности линии взгляда, например, аналогично [18].

Способ и устройство, реализующие данный способ, раскрыты в подробном описании, приведенном ниже, со ссылкой на сопроводительные фигуры:

Фигура 1 - Взаимное расположение ДУ, где: 1 и 3 - ДУ видимого диапазона, 2 - ДУ дальнего ИК диапазона, 4 - исполнительные устройства изменения ориентации ДУ, 5 - поле зрения 1 (П31), 6 - поле зрения 2 (П32), 7 - плоскость перемещения объекта;

Фигура 2 - Этапы обработки изображения, полученного с телевизионного ДУ для идентификации области глаз: a) изображение лица, зарегистрированного с ДУ, имеющего чувствительность в дальнем ИК диапазоне, с более холодным фоном, b) результат пороговой обработки изображения с динамическим порогом, c) точки, принадлежащие границе объекта (отмечены перекрестными маркерами) и эллипс, вписанный в данные точки, d) найденные области глаз по температурному градиенту (вынесен вне изображения лица);

Фигура 3 - Коммутация ДУ с блоком сбора и обработки информации (БСОИ), где: 8 - блок сбора и обработки изображений, 9 - канал коммутации ДУ с БСОИ, 1 и 3 - ДУ видимого диапазона, 2 - ДУ дальнего ИК диапазона.

На Фиг.1-Фиг.3 и в тексте использованы следующие обозначения:

ДУ - детектирующее устройство;

БСОИ - блок сбора и обработки информации;

ИК - инфракрасный.

Описание способа

1. Устанавливается ДУ изображений, имеющее диапазон чувствительности в дальнем ИК диапазоне (спектральный диапазон чувствительности >3000 нм). Положение ДУ фиксировано в пространстве. В качестве данных устройств, например, могут быть использованы тепловизионные камеры FLIR (Швеция), CEDIP (Франция) и проч.;

2. Дополнительно устанавливается два или более ДУ, имеющих чувствительность в обычном видимом диапазоне (400-1000 нм). При этом технически обеспечиваются условия, при котором ориентация ДУ видимого диапазона относительно ДУ ИК диапазона всегда известна. В качестве таких ДУ могут использоваться телевизионные камеры на базе ПЗС или КМОП кремниевой технологии, например компании Videoscan (Россия);

3. ДУ видимого диапазона могут устанавливаться неподвижно относительно ДУ ИК диапазона, при этом их ориентация производится таким образом, что поле зрения ДУ ИК диапазона и поле зрения ДУ видимого диапазона максимально совпадают в плоскости перемещения объекта, как показано на Фигуре 1, позиция 5;

3.1. Производят предварительную калибровку всех ДУ. Для случая неподвижного расположения всех ДУ друг относительно друга целью калибровки является получение преобразования координат положения элемента изображения, получаемого с ДУ ИК диапазона, в координаты положения аналогичного элемента изображения, получаемого с ДУ видимого диапазона.

3.2. Описанную калибровку могут производить путем размещения экрана, перпендикулярного к оптической оси ДУ ИК диапазона, с нанесенными на него маркерами, воспринимаемыми всеми ДУ одновременно. При этом известно расстояние от экрана до всех ДУ, а также взаимное расположение всех ДУ. Производят регистрацию изображения экрана с нанесенными маркерами всеми ДУ.

3.3. Путем сравнения полученных изображений получают проекционную матрицу:

β=А*γ, где β - вектор координат точки на изображении дальнего ИК диапазона, γ - вектор координат на изображении видимого диапазона или в случае подвижных ДУ видимого диапазона вектор ориентирования ДУ из пп.2 относительно ДУ из пп.1. А - матрица отображений координат β в координаты γ. Такая процедура, например, может быть проведена путем решения системы уравнений β=А*γ для каждого маркера по методу, описанному в [2].

3.4. После калибровки производится регистрация изображений области пространства с помощью ДУ ИК диапазона и ДУ видимого диапазона одновременно.

3.5. Производится операция отделения объекта от фона с использованием изображения, полученного с ДУ ИК диапазона. На данном этапе используется свойство объекта испускать тепловое излучение. При этом фон рассматривается на изображении как менее яркая область. За счет этого поиск объекта может осуществляться путем анализа градиентов тепловых полей на изображении. Анализ может заключаться в поиске наиболее теплых участков изображения и выделения этих участков из общего, более холодного фона.

3.6. Например, подобная обработка может происходить путем последовательного перебора всех пикселей изображения, полученного с ДУ ИК диапазона. Пикселы с интенсивностью, превышающей некоторый порог, отбираются как кандидаты на область объекта. Пикселы с интенсивностью ниже пороговой, запоминаются как принадлежащие фону изображения.

3.7. Пороговое значение может выбираться динамически в зависимости от предварительных знаний о температуре поверхности тела человека. Например, известно, что обычно температура поверхности объекта (e.g. кожи) варьирует в диапазоне 18-26 градусов.

3.8. Порог может выбираться динамически в зависимости от гистограммы изображения. Методы, которые могут задействоваться на этом этапе, приведены, например, в [15].

3.9. Далее может производиться объединение пикселей с высоким значением интенсивности. Такое объединение в области может выполняться, например, с помощью метода взаимосвязей [16]. На этом этапе может отсекаться импульсный шум (отдельные пикселы с высокой интенсивностью, окруженные пикселами с низкой интенсивностью).

3.10. Далее может быть произведено оконтуривание областей, включающих в себя пикселы с высокой интенсивностью. Анализ формы этих областей, например, может быть произведен путем корреляционного анализа относительно эталонного изображения лица. Области, имеющие низкую степень корреляции, могут быть отнесены к фону изображения, в то время как области, имеющие высокую корреляцию с эталоном, могут рассматриваться как сам объект (в нашем случае лицо/лица пользователя) (Фигура 2, изображение б)).

3.11. В качестве эталонной формы для анализа полученных участков изображения также могут выбираться геометрические фигуры. Например, если известно, что объект (например, лицо) имеет в большинстве случаев овальную форму, то оконтуривание объекта может производиться путем вписывания овала в контур области, содержащей пикселы с высокой интенсивностью (Фигура 2, изображение с)).

3.12. Далее вычисляется ориентация объекта в плоскости изображения (в нашем случае ориентация головы). Такое вычисление может, например, производиться путем нахождения максимальной длины между противоположными сторонами внутри области и соответствующей минимальной длины (что соответствует расстоянию от подбородка до лба и между скулами соответственно). Ориентация и положение в координатах изображения запоминается.

3.13. Далее определяются отдельные сегменты объекта. В качестве сегментов рассматриваются глаза пользователя. Локализация сегментов на изображении может, например, осуществляться путем разделения области изображения, занимаемого объектом, на две подобласти. В нашем случае область глаз ищется в верхней подобласти.

3.14. Сегменты также могут находится путем анализа температурного градиента. Так может использоваться априорно известная информация о градиентах сегментов. В нашем случае сегменты (например, глаза) имеют наиболее низкую температуру по сравнению с прилегающими областями, что объясняется наличием слизистой поверхности склеры, экранирующей тепловое излучение (Фигура 2, изображение d).

3.15. Полученные таким образом сегменты локализуются на изображении, полученном с ДУ ИК диапазона.

3.16. Производится определение координат обнаруженных сегментов на изображении, полученном с ДУ ИК диапазона. Координаты привязаны к самому изображению. Данные координаты запоминаются.

3.17. Производится перерасчет координат сегментов, обнаруженных на изображении с ДУ из пп.1, в координаты изображений, полученных с ДУ видимого диапазона. Перерасчет производится с помощью матрицы, определенной на этапе калибровки, описанной в пп.3.1-3.3. В результате получают координаты сегментов в координатах, привязанных к ДУ видимого диапазона.

3.18. Используя полученные координаты на изображении, полученном с ДУ видимого диапазона, локализуют участки изображений, соответствующие сегментам, определенным с помощью изображения с ДУ ИК диапазона.

3.19. Далее по изображениям, полученным с ДУ видимого диапазона, производится дальнейший расчет направленности взгляда. Процедура может выполняться, например, в соответствии с [18].

4. ДУ видимого диапазона могут устанавливаться подвижно относительно ДУ ИК диапазона, при этом их ориентация производится таким образом, что поле зрения ДУ ИК диапазона и поле зрения ДУ видимого диапазона перекрываются, но не совпадают. При этом поле зрения ДУ видимого диапазона меньше, чем поле зрения ДУ ИК диапазона.

Соответствующая конфигурация показана на Фигуре 1, позиция 5 для ДУ ИК диапазона, Фигура 1, позиция 6 для ДУ видимого диапазона;

4.1. Аналогично п.3 производят калибровку. Целью калибровки для случая подвижной ориентации ДУ видимого диапазона относительно ДУ ИК диапазона является получение преобразования координат положения элемента изображения области пространства, получаемых с ДУ ИК диапазона, в координаты поворота ДУ видимого диапазона относительно ДУ ИК диапазона, при котором область пространства, изображаемая на данном пикселе, попадает в центр изображения, получаемого с ДУ видимого диапазона;

4.2. Калибровку производят, например, следующим образом. Перпендикулярно к оптической оси ДУ ИК диапазона устанавливают экран. Определяют точки, попадающие в поле зрения ДУ ИК диапазона (соответствующее поле зрения указано на Фигуре 1, позиция 5), но лежащие на границе поля зрения ДУ ИК диапазона (в горизонтальном и вертикальном азимутах). На данные точки наводят ДУ видимого диапазона таким образом, чтобы установленные точки были в центре поля зрения этих ДУ. Запоминают углы поворота для каждого ДУ видимого диапазона относительно ДУ ИК диапазона. Аналогично определяют углы поворота для ДУ видимого диапазона для точки пересечения оптической оси ДУ ИК диапазона с плоскостью перемещения объекта (Фигура 1, позиция 7).

4.3. Определяют все промежуточные положения углов поворота для ДУ видимого диапазона относительно ДУ ИК диапазона с учетом позиций, определенных в п.4.2.

4.4. Производят регистрацию изображения с помощью ДУ ИК диапазона.

4.5. Производят операции обработки аналогично пунктам 3.4.-3.16.

4.6. Производят перерасчет координат сегментов объекта в углы поворота ДУ видимого диапазона относительно ДУ ИК диапазона с учетом калибровочных данных, полученных в п.4.2.

4.7. Производят ориентацию ДУ видимого диапазона с использованием данных, полученных на этапе 4.7. Производят регистрацию изображений.

4.8. Производят обработку изображений и вычисление линии взгляда аналогично 3.19.

Описание устройства

1. Устройство, реализующее описанный метод, состоит из ДУ, регистрирующего изображения некоторой области пространства в дальнем ИК диапазоне (>3000 нм) (Фигура 1, 2, позиция 2).

2. Устройство включает дополнительно одно или более ДУ, регистрирующих изображения в видимом спектральном диапазоне (400-1000 нм) (Фигура 1, 2, позиции 1 и 3),

3. Все ДУ подключены к блоку сбора и обработки информации, БСОИ (Фигура 3, позиция 8). БСОИ обеспечивает обработку изображений, получаемых со всех ДУ, и вырабатывает управляющий сигнал для исполнительных устройств ориентации ДУ видимого диапазона, в случае если они подвижны относительно ДУ ИК диапазона (Фигура 1, позиция 4). Управляющий сигнал, а также видеосигнал со всех ДУ передается в БСОИ по каналу связи (Фигура 3, позиция 9).

4. ДУ ИК диапазона, как и ДУ видимого диапазона устанавливаются стационарно друг относительно друга. Поля зрения ДУ ИК диапазона и ДУ видимого диапазона совпадают (Фигура 1, позиция 5).

4.1. Производится регистрация изображений со всех ДУ одновременно. В этом случае все изображения синхронно передаются в БСОИ (Фигура 3, позиция 8) посредством каналов связи (Фигура 3, позиция 9).

4.2. Прежде всего производится обработка изображения, полученного с ДУ ИК диапазона (Фигура 1, позиция 2). Обработка может, в частности, осуществляться методами, описанными в способе настоящего изобретения. В процессе обработки осуществляется отделение объекта от фона с последующим определением специфических сегментов на этом объекте.

4.3. Положение обнаруженных сегментов локализуется на изображениях, получаемых с ДУ ИК диапазона. Определяются координаты данных объектов в системе координат, привязанной к изображению с ДУ ИК диапазона.

4.4. Производится перерасчет координат обнаруженных сегментов из системы координат, привязанной к изображению с ДУ ИК диапазона, в координаты, привязанные к изображению с ДУ видимого диапазона. Операция производится в соответствии с данными калибровки, полученными на этапе 3-5 способа.

4.5. Производится локализация сегментов изображения, привязанных к координатам изображения, полученных с ДУ видимого диапазона.

4.6. Вычисляется направление взгляда аналогично описанному в способе настоящего устройства и аналогично [21]. Результат выводится на визуально воспринимаемый носитель.

5. ДУ видимого диапазона устанавливаются подвижно относительно ДУ ИК диапазона. В последнем случае исполнительные устройства ориентируют ДУ видимого диапазона относительно ДУ ИК диапазона по управляющему сигналу (Фигура 1, позиция 4).

5.1. Поле зрения ДУ видимого диапазона меньше поля зрения ДУ ИК диапазона (полю зрения ДУ видимого диапазона соответствует Фигура 1, позиция 6, в то время как полю зрения ДУ ИК диапазона соответствует Фигура 1, позиция 5).

5.2. Производят регистрацию изображений ДУ ИК диапазона, данные передают в БСОИ (Фигура 3, позиция 8).

5.3. Производят обработку изображения в БСОИ аналогично 4.2.-4.4.

5.4. Производят перерасчет координат сегментов изображения, полученных с ДУ ИК диапазона в ориентацию ДУ видимого диапазона относительно ДУ ИК диапазона.

5.5. Вырабатывается управляющий сигнал и передается из БСОИ (Фигура 3, позиция 8) в исполнительные устройства (Фигура 1, позиция 4). Производится ориентация ДУ видимого диапазона.

5.6. Производится регистрация изображений сегментов объекта ДУ видимого диапазона.

5.7. Вычисляется направление взгляда аналогично описанному в способе настоящего устройства и аналогично [21]. Результат выводится на визуально воспринимаемый носитель.

Источники информации

1. Патент US 8339459. Zhang Z., Sankaranarayanan A., Zhang Q., Liu Z., Cai Q., Multi camera head pose tracking, Microsoft Corporation (Redmond, WA).

2. Hartley R.I., Zisserman A. Multiple View Geometry in Computer Vision [Текст].- Cambridge University Press, 2004.

3. Патент US 8224108. Steinberg E., Prilutsky Y., Corcoran P., Bigioi P. Digital Image Processing Using Face Detection Information, Digital Optics Corporation.

4. Velichkovsky B.M., Comelissen F., Geusebroek J.-M., Graupner S.-Th., Hari R., Marsman J.В., ShevchikS. A., PannaschS. Measurement-related issues in investigation of active vision [Текст]// Measurement with persons: Theory and methods / B. Berglund, G. B. Rossi, J. Townsend, L. Pendrill (Eds.). - London-New York: Taylor and Francis, 2011. - Pp.281-300.

5. Pannasch S., Velichkovsky B.M. Distractor Effect and Saccade Amplitudes: Further Evidence on Different Modes of Processing in Free Exploration of Visual Images [Текст] // Visual Cognition. -2009. - 17 (6/7). - Pp.1109-1131.

6. Di Stasi L.L., Renner R., Staehr P., Helmert J.R., Velichkovsky B.M., Canas J.J., Catena A., Pannasch S. Saccadic peak velocity is sensitive to variations in mental workload in complex environments [Текст] // Aviation, Space, and Environmental Medicine,2010. - 81(4). - pp.413-417.

7. Сведения о показателях состояния безопасности дорожного движения [Электронный ресурс] / ГУОБДД МВД России. - Электрон, дан. - 2012 - Режим доступа: www.gibdd.ru/, свободный. - Загл. с экрана. - Яз. рус.

8. Majaranta P., Raiha K.-J. Twenty Years of Eye Typing: Systems and Design Issues[TeKCT] // Proceedings of ETRA 2002, Eye Tracking Research and Applications Symposium, 25-27, 2002.

9. SR Research Complete Eye Tracking Solutions [Электронный ресурс] / SR Research. - Электрон. дан. - Ontario, Canada, 2012. - Режим доступа: http://www.sr-research.com/свободный. - Загл. с экрана. - Яз. англ.

10. SMI SensoMotoric Instruments [Электронный ресурс] / SMI SensoMotoric Instruments. - Электрон. дан. - Teltow, Germany, 2013. - Режим доступа: http://www.smivision.com свободный. - Загл. с экрана. - Яз. англ.

11. Устройство для регистрации движения глаз. А.с. СССР №1009418, кл. A61B 3/00 / Курочкин С.Л., Фомин Б.M., Шиф M.И. - опубл. 1981.

12. Устройство для регистрации и анализа зрительной деятельности оператора. А.с. СССР №1438690. Курочкин С.Л., Молодцов В.А., Спецаков А.И., Тетерин Н.В. - заявл. 17.10.1986.

13. Способ определения координат точек фиксации взгляда на объекте наблюдения. А.с. СССР №1430027. Курочкин С.Л., Сидоров А.С., Фомин Б.М., Шиф М.И. - заявл. 05.08.1986.

14. Velichkovsky B.M., Sprenger A., Pomplu, М., Unema P. Eye movements and encoding manipulations in two visual memory tasks[TeKCT] // Proceedings of the Psychonomic Society 38th Annual Meeting. November 20th-23rd - Philadelphia, USA, 1997. - P.73.

15. Kapur J.N., Sahoo P.K., Wong A.K. A new method for gray-level picture thresholding using the entropy of the histogram [Текст] // Computer vision, graphics, and image processing. - 1985. -29(3) - Pp.273-285, 1, 2.5, 2.6.

16. Davies E. Machine Vision: Theory, Algorithms and Practicalities [Текст]: - Academic Press, 1990 - Chap.6.

17. Li D., Winfield D., Parkhurst D.J. Starburst: A hybrid algorithm for video-based eye tracking combining feature-based and model-based approaches [Текст] // Computer Vision and Pattern Recognition - Workshops, 2005. CVPR Workshops, IEEE Computer Society Conference on, 25-25 June 2005. - pp.79. - doi: 10.1109/CVPR.2005.531.

18. Способ и устройство для определения пространственного положения глаз для вычисления линии взгляда [Текст]: патент РФ №2444275 / Шевчик С.А., Величковский Б.М., Величковский Б.Б., Вартанов А.В. - Опубл. 10.09.10.

19. http://www.ulis-ir.com/

20. Method and installation for detecting and following an eye and the gaze direction therefore [Текст]: патент US 7572008.

21. Eye position detecting apparatus [Текст]: патент US 5218387.

22. Jin S., Lee K., and Hong K. "An Implementation of Multimodal Gaze Direction Recognition System using Image and EOG", 6th International Conference on Digital Content, Multimedia Technology and its Applications (IDC), pp.229-235, 978-1-4244-7607-7, 2010.

Изобретение относится к области контрольно-измерительной техники. Техническим результатом является снижение шумов, вносимых внешними источниками, на этапе регистрации изображений. Способ состоит в задании взаимного расположения детектирующих изображения интересующего объекта устройств, которые производят последовательное или синхронное детектирование интересующего объекта в различных спектральных диапазонах. Получают изображение целого объекта с некоторым фоном с помощью одного детектирующего устройства, имеющего чувствительность в дальнем ИК диапазоне, отделяют на данном изображении сам объект от фона, а также выделяют отдельные сегменты объекта и локализуют их на данном изображении. Производят локализацию аналогичных сегментов объекта на изображениях, полученных с остальных детектирующих устройств, имеющих чувствительность в обычном видимом и/или ближнем ИК диапазоне, либо независимо от первого детектирующего устройства ориентируют данные детектирующие устройства в пространстве относительно первого детектирующего устройства таким образом, что они детектируют изображения сегментов объекта, локализованных на изображениях с первого детектирующего устройства. Рассчитывают ориентацию сегментов объекта и направленность линии взгляда. 2 н. и 15 з.п. ф-лы, 3 ил.

1. Способ определения направленности взгляда, состоящий в том, что устанавливают не менее двух предварительно калиброванных детектирующих устройств изображения объекта в пространстве (ДУ), по крайней мере, одно из которых регистрирует изображения в дальнем ИК диапазоне со спектральным диапазоном чувствительности >=3000 нм, а остальные регистрируют изображения в видимом диапазоне 400-1000 нм, при этом ДУ, регистрирующее изображения в ИК диапазоне, установлено неподвижно, все ДУ регистрируют изображения области пространства, соответствующей образу объекта, результаты регистрации обрабатывают с помощью блока сбора и обработки информации БСОИ, при этом вначале регистрируют изображения части пространства ДУ, обладающим чувствительностью в дальнем ИК диапазоне с длиной волны >3000 нм, и получают ИК изображения объекта и некоторого фона за ним, после чего производят обработку полученного ИК изображения, отделяя объект от фона и локализуя области на изображении, соответствующие образу объекта, на локализованной части изображения выделяют отдельные сегменты объекта, также локализуя их на изображении, после чего определяют координаты этих сегментов в координатной системе, привязанной к изображению, регистрируют изображения части пространства ДУ, обладающего чувствительностью в видимом диапазоне 400-1000 нм, производят перерасчет координат сегментов, полученных при регистрации в ИК диапазоне, в координаты, привязанные изображениям с ДУ, имеющими чувствительность в видимой области, после чего локализуют соответствующие сегменты объекта на изображениях видимого диапазона и рассчитывают направленность линии взгляда для случая, если ДУ ИК диапазона и видимого диапазона фиксированы друг относительно друга, или производят перерасчет координат сегментов, полученных при регистрации в ИК диапазоне, в координаты ориентации ДУ видимого диапазона, после чего ориентируют ДУ видимого диапазона и регистрируют часть пространства, содержащую образы выделенных сегментов объекта на ИК изображениях, и на основании полученных изображений рассчитывают направленность линии взгляда для случая, если ДУ ИК диапазона и видимого диапазона подвижны друг относительно друга.

2. Способ по п.1, отличающийся тем, что ДУ калибруют, преобразуя координаты положения объекта и/или его сегментов на изображениях, получаемых с ДУ ИК диапазона, в координаты положения объекта на изображениях, получаемых с ДУ видимого диапазона, для случая, если все ДУ фиксированы друг относительно друга.

3. Способ по п.1, отличающийся тем, что ДУ калибруют, преобразуя координаты положения объекта и/или его сегментов на изображениях, получаемых с ДУ ИК диапазона, в координаты ориентации ДУ видимого диапазона относительно ДУ ИК диапазона для регистрации сегментов объекта, локализованных на ИК изображениях в случае, если ДУ видимого диапазона подвижны относительно ДУ ИК диапазона.

4. Способ по п.2, отличающийся тем, что регистрацию изображения части пространства в инфракрасном и видимом диапазоне проводят одновременно.

5. Способ по п.3, отличающийся тем, что регистрацию изображения части пространства в ИК и видимом диапазоне проводят последовательно.

6. Способ по любому из пп.1-5, отличающийся тем, что производят обработку сначала ИК изображения, отделяя изображения от фона с помощью анализа градиентов тепловых полей.

7. Способ по п.6, отличающийся тем, что после отделения объекта от фона производят определение положения отдельных сегментов объекта на изображении, используя анализ градиентов тепловых полей.

8. Способ по п.7, отличающийся тем, что после определения положения сегментов на ИК изображении находят данные сегменты на изображениях видимого диапазона с использованием данных калибровки для случая, если все ДУ фиксированы друг относительно друга.

9. Способ по п.7, отличающийся тем, что после определения положения сегментов на ИК изображении на основании калибровки ориентируют ДУ видимого диапазона таким образом, что они производят регистрацию области пространства, содержащую образы сегментов объекта, локализованных на ИК изображениях, для случая, если ДУ видимого диапазона подвижны относительно ДУ ИК диапазона.

10. Способ по любому из пп.7, 8, отличающийся тем, что рассчитывают направленность линии взгляда на основании изображений, полученных с ДУ видимого диапазона, выводя результаты обработки на визуально воспринимаемый носитель.

11. Способ по п.3, отличающийся тем, что в качестве объекта определяют лицо пользователя, а в качестве сегментов - глаза пользователя.

12. Устройство определения направленности взгляда, включающее не менее двух размещенных в пространстве детектирующих изображения объекта средств (ДУ), по крайней мере, одно из которых регистрирует изображения в дальнем ИК диапазоне (спектральный диапазон чувствительности >=3000 нм), а остальные регистрируют изображения в видимом диапазоне (спектральный диапазон чувствительности 400-1000 нм), при этом ДУ, регистрирующее изображения в ИК диапазоне, установлено неподвижно, и все ДУ соединены с блоком сбора и обработки информации БСОИ.

13. Устройство по п.12, отличающееся тем, что ДУ видимого диапазона установлены неподвижно.

14. Устройство по п.12, отличающееся тем, что ДУ видимого диапазона установлены подвижно, при этом исполнительный механизм, обеспечивающий подвижность, соединен с блоком сбора и обработки информации.

15. Устройство по п.13, отличающееся тем, что ДУ установлены так, что их поля зрения совпадают в плоскости перемещения объекта.

16. Устройство по п.14, отличающееся тем, что ДУ установлены так, что их поля зрения не совпадают в плоскости перемещения объекта, при этом поле зрения ДУ ИК диапазона больше поля зрения ДУ видимого диапазона.

17. Устройство по п.12, отличающееся тем, что БСОИ производит сбор изображений со всех ДУ одновременно или последовательно, обработку изображений, производит выработку управляющего сигнала для пространственной ориентации ДУ видимого диапазона, производит расчет направленности линии взгляда.