СИСТЕМА И СПОСОБ ДЛЯ ОТСЛЕЖИВАНИЯ ТОЧКИ ВЗГЛЯДА НАБЛЮДАТЕЛЯ Российский патент 2015 года по МПК A61B3/113 

Область техники, к которой относится изобретение

Изобретение относится к системе для отслеживания точки взгляда наблюдателя, наблюдающего объект, при этом система содержит устройство для регистрации изображения глаза наблюдателя, содержит средство для предоставления светящегося маркера на наблюдаемом объекте или связанного с ним и средство для определения на основании изображения положения отражения роговицей маркера и центра зрачка.

Изобретение также относится к способу отслеживания точки взгляда наблюдателя, наблюдающего объект, при этом способ содержит регистрацию изображения глаза наблюдателя, предоставление светящегося маркера на наблюдаемом объекте или связанного с ним и определение на основании изображения положения отражения роговицей маркера и центра зрачка.

Уровень техники

Система и способ типа изложенных выше известны из заявки № 2006/0110008 на патент США.

В соответствии с этим документом представлено некоторое количество маркеров и идентифицирован, по меньшей мере, один маркер, отражение роговицей которого находится в пределах порогового расстояния от центра зрачка, или, по меньшей мере, два маркера, имеющих отражение роговицей, близкое к центру зрачка. Идентифицированный маркер или маркеры показывают точку взгляда наблюдателя на объекте.

Непрерывное измерение направления наблюдения, также называемого взглядом, общеизвестно как отслеживание взгляда (часто используют более неопределенный термин «отслеживание движений глаз»). Имеются различные способы выполнения отслеживания взгляда. Показано, что захват видеоизображения является практичным вариантом дистанционного и действительно ненавязчивого отслеживания взгляда. Однако фактически для всех систем отслеживания взгляда требуется пользовательская калибровка, после которой допускается только небольшое перемещение головы пользователя. Следовательно, эти системы ограничены настольным применением и не пригодны для потребительских применений. В случае потребительских применений пользовательская калибровка не является реалистичным вариантом. Отслеживание взгляда без калибровки широко проводится несколькими исследовательскими центрами, при этом часто выполняется экстраполяция на основе существующих концепций (больше камер, дополнительная обработка). Наблюдатель может быть человеком, взрослым или ребенком, а также животным.

В заявке № US 2006/0110008 сделана попытка разрешить проблему и обеспечить систему и способ без калибровки. В ситуации, когда глаз отслеживается на источнике света, его отражение в роговице возникает в совпадении с центром зрачка. В системе и способе по заявке № 2006/0110008 на объекте предоставляют некоторое количество маркеров. В регистрируемом изображении глаза идентифицируют маркер, имеющий отражение роговицей в пределах порогового расстояния от центра зрачка, или некоторое количество маркеров, имеющих отражение роговицей вблизи центра зрачка. Данные используют для оценивания направления взгляда.

Однако известная система имеет ряд недостатков:

- каждый из маркеров должен помечаться. Для выполнения этого условия требуется проанализировать некоторое количество видеокадров до того, как можно будет выполнять идентификацию маркера. Этим вносится задержка в отслеживание взгляда. С учетом подвижности глаза временная задержка быстро приводит к артефактам движения.

- При использовании одного маркера всегда имеется погрешность точности определяемого направления взгляда, эквивалентная пороговому расстоянию.

- При использовании нескольких маркеров требуется интерполяция. Для этого необходима вычислительная мощность и вносятся погрешности.

Сущность изобретения

Задача изобретения заключается в обеспечении системы и способа, в которых повышены скорость отслеживания взгляда и/или точность.

Для этого система представляет собой систему, содержащую средство для определения разности в положении между отражением роговицей маркера и центром зрачка для предоставления разностного сигнала и средство для изменения положения маркера на наблюдаемом объекте или связанного с ним в зависимости от разностного сигнала, чтобы иметь отражение роговицей маркера и центр зрачка, по существу, совпадающими, для обновления положения маркера до, по существу, совпадения с точкой взгляда.

Способ представляет собой способ, в котором определяют разность между отражением роговицей маркера и центром зрачка для предоставления разностного сигнала и положение маркера на наблюдаемом объекте или связанного с ним изменяют в зависимости от разностного сигнала, чтобы иметь отражение роговицей маркера и центр зрачка, по существу, совпадающими, для обновления положения маркера до, по существу, совпадения с точкой взгляда.

В системе и способе согласно изобретению временная задержка снижена, поскольку маркер не является статическим маркером, а переустанавливается на основании измерений с обратной связью относительных положений отражения роговицей маркера и центра зрачка. Маркер переустанавливается, то есть изменяется положение маркера на наблюдаемом объекте или связанного с ним, для повышения соответствия между отражением роговицей маркера и центром зрачка, предпочтительно для того, чтобы имелось совпадение или почти совпадение отражения роговицей маркера и центра зрачка. Когда отражение роговицей и центр зрачка совпадают, направление взгляда можно определять точно, поскольку в таком случае положение маркера на наблюдаемом объекте или связанного с ним показывает направление взгляда с высокой степенью точности.

Наблюдатель может быть и во многих случаях должен быть человеком, но в рамках способа и системы согласно изобретению наблюдатель также может не быть человеком, например, животным при проведении исследований на животных, например при изучении взгляда таких животных, как собаки или приматы.

По сравнению с предшествующими способами система и способ обеспечивают ряд преимуществ:

- В противоположность многим существующим решениям для системы и способа не требуется зависящая от пользователя калибровка.

- Система и способ основаны на оптическом свойстве глаза, которое почти совершенно не зависит от положения и ориентации головы и фактически сохраняется для различных людей.

- Система и способ обеспечивают свободу перемещения головы, значительно превосходящую свободу перемещения в существующих системах отслеживания взгляда. Это является важным моментом, позволяющим использовать отслеживание взгляда для потребительских применений.

- В отличие от системы и способа по заявке № US 2006/0110008 не требуется помечать отдельные маркеры или группы маркеров однозначными идентификаторами. В известной системе используют временную модуляцию света для кодирования различных идентификаторов, которая вносит временную задержку (выражаемую в количестве кадров), которая пропорциональна длине кода. Система и способ согласно изобретению реагируют намного быстрее, а система с обратной связью сходится быстрее, часто в пределах задержки на один кадр. По сравнению с системой и способом по заявке № US 2006/0110008 соответствие между отражением роговицей маркера и центром зрачка можно намного повысить, при этом погрешности снижаются. При наличии совпадения отражения маркера и центра зрачка любая погрешность, обусловленная пороговым значением в заявке № US 2006/0110008, снижается или минимизируется.

В системе и способе согласно изобретению используется средство для изменения положения маркера в ответ на определяемую разность положения отражения роговицей и центра зрачка в регистрируемом изображении. Хотя адаптивная переустановка маркера делает способ и систему несколько более сложными по сравнению с известными системой и способом, в которых используются фиксированные маркеры, преимущества являются существенными.

В вариантах осуществлениях система содержит дисплейное устройство и положение маркера связано с дисплейным устройством.

Имеются несколько способов связывания положения маркера с дисплейным устройством (например, телевизором или монитором). Один способ заключается в высвечивании маркера на дисплейном экране дисплейного устройства, на прозрачном экране, помещаемом перед дисплейным экраном, или в предпочтительных вариантах осуществления, средство для предоставления маркера и дисплейное устройство объединены в одно устройство.

В вариантах осуществления само дисплейное устройство содержит средство для предоставления маркера в изображении на дисплейном экране дисплейного устройства.

Это можно сделать, например, скрытием маркера в отображаемом видимом изображении. Скрытие, означающее, что маркер является неразличимым для наблюдателя, может быть сделано путем придания маркеру временной, или пространственной, или комбинированной временной и пространственной сигнатуры, и/или спектральной сигнатуры, чтобы камера, настроенная на указанную сигнатуру, могла обнаруживать маркер, тогда как наблюдатель не мог.

Незаметный маркер можно предоставлять путем использования маркера в области оптического спектра за пределами области, видимой человеком. В таком случае маркер является невидимым для глаза человека. Инфракрасные (ИК) маркеры и ультрафиолетовые (УФ) маркеры являются примерами таких маркеров.

Маркер даже в видимом диапазоне может считаться необнаруживаемым наблюдателем, если наблюдатель не может видеть его. Например, маркер можно предоставлять путем формирования последовательности изображений, в которых маркер скрыт для глаза человека или животного, но является различимым для камеры, настроенной на маркер. В таком варианте осуществления маркер имеет временную сигнатуру.

В вариантах осуществления маркер может обнаруживаться глазом человека.

В вариантах осуществления может быть предпочтительно обеспечивать человека-наблюдателя или постороннего человека непосредственно видимой информацией относительно направления взгляда.

Однако для исключения режима колебаний во многих случаях предпочтительно, чтобы маркер был незаметным для наблюдателя. При обнаружении маркера глаза наблюдателя могут пытаться отслеживать маркер, это трудно исключить, поскольку взгляд наблюдателя может быть прикован к маркеру. Поскольку подвижный маркер следует за движением глаза вследствие обратной связи в системе, а глаз может пытаться следовать за маркером, и наблюдатель может не знать об этом, может наступить режим колебаний. Однако при необходимости такой режим колебаний может быть исключен путем введения косвенной связи между измеряемой точкой взгляда (ТВ) и визуально отображаемой точкой взгляда (обычно курсором мыши). Такую косвенную связь можно получать различными способами, известными в области техники управления. Примером линейного решения является использование пропорционально-интегрально-дифференциального (ПИД) элемента в контуре управления. Примером нелинейного решения является использование зоны нечувствительности для создания гистерезиса между измеряемой и отображаемой точками взгляда.

Как указывалось выше, дисплейное устройство и средство для предоставления маркера могут быть объединены в одно устройство. Объединение дисплейного устройства и средства для предоставления маркера в одно устройство обеспечивает преимущество, заключающееся в том, что согласование между видимой информацией и маркером является точно известным.

Предпочтительным примером является система, содержащая жидкокристаллический дисплей (ЖКД), который имеет заднюю подсветку инфракрасным светом и заднюю подсветку видимым светом. В таком случае на дисплейном экране жидкокристаллического дисплея можно получать видимое изображение, а также невидимый инфракрасный маркер. Другим примером является система, содержащая дисплейное устройство с многими основными цветами. В таком устройстве также можно создавать маркер в изображении, отображаемом на дисплейном экране.

В вариантах осуществления дисплейное устройство представляет собой проецирующее изображения устройство.

В качестве альтернативного варианта дисплейное устройство и средство для предоставления маркера могут быть отдельными. Средство для предоставления маркера может быть образовано, например, прозрачным экраном, расположенным перед экраном изображения дисплейного устройства. В пределах экрана маркер генерируется на экране или маркер проецируется проектором. В предпочтительных вариантах осуществления, в которых прозрачный экран используется перед дисплейным экраном, прозрачный экран снабжен средством для определения положения экрана относительно дисплейного экрана дисплейного устройства.

Кроме того, маркер можно проецировать непосредственно на дисплейный экран. Использование отдельных устройств дает преимущество, поскольку стандартное дисплейное устройство можно использовать в системе без многочисленных дополнительных регулировок.

В других вариантах осуществления система содержит средство для предоставления маркера и определения положения маркера, и переустановки маркера непосредственно на сцене или в или на прозрачной пластине перед сценой. В таких осуществлениях система не содержит дисплейного устройства. Такая система является полезной, например, для мониторинга сконцентрированного внимания человека, ведущего легковой автомобиль или грузовой автомобиль. Например, в предпочтительном осуществлении прозрачная пластина представляет собой лобовое стекло транспортного средства и на внутренней стороне лобового стекла генерируется невидимый инфракрасный маркер, в результате чего сохраняется свободный обзор дороги впереди. Взгляд водителя отслеживается и, если отслеживание показывает, что водителю грозит опасность заснуть или утратить внимание, подается оповещающий сигнал для предупреждения водителя.

Проецирование маркера на сцену можно выгодно использовать, например, для отслеживания взгляда наблюдателя через витринное окно магазина на выставленные товары.

В вариантах осуществления система содержит средство для предоставления нескольких маркеров и средство для идентификации маркеров и связи маркеров с одним или несколькими глазами наблюдателей. Преимущество этого осуществления системы заключается в том, что задержка возрастает только тогда, когда увеличивается количество одновременно отслеживаемых наблюдателей.

Краткое описание чертежей

Эти и другие задачи и предпочтительные аспекты станут очевидными из примеров осуществлений, которые будут описаны с использованием сопровождающих чертежей, на которых:

фигура 1 - иллюстрирует эффект зеркального отражения света;

фигура 2 - иллюстрирует стационарное отражение неподвижного источника света при движении глаза;

фигура 3 - иллюстрирует основную конфигурацию отслеживания взгляда;

фигура 4 - иллюстрирует типичный видеокадр в существующей системе отслеживания взгляда;

фигура 5 - иллюстрирует совпадение отражения маркера и центра зрачка в случае, когда наблюдатель смотрит на маркер;

фигура 6 - иллюстрирует различия между способом из заявки №2006/0110008 на патент США и способом согласно изобретению;

фигура 7 - иллюстрирует систему согласно изобретению;

фигура 8 - иллюстрирует основной принцип перемещения маркера на основе обратной связи;

фигура 9 - иллюстрирует способ нахождения центра зрачка;

фигура 10 - иллюстрирует пример системы согласно изобретению;

фигура 11 - иллюстрирует график относительной мощности пропускания Т обычно используемого жидкокристаллического материала в области 101 видимого света и в области 102 инфракрасного света в зависимости от длины волны;

фигура 12 - иллюстрирует дополнительный вариант осуществления, основанный на использовании световодной рассеивающей пластины, помещенной перед дисплеем и освещенной периферийным сегментированным инфракрасным светом;

фигура 13 - иллюстрирует систему, содержащую дисплей с клиновидным световодом-экраном;

фигура 14 - иллюстрирует маркер в виде картины, в этом примере креста, видимого как отражение в глазу;

фигура 15 - иллюстрирует псевдослучайную картину инфракрасного света в качестве маркера;

фигура 16 - иллюстрирует использование двух отдельно регистрируемых инфракрасных мишеней и их видов на роговице в качестве средства для оценивания двух коэффициентов пропорциональности, которые служат (линейным) приближением первого порядка действительной зависимости;

фигура 17 - иллюстрирует способ и систему при многих наблюдателях;

фигура 18 - иллюстрирует вариант осуществления, в котором проектор проецирует инфракрасную мишень на сцену; и

фигура 19 - схематично иллюстрирует использование прозрачной пластины 191 с органическими светоизлучающими диодами (ОСД (OLED)) перед дисплеем 192.

Чертежи выполнены не в масштабе. Как правило, на чертежах идентичные компоненты обозначены одинаковыми позициями.

Подробное описание предпочтительных вариантов осуществления

На фиг.1 показан эффект зеркального отражения света. Глазные веки 1 окружают глазное яблоко 2. Радужная оболочка 4 содержит зрачок 3. Отражение роговицей источника света схематично показано позицией 5.

На фиг.2 показано отражение от роговицы, или «блик», возникающий при неподвижном источнике света, для него характерна тенденция к примерному сохранению фиксированного положения при повороте глазного яблока, изменении направления взгляда. Для отражения неподвижного источника света характерна тенденция к сохранению фиксированного положения при повороте глазного яблока для изменения направления взгляда. Знаком × показан сдвигающийся центр зрачка, когда человек изменяет направление взгляда.

Это относительно устойчивое, инвариантное к повороту положение блика образует основу фактически всех коммерчески доступных систем отслеживания взгляда, в которых используются видеоаппаратура и, например, источник инфракрасного света. На диаграмме из фиг.3 показано, каким образом проекцию блика и центр зрачка можно находить путем построения соответствующих лучей света. Камера обозначена cam, источник света - l, центр роговицы - с, центр зрачка - p, рефракция центра зрачка - r, отражение источника света - q, фокусное расстояние камеры - F, изображение центра зрачка в камере - v, изображение отражения роговицей источника l света в камере cam - u.

Оцененное направление взгляда, в данном случае представленное оптической осью о, основано на оценке захваченного центра зрачка по отношению к одному или нескольким положениям блика. Поскольку зрачок представляет собой, по существу, однородный круговой диск, необходима некоторая обработка изображения для восстановления центра зрачка на основании в общем случае эллиптической проекции диска зрачка. Заметим, что рефракция происходит на границе раздела между воздухом и водной областью в глазу. На фигуре 4 показан кадр изображения глаза, регистрируемый обычной камерой. Четыре блика А, В, С и D на зрачке Р представляют собой отражения четырех инфракрасных светоизлучающих диодов А', В', С' и D' в углу дисплея. На фигуре 4 на мониторе М показано оцененное направление g взгляда.

Точность, с которой направление g взгляда может быть получена этим способом, является относительно высокой. Однако способ имеет большие недостатки:

- Необходима калибровка поступательного перемещения положения центра зрачка относительно каждого положения блика в направлении взгляда или точки взгляда на дисплейном экране.

- Поскольку зависимостью между точкой взгляда и этим относительным положением зрачка источники света предполагаются неподвижными, устройство слежения становится очень чувствительным к изменениям положения головы.

- Чтобы разрешать проблемы, связанные с небольшими различиями в физиологии (включая кривизну поверхности роговицы, местонахождение зрачка вдоль оптической оси), калибровка необходима для каждого нового индивидуума.

Зависимость между проекцией центра зрачка и отражением света обладает примечательным свойством. В ситуации, когда глаз смотрит на источник света, его отражение на роговице оказывается в совпадении с центром зрачка. Эта ситуация схематически изображена на фигуре 5. Заметим, что это буквальное совпадение блика и центра зрачка не является тривиальной ситуацией. Значение показателя рефракции глаза и размещение зрачка позади поверхности роговицы являются причиной этого благоприятного оптического явления.

В некоторой степени оно используется в системе и способе по заявке № 2006/0110008 на патент США. В известной системе используется относительно большое количество маркеров при нахождении маркера, который находится в пределах порогового расстояния от центра зрачка.

Однако известные система и способ имеют ряд недостатков:

В известной системе с использованием временной модуляции света для кодирования различных идентификаторов вносится задержка (выражаемая количеством кадров), которая пропорциональна длине кода.

Точность определяется пороговым расстоянием. Приходится делать пороговое расстояние небольшим для получения высокой точности, и это требует большого количества маркеров и, следовательно, будет большой временная задержка, или принимать относительно большим пороговое расстояние, чтобы уменьшать временную задержку, но при этом точность определения направления взгляда будет снижаться.

На фигуре 6 показаны различия между системой и способом согласно заявке № 2006/0110008 на патент США и системой и способом согласно изобретению, при этом на левой стороне схемы показаны известные система и способ, а на правой стороне схемы показаны система и способ согласно изобретению.

В известных системе и способе маркеры образуют неподвижную картину, охватывающую поле взгляда. В известной системе, схематично показанной на левой стороне фигуры 6, временная модуляция используется для мечения каждого отдельного инфракрасного маркера или группы маркеров в соответствии с использованием временной модуляции, например в соответствии с использованием временного двоичного кодирования. Это означает, что для двоичного кодирования n различных инфракрасных маркеров или групп маркеров необходима длина кода, по меньшей мере, m=log2(n) бит. Следовательно, для идентификации всех кодированных инфракрасных маркеров или групп маркеров необходимо иметь m видеокадров.

Имеются несколько недостатков:

- Для отслеживания взгляда на протяжении, например, 16×16 однозначно помеченных инфракрасных маркеров требуется идентификация 256 различных кодированных меток, так что уже требуется задержка из 8 кадров для относительно грубой оценки взгляда. Чем точнее оценка взгляда, тем больше маркеров необходимо использовать и тем больше становится временная задержка.

- С учетом двигательной активности глаза временная задержка быстро приводит к возникновению артефактов движения.

- В применении для управления направляемым глазом курсора реакция устройства слежения за глазом должна быть мгновенной при минимальной задержке.

Система и способ согласно изобретению, схематично показанные на правой стороне фигуры 6, отличаются от известных системы и устройства, в которых положение источника (источников) света не является фиксированным, а динамически регулируемым. Для установления совпадения блика и зрачка используют подвижный маркер, так что отражение динамичного подвижного маркера поддерживается в центре зрачка управляющим механизмом. Обнаруживают относительные положения центра зрачка и отражений маркера. На основании относительных положений центра зрачка и отражения роговицей маркера вычисляют новое положение маркера. Новое положение вычисляют, чтобы получать отражение роговицей маркера, совпадающее с центром зрачка. Это схематично показано на фигуре 6 с помощью сигнала S переустановки. Используя сигнал S переустановки, маркер переустанавливают. Заметим, что сигнал переустановки может представлять собой любые данные в любой форме, с помощью которых можно переустанавливать маркер. Результат переустановки заключается в том, что направление взгляда всегда будет находиться на линии положения или, по меньшей мере, очень близко к текущему положению маркера. Поскольку положение маркера непрерывно перемещают, чтобы делать его отражение совпадающим с центром зрачка, физическое положение маркера обновляют для совпадения с точкой взгляда. Когда контур обратной связи надлежащим образом замкнут, системой непрерывно выдаются координаты точки взгляда, которые идентичны координатам маркера или, по меньшей мере, очень близки к ним.

На фиг.7 показана система согласно способу. Система содержит камеру 71 (или в более общем случае средство для получения изображения). При работе камерой регистрируется изображение глаза 72 наблюдателя. Система содержит средство 73 для получения подвижного светящегося маркера 74 в поле зрения наблюдателя. Этот источник света функционирует как маркер. Положение маркера в пределах поля зрения наблюдателя может динамически адаптироваться. Для этого система содержит средство (75) для адаптации положения маркера. В рамках концепции изобретения источник света представляет собой любое средство, создающее лучи света, которые могут отражаться глазом. Данные изображения анализируются в анализаторе (76) изображений. Анализатор изображений определяет разность u-v отражения (u) роговицей источника света и центра (v) зрачка, то есть данные об относительных положениях центра зрачка и отражения роговицей маркера. Анализатор непосредственно вычисляет данные для переустановки маркера или анализатор выдает данные об относительном положении отражения маркера и центра зрачка и дополнительный анализатор на основании данных об относительных положениях выдает данные для переустановки маркера. Эти данные (или данные, получаемые из этих данных) могут быть в виде сигнала переустановки, то есть сигнала, который в следующем каскаде системы используется для переустановки маркера. Сигнал передается на средство (75) для адаптации положения маркера (74) для уменьшения расстояния между отражением роговицей и центром зрачка. Анализирующее средство и средство для адаптации можно объединять в управляющий блок С. Сдвиг Δ, то есть переустановка маркера 74, является функцией разности u-v в регистрируемом изображении. Изображение, получаемое после переустановки маркера, еще раз анализируется и при необходимости процесс адаптации положения маркера повторяется до тех пор, пока отражение роговицей маркера не совпадет с центром зрачка с относительно высокой точностью. В этом примере показан один маркер 74; в рамках концепции изобретения можно использовать несколько подвижных маркеров для одновременного отслеживания взгляда нескольких наблюдателей. Отражение роговицей представляет собой отражение на внешней поверхности хрусталика глаза наблюдателя. В случае, когда наблюдатель носит контактные линзы, внешняя поверхность контактной линзы считается образующей внешнюю поверхность линзы наблюдателя.

Изобретение основано на понимании, что предпочтительно устанавливать связь между положением маркера и точкой взгляда с помощью системы управления с обратной связью. Система управления регулирует положение маркера до тех пор, пока его отражение в роговице не будет совпадать или почти совпадать с центром зрачка. Разность между положением отражения роговицей и центром зрачка образует сигнал обратной связи или является основой сигнала обратной связи, который используется для переустановки маркера.

Было обнаружено, что временная задержка системы согласно изобретению намного меньше, чем временная задержка известной системы. Кроме того, она является более точной, поскольку не имеется фиксированного порогового значения. Вместо фиксированных положений маркера положение маркера регулируется в зависимости от сигнала обратной связи, получаемого на основании измерения относительных положений отражения роговицей маркера и центра зрачка.

В системе и способе согласно изобретению задержка уменьшается, поскольку имеется возможность перемещения маркера до совпадения с центром зрачка. Основной принцип перемещения маркера на основе обратной связи показан на фигуре 8. На этой фигуре показаны глаз и инфракрасное отображение в продолжение последовательности событий. Заметим, что отображаемая картина является зеркальной относительно отраженной картины. Центр зрачка дается знаком ×, отражение роговицей маркера дается знаком +.

На части А показан инфракрасный маркер в исходном положении; зрачок также находится в исходном положении.

На части В инфракрасный маркер перемещается до тех пор, пока его отражение роговицей не будет совпадать с центром зрачка (от пунктирного + к сплошному +).

На части С наблюдатель изменяет направление взгляда и зрачок принимает новое положение (от пунктирного × к сплошному ×).

На части D инфракрасный маркер снова перемещается для сохранения согласования его отражения роговицей с центром зрачка, при этом он опять непосредственно показывает направление взгляда.

Изобретение можно использовать в большом разнообразии вариантов осуществления. Ниже даны некоторые, не создающие ограничения примеры.

Ради простоты во многих примерах маркер будет описываться как инфракрасный (ИК) маркер. Хотя использование инфракрасных маркеров образует предпочтительные варианты осуществления, точно установлено, что можно использовать светящиеся маркеры других видов, такие как ультрафиолетовые маркеры или маркеры в видимом диапазоне света.

Система имеет систему управления, которая выполняет:

- операцию сравнения положений (на фигуре 7 представлена анализирующим средством), при которой сравнивается положение отражение роговицей света маркера, например инфракрасного маркера, с кажущимся положением центра зрачка;

- операцию вычисления положения, при которой вычисляется новое положение инфракрасного маркера или разность между текущим положением и идеальным положением с тем, чтобы новое или скорректированное положение обуславливало совпадение отражения инфракрасного маркера и кажущегося положения центра зрачка, за которой следует:

- адаптация положения маркера в соответствии с только что вычисленным положением.

Данные для адаптации положения также называют сигналом переустановки.

Заметим, что в способе и системе используется контур обратной связи, поэтому следствием первоначального, менее чем идеального вычисления положения будет то, что отражение маркера после переустановки будет приближаться к центру зрачка, но не самым эффективным образом. В таком случае для улучшения совпадения используется следующий этап вычисления. В предпочтительных осуществлениях параметры операции вычисления положений являются регулируемыми для точной отладки вычисления для повышения точности с тем, чтобы требовалось по возможности меньше этапов итерации. Этим будет повышаться скорость вычислений и тем самым уменьшаться задержка контура обратной связи. Вычисления могут выполняться поэтапно или в продолжение одной операции.

На фигуре 9 показан способ нахождения центра зрачка. Сегментации зрачка может способствовать использование источников света вблизи камеры, расположенных по возможности ближе к оптической оси камеры. Хотя это решение не является новым и широко применяется при общепринятом отслеживании взгляда, его также можно использовать в новой предложенной системе.

Когда это «коаксиальное освещение» является активным, возникает инфракрасный эффект «красного глаза», который, как показано на фигуре 9, вызывает свечение сетчатки в зрачке. В диске зрачка отслеживается разность между двумя изображениями, одним при коаксиальном освещении и другим без него. На фигуре 9 схематично показаны захваченные изображения глаза совместно с последовательными профилями интенсивности при а) освещении некоаксиальными источниками; b) освещении коаксиальным источником; при этом на с) показано разностное изображение, b минус а. Оценку центра зрачка можно выполнять с помощью большого количества алгоритмов, менее затратный из которых относится к вычислению центра масс проекции диска зрачка.

Изобретение можно реализовывать различными способами в различных системах.

Система может содержать дисплейное устройство и средство для предоставления маркера на экране. Средство для предоставления маркера на экране может быть встроено в дисплейное устройство. Кроме того, средство для предоставления маркера может быть отделено от дисплейного устройства. Примером объединенного устройства является устройство, в котором дисплейное устройство создает изображение, а также маркер. Примером отдельного, создающего маркер средства является устройство, которое проецирует маркер на экран дисплея, или устройство, которое содержит отдельный прозрачный экран, помещенный перед дисплейным экраном, и на этом экране может формироваться инфракрасный маркер.

На фигуре 10 показан пример системы согласно изобретению. Первое осуществление основано на использовании жидкокристаллического дисплея 102, который, как показано на фигуре 10, имеет заднюю подсветку инфракрасным (ИК) светом в дополнение к обычной задней подсветке (красным, зеленым, голубым светом) в видимом диапазоне. Реализация системы и управление с использованием управляющего блока С в принципе аналогичны реализации и управлению систем с жидкокристаллическим дисплеем, имеющим сканирующую заднюю подсветку, и в частности, систем с жидкокристаллическим дисплеем с последовательными цветами. Видеокамера (cam) синхронизирована с системой задней подсветки. Синхронизация обуславливает чередование инфракрасного и видимого света для задней подсветки. Во время фазы видимого света отображается обычное изображение. Во время фазы инфракрасного света жидкокристаллическая дисплейная панель 102 отображает картину, которая служит подвижным инфракрасным маркером 103; в продолжение этой фазы камера (cam) захватывает изображение глаза 101 вместе с отраженным маркером. Центр зрачка можно получать с использованием способа, описанного ранее, то есть в продолжение фазы видимого света. Эксперименты показали, что жидкокристаллический материал способен модулировать свет в ближней инфракрасной области точно так же, как он модулирует видимый свет. На фигуре 11 показана относительная мощность пропускания Т обычно используемого жидкокристаллического материала в диапазоне 111 видимого света и в ближней инфракрасной области 112 в зависимости от длины волны. Кривая Т пропускания для жидкокристаллического материала в отключенном состоянии является такой, что видимый свет, а также свет в ближней инфракрасной области пропускаются. Во включенном состоянии, как показано кривой С, видимый свет, а также инфракрасный свет не пропускаются. Пропускание на фигуре 11 показывает, что жидкокристаллический дисплей способен модулировать инфракрасный свет и следовательно, создавать подвижный инфракрасный маркер. Кроме того, источник инфракрасного света может светить непрерывно, поскольку глаз человека не может видеть много света, во всяком случае в ближней инфракрасной области. Однако синхронизация является предпочтительной, поскольку она обеспечивает возможность легче различать инфракрасный свет от источника инфракрасного маркера и другие фиктивные отражения инфракрасного света.

Камера CAM регистрирует изображение, система С управления (или вычислитель в камере cam) вычисляет разность между отражением роговицей инфракрасного маркера и центром зрачка, вычисляет положение на жидкокристаллическом дисплее, в которое инфракрасный маркер следует переместить для совпадения с центром зрачка, переустанавливает инфракрасный маркер и при необходимости повторяет процесс. В этом примере средство для предоставления маркера с высокой степенью интеграции встроено в дисплейное устройство.

Во втором варианте осуществления наложения инфракрасного маркера пространственно сегментированная задняя подсветка инфракрасным светом используется в дополнение к задней подсветке видимым светом. При выборе длины волны инфракрасного света достаточно далеко от видимого диапазона было обнаружено, что жидкокристаллический материал становится прозрачным для инфракрасного света независимо от отключенного или включенного состояния пикселов. Преимущество заключается в том, что задняя подсветка видимым светом может оставаться активной и жидкокристаллическую панель можно использовать исключительно для обычного видимого изображения. Далее, разрешение инфракрасного маркера является разрешением сегментированной задней подсветки инфракрасным светом. Сегментированная задняя подсветка инфракрасным светом управляется для управления положением инфракрасного маркера. В этом примере средство для предоставления маркера также встроено в дисплейное устройство, но с меньшей степенью интеграции, чем в первом примере. В качестве альтернативы средство для предоставления маркера может быть образовано проектором, который проецирует пучок инфракрасного света с помощью системы подвижных зеркал на экран жидкокристаллического дисплейного устройства. В этом примере средство для предоставления маркера гораздо в большей степени отделено от дисплейного устройства.

Следующим шагом является получение прозрачной пластины, на которой создают подвижный инфракрасный маркер. Это можно делать, например, проецированием маркера на прозрачный экран. В таком случае изображение представляют в поле зрения наблюдателя с помощью прозрачной пластины.

Исходя из жидкокристаллического дисплея маркер также можно создавать следующим образом:

Изображение отображают в соответствии с информацией об изображении, поступающей на дисплей. На месте нахождения маркера интенсивность (или, например, интенсивность одного из цветов) уменьшают на небольшую величину. В следующем кадре интенсивность на месте нахождения маркера увеличивают на ту же самую величину. Если это добавление и вычитание интенсивности выполнять с достаточно высокой частотой, глаз человека не сможет воспринимать никакого мерцания вследствие изменения интенсивности. Однако камера, синхронизированная с частотой маркера, путем вычитания двух последовательных изображений может находить положение маркера. Преимущество этого варианта осуществления заключается в том, что его можно использовать в любом существующем дисплейном устройстве и для любого существующего дисплейного устройства при условии, что дисплейное устройство имеет достаточно высокую частоту смены изображений. Наиболее современные устройства способны выполнять такую функцию. Нет необходимости предусматривать источник инфракрасного света для предоставления инфракрасного маркера. В этом осуществлении маркер является скрытым в видимом сигнале, неразличимым для наблюдателя, но различимым для камеры, настроенной на временную сигнатуру маркера. Недостаток заключается в том, что на частях экрана, которые являются почти черными, может быть трудно добавлять или вычитать интенсивность. Однако для глаза человека характерна тенденция вглядываться в эти части экрана с наибольшим вниманием или, по меньшей мере, с большим вниманием. Недостатком является то, что, по меньшей мере, два кадра необходимы для обнаружения маркера, а отображение происходит с еще более высокой частотой смены изображений. В качестве альтернативы маркер можно создавать с пространственной сигнатурой, которая незаметна для наблюдателя, но заметна для камеры, настроенной на пространственную сигнатуру.

Альтернативный способ предоставления скрытых маркеров с использованием известных дисплейных устройств является возможным, если устройство способно создавать один и тот же цвет двумя различными способами. Известны так называемые RGB-W дисплейные устройства. Такие дисплейные устройства содержат красные (R), зеленые (G) и голубые (B) пикселы, а также белые (W) пикселы. Это позволяет создавать белые области в изображении (или фактически в большом диапазоне цветов) двумя различными способами. Простейшим примером является устройство, в котором белая область может быть образована сочетанием красных, зеленых и голубых пикселов, а также белых пикселов. Для глаза человека различие между «RGB»-белыми областями и «белыми»-белыми областями является невидимым. Однако в инфракрасной и/или ультрафиолетовой областях или в конкретной области видимого спектра света различие может обнаруживаться. Сам дисплей не изменяется и отображаемая информация также не изменяется. Однако при использовании возможности, в соответствии с которой белый свет может быть получен двумя различными способами, можно создавать в изображении маркер, который является видимым для камеры, например инфракрасной или ультрафиолетовой камеры или камеры видимого света с цветным фильтром перед ней, но невидимым для наблюдателя. В таком случае маркер можно различать по его спектральной сигнатуре, сигнатуре, выражающей характерный признак. Этот вариант осуществления можно выгодно использовать, например, для отслеживания взгляда человека-наблюдателя, читающего текст. Тексты образуют из относительно небольших черных букв на белом фоне. Кроме того, можно отслеживать взгляд человека, следующий за движущейся фигурой на белом фоне. Способ этого вида можно использовать для любого устройства, которое способно создавать цвет двумя различными способами. Примерами являются, например, так называемые дисплеи с разделением спектра, также называемые гибридными пространственно-временными цветными дисплеями. В этих дисплеях сочетаются обычные жидкокристаллические дисплеи и жидкокристаллические дисплеи с чередованием цветов. Такой дисплей обычно имеет адресуемые элементы с двумя (широкополосными) цветными фильтрами (например, пурпурным и бирюзовым) и цветовыми полями задней подсветки двух видов (например, бирюзовым и желтым), хотя можно использовать другие сочетания цветовых полей и цветных фильтров, такие, как например: (1) пурпурный и бирюзовый цветные фильтры совместно с желтым и голубым цветовыми полями, и 2) пурпурный и зеленый цветные фильтры совместно с желтым и бирюзовым цветовыми полями.

Дальнейшее осуществление основано на использовании световодной рассеивающей пластины, которую помещают перед дисплеем и освещают с помощью периферийного сегментированного инфракрасного освещения. Это осуществление показано на фигуре 12. Использована световодная рассеивающая пластина 122, которая помещена перед дисплеем 121 и освещена периферийными сегментированными инфракрасными осветительными устройствами 123. Прозрачный рассеивающий световод 122 действует как средство для предоставления невидимого инфракрасного маркера, не препятствуя свободному наблюдению изображения, отображения или сцены позади него. При использовании маркера, который охватывает, по меньшей мере, два периферийных инфракрасных осветительных устройства 123, и при постепенном изменении взаимной интенсивности по мере того, как инфракрасный маркер сдвигается в требуемое положение, центр маркера может быть восстановлен в заданном положении с разрешением, которое лучше разрешения, определяемого расстоянием между устройствами 123. Поэтому количество устройств 123 может быть относительно небольшим при все же высоком разрешении.

Вариант этого варианта осуществления основан на использовании дисплея с клиновидным световодом-экраном. Дисплей с клиновидным световодом-экраном содержит, по существу, световод, который передает сфокусированное световое поле от проектора на проекционный экран на основе последовательных внутренних отражений, так что геометрическая целостность лучей света сохраняется. На фигуре 13 показано такое устройство.

Из фигуры 13 видно, что световод может быть прозрачным, поскольку проецируемый свет ограничивается внутренним отражением. Световое поле в конечном счете выходит из световода, поскольку лучи пересекают границу раздела материала под углом, меньшим критического угла. В отсутствие фронтального рассеивателя и задней крышки эта технология пригодна для создания полупрозрачного дисплея, который позволяет свободно смотреть на дисплей или сцену позади.

В дальнейшем осуществлении инфракрасное освещение достигается преобразованием ультрафиолетового и/или видимого света в инфракрасный свет путем использования флуоресценции. Задача заключается в получении эффективного способа генерации инфракрасного света в ситуациях (обычно вне помещения), когда окружающий инфракрасный свет ухудшает читаемость инфракрасного маркера (маркеров) системой камер. При возрастании яркости дневного света повышается интенсивность света, излучаемого от инфракрасного маркера. Флуоресцентный источник инфракрасного света можно считать непрерывной задней подсветкой, так что локальные или глобальные затворы можно использовать для модуляции его интенсивности. Известен ряд флуоресцентных пигментов, которые могут придавать большому количеству (прозрачных) пластиков флуоресцентное свойство. В этом ряде продуктов также имеются пигменты, которые преобразуют любой видимый свет в инфракрасный свет. Пигменты используют, например, в промышленности при лазерной сварке прозрачных пластиков. Применение таких пигментов в качестве пассивных инфракрасных осветителей в контексте отслеживания взгляда неизвестно.

В дополнительном варианте осуществления инфракрасный маркер проецируется проектором (по существу, мультимедийным проектором), который излучает только инфракрасный свет, невидимый для пользователя. Инфракрасный маркер представляет собой сфокусированное изображение, которое проецируется на обычный визуальный дисплей или на в достаточной степени рассеивающий прозрачный экран, позволяющий иметь просвечивающее изображение позади сцены или на самой сцене.

В дополнительном варианте осуществления изображение инфракрасного маркера и обычное визуальное изображение генерируются двумя отдельными дисплеями, изображения которых накладываются при использовании полупрозрачного зеркала, использовании классического телесуфлера или конфигурации телеподсказчика.

На фигуре 12 показано, что маркер не обязательно должен быть точкой. Маркер является любой точкой, участком или рисунком, который можно различать как отличающуюся. Он может быть точкой, окружностью, перекрестием или другим рисунком.

Некоторое количество способов образования маркера описано выше и ниже. В случаях, когда ниже упоминается инфракрасный маркер, следует осознавать, что маркер также может быть в видимом диапазоне или в ультрафиолетовом диапазоне. Ниже используется инфракрасный маркер, означающий, что во многих осуществлениях использование инфракрасного маркера является предпочтительным. Однако в более широком смысле это не создает ограничения для изобретения.

Предпочтительно, чтобы форма инфракрасного маркера была такой, при которой его отражение в глазу могло бы легко захватываться в камере и легко обнаруживаться алгоритмами машинного зрения для задачи отслеживания положения. Кроме того, форма инфракрасного маркера может ограничиваться способом, которым маркер генерируется и накладывается на видимое изображение.

Вариант осуществления основанной на обратной связи системы отслеживания взгляда должен базироваться на точечном маркере, при котором отражение становится точечным бликом на роговице. Хотя большая часть современных систем отслеживания взгляда основана на точечных инфракрасных источниках, точность оценки положения на основе их отражения определяется разрешением датчика.

Предпочтительно, чтобы маркер представлял собой связную форму, то есть рисунок.

Вариант осуществления связной формы ранее был показан на фигуре 12. Вариант осуществления связной формы в примере из фигуры 12 основан на использовании крестообразной (+) картины, состоящей из двух пересекающихся линий, каждая из которых перекрывает всю ширину или высоту мишени дисплея. В этом случае точка взгляда связана с точкой пересечения двух линий. Преимущество крестообразной картины заключается в том, что ее можно генерировать при использовании периферийного освещения, предложенного выше в осуществлении из фигуры 12. На фигуре 14 показан такой крест, ясно видимый в виде отражения в глазу. Связность картины позволяет восстанавливать подпиксел по координатам пересечения.

Дополнительный вариант осуществления основан на использовании псевдослучайного изображения инфракрасного света, при котором потенциально обеспечивается более робастное обнаружение системой камер по сравнению с более простыми изображениями, которые могут быть причиной ложных обнаружений изображения.

На фигуре 15 показан такой пример. Изображение кажется случайным, но оно является псевдослучайным. Камера может распознавать рисунок и может находить точку в пределах рисунка, например центр тяжести. Этот центр тяжести дает положение маркера. При усложненном рисунке могут исключаться проблемы, связанные с ошибочным распознаванием рисунка. Ошибочное распознавание рисунка может происходить, например, когда камера и/или алгоритм распознавания маркера первоначально распознают другой инфракрасный источник (например, отражение лампы) в качестве инфракрасного маркера. Такое неправильное распознавание можно корректировать путем контроля результата изменения положения инфракрасного маркера, поскольку истинный инфракрасный маркер должен перемещаться, тогда как «ложный» инфракрасный маркер не должен перемещаться, но в отдельных случаях это может снижать точность или повышать время реакции системы.

В дополнительном варианте осуществления используется известный пространственный сдвиг инфракрасной мишени для получения зависимости между положением инфракрасной мишени в реальной обстановке и отраженным положением на роговице. Поскольку заявитель предложил механизм обратной связи для управления положением инфракрасной мишени для в конечном счете согласования с точкой взгляда в отсутствие модели, точка взгляда обычно обнаруживается на последовательных итеративных этапах. Для каждого итеративного этапа требуется новый видеокадр, показывающий отражение при новом положении инфракрасной мишени. Излагаемый ниже способ предназначен для минимизации количества итераций и следовательно, задержки ответной реакции. Вследствие кривизны роговицы зависимость между координатами и отраженным положением на роговице представляет собой нелинейное (аффинное или перспективное) преобразование.

На фигуре 16 показано использование двух отдельно зарегистрированных инфракрасных мишеней и их изображений в виде отражений на роговице в качестве средства для оценивания двух коэффициентов пропорциональности, которые соответствуют (линейному) приближению первого порядка истинной зависимости.

Два коэффициента пропорциональности можно определить как

$${С}_{х}=\frac{\Delta {х}_{экрана}}{\Delta {х}_{зрачка}}$$ и $${С}_y=\frac{\Delta y_{экрана}}{\Delta y_{зрачка}}$$ .

Эксперименты показали, что оценивания C_x и C_y на основании двух последовательных измерений достаточно для точного согласования точки взгляда при следующей итерации. Показано, что при сохранении истории предшествующих разностей и предшествующих значений C_x и C_y реакция на большое скачкообразное движение глаза будет почти мгновенной. В отсутствие более точной модели каждый последовательный этап может быть основан на ряде существующих моделей, таких как бисекция.

Кроме того, уточненный вариант осуществления изложенного выше способа включает в себя блок хранения координат для сохранения истории реальных и отраженных положений мишени, а также модели реального положения мишени и ее отраженного положения. Модель позволяет иметь дело с нелинейной зависимостью между реальными и отраженными координатами и обеспечивает более точное прогнозирование наилучшего следующего положения инфракрасного маркера, который будет использоваться в контуре обратной связи.

Изобретение может быть реализовано многими различными способами. В приведенных выше вариантах осуществления используется один маркер. В вариантах осуществления обнаружение многочисленных пар глаз указывает на обнаружение многочисленных наблюдателей; ситуация является типичной для общественных дисплеев и витринных окон магазинов. При обнаружении каждого дополнительного наблюдателя система добавляет дополнительный маркер и обновляет синхронизацию камеры, чтобы обнаружение и отслеживание распределялось во времени по дополнительным наблюдателям. Такая система показана на фигуре 17. Система из фигуры 17 позволяет отслеживать взгляды глаз многочисленных (N) наблюдателей путем выполнения последовательно во времени представления инфракрасной мишени, захвата изображения и оценивания взгляда. Заметим, что стрелка показывает порядок во времени, а не поток информации. Также заметим, что хотя используются различные маркеры, имеется принципиальное отличие от известной системы. Маркеры являются подвижными и каждый маркер имеет свою собственную обратную связь и соответствующего зрителя. Преимущество этой системы заключается в том, что задержка возрастает только в случаях, когда количество одновременно отслеживаемых наблюдателей увеличивается.

Способ и система согласно изобретению могут использоваться в ряде областей применения, среди которых:

Отслеживание взгляда без калибровки делает возможным широкий ряд применений; не говоря уже о традиционных областях, в которых применяют имеющиеся системы отслеживания взгляда. Отсутствие калибровки означает свободное перемещение головы относительно устройства слежения. Отсутствие калибровки также означает «мгновенное» выполнение процесса отслеживания взгляда.

В области потребительских товаров отслеживание взгляда без калибровки может найти ряд применений, к которым относятся:

Управление (обычно курсором мыши в сочетании с реальной подтверждающей кнопкой):

- Отслеживание взгляда обеспечивает существенную точность, различные исследования показали, что при достаточной точности устройства слежения за взглядом управление взглядом является более эффективным для задач типа «указал и щелкнул», чем обычная компьютерная мышь. Повышенные скорость реакции и точность способа и системы согласно изобретению обеспечивают большое преимущество в этой области.

- Для неподвижных устройств, таких как (функционирующий через Интернет) телевизор, способ и система согласно изобретению обеспечивают робастное управление курсором для основных действий типа «указал и щелкнул», так что с дивана становится возможной однокнопочная навигация по сети.

- Для переносных устройств применение решения позволит освободить другую руку, необходимую для выполнения операций, в данный момент требующих использования пера или взаимодействия с сенсорным экраном. Многие переносные устройства уже содержат камеру, так что изобретение можно относительно легко реализовывать в переносных устройствах.

- Устройства можно делать «наблюдательными», чтобы они реагировали на наши действия (нажатие кнопки или речевую команду) только в случае, когда Вы глядите на устройство.

Связь:

- Имеются различные способы для передачи встретившихся взглядов на видеоконференции между двумя или большим количеством участников, во многих из которых требуются точки взгляда отдельных людей, участвующих в конференции. Ранее было доказано, что существующее отслеживание взглядов является весьма неэффективным; концепция, которая никогда не покидала стен лаборатории вследствие упомянутых ограничений существующих систем. При использовании системы и способа согласно изобретению в случае большого количества участников эффективность возрастает благодаря повышенным скорости и точности.

- Заявитель подтвердил представления пользователей относительно применимости зрительного контакта во время видеовызовов.

В области оказания медицинских услуг и профилактики отслеживание взгляда обеспечивает робастный способ для мониторинга уровня внимания при решении трудных задач.

Управление:

- Зрительный взгляд обеспечивает важный пользовательский интерфейс для человека, который страдает от некоторого недостатка двигательных навыков; улучшает качество жизни путем повышения уровня независимости и благополучия.

- Зрительный взгляд может обеспечивать бесконтактное управление в операционной госпиталя, при этом уменьшается опасность загрязнения из-за тактильных пользовательских интерфейсов.

Мониторинг:

- Изобретением предоставляется неброский способ мониторинга уровня внимания во время выполнения монотонных трудных задач, таких, как вождение транспортного средства. Примером является мониторинг визуального внимания водителя грузового автомобиля с использованием лобового стекла в качестве среды для наложения подвижной, но незаметной инфракрасной мишени.

- Имитаторы, такие как имитаторы вождения автомобиля или самолета. Имитаторы обладают большим преимуществом, если мониторинг взгляда курсанта можно осуществлять быстро и точно. В некоторых имитаторах скорость является наиболее важной, например в имитаторах вождения самолета или в имитаторах гонок по формуле 1; надежный и быстрый способ отслеживания взгляда водителя на гонках по формуле 1 или пилота истребителя является очень важным, поскольку важные решения должны приниматься такими людьми в доли секунды.

- Спорт: многое можно узнать в результате отслеживания взгляда человека в видах спорта, требующих больших скоростей, таких как теннис, сквош, или в контактных видах спорта. Становятся возможными усовершенствованные способы обучения.

В области торговли и цифровой подписи отслеживание взгляда можно использовать для получения полезной обратной связи относительно концентрации внимания наблюдателя.

- Современные системы отслеживания взгляда уже находят применение в рекламных агентствах для анализа индивидуальной реакции на печатную и Интернет-рекламу. Повышенные точность и скорость системы и способа согласно изобретению значительно расширяют поле деятельности.

- Отслеживание взгляда также применяют для измерения коллективного реального повышенного внимания к рекламному монитору или плакату путем подсчета пар внимательно смотрящих глаз, а также продолжительности внимания.

Изобретение не ограничено дисплеями показанных видов.

Примером дисплея другого вида, который можно выгодно использовать в способе и системе согласно изобретению, является дисплей на органических светоизлучающих диодах (ОСД).

При использовании технологии ОСД можно изготавливать пластину из прозрачного материала, излучающего свет. Кроме того, при использовании технологии ОСД материал может излучать инфракрасный свет. Материал на основе ОСД остается прозрачным для видимого света, но излучает инфракрасный свет. Матрицу пикселов на основе инфракрасных ОСД вместе с электродами можно изготавливать в прозрачном слое. Матрица на основе инфракрасных ОСД работает почти так же, как обычный дисплей на ОСД, за исключением того, что она является прозрачной для видимого света и излучает адресуемые пикселы в инфракрасной области спектра. Инфракрасный маркер адресуется активной решеткой инфракрасных пикселов на основе ОСД, а его положение изменяется в зависимости от адресации инфракрасных пикселов. На фигуре 19 схематично показано использование прозрачной пластины 191 с ОСД перед дисплеем 192. Матрица ОСД адресуется контроллером 193. Контроллер 193 принимает информацию I. Эта информация I зависит от измерений изображения, получаемых камерой CAM. Матрица пикселов на основе ОСД обеспечивает получение инфракрасного маркера 194 на прозрачном материале с ОСД.

Преимущество прозрачного экрана, позволяющего видеть сквозь него, как и любого экрана, который можно помещать перед дисплеем или сценой, заключается в том, что его можно использовать для любого существующего дисплея или сцены.

Этот прозрачный слой можно использовать в качестве экрана перед дисплеем или перед сценой. Использование прозрачного экрана на основе ОСД обеспечивает преимущество, заключающееся в том, что скорость адресации ОСД является очень высокой, что позволяет еще быстрее отслеживать взгляд.

Изобретение не ограничено приведенными примерами осуществлений.

Например, когда используют проецируемый маркер, маркер можно проецировать на экран дисплея, на прозрачный экран, через который наблюдатель смотрит на сцену или дисплейное устройство, или непосредственно на сцену.

На фигуре 18 показано осуществление, в котором проектор Р проецирует инфракрасную мишень на сцену, в этом примере представленную центром пересечения на сцене. На фигуре 18 мишень центрирована на цилиндре. Также показана камера. Камера воспринимает изображение глаза, а более конкретно, отражение роговицей инфракрасной мишени и центр зрачка.

Как пояснялось выше, изобретение можно использовать для отслеживания взгляда нескольких людей. Изобретение также можно использовать для отслеживания направления взгляда обоих глаз одного и того же человека. В указанных вариантах осуществления изображение воспринимается из левого и правого глаза и отражение роговицей на одном или обоих глазах измеряется, и для, по меньшей мере, одного из глаз создается маркер. В вариантах осуществления можно использовать маркер для обоих глаз, и в этом случае можно осуществлять независимый мониторинг взгляда обоих глаз. В качестве альтернативы отслеживается взгляд одного глаза, а для другого глаза измеряется или оценивается отклонение. Например, устройство применяют для количественного измерения лени амблиопичного глаза. Ребенка снабжают парой очковых линз с двумя камерами, при этом одна небольшая камера воспринимает изображения из левого глаза и другая камера из правого глаза. В качестве варианта обе камеры могут находиться на одинаковом расстоянии от ребенка. Кроме того, можно использовать одну камеру для регистрации обоих изображений. При участии в видеоигре ребенок должен следить своими глазами за определенной мишенью. Это будет происходить автоматически, если он/она захватывает объект курсором или проводит движущуюся фигуру по лабиринту. Перемещение обоих глаз измеряют. Совершенно незаметным для обоих глаз способом время реакции глаз на перемещение движущейся фигуры можно измерять, получая измерение лени обоих глаз и координацию обоих глаз при перемещениях. Доставляющим удовольствие ребенку способом можно количественно измерять лень глаз. Ход лечения ленивого глаза можно отслеживать без какого-либо дискомфорта для ребенка.

Другое применение заключается в мониторинге движений обоих глаз водителя, смотрящего через ветровое стекло, при этом на ветровом стекле создают инфракрасный маркер. В обычном состоянии повышенной внимательности оба глаза взаимодействуют и создают определенную картину движения для слежения за тем, что происходит на дороге перед водителем. Кроме того, можно измерять конвергенцию глаз. Когда водитель устает, это будет видно по движениям глаз и координации между глазами, и водителю может быть подан сигнал о необходимости отдыха.

При отслеживании взгляда обоих глаз можно определять взгляд каждого глаза, разность взглядов глаз, а также средний взгляд в виде среднего взглядов обоих глаз. При таком применении маркер не проецируют на наблюдаемый объект, дорогу или часть наблюдаемого изображения на экране дисплея, но все же связывают с наблюдаемым объектом так, что маркер показывает положение наблюдаемого объекта. Направление взгляда находится на одной линии с положением маркера на ветровом стекле.

Угол конвергенции пары глаз можно использовать для оценивания расстояния, с которого наблюдатель смотрит на объект. Это особенно полезно при мониторинге обстановки (например, мониторинге взгляда водителя грузового автомобиля или покупателя, смотрящего в витринное окно магазина).

Время задержки системы зависит от количества отслеживаемых глаз. Время задержки можно уменьшать путем использования отдельного маркера для каждого наблюдателя (пары глаз).

Усреднение двух векторов смещения (по одному для каждого глаза) дает вектор обновления. В таком случае положение маркера обновляют с помощью этого среднего. Поскольку глаза наблюдателя должны сходиться (в предположении нормального зрения) к одному и тому же месту, любая остаточная ошибка распределяется симметрично по паре глаз. Амплитуда векторов смещения в противоположность вектору обновления коррелирует с конвергенцией. Если смотреть непосредственно на маркер, все векторы будут нулевыми (если система сошлась). Если смотреть на более отдаленный объект, а не на плоскость (проекции) маркера, вектор горизонтального смещения будет отрицательным для одного глаза и в равной степени положительным для другого.

Еще одно применение включает в себя возможность распространения принципа работы за пределы глаз человека или животного с включением искусственных глаз, например, в случае роботов. Известно, что принцип эффекта красных глаз применяется в камерах независимо от конкретных объективов, устанавливаемых на них. С другой стороны, совпадение отражения источника света с центром зрачка камеры обусловлено конкретным показателем отражения тканей, имеющихся в глазах человека и животного. Можно проектировать специальные оптические конфигурации, которые будут поддерживать такое совпадение и в то же самое время позволят получать желаемые оптические свойства. Применение таких специальных линз будет многочисленным. В случае роботов сделается возможным обнаружение их точки взгляда. При другом применении эти линзы будут использоваться в качестве маркеров, а не линз. В этом контексте оптические элементы применимы в качестве маркеров на поверхности любого объекта, что позволит определять ориентацию поверхности объекта при использовании того же принципа, который использован в описанной системе отслеживания взгляда.

Короче говоря, изобретение может быть представлено как:

Система для отслеживания точки взгляда наблюдателя, наблюдающего объект, которая содержит камеру для регистрации изображения глаза наблюдателя, содержит средство для предоставления светящегося маркера и средство для анализа изображения глаза для определения отражения маркера на глазу и центра зрачка. Измеряются относительные положения отражения роговицей маркера и центра зрачка. Маркер переустанавливается в зависимости от определяемых относительных положений для улучшения соответствия между отражением роговицей маркера и центром зрачка.

Краткое описание способа соответствует приведенному выше описанию системы.

В формуле изобретения все обозначения в круглых скобках не должны толковаться как ограничивающие притязания.

Слово «содержащий» не исключает присутствия других элементов или этапов помимо перечисляемых в формуле изобретения. Изобретение может быть реализовано любым сочетанием признаков из различных предпочтительных вариантов осуществления, описанных выше.

Камера представляет собой любое устройство для регистрации изображений.

Кроме того, может быть часть устройства, используемая для других задач, таких как связь, или присоединяемая к такому устройству связи, или встраиваемая в него, или взаимодействующая с ним.

Средство для анализа, средство для адресации, средство для вычисления и т.д. могут быть в виде аппаратного обеспечения, программного обеспечения или любого сочетания из них.

При использовании способа и системы любое такое средство может быть представлено в камере или вблизи нее или в устройстве на или вблизи сцены, с которой камера связана. Однако данные изображения также можно анализировать на удалении и в то же время управлять маркерами дистанционно. Например, в магазине несколькими камерами могут наблюдаться несколько мест, при этом каждое место представляет собой, например, выставку товаров в витрине магазина, а на каждом месте могут отслеживаться несколько наблюдателей. Вычисление разности между маркерами и центрами зрачков и вычисление перемещения для каждого маркера и сигнала, посылаемого для перемещения маркеров, могут обрабатываться на центральном компьютере в магазине или даже на центральном компьютере или на центральном сервере главного управления.

Изобретение также относится к компьютерным программам, содержащим средство программного кода для выполнения способа согласно изобретению, когда указанная программа выполняется на компьютере, а также компьютерному программному продукту, содержащему средство программного кода, сохраняемое на считываемом компьютером носителем, для выполнения способа согласно изобретению.

Группа изобретений относится к области медицины. Система для отслеживания точки взгляда наблюдателя, наблюдающего объект, содержит устройство для регистрации изображения глаза наблюдателя, средство для предоставления светящегося маркера на наблюдаемом объекте или связанного с ним и средство для определения на основании изображения положения отражения роговицей маркера на глазу и центра зрачка. Средство для определения разности в положении между отражением роговицей маркера и центром зрачка, чтобы обеспечивать разностный сигнал, и средство для изменения положения маркера на наблюдаемом объекте или связанного с ним в зависимости от разностного сигнала, чтобы иметь отражение роговицей маркера и центр зрачка совпадающими, для обновления положения маркера до совпадения с точкой взгляда. Применение данной группы изобретений позволит повысить скорость и точность отслеживания взгляда. 2 н. и 10 з.п. ф-лы, 19 ил.

1. Система для отслеживания точки взгляда наблюдателя, наблюдающего объект, при этом система содержит
устройство (cam, 71) для регистрации изображения глаза наблюдателя,
средство (73, 102, 122, 191, 192) для предоставления светящегося маркера (74, 103, 191) на наблюдаемом объекте или связанного с ним и
средство для определения на основании изображения положения отражения роговицей маркера на глазу и центра зрачка,
при этом система содержит
средство (76) для определения разности в положении между отражением (q) роговицей маркера и центром (р) зрачка, чтобы обеспечивать разностный сигнал (S) и
средство (75) для изменения положения маркера (74) на наблюдаемом объекте или связанного с ним в зависимости от разностного сигнала (S), чтобы иметь отражение (q) роговицей маркера и центр (р) зрачка, по существу, совпадающими, для обновления положения маркера (74) до, по существу, совпадения с точкой взгляда.

2. Система по п. 1, при этом система содержит дисплейное устройство и средство для предоставления маркера встроено в дисплейное устройство для предоставления маркера в изображении, отображаемом на дисплейном экране дисплейного устройства.

3. Система по п. 2, в которой дисплейное устройство является жидкокристаллическим дисплеем, который имеет заднюю подсветку инфракрасным (ИК) светом и заднюю подсветку видимым светом.

4. Система по п. 1, при этом система содержит дисплейное устройство и средство для предоставления маркера содержит прозрачный экран, расположенный перед экраном изображения дисплейного устройства.

5. Система по п. 4, в которой прозрачный экран содержит прозрачный экран на основе органических светоизлучающих диодов для предоставления маркера.

6. Система по любому из предшествующих пунктов, в которой маркеру придан вид рисунка.

7. Система по п. 1, в которой средство для предоставления маркера и средство для изменения положения маркера выполнены с возможностью предоставления и изменения положения маркера непосредственно на сцене или в или на прозрачной пластине перед сценой.

8. Система по п. 1, в которой средство для предоставления маркера предоставляет инфракрасный (ИК) маркер.

9. Система по пп. 1-5, при этом система выполнена с возможностью отслеживания взгляда нескольких наблюдателей путем предоставления нескольких маркеров нескольким наблюдателям.

10. Способ отслеживания точки взгляда наблюдателя, наблюдающего объект, при этом способ содержит
регистрацию изображения глаза наблюдателя,
предоставление светящегося маркера (74) на наблюдаемом объекте или связанного с ним и
определение на основании изображения положения отражения (q) роговицей маркера (74) и центра зрачка (р), при этом
определяют разность положения отражения роговицей маркера и центра зрачка, чтобы предоставить разностный сигнал (S), и
изменяют положение маркера (74) на наблюдаемом объекте или связанного с ним в зависимости от разностного сигнала (S), чтобы иметь отражение роговицей и центр зрачка, по существу, совпадающими, для обновления положения маркера до, по существу, совпадения с точкой взгляда.

11. Способ по п. 10, в котором маркеру придают вид рисунка.

12. Способ по п. 10 или 11, в котором маркер предоставляют в или на прозрачной пластине.