СПОСОБ КОНТРОЛЯ КОГНИТИВНОГО ПРОЦЕССА Российский патент 2012 года по МПК A61B5/16 

Предлагаемый способ предназначен для мониторинга состояния оператора или испытуемого, в частности определения с высокой вероятностью факта наличия признаков определенного для данного случая когнитивного процесса и отличия его от обычного, безучастного рассмотрения, например, в силу предварительного знакомства испытуемого с предъявляемым ему объектом - визуальным, звуковым или комбинированным стимулом, и может найти применение в авиации, химической и атомной промышленности при тестировании операторов, при проведении следственных экспериментов и т.п. - везде, где возникает необходимость различения процессов восприятия информации и выделения особых процессов осознания, будь то с целью тестирования внимания или выявления стрессового состояния, как результата предъявления стимула или совершения действия. При этом следует особо подчеркнуть, что стрессовые состояния, о которых идет речь, носят особый характер и в предлагаемом способе решается задача их выделения на фоне обычного состояния бодрствования (например, это может быть попытка уклонения от осознанного восприятия информации и игнорирование ее, либо попытка скрыть информацию и т.п.).

Известен способ обеспечения безопасности полетов, включающий анализ температурного изображения и формирование сигнала о способности оператора выполнять свою задачу (см. Патент США 7,027,621, G06K 9/00, 11.04.2006). Способ включает также слежение за движением глаз оператора, направлением взгляда и размером его зрачков. Слежение осуществляется путем сопоставления последовательных изображений. При обнаружении неадекватности подается сигнал, способный разбудить пилота или оператора.

Однако в данном способе слежение за движением глаз оператора, направлением взгляда и размером его зрачков осуществляется только с целью определения степени его внимания и участия в происходящем и средствами, способными отличить только бодрствование от сна. Если глаза пилота открыты и «пробегают» приборы, считается, что он способен вести самолет. С достаточной достоверностью различать состояния бодрствования (в частности, рабочее, штатное и стрессовое) известный способ не позволяет.

Известен способ определения лжи при предъявлении визуального стимула по полезной модели CN 201200409, А61В 5/02, 2009-03-04. В данном способе поведение испытуемого и, в том числе, изменение выражения его глаз фиксируется камерой и сравнивается оператором с нормальным.

Наличие оператора (психолога), призванного интерпретировать выражение глаз, и определяет недостаток известного способа, заключающийся в высокой степени субъективности оценки реакции контролируемого субъекта.

Широко известен комплексный способ определения психо-эмоционального состояния испытуемого, включающий анализ ритмов мозговой деятельности, речи, глаз, комплекса физических параметров (мышечной активности, проводимости кожи, пульса и проч.) в сочетании с виртуальным стимулированием до достижения порога, однозначно свидетельствующего о выраженной реакции на предъявленный стимул (см. патент US 2004143170, А61В 5/16, 2004-07-22).

Однако данный способ, во-первых, чрезвычайно сложен, а во-вторых, не может применяться бесконтактно, незаметно для испытуемого.

Наиболее близким к предложенному является способ по патенту US 2009216092, А61В 3/11, 2009-08-27, включающий предъявление испытуемому различных стимулов и определение невольной физиологической реакции его глаз путем фиксации размера, положения и реакции зрачков испытуемого, которая производится посредством сопоставления ряда цифровых фотографий зрачков.

Этот способ, как, впрочем, и описанные выше, может использоваться не только для выявления попытки обмануть собеседника, скрыть важную информацию, но и для контроля (тестирования) состояния оператора сложной системы управления, самолета и т.п. Преимуществом способа является то, что он может использоваться бесконтактно, незаметно для испытуемого и основан на регистрации невольных, точнее мало поддающихся сознательному контролю, реакций.

Однако существенным недостатком способа является то, что он основан на фиксации размера и реакции, изменчивости зрачка, которые определяются не процессом осознания предъявленного стимула, а стрессом, возникающим в результате осознания. Это значительно снижает эффективность известного способа, поскольку при отсутствии непосредственной связи между искомым и контролируемым процессами повышается вероятность ошибки в определении состояний сознания испытуемого. Кроме того, известный способ не дает ясных критериев различения типичных и необычных состояний, что также снижает его эффективность.

Техническим результатом, ожидаемым от использования изобретения, является повышение эффективности способа контроля когнитивного процесса за счет использования параметров, более точно и непосредственно отражающих процесс осознания предъявленных стимулов, за счет использования конкретных методик и средств различения нормальных и анормальных когнитивных процессов, поддающихся автоматизации.

Указанный результат достигается тем, что в известном способе контроля когнитивного процесса, включающем предъявление испытуемому различных стимулов и определение невольной физиологической реакции его глаз путем фиксации реакции зрачков испытуемого, при определении реакции зрачков испытуемого фиксируют и анализируют траекторию движения зрачков, используя при анализе временные зависимости параметров траектории, непосредственно связанных с когнитивным процессом, и выделяя на указанных зависимостях характерные точки и признаки, наличие и положение которых интерпретируют как начало и окончание искомых процессов в мозгу испытуемого.

Кроме того, в качестве параметров траектории, непосредственно связанных с когнитивным процессом, используют комбинацию высокочастотных и низкочастотных параметров траектории.

При этом в качестве высокочастотных параметров траектории используют микросаккады и/или тремор, контроль которых осуществляют в диапазоне частот 20-800 Гц.

И, наконец, целесообразно при анализе временных зависимостей параметров траектории, непосредственно связанных с когнитивным процессом, факт предварительного знакомства испытуемого с предъявляемым ему объектом фиксировать по упрощению паттерна траектории взора и сокращению интервала опознания.

Рассмотрим сущность предложения более подробно. В известном и в предлагаемом способах психо-эмоциональное состояние испытуемого, некоторые характеристики его когнитивного процесса, степень его готовности к выполнению определенных задач или попытку скрыть некоторую информацию или наличие некоей информации в его памяти, контролируют посредством анализа его реакции на предъявляемые стимулы, которые могут быть зрительными образами, вербальными выражениями, предъявляться в виде текста и т.п.

В обоих случаях анализируется невольная физиологическая реакция, однако если в известном способе она не была непосредственно связана с когнитивным процессом, то в предложенном эта связь прямая, поскольку траектория движения зрачков, в отличие от их изменчивости при подсветке, является не следствием некоего когнитивного процесса, а его частью.

При этом следует оговориться, что данная реакция является в полной мере невольной только в первые доли секунды после предъявления стимула, и она является физиологической только в том смысле, что движения зрачков физиологичны. Но как уже отмечалось, траектория движения зрачков является отражением и частью процесса восприятия и мыслительного процесса. Она имеет общие для всех испытуемых черты, однако носит на себе индивидуальный отпечаток личности испытуемого. Это позволяет применять способ без предварительной подготовки, в том числе для группы людей, а также повышать его эффективности путем фиксации типичных, штатных реакций испытуемого и последующего сравнения его реакции с накопленной таким образом базой данных.

Еще одной особенностью предлагаемого способа является то, что фиксация размера и положения зрачка(ов) испытуемого является в отличие от известного способа не информативной, а вспомогательной операцией, используемой только для того, чтобы отобразить, отследить траекторию их движения, осуществить трекинг с помощью любых известных средств, например цифровой фотокамеры или с применением ультразвукового локатора (см. например, GB 1469536, А61В 5/11, 1977-04-06).

Использование при анализе параметров, непосредственно связанных с когнитивным процессом, означает, что используют известные параметры (например, если тестируемому пилоту предъявлен стимул в виде высотомера с минимальным показанием, он должен в норме считывать его показания в течение интервала, не превышающего 500-600 мс, то есть телесный угол, в котором находятся его зрачки, должен быть ограничен высотомером, а затем он должен перевести взгляд на другие приборы, анализируя нештатную ситуацию еще 1-2 с), параметры, которые будут перечислены ниже (назовем их когнитивными), или набор параметров, в том числе индивидуальных, которые определяют путем последовательного предъявления испытуемому стимулов и выявления характерных для когнитивного процесса параметров по его ответам и исходя из априорной информации.

К упомянутым когнитивным параметрам в соответствии с рассматриваемым способом относят быстро изменяющиеся параметры движений глазного яблока, в частности микросаккады и тремор, контроль которых осуществляют в диапазоне частот 20-800 Гц. К ним относятся и низкочастотные движения (их направление, амплитуда), сопровождающие разглядывание предмета, текста, изображения.

Использование для анализа временных (в данном случае под этим термином будем понимать и частотных) зависимостей параметров означает, что, выделив или выбрав набор контролируемых параметров, например, для случая опознания предъявленной фотографии, в виде двух параметров, макроперемещений в процессе распознавания объекта на угол более 1 градуса и амплитуды саккадических движений, далее контролируют изменение этих параметров от начального момента предъявления и до характерного момента опознания или потери интереса, в частности, частота макроперемещений и амплитуда микросаккад от момента предъявления до момента узнавания выше фоновых значений соответственно в 7-10 и 2,5-3 раза. В результате, при анализе можно использовать интервал времени от предъявления до снижения указанных параметров в качестве критерия того, был ли испытуемый заранее знаком с предъявленным изображением: если да, то интервал окажется существенно меньше обычного, характерного для незнакомого объекта. Ниже мы рассмотрим данный пример более подробно.

Выделение характерных точек, наличие и положение которых интерпретируют как начало и окончание искомых процессов в мозгу испытуемого, означает, что и когнитивные процессы, связанные с распознанием, узнаванием объекта, и когнитивные процессы, протекающие при попытке скрыть информацию или ввести собеседника в заблуждение, могут быть идентифицированы по величине выбранных когнитивных параметров на определенном интервале, начало и окончание которого распознают по изменению выбранных параметров.

Движение составляет неотъемлемую часть феномена зрения. Глаз при разглядывании предмета «ощупывает» его образ, спроецированный хрусталиком на сетчатку, но не просто центральной ее ямкой (фовеа) для максимального углового и цветового разрешения ключевых элементов картинки, как принято считать, а самыми разными специализированными алгоритмически участками (микрофрагментами) сетчатки, находя характерные и удобные для кодирования (данным микрофрагментом) элементы изображения. При этом в сетчатке такие специализированные зоны (фактически - наборы фильтров для обработки изображений) распределены во множестве, создавая сложный узор, так что большую роль в феномене перцепции играют именно микродвижения глаза, «прикладывающие» каждый элемент изображения к целому набору таких функциональных зон (в поиске характерного отклика/совпадения), и так итерационно, многократно повторяя этот процесс для элемента изображения в разных зонах сетчатки, уточняя образ и насыщая его закодированными деталями. Так, с нашей точки зрения, и происходит настройка зрительной системы на наиболее точное восприятие образа - по первоначально выявленным ключевым элементам изображения (его типу) выбирается и далее корректируется по командам мозга стратегия саккад, микросаккад и т.п.

В данном случае предлагается условная иерархическая модель зрения с использованием микродвижений глаза на различных этапах обработки изображения, а именно:

- саккады - для переноса «центральных» (расположенных в окрестностях точки фиксации зрения) элементов изображения из фовеа в область кольцевого и периферического зрения (и наоборот) для дополнительной обработки фрагментов картинки в разных зонах сетчатки, в том числе в областях «ночных» алгоритмов;

- микросаккады - для автоматического переброса элементов изображения между сенсорами и участками нейронной сети как внутри и в окрестностях фовеа, так и для других зон сетчатки - в окрестностях этих зон обработки для возможности применения различных ее типов;

- тремор (а также низкочастотная, дрейфовая составляющая движения) - также для переброса «центральных» фрагментов картинки внутри участков фовеолы с разной алгоритмикой обработки; (а остальных фрагментов изображения - соответственно внутри окрестности зон их точки проецирования) другими словами, тремор - это микро-микросаккады, и управление им, видимо, происходит из того же центра, а дрейф и высокочастотное движение - своего рода комбинация медленного и быстрого режимов «сканирования» глаза;

- микротремор (условно определяем как тремор минимальной амплитуды, независимой от когнитивных процессов) - для «межпиксельной» обработки: уточнения центров дифракционных картинок (в т.ч. цветных) точечных элементов изображения и обеспечения работы фотосенсоров без насыщения; микротремор, в частности основа работы периферического зрения.

Таким образом, совокупность микродвижений глаза при рассмотрении объекта совсем не хаотична, а отражает «алгоритмическую» специфику топологии сетчатки индивида и ее текущее состояние с учетом возможностей адаптации под тип объекта или задачу (обнаружения, распознавания или наоборот, стресса, попытки скрыть информацию и т.п.).

Далее в иерархии идут уже осознанные движения глаза, также определяемые когнитивным процессом. При этом мозг содержит полную модель сетчатки, верифицируя поступающую информацию, управляя низкочастотными режимами кинематики глаза и назначая высокочастотные автоматические режимы - в соответствии с характеристиками объекта, текущими потребностями организации панорамного зрения и идущей работой над образами (со всей своей обширной памятью и творческим подходом к достраиванию изображений). Как следствие, приходим к динамическому характеру синтетической картинки с обновлением фрагментов по запросу.

Данный подход позволяет в общем случае отделить составляющую микродвижений глаза, обеспечивающую физиологический процесс зрения от составляющей, определяемой когнитивным процессом и представляющей в связи с этим отдельный интерес. Помимо этого, регистрируя кратковременный меняющийся спектр микродвижений глаза в его высокочастотной области, получаем важную оперативную информацию о состоянии мозга, зрительной перцепции и сознании.

Фиг.1-4 иллюстрируют реализацию предлагаемого способа. На фиг.1 показано расположение ультразвуковых приемо-передатчиков в очках оператора. На фиг.2 изображены амплитудно-частотные характеристики, полученные предварительно и в процессе оценки психофизического состояния оператора. На фиг.3 показана траектория движения зрачков в процессе распознавания фотографии, а на фиг.4 приведены временные зависимости когнитивных параметров для этого применения способа (пунктирная кривая - количество макроперемещений, показанных на фиг.3, в процессе распознавания объекта, то есть пока взгляд испытуемого находится в пределах фотографии, на угол более 1 градуса в единицу времени и сплошная кривая - амплитуда саккадических движений). Как видно из рассмотрения фиг.4, интервал τ отражает время, за которое испытуемый опознает представленное на фотографии лицо. Если он заранее знаком с этим лицом, распознавание происходит за меньшее время, что и позволяет выявить обман в данном простейшем примере реализации способа.

На фиг.1, 2 схематично обозначено: 1 - очки оператора, 2, 3 - ультразвуковой передатчик и приемник соответственно, 4 - процессор, 5 - приборная панель, 6 - видеокамера, 7, 8, 9 - амплитудно-частотные характеристики движений глазного яблока, 10, 11, 12 - зоны когнитивного изменения быстроизменяющихся параметров движения глазного яблока 13 оператора.

Таким образом, предлагаемый способ позволяет не только мгновенно оценить потерю внимания (или сознания), либо концентрации оператора вследствие усталости или внешнего воздействия, а также момент восстановления концентрации, что существенно для управления рядом быстроменяющихся технологических процессов, при управлении летательными аппаратами и т.д., но и различать процессы восприятия и когнитивные процессы по степени активности, характеру, выделяя случаи, когда испытуемый пытается утаить информацию или испытывает стресс по иной причине.

Предлагаемый способ может осуществляться с использованием различных средств контроля за движением глазного яблока испытуемого (оператора): видеокамера со средствами обработки изображения, оптический матричный датчик или ультразвуковой локатор (фиг.1).

Существенным является лишь то, что контролируют именно траекторию движения глазного яблока, в частности низко- и высокочастотные движения глаза, и формируют из них по заранее определенному алгоритму комплексный показатель состояния оператора, характеризующий его состояние в данный момент времени.

К среднечастотным параметрам относятся саккадические движения глаза оператора и нистагмы. К низкочастотным - медленные произвольные движения, дрейф. Поскольку эти параметры давно используются для оценки состояния оператора, их связь с его состоянием известна, в предлагаемом способе можно корректировать мгновенную оценку, полученную с использованием высокочастотных параметров за короткий интервал времени (для ряда применений быстродействие может иметь решающее значение). Например, если комплексный показатель отклонился от нормального значения на пороговую величину или вышел из заданной зоны, в течение нескольких миллисекунд может быть введено ограничение или дана оценка действий оператора (испытуемого), а через 1-2 секунды, после анализа дополнительно измеренных медленно изменяющихся величин, это ограничение может быть подтверждено или снято, оценка изменена.

Помимо вышеназванного алгоритма формирования комплексного показателя состояния оператора, возможны другие, например, показатель может быть определен как сумма максимальных значений амплитудно-частотной характеристики в пределах зон когнитивного изменения или как сумма значений амплитудно-частотной характеристики на нескольких фиксированных частотах. Выбор наиболее информативного показателя, границ когнитивных зон или фиксированных частот производится по результатам предварительных испытаний. Например, при оценке состояния пилота испытуемого подвергают воздействию перегрузок и периодически тестируют, параметры амплитудно-частотной характеристики, наиболее сильно зависящие от величины перегрузки и/или потери внимания, выбирают для контроля в качестве комплексного показателя.

Введенное выше понятие «зона когнитивности» означает, что в этой зоне быстроизменяющиеся параметры движения глазного яблока наиболее сильно зависят от характера когнитивных процессов, происходящих в мозгу оператора, т.е. наиболее полно отражают его состояние. Например, характеристика 9 на фиг.2 снята в состоянии стресса, внутреннего конфликта, вызванного попыткой скрыть информацию. Характеристика 7 получена в состоянии эмоционального возбуждения, в ходе решения сложной задачи, а характеристика 8 получена в обычном, нормальном состоянии бодрствования.

Как показано на фиг.1, в очки 1 встроены передатчик 2 и приемник 3 ультразвуковых колебаний. Задержка отраженного от глазного яблока 13 сигнала зависит от скорости движения глазного яблока 13. При этом по оси ординат амплитудно-частотной характеристики можно откладывать как скорость глазного яблока 13, так и амплитуду его движения, т.е. интеграл скорости, для чего на входе процессора 4 устанавливается интегратор.

Предлагаемый способ не исключает возможность дополнительного контроля среднечастотных параметров движения глазного яблока или пульса или частотных характеристик речи для получения полной картины состояния оператора или принятия окончательного решения.

Предлагаемый способ допускает также следующие возможности контроля состояния оператора: в основном по быстроменяющимся параметрам (по величине комплексного показателя, в котором вес «медленных» движений минимален) или предварительно по «быстрым» движениям, а затем уточнение по «медленным».

Но, в отличие от известных технических решений подобного типа (полиграф и др.), наряду с измерением пульса, дыхания, давления, кожно-гальванической реакции и изменения мышечной и двигательной активности, или независимо от таких измерений используется факт изменения неосознаваемых микродвижений глаз (например - за счет экономии при кодировании картинки знакомого визуального объекта, а для некоторых типов людей - знакомого «воображаемого» объекта при появлении характерного звукового стимула - запись звуков, голоса т.п.). Для повышения вероятности правильного определения процесса опознания предварительно может быть проведена калибровка под особенности конкретного испытуемого, например, демонстрацией видеоряда, включающего заведомо знакомые предметы и лица и/или содержащего выборочные повторы (например, с незначащими изменениями размера, ракурса, обстановки). При этом распознавание знакомых сцен и образов происходит за меньшее время за счет экономной траектории взора и выявляется путем корреляции реакции на предъявляемые индивиду заведомо знакомые образы с вновь предъявляемыми лицами и картинами для опознания.

При организации компьютерного вопросника кроме отслеживания траектории движения глаз целесообразно использовать дополнительный анализ времени задержки голосового ответа и изменение тембра голоса на сходных фонемах (например, используя формулу «согласен/не согласен»).

Применение описанных возможностей делает предлагаемый способ статистически весьма достоверным и предполагает высокую эффективность различных систем контроля на его основе.

Изобретение относится к области психологии труда, медицине и может быть использовано для мониторинга состояния оператора, тестирования испытуемого, определения с высокой вероятностью степени осознания предъявляемой информации. Испытуемому предъявляют различные стимулы и определяют невольную физиологическую реакцию его глаз путем фиксации реакции зрачков. При определении реакции зрачков испытуемого фиксируют изменение характера микродвижений зрачков во времени. Выделяют на полученных зависимостях точки резкого изменения параметров по сравнению с фоновыми значениями. Интерпретируют их как начало и окончание контролируемых когнитивных процессов в мозгу испытуемого. Способ позволяет повысить эффективность способа контроля когнитивного процесса за счет использования параметров, более точно и непосредственно отражающих процесс осознания предъявленных стимулов, за счет использования конкретных методик и средств различения нормальных и анормальных когнитивных процессов, поддающихся автоматизации. 4 ил.

Способ контроля когнитивного процесса, включающий предъявление испытуемому различных стимулов и определение невольной физиологической реакции его глаз путем фиксации реакции зрачков испытуемого, отличающийся тем, что при определении реакции зрачков испытуемого фиксируют изменение характера микродвижений зрачков во времени и, выделяя на полученных зависимостях точки резкого изменения параметров по сравнению с фоновыми значениями, интерпретируют их, как начало и окончание контролируемых когнитивных процессов в мозгу испытуемого.