СПОСОБ ОЦЕНКИ БЕЗОПАСНОГО СОСТОЯНИЯ ОПЕРАТОРОВ СИСТЕМ УПРАВЛЕНИЯ Российский патент 2011 года по МПК A61B10/00 

Изобретение относится к средствам контроля состояния операторов, пилотов, водителей, испытуемых, пациентов и т.п. и может быть использовано в авиации, медицине и других областях для мгновенного реагирования на изменения функционального, эмоционального или психофизического состояния человека и оценки этого состояния с целью повышения безопасности систем управления транспортными средствами, летательными аппаратами, диспетчерскими пунктами и проч.

Известен способ оценки психофизического состояния человека, в котором регистрируют диаметр зрачка, число актов моргания по данным видеоокулографии. Дополнительно регистрируют площадь фигуры, построенной по точкам максимального отклонения центра глаз от видимого среднего положения и сравнивают полученные данные с контрольными значениями (см. патент РФ №2337607, А61В 3/113, 2007.03.28).

Недостатком известного способа является низкая информативность и недостаточное быстродействие: для целого ряда применений важно определить изменение состояния оператора за доли секунды. Кроме того, определенные процессы, происходящие в его организме, отражаются преимущественно на быстрых движениях глазного яблока и век.

Наиболее близким к предложенному является способ оценки психофизического состояния, в частности сонливости оператора. Для этого контролируют такие сравнительно медленно изменяющиеся (низко- и среднечастотные) параметры, как стабильность взгляда, скорость саккад и их частота, длительность моргания и сканирующее поведение оператора в целом (см. патент США №6091334, G08B 21/06, 04.09.1998 г.). Эти параметры сравниваются с предварительно полученным набором данных бодрствующего оператора и по результатам сравнения определяют психофизическое состояние.

Несмотря на то, что известный способ учитывает более быстрые процессы, происходящие в глазу, а именно моргание, сканирование и скорость саккад, он также не позволяет определять состояние оператора за доли секунды. Основной причиной этого является совместное использование быстрых и медленных процессов и усреднение, используемое при реализации способа. Кроме того, данный способ недостаточно информативен: выбор контролируемых параметров обеспечивает фиксацию только сонливости оператора, но не позволяет с достаточной степенью достоверности определять другие случаи неадекватного поведения, например перевозбуждение, перегрузку, воздействие препаратов, эмоциональное состояние.

Таким образом, техническим результатом, ожидаемым от использования изобретения, является повышение информативности и быстродействия способа.

Указанный результат достигается тем, что в способе оценки психофизического состояния операторов систем управления, включающем контроль параметров движения глазного яблока оператора и сравнение полученных величин с данными оператора, находящегося в нормальном состоянии, контролируют быстроизменяющиеся параметры движения глазного яблока, по результатам контроля быстроизменяющихся параметров движения глазного яблока формируют комплексный показатель мгновенного психофизического состояния оператора и сравнивают полученное значение с предварительно полученным комплексным показателем мгновенного психофизического состояния оператора, находящегося в нормальном состоянии, и по величине отклонения принимают решение о степени безопасности участия оператора в работе системы управления.

При этом в качестве быстроизменяющихся параметров выбирают микросаккады и/или тремор.

Кроме того, контроль быстроизменяющихся параметров осуществляют в диапазоне частот 20-1500 Гц.

Целесообразно также по отклонению комплексного показателя мгновенного психофизического состояния оператора от предварительно полученного значения предварительно сначала понижать (повышать) оценку психофизического состояния оператора, а после поступления данных о величине отклонения среднечастотных и низкочастотных параметров от их нормальных значений производить уточнение величины снижения (повышения) оценки психофизического состояния оператора.

При этом в качестве комплексного показателя мгновенного психофизического состояния оператора используют интеграл амплитудно-частотной характеристики, ограниченной зонами когнитивного изменения быстроизменяющихся параметров движения глазного яблока.

Кроме того, быстроизменяющиеся параметры движения глазного яблока контролируют, направляя на глазное яблоко ультразвуковые колебания от источника, расположенного в очках оператора, и фиксируя допплеровскую задержку отраженного сигнала.

Целесообразно также оценку безопасного состояния производить по сумме и/или разности комплексных показателей мгновенного психофизического состояния для обоих глаз оператора.

Фиг.1-3 иллюстрируют реализацию предлагаемого способа. На фиг.1 показано расположение ультразвуковых приемо-передатчиков в очках оператора. На фиг.2 изображены амплитудно-частотные характеристики, полученные предварительно и в процессе оценки психофизического состояния оператора. На фиг.3 показан спектр частот тремора для левого и правого глаза.

На фиг.1 и 2 схематично обозначено: 1 - очки оператора, 2, 3 - ультразвуковой передатчик и приемник соответственно, 4 - процессор, 5 - приборная панель, 6 - видеокамера, 7, 8, 9 - амплитудно-частотные характеристики движений глазного яблока, 10, 11, 12 - зоны когнитивного изменения быстроизменяющихся параметров движения глазного яблока 13 оператора.

Как явствует из описания графических материалов, предлагаемый способ может осуществляться с использованием различных средств контроля за движением глазного яблока испытуемого (оператора): видеокамера со средствами обработки изображения, оптический матричный датчик или ультразвуковой локатор (фиг.1).

Существенным является лишь то, что контролируют именно высокочастотные движения глаза и формируют из них по заранее определенному алгоритму комплексный показатель состояния оператора, характеризующий его состояние в данный момент времени.

К среднечастотным параметрам относятся саккадические движения глаза оператора и нистагмы. К низкочастотным - медленные произвольные движения, дрейф. Поскольку эти параметры давно используются для оценки состояния оператора, их связь с его состоянием известна, в предлагаемом способе можно корректировать мгновенную оценку. Например, если комплексный показатель отклонился от нормального значения на пороговую величину или вышел из заданной зоны, в течение нескольких миллисекунд может быть введено ограничение на некоторые действия оператора, а через 1-2 секунды, после анализа дополнительно измеренных медленно изменяющихся величин, это ограничение может быть подтверждено или снято.

Помимо вышеназванного алгоритма формирования комплексного показателя состояния оператора, возможны другие, например, показатель может быть определен как сумма максимальных значений амплитудно-частотной характеристики в пределах зон когнитивного изменения или как сумма значений амплитудно-частотной характеристики на нескольких фиксированных частотах. Выбор наиболее информативного показателя, границ когнитивных зон или фиксированных частот производится по результатам предварительных испытаний. Например, при оценке состояния пилота испытуемого подвергают воздействию перегрузок и периодически тестируют, параметры амплитудно-частотной характеристики, наиболее сильно зависящие от величины перегрузки и/или потери внимания, выбирают для контроля в качестве комплексного показателя.

Введенное выше понятие «зона когнитивности» означает, что в этой зоне быстроизменяющиеся параметры движения глазного яблока наиболее сильно зависят от характера когнитивных процессов, происходящих в мозгу оператора, т.е. наиболее полно отражают его состояние. Например, характеристика 9 на фиг.2 снята в нормальном состоянии оператора. Характеристика 7 получена в состоянии эмоционального возбуждения, в ходе решения сложной задачи, а характеристика 8 получена в состоянии сильного стресса, не позволяющего оператору быстро и правильно реагировать на изменение обстановки.

Как показано на фиг.1, в очки 1 встроены передатчик 2 и приемник 3 ультразвуковых колебаний. Задержка отраженного от глазного яблока 13 сигнала зависит от скорости движения глазного яблока 13. При этом по оси ординат амплитудно-частотной характеристики можно откладывать как скорость глазного яблока 13, так и амплитуду его движения, т.е. интеграл скорости, для чего на входе процессора 4 устанавливается интегратор. Важно подчеркнуть, что такой способ снятия амплитудно-частотной характеристики имеет дополнительное преимущество: длительное воздействие слабого ультразвукового сигнала на глаз оператора улучшает его состояние, повышает его устойчивость к стрессу, в том числе и за счет улучшения капиллярного кровообращения и ускорения клеточного метаболизма.

При оценке состояния оператора по разности комплексных показателей наиболее четко выявляется зависимость синхронности движений правого и левого глаза от психофизического состояния. При использовании суммы - зависимость интенсивности движений от состояния оператора.

Итак, предлагаемый способ не исключает необходимость контроля низко- и среднечастотных параметров для получения полной картины состояния оператора или принятия окончательного решения. Предлагается двухступенчатый контроль: при существенном отклонении комплексного показателя мгновенного психофизического состояния оператора от нормы система управления, в которой задействован оператор, приводится в состояние тревоги, действия оператора временно ограничиваются, усиливается контроль за его решениями и состоянием, включаются дублирующие механизмы и т.п., в частности производится сравнение низко- и среднечастотных параметров движения глазного яблока оператора (нистагмы, саккады, дрейф, сознательный перевод взгляда с одних приборов и органов управления на другие, корреляция таких движений с действиями оператора, исключение движений, обусловленных вибрацией или маневром) с нормальными значениям и по результатам контроля низко- и среднечастотных параметров движения глазного яблока оператора принимается скорректированное решение (ограничения сохраняются, усиливаются или снимаются, контроль продолжается или временно прекращается, состояние «тревоги» снимается и т.п.).

Предполагается, что оценка психофизического состояния оператора однозначно связана со степенью безопасности его участия в работе системы или, что то же, с безопасностью системы «оператор - система управления».

Предлагаемый способ допускает следующие возможности контроля состояния оператора: в основном по быстроменяющимся параметрам (по величине комплексного показателя, в котором вес «медленных» движений минимален) или предварительно по «быстрым» движениям, а затем уточнение по «медленным».

Движение составляет неотъемлемую часть феномена зрения. Глаз при разглядывании предмета «ощупывает» его образ, спроецированный хрусталиком на сетчатку, но не просто центральной ее ямкой (фовеа) для максимального углового и цветового разрешения ключевых элементов картинки, как принято считать, а самыми разными специализированными алгоритмически участками (микрофрагментами) сетчатки, находя характерные и удобные для кодирования (данным микрофрагментом) элементы изображения. При этом в сетчатке такие специализированные зоны (фактически - наборы фильтров для обработки изображений) распределены во множестве, создавая сложный «узор» (и, возможно, перестраиваемый), и большую роль в феномене перцепции играют именно микродвижения глаза, «прикладывающие» каждый элемент изображения к целому набору таких функциональных зон (в поиске характерного отклика/совпадения), и так итерационно, многократно повторяя этот процесс для элемента изображения в разных зонах сетчатки, уточняя образ и насыщая его (закодированными) деталями. Так, с нашей точки зрения, и происходит настройка зрительной системы на наиболее точное восприятие образа - по первоначально выявленным ключевым элементам изображения (его типу) выбирается и далее корректируется по командам мозга стратегия саккад, микросаккад и т.п.

В данном случае предлагается условная иерархическая модель зрения с использованием микродвижений глаза на различных этапах обработки изображения, а именно:

- саккады - для переноса «центральных» (расположенных в окрестностях точки фиксации зрения) элементов изображения из фовеа в область кольцевого и периферического зрения (и наоборот) для дополнительной обработки фрагментов картинки в разных зонах сетчатки, в том числе в областях «ночных» алгоритмов;

- микросаккады - для автоматического переброса элементов изображения между сенсорами и участками нейронной сети как внутри и в окрестностях фовеа, так и для других зон сетчатки - в окрестностях этих зон обработки для возможности применения различных ее типов;

- тремор (а также низкочастотная, дрейфовая составляющая движения) - также для переброса «центральных» фрагментов картинки внутри участков фовеолы с разной алгоритмикой обработки (а остальных фрагментов изображения - соответственно внутри окрестности зон их точки проецирования), другими словами, тремор - это микро-микросаккады и управление им, видимо, происходит из того же центра, а дрейф и высокочастотное движение - своего рода комбинация медленного и быстрого режимов «сканирования» глаза;

- микротремор (условно определяем как тремор минимальной амплитуды, независимой от когнитивных процессов) - для «межпиксельной» обработки: уточнения центров дифракционных картинок (в т.ч. цветных) точечных элементов изображения и обеспечения работы фотосенсоров без насыщения; микротремор, в частности - основа работы периферического зрения.

Таким образом, совокупность микродвижений глаза при рассмотрении объекта совсем не хаотична, а отражает «алгоритмическую» специфику топологии сетчатки индивида и ее текущее состояние с учетом возможностей адаптации под тип объекта или задачу (обнаружения, распознавания и т.п.).

Далее в иерархии идут уже осознанные движения глаза, определяемые когнитивным процессом. При этом мозг содержит полную модель сетчатки, верифицируя поступающую информацию, управляя низкочастотными режимами кинематики глаза и назначая высокочастотные автоматические режимы - в соответствии с характеристиками объекта, текущими потребностями организации панорамного зрения и идущей работой над образами (со всей своей обширной памятью и творческим подходом к достраиванию изображений). Как следствие, приходим к динамическому характеру синтетической картинки с обновлением фрагментов по запросу.

Регистрируя кратковременный меняющийся спектр микродвижений глаза в его высокочастотной области, получаем важную оперативную информацию о состоянии мозга, зрительной перцепции и сознании.

Таким образом, предлагаемый способ позволяет мгновенно оценить потерю внимания (или сознания) либо концентрации оператора вследствие усталости или внешнего воздействия, а также момент восстановления концентрации, что существенно для управления рядом быстроменяющихся технологических процессов, при управлении летательными аппаратами и т.д.

Источники информации

1. Сеченов И.М. Избранные произведения. T.I. Физиология и психология. - М.: Изд-во АН СССР, 1952. - 772 с.

2. Хьюбел Д. Глаз, мозг, зрение /Пер. с анг. - М.: Мир, 1990. -239 с.

3. Филин В.А. ВИДЕОЭКОЛОГИЯ. ЧТО ДЛЯ ГЛАЗА ХОРОШО, А ЧТО - ПЛОХО. М.: Видеоэкология, 2006. - 512 с., ил.

4. Красота и мозг. Биологические аспекты эстетики /Пер. с анг. - М.: Мир, 1995.

5. Ярбус А.Л. «Роль движений глаз в процессе зрения», Наука, 1965.

Изобретение относится к области медицины и инженерной психологии и может быть использовано для контроля состояния операторов, пилотов, водителей, испытуемых, пациентов и т.п. в авиации, мгновенного реагирования на изменения функционального, эмоционального или психофизического состояния человека и оценки этого состояния. Осуществляют контроль параметров движения глазного яблока. Сравнивают полученные величины с данными оператора, находящегося в нормальном состоянии. Определяют мгновенное психофизическое состояние оператора, для чего определяют быстроизменяющиеся параметры движений глазного яблока оператора в зоне их когнитивного изменения. Способ позволяет мгновенно оценить потерю внимания (или осознания) либо концентрации оператора вследствие усталости или внешнего воздействия, а также момент восстановления концентрации оператора. 5 з.п. ф-лы, 3 ил.

1. Способ оценки психофизического состояния операторов систем управления, включающий контроль параметров движения глазного яблока, и сравнение полученных величин с данными оператора, находящегося в нормальном состоянии, отличающийся тем, что определяют мгновенное психофизическое состояние оператора, для чего определяют быстроизменяющиеся параметры движений глазного яблока оператора, в зоне их когнитивного изменения.

2. Способ по п.1, отличающийся тем, что в качестве быстроизменяющихся параметров выбирают микросаккады и/или тремор.

3. Способ по п.1, отличающийся тем, что контроль быстроизменяющихся параметров осуществляют в диапазоне частот 20-1500 Гц.

4. Способ по п.1, отличающийся тем, что при отклонении комплексного показателя мгновенного психофизического состояния оператора от значения показателя состояния оператора, находящегося в нормальном состоянии, изменяют оценку психофизического состояния оператора, определяют отклонение среднечастотных и низкочастотных параметров от их нормальных значений и на основании этого производят корректировку оценки психофизического состояния оператора.

5. Способ по п.1, отличающийся тем, что быстроизменяющиеся параметры движения глазного яблока контролируют, направляя на глазное яблоко ультразвуковые колебания от источника, расположенного в очках оператора, и фиксируя допплеровскую задержку отраженного сигнала.

6. Способ по п.1, отличающийся тем, что оценку безопасного состояния производят по сумме и/или разности комплексных показателей мгновенного психофизического состояния для обоих глаз оператора.