УСТРОЙСТВО КОНТРОЛЯ СОСТОЯНИЯ ОПЕРАТОРА И ОБЕСПЕЧЕНИЯ БЕЗОПАСНОСТИ Российский патент 2012 года по МПК G06K9/00 A61B5/16 

Изобретение относится к области конструирования средств безопасной эксплуатации сложных механизмов и систем, промышленных объектов и технологических процессов и может быть использовано на транспорте, в энергетике и других областях для определения состояния оператора и обеспечения таким образом безопасности как самого оператора, так и управляемого им объекта за счет управления его состоянием, принятия решения о степени готовности к последующей работе, необходимости отдыха или смены вида деятельности и пр. Кроме того, изобретение может быть использовано в процессе профессионального обучения для оценки состояния обучающегося.

Известна система обеспечения безопасности полетов, включающая инфракрасную камеру, средства распознавания черт лица на кадрах, а также средства анализа изменений черт лица и температуры отдельных его участков, способности оператора выполнять свою задачу (см. патент США 7,027,621, G06K 9/00, 11.04.2006). Слежение осуществляется путем сопоставления последовательных изображений (кадров). При обнаружении неадекватности подается сигнал, способный разбудить пилота или оператора. Данное устройство является наиболее близким к предлагаемому. Функционально данное устройство представляет собой последовательно соединенные камеру, блок обработки кадров, блок анализа поведения оператора и блок оценки его состояния.

Известное устройство недостаточно эффективно, поскольку отсутствует прямая, однозначная связь когнитивных процессов и черт лица, температуры отдельных его участков. Например, если оператор в задумчивости остановил взгляд на одном из приборов и готов принять важное решение, известная система может идентифицировать такое состояние как сонливость. Кроме того, недостаточная эффективность известного устройства обусловлена также тем, что алгоритм его работы является пассивным, известная система не провоцирует оператора, не тестирует его состояние в активном режиме, не предлагает ему те или иные задачи или управляющие воздействия, а пассивно следит за его состоянием и будит, если он заснул.

Таким образом, техническим результатом, ожидаемым от использования изобретения, является повышение его эффективности за счет учета когнитивных процессов при идентификации состояния оператора, активного тестирования его состояния и активного управления этим состоянием.

Указанный результат достигается тем, что известное устройство для контроля состояния оператора и обеспечения безопасности, содержащее последовательно соединенные камеру и блок обработки кадров, а также блок оценки состояния оператора, дополнительно снабжено блоком выделения траектории и анализатором когнитивного процесса, при этом выход блока обработки кадров подключен к входу блока выделения траектории, выход которого соединен с входом анализатора когнитивного процесса, выход которого подключен к входу блока оценки состояния оператора.

Кроме того, устройство может быть снабжено блоком анализа поведения оператора, вход и выход которого соединены с выходом блока выделения траектории и вторым входом блока оценки состояния оператора.

При этом устройство может быть снабжено также блоком запоминания персональных данных, вход и выходы которого соединены с выходом блока выделения траектории и вторыми входами блока анализа поведения оператора и анализатора когнитивного процесса соответственно.

И наконец, целесообразно снабдить устройство последовательно соединенными блоком взаимодействия с оператором, вход которого соединен с выходом блока оценки состояния оператора, и дисплеем, причем выход синхронизации блока взаимодействия с оператором соединен с соответствующим входом анализатора когнитивного процесса.

Таким образом, состояние оператора контролируется в предложении путем предъявления ему некоей задачи, образа, теста, то есть по спровоцированной когнитивной задаче. Состояние оператора оценивается в зависимости от того, насколько он готов решать такую задачу, как именно он ее решает, по параметрам когнитивного процесса, которые определяют по движению глаз оператора.

Из вышеизложенного следует, что поставленная задача решается прежде всего за счет того, что при анализе последовательности кадров сначала выделяют траекторию движения глаз(а) оператора, а затем по ее параметрам анализируют протекание когнитивных процессов в его мозгу, что позволяет определить его состояние. С этой целью устройство содержит последовательно соединенные видеокамеру (или несколько камер с соответствующей коммутацией их выходного сигнала), блок обработки кадров, блок выделения траектории, анализатор когнитивного процесса и блок оценки состояния оператора.

Для более эффективной идентификации когнитивных процессов вводится блок запоминания персональных данных, вход и выходы которого соединены с выходом блока выделения траектории и вторыми входами блока анализа поведения оператора и анализатора когнитивного процесса соответственно. А блок взаимодействия с оператором, вход которого соединен с выходом блока оценки состояния оператора, обеспечивает постановку когнитивной задачи и управление состоянием оператора в случае, если оно оказывается неудовлетворительным, не соответствующим решаемой им задаче.

На чертеже приведена блок-схема устройства, при этом использованы следующие обозначения: 1 - видеокамера (для простоты рассматривается случай с одной камерой, поскольку их количество для данного решения не принципиально), 2 - блок обработки кадров, 3 - блок выделения траектории, 4 - анализатор когнитивного процесса, 5 - блок анализа поведения оператора, 6 - блок запоминания персональных данных, 7 - блок оценки состояния оператора, 8 - блок взаимодействия с оператором, 9 - дисплей, 10 - процессорный блок.

Информация с выхода видеокамеры 1 поступает на вход блока обработки кадров 2, выход которого соединен с входом блока выделения траектории 3. Выход последнего соединен с входами анализатора когнитивного процесса 4, блока анализа поведения оператора 5 и блока запоминания персональных данных 6. Выходы последнего подключены ко вторым входам анализатора когнитивного процесса 4 и блока анализа поведения оператора 5, выходы которых подключены к соответствующим входам блока оценки состояния оператора 7, выход которого подключен к входу блока взаимодействия с оператором 8, выход которого может быть подключен к дисплею 9. Блоки 2-8 образуют процессорный блок 10.

Рассмотрим работу устройства более подробно. Блок обработки кадров 2 выделяет из непрерывного потока видеоинформации с выхода видеокамеры 1 последовательность статических изображений глаз оператора, поступающих на блок выделения траектории 3. Последний путем анализа последовательности изображений формирует на своем выходе числовую последовательность координат центров зрачков оператора, образующую траекторию их движения (с учетом других перемещений), которая поступает на вход анализатора когнитивного процесса 4. В простейшем случае в нем траектория движения зрачков подвергается анализу (в том числе с учетом времени задержки зрительной реакции, т.е. интервалом времени между сигналом привлечения внимания и расположением взора в области стимула), по результатам которого делается вывод о характере, продолжительности, интенсивности когнитивного процесса, происходящего в данный момент в мозгу оператора. При этом используются неперсонифицированные априорные данные о связи траектории и ее параметров, в первую очередь, высокочастотных движений зрачков (саккад, микросаккад и тремора) с процессами восприятия и осмысления информации, а также априорные данные о тех образах, объектах и раздражителях, которые могут в данной обстановке спровоцировать когнитивный процесс. Данные о характере, продолжительности, интенсивности когнитивных процессов поступают на вход блока оценки состояния оператора 7, который собственно и формирует информационный сигнал о состоянии последнего. Данная совокупность элементов (блоков) позволяет анализировать стратегию при разглядывании и состав микродвижений глаз оператора, делать вывод о когнитивных процессах в его мозгу и уже на основании этой информации определять текущее состояние оператора.

При упоминании траектории движения глаз (зрачков) следует иметь в виду, что глаз оператора совершает множество других (низкочастотных) перемещений, вместе с движением всего тела оператора, движениями головы. Эти составляющие, с одной стороны, учитываются для понимания точного положения линии взора и объекта, на который обращено зрение, а с другой - вычитаются, отфильтровываются, чтобы в чистом виде и без помех получить непосредственно компоненты движения глаз со всеми их нюансами.

Если устройство дополнительно содержит блок анализа поведения оператора 5, то, как и в известном устройстве, данный блок по траектории зрачков оператора определяет, на какой именно прибор или группу приборов направлен взгляд оператора, часто ли он моргает, переводит взгляд, и анализирует другие поведенческие реакции.

Как показано на фиг.1, устройство может также содержать блок запоминания персональных данных 6, который сначала в процессе предъявления оператору тестовых объектов или просто в ходе штатной работы накапливает данные и формирует таблицу соответствий между когнитивными задачами и параметрами траектории движения зрачков именно этого оператора, а затем транслирует эти данные для анализа когнитивного процесса и поведения оператора любым известным образом в блоки 4, 5. Здесь важно подчеркнуть, что в устройстве блок запоминания персональных данных 6 может использоваться и без блока анализа поведения оператора 5, в этом случае когнитивный процесс и состояние определяются только по траектории (ее параметрам) зрачков, что конструктивно выражается в том, что блок запоминания персональных данных 6 имеет один выход, подключенный к второму входу.

И наконец, в наиболее полном виде, устройство может содержать блок взаимодействия с оператором 8, выход которого подключен к дисплею 9. В этом случае появляется возможность не только следить за состоянием оператора, но и тестировать его состояние, активно управлять им, предъявляя оператору знакомые или новые объекты в виде изображений, текста или словесных высказываний. Например, в режиме тестирования состояния оператора ему может быть на дисплее 9 предъявлено знакомое изображение в ряду незнакомых, что в нормальном состоянии приведет к узнаванию, разглядыванию изображения, задержке взгляда, а в случае сильного утомления не вызовет подобной реакции.

Дисплей 9 может представлять собой весьма примитивное устройство с малым количеством сегментов (и, следовательно, быть размером всего 2-3 см), пригодное для воспроизведения пусть даже ограниченного количества символов (что может быть легко внедрено в самые разные существующие панели управления без их существенной переделки), при предлагаемом подходе этого уже достаточно для определения состояния оператора.

Привлечение внимания к изображению может производиться соответствующим сигналом (дисплей 9 обычно выполняется с возможностью подачи звуковых сигналов) и при этом помимо или вместо измерения задержки реакции или ответного действия (нажатия кнопки) выполняется анализ паттерна движения линии визирования при распознавании и на основании предыдущих калибровок производится определение степени утомления или психического состояния. Сам процесс такого отвлечения оператора, в свою очередь, является полезным с точки зрения увеличения последующей концентрации внимания на рабочих задачах.

Одновременно может реализовываться обратная связь для коррекции состояния оператора. Например, после предъявления оператору тестовой картинки и анализа продемонстрированного им распознавания на дисплее 9 может появляется другая картинка, символизирующая оценку состояния и мотивирующая оператора к мобилизации, или, наоборот, оценка не сообщается, но делается попытка коррекции этого состояния в соответствии с выбранной стратегией (различные способы активизации внимания, подбадривания, стимулирования и пр.). При этом уже сама информация о факте регистрации системой неудовлетворительных состояний оператора (и возможность их архивирования в блоке запоминания персональных данных 6) является мобилизующим фактором для оператора и заставляет его держаться в тонусе в процессе общения с системой. Периодичность этого общения должна быть ограничена и определяться или конкретными надобностями, например снижением параметров качества работы оператора (различные задержки и пр.), которые регистрирует система управления, или соответствующим режимом работы, чтобы не стать, в свою очередь, фактором утомления, нервозности и т.п.

Из сказанного выше ясно, что существо предложения сводится к постановке перед оператором некоторой перцептивной задачи, тем самым предъявлению ему некоего когнитивного вызова, стимула, и контролю за его реакцией по движению глаз. При этом когнитивной задачей может являться предъявление какого-либо мнемонического символа (или даже иероглифа или буквы) с преднамеренно внесенным искажением (отсутствие одного элемента и др.), что собственно и является фактором, реакцию на который мы ожидаем при когнитивном процессе (в данном случае - распознавании).

Помимо регистрации утомления и пр. устройство может использоваться в области радиационной и иной экстремальной медицины для определения, например, степени поражения облучением, а также отравления или воздействия других опасных факторов в реальном времени.

Более того, в процессе работы оператора возможным (т.е. безопасным) следует считать сознательную коррекцию им своего состояния на основе оценок, предоставляемых устройством. В то же время в перерывах активности оператора возможно использование более эффективных методов биологической обратной связи с регистрацией параметров глазодвигательной активности (а при возможности - дополнительно кожно-гальванической реакции (браться руками за ручки для измерений), ЭЭГ и других параметров) и использование синтезированных на их основе акустических или визуальных сигналов обратной связи.

Существенным преимуществом использования по сравнению с существующими системами (например, различные «кнопки бдительности» и др.) является прежде всего то, что от оператора не требуется в общем случае никаких специальных действий, кроме как перевести взгляд - случайно или в ответ на привлекающий оптический или звуковой сигнал - на некий зрительный стимул на экране дисплея 9, и по проявлению зрительной когнитивной активности (узнавание и пр.) моментально может быть определено текущее состояние испытуемого со всеми вытекающими последствиями для системы управления или обучающего процесса.

Изобретение относится к средствам обеспечения безопасной эксплуатации сложных объектов и может быть использовано на транспорте, в энергетике и других областях для определения состояния оператора. Технический результат заключается в повышении эффективности идентификации состояния оператора за счет учета когнитивных процессов и активного тестирования его состояния. Устройство содержит камеру, формирователь кадров, блок оценки состояния оператора, формирователь траектории, блок запоминания персональных данных, анализатор когнитивного процесса, блок взаимодействия с оператором, дисплей. 1 з.п. ф-лы, 1 ил.

1. Устройство для контроля состояния оператора по спровоцированной когнитивной задаче, содержащее последовательно соединенные камеру и формирователь кадров, а также блок оценки состояния оператора, отличающееся тем, что оно дополнительно снабжено формирователем траектории, блоком запоминания персональных данных, анализатором когнитивного процесса и последовательно соединенными блоком взаимодействия с оператором, вход которого соединен с выходом блока оценки состояния оператора, и дисплеем, причем выход синхронизации блока взаимодействия с оператором соединен с соответствующим входом анализатора когнитивного процесса, при этом выход формирователя кадров подключен к входу формирователя траектории, выход которого соединен с входом анализатора когнитивного процесса, выход которого подключен к входу блока оценки состояния оператора, а вход и выходы блока запоминания персональных данных соединены с выходом формирователя траектории и вторыми входами анализатора поведения оператора и анализатора когнитивного процесса соответственно.

2. Устройство по п.1, отличающееся тем, что оно снабжено анализатором поведения оператора, вход и выход которого соединены с выходом формирователя траектории и вторым входом блока оценки состояния оператора.