СПОСОБ ИДЕНТИФИКАЦИИ ЧЕЛОВЕКА ПО ЭЭГ-ОТКЛИКУ НА НЕОДНОЗНАЧНЫЕ ИЗОБРАЖЕНИЯ Российский патент 2018 года по МПК G06K9/66 A61B5/476 H04L9/32 G06N3/02 

Изобретение относится к биометрической идентификации и аутентификации человека и может быть использовано в системах ограничения доступа на охраняемые объекты, в системах обучения и электронного документооборота, в электронных паспортах и удостоверениях личности.

Известен способ биометрической идентификации (патент РФ №2286599 МПК G06K 9/66), включающий считывание информации о биометрической характеристике пользователя - отпечатка пальца, сравнение полученной информации с образцом и защиту от подделки измерением временной зависимости площади контактной поверхности отпечатка пальца.

Недостатком этого способа является использование недостаточно надежного биометрического образа - отпечатка пальца человека, не позволяющего постоянно отслеживать личность идентифицируемого и который может быть поврежден при травме.

Известен способ идентификации человека по его биометрическому образу (патент РФ №2292079 МПК G06K 9/62 А61В 5/117), по которому биометрический образ - запись в документе, удостоверяющем личность идентифицируемого человека, преобразуют в код и подают на вход искусственной нейросети, предварительно обученной с использованием заданного кода на примерах биометрических образов идентифицируемого человека сравнивают полученный и заданный коды и в случае совпадения принимают положительное решение об идентификации человека, или, в противном случае, отрицательное.

Недостатком этого способа является использование недостаточно надежного и однозначного биометрического образа - записи в документе, которую можно заменить или подделать, и отпечатка пальца человека, не позволяющих постоянно отслеживать личность идентифицируемого.

К одному из новых направлений в биометрии можно отнести системы обработки данных электроэнцефалографии (ЭЭГ). Впервые идея аутентификации на основе данных ЭЭГ была предложена С. Марселом (S. Marcel) (Marcel S. Person Authentication Using Brainwaves (EEG) and Maximum A Posteriori Model Adaptation / S. Marcel, J. Millan // IEEE Trans. Pattern Analysis and Machine Intelligence. - 2007. - P. 743-752). В дальнейшем P. Паранджап (R Paranjape) проводил исследования о применимости данных ЭЭГ в биометрических системах (Paranjape R. The Electroencephalogram as A Biometric / R. Paranjape, J. Mahovsky, L. Benedicenti, Z. Koles // In Proc. Canadian Conference on Electtrical and Computer Engineering. - 2001. - Vol. 2. - P. 1363 -1366). В тех же направлениях велись исследования и группой М. Поулоса (М. Poulos) с соавторами (Poulos М. Neural Network Based Person Identification Using BEG Features / M. Poulos M. Rangoussi, N. Alexandris // IEEE Int. Conference on Acoustics, Speech, and Signal Processing. - 1999. - P. 1117-1120). В работах P. Паланьяпана (R. Palaniappan) с соавторами особое значение отводится роли визуальных стимуляций в вопросах идентификации с использованием данных ЭЭГ (Palaniappan R. Method of Identifying Individuals Using VEP Signals and Neural Networks // Sci. Meas. Technol. 2004. - P. 1386-1389).

Использование данных ЭЭГ имеет несколько преимуществ. Они конфиденциальны, их можно использовать во время всего сеанса доступа, весьма сложно подделать и практически невозможно украсть, кроме того, «пароль» легко сменить. С точки зрения надежности и приватности сигналы ЭЭГ имеют ряд преимуществ перед традиционными биометрическими идентификаторами: отпечатками пальцев, снимками радужной оболочки глаза и фотографиями лица. Системы ЭЭГ-биометрии устойчивы к фальсификации. Преимуществом систем распознавания на основе ЭЭГ является возможность работы с людьми, имеющими инвалидность или серьезные травмы - например ампутированные конечности, аниридию (отсутствие радужной оболочки) или обожженные пальцы. Кроме того, возможность постоянно и прозрачно следить за спонтанной активностью мозга или откликами на когнитивные стимулы является защитой от подмены личности, против которой бессильны системы с однократной проверкой данных.

Известны система и способ идентификации и оценки личности на основе сигналов ЭЭГ (WO 2016113717 (А1) - 2016-07-21). В способе, изложенном в этом патенте, по сигналам ЭЭГ, полученным как образы мозговой активности, строится четырехмерная визуализации статистических, временных и спектральных свойств сигналов ЭЭГ субъекта, по которой затем оценивается его личность и интерпретируется состояние мозга. Недостатком способа является отсутствие определенных стимулов, вызывающих у оператора одинаковую или похожую мозговую активность.

Наиболее близким к предлагаемому изобретению является способ, реализованный в системе идентификации личности с помощью ЭЭГ на основе протокола CEREBRE (от англ. Cognitive Event RElated Biometric REcognition - Биометрическое распознавание на основе когнитивных событий) (Maria V. Ruiz-Blondet. CEREBRE: A Novel Method for Very High Accuracy Event-Related Potential Biometric Identification / Maria V. Ruiz-Blondet, Zhanpeng Jin, Sarah Laszlo // IEEE Transactions on Information Forensics and Security. - 2016. - Vol. 11. - Is. 7. - P. 1618-1629). Принцип его работы заключается в идентификации индивидуальных реакций на различные стимулы (первичное визуальное восприятие, распознавание лиц, вкус) с помощью ЭЭГ. Для этого создан набор из 400 изображений размером 500×500 пикселей, относящихся к четырем категориям: 100 наклонных решеток, 100 редко употребляемых слов, 100 изображений пищи и 100 фотографий знаменитостей. 100 из этих изображений случайным образом представлены в цвете, остальные были черно-белыми (это сделано для дополнительной «нетипичной» стимуляции). В ходе эксперимента 50 добровольцам предложили выбрать себе легко запоминающийся «образ-ключ», мысленно связать его с черным ярлыком-ключом и представлять его себе при дальнейшем просмотре. Затем им демонстрировали набор из 400 изображений, причем при появлении цветной картинки они должны были нажимать на кнопку. В это время у них регистрировали электрическую активность различных областей мозга с помощью 26-электродной ЭЭГ. На основании полученных данных специализированная программа составляла для каждого участника ЭЭГ-портрет. На второй стадии эксперимента участникам демонстрировали те же изображения в случайном порядке. Их снова просили нажимать на кнопку при появлении цветного изображения. Кроме того, при возникновении перед очередным изображением черного ярлыка, добровольцы должны были представить «образ-ключ». По данным ЭЭГ, снятой в ходе просмотра, система смогла идентифицировать участников со стопроцентной точностью.

Недостатком данного способа является большая сложность и длительность процесса обучения системы и идентификации операторов, высокая вероятность ошибочных действий операторов в процессе идентификации, что снижает надежность и эффективность практического использования системы.

Для устранения указанных недостатков предлагается способ идентификации человека по ЭЭГ - отклику на неоднозначные изображения.

Технической проблемой предлагаемого изобретения является отсутствие быстрого и надежного способа идентификации человека с использованием индивидуальных реакций на небольшой набор относительно простых стимулов с помощью ЭЭГ.

Поставленная проблема решается тем, что в качестве стимулов для идентификации человека использованы так называемые неоднозначные изображения, например кубы Неккера (W. Einhäuser, K. A. С. Martin, Р. Konig Are switches in perception of the Necker cube related to eye position? // European Journal of Neuroscience. 2004. Vol. 10. ¹ 20. P. 2811-2818), предъявление небольшого набора которых идентифицируемому человеку позволяет получить достаточно полный его ЭЭГ-портрет, который запоминается в базе данных и используется как эталон при дальнейшей идентификации; в качестве алгоритмов распознавания используются искусственные нейронные сети (ИНС).

Способ поясняется рисунками. На Фиг. 1 - схема способа обучения системы идентификации человека по ЭЭГ-отклику на неоднозначные изображения (для упрощения рисунка приведена часть из 19 использованных каналов ЭЭГ), на Фиг. 2 - схема размещения электродов (а) и типичная запись ЭЭГ для двух типов кубов при I=0,5 (в), на Фиг. 3 - схема способа идентификации человека по ЭЭГ-отклику на неоднозначные изображения.

Предлагаемый способ, заключающийся в идентификации индивидуальных реакций на различные стимулы с помощью ЭЭГ, состоит из двух этапов - обучения системы (Фиг. 1) и идентификации (Фиг. 3). На этане обучения при предъявлении на мониторе (3) множества кубов с различными интенсивностями граней тип каждого куба фиксируют в компьютере (2) с помощью пульта управления (4), при этом осуществляют запись многоканальной ЭЭГ (Фиг. 2в) и создают базу эталонных ЭЭГ-портретов, которые используют для обучения искусственной нейронной сети (5). Для этого с помощью электроэнцефалографа (1), например электроэнцефалографа-регистратора Энцефалан-ЭЭГР-19/26 (Россия) со стандартной схемой размещения электродов (Фиг. 2а), записывают многоканальную ЭЭГ (19 каналов, Фиг. 2в) в процессе предъявления на экране монитора (3) компьютера (2) изображения куба Неккера с различными интенсивностями граней в течение коротких промежутков времени, каждый продолжительностью 1,0 с, прерываемых фоновыми абстрактными картинами в течение 3,0 с. Количество кадров кубов Неккера с различной контрастностью граней I равно 100. Куб Неккера с прозрачными гранями и видимыми ребрами воспринимается как трехмерный объект из-за определенного вида контрастности ребер. Контрастность трех средних линий, сходящихся в левом среднем углу, I∈ [0,1] использована в качестве параметра управления. Значения I=1 и I=0 соответствуют 0 (черная) и 255 (белая) яркости пикселей средних линий при использовании 8-битной палитры градаций серого для визуального представления стимула. Следовательно, можно определить параметр контрастности как I=у/255, где у - уровень яркости линии при использовании 8-битной палитры градаций серого. Контрастность трех средних линий, сходящихся в правом среднем углу, определяется как (1-I), а контрастность шести видимых внешних ребер куба зафиксирована как 1. Бистабильиость или неоднозначность восприятия заключается в интерпретации этого трехмерного объекта, ориентируемого на две разные стороны - влево или вправо. В зависимости от интерпретации ориентации куба на каждой демонстрации нажимают левую или правую кнопки дистанционного пульта (4), присоединенного к компьютеру (2), проецирующему изображение куба Неккера, и фиксируют эту информацию в компьютере (2). Использование фоновых изображений позволяет нейтрализовать возможные негативные вторичные эффекты, которые могут возникнуть после восприятия предыдущего изображения куба Неккера. Процедура обучения длится около 30 минут для каждого оператора.

Записанные фрагменты ЭЭГ используют для обучения искусственной нейронной сети (ИНС) (5), реализованной на компьютере (2), управляющем процессом идентификации, например, в Matlab©. Для распознавания используют однонаправленные нейронные сети с несколькими скрытыми слоями, обучаемые «с учителем» с применением алгоритма обратного распространения. Для каждого случая идентификации обучают множество нейросетей, среди которых определяют сеть, правильно распознающую максимальное количество предъявленных образов.

Обученные на ЭЭГ-данных ИНС (5) хранят в памяти компьютера (2) и используют на этапе идентификации. Этот этап проводят с помощью укороченной (100 с) процедуры записи многоканальной ЭЭГ в процессе предъявления на экране монитора (3) компьютера (2) изображения куба Неккера с различными интенсивностями граней. Полученный ЭЭГ-портрет оператора предъявляются предварительно обученным и сохраненным ИНС (5), которые осуществляют классификацию данных и выводят результат: положительный - в случае правильной идентификации человека, или отрицательный - в случае несовпадения ЭЭГ идентифицируемого человека с классом-образцом.

Каждый из выходных элементов ИНС содержит числовые значения в интервале от 0.0 до 1.0. Чтобы уверенно определить класс по набору выходных значений, используют доверительные уровни (пороги принятия и отвержения). Эти пороговые значения можно корректировать. Определенный класс выбирают только в том случае, если значение соответствующего выходного элемента выше порога принятия, а всех остальных выходных элементов - ниже порога отвержения

Схема действия алгоритма определения класса:

Выбирают элемент с наивысшим выходным сигналом. Если его выходной сигнал выше или равен порогу принятия, а выходные сигналы всех остальных элементов ниже порога отвержения, то в качестве ответа выдать класс, определяемый этим элементом.

При пороге принятия 0.0 выходной сигнал выигравшего элемента всегда будет принят, а при пороге отвержения 1.0 все остальные элементы будут отвергнуты, и поэтому алгоритм сводится к выбору выигравшего элемента.

Пример

Работоспособность способа идентификации человека по ЭЭГ-отклику на неоднозначные изображения проверена экспериментально. С помощью электроэнцефалографа-регистратора Энцефалан-ЭЭГР-19/26 со стандартной схемой размещения электродов 10-20 произведена запись многоканальных ЭЭГ 12 операторов в процессе предъявления изображения кубов Неккера с различными интенсивностями граней (15% - 22 шт., 32% - 15 шт., 40% - 12 шт., 45% - 17 шт., 60% - 12 шт., 65% - 14 шт., 85% - 18 шт.). Данные ЭЭГ, соответствующие кубам Неккера различной интенсивности представлены в виде образов, которые записаны с частотой 250 Гц, соответствующих времени принятия решения оператором о классе куба (1 с).

Моделирование ИНС произведено в Matlab©. Для распознавания использованы многослойные персептроны (5) - однонаправленные нейронные сети, обучаемые с применением алгоритма обратного распространения, с двумя скрытыми слоями: 20 нейронов в первом (L1) и 5 во втором (L2), функция активации нейронов - логарифмическая сигмоидная функция. Для обучения нейронных сетей применен метод оптимизации Левенберга-Маркара. Для каждого оператора обучались 200 нейросетей, среди которых определялась сеть, правильно распознающая максимальное количество предъявленных образов. При обучении и тестировании использованы выборки данных мощностью по 35 образов (каждый по 250 точек). Время обучения ИНС на компьютере с процессором CPU Intel Core 2 Quad Q9550 тактовой частотой 2.83 ГГц составляет 30 с, процедура идентификации занимает 0,006 с.

Правильная идентификация одного оператора из двух или нескольких происходит в 99% случаев, что доказывает работоспособность, надежность и высокую эффективность предложенного способа при использовании небольшого набора относительно простых стимулов кубов Неккера. Сокращение количества стимулов приводит к уменьшению необходимого времени реализации способа.

Изобретение относится к биометрической идентификации и аутентификации человека. Технический результат заключается в обеспечении быстрого и надежного способа идентификации человека с использованием индивидуальных реакций на небольшой набор простых стимулов с помощью электроэнцефаллограмм (ЭЭГ). Такой результат достигается за счет того, что выполняют идентификацию индивидуальных реакций на различные стимулы с помощью ЭЭГ, при этом в качестве стимулов для идентификации человека использованы неоднозначные изображения кубов Неккера, предъявление небольшого набора которых идентифицируемому человеку позволяет получить достаточно полный его ЭЭГ-портрет. 3 ил.

Способ идентификации человека по ЭЭГ-отклику на неоднозначные изображения, заключающийся в идентификации индивидуальных реакций на различные стимулы с помощью электроэнцефаллограмм (ЭЭГ) и отличающийся тем, что в качестве стимулов для идентификации человека применяют предъявляемые на экране компьютера последовательности неоднозначных изображений кубов Неккера; способ состоит из двух этапов обучения системы и идентификации, на этапе обучения при предъявлении множества кубов с различными интенсивностями граней тип каждого куба фиксируют в компьютере с помощью пульта управления, при этом осуществляют запись многоканальной ЭЭГ и создают базу эталонных ЭЭГ-портретов, которые используют для обучения искусственной нейронной сети; на этапе идентификации, который проводят с помощью укороченной процедуры записи многоканальной ЭЭГ в процессе предъявления последовательности изображений кубов Неккера, полученный ЭЭГ-портрет предъявляют предварительно обученной и сохраненной искусственной нейронной сети, которая осуществляет классификацию и выводит результат: положительный в случае правильной идентификации или отрицательный в случае несовпадения идентифицируемой ЭЭГ с образцом.