Способ идентификации состояния сомнений человека по данным активности головного мозга Российский патент 2019 года по МПК A61B5/04 A61B5/16 

Изобретение относится к области цифровой обработки, анализа данных и создания человеко-машинных систем и предназначено для детектирования оценки длительности принятия человеком решения в условиях неоднозначности выбора по многоканальным записям электрической или магнитной активности нейронного ансамбля головного мозга с применением искусственной нейронной сети. В частности, изобретение может быть эффективно использовано при оценке когнитивных способностей человека и внедрено в современные интерфейсы мозг-компьютер, предназначенные для тренировки внимания и повышения концентрации человека.

Процессы в головном мозге человека, вовлеченные в обработку внешних стимулов, их интерпретацию, а также последующее принятие решений или неопределенность выбора, активно исследуются учеными с 60-х годов прошлого столетия вплоть до наших дней [Sutton S. et al. Evoked-potential correlates of stimulus uncertainty // Science. - 1965. - T. 150. - №.3700. - C. 1187-1188; Critchley H.D., Mathias C.J., Dolan R.J. Neural activity in the human brain relating to uncertainty and arousal during anticipation // Neuron. - 2001. - T. 29. - №.2. - C. 537-545; De Martino B. et al. Frames, biases, and rational decision-making in the human brain // Science. - 2006. - T. 313. - №.5787. - C. 684-687; Petersen S.E., Posner M.I. The attention system of the human brain: 20 years after // Annual review of neuroscience. - 2012. - T. 35. - C. 73-89]. Данная проблема помимо очевидной фундаментальной значимости, имеет также и значимое практическое приложение, связанное с оценкой когнитивных способностей человека, поскольку в современном мире ряд важных областей профессиональной деятельности человека напрямую связан

с эмоциональной устойчивостью, возможностью оперативно принимать решения и не терять концентрацию внимания в стрессовых ситуациях (к примеру, пилоты гражданской авиации, операторы сложных установок и т.д.).

Проводя научные работы в данном направлении, исследователи в основном используют развитые технические средства для реализации нейрофизиологического и нейропсихологического эксперимента, в том числе функциональную магнитно-резонансную томографию (фМРТ), магнитоэнцефалографию (МЭГ), электроэнцефалографию (ЭЭГ) и осуществляют поиск областей головного мозга, активирующихся в ходе процессов принятия решения и сомнения [Hsu М. et al. Neural systems responding to degrees of uncertainty in human decision-making // Science. - 2005. - T. 310. - №.5754. - C. 1680-1683; Grinband J., Hirsch J., Ferrera V.P. A neural representation of categorization uncertainty in the human brain // Neuron. - 2006. - T. 49. - №.5. - C. 757-763]. При этом одной из основных проблем, стоящих перед исследователями, является недостаток методов для последующей обработки полученных экспериментальных данных, в том числе для объективной количественной оценки когнитивных способностей человека. В частности, не существует методов для объективной оценки длительности процесса принятия решения, которая может выступать в роли количественной меры когнитивных функций человека и характеризовать скорость обработки информации и принятия решения человеком в условиях неопределенности.

Проведенный патентный поиск показал, что существующие способы определения когнитивных способностей человека опираются на проведение психологических тестирований [Патент РФ №2539016, Патент РФ №2625284]. К недостаткам подобных методик можно отнести тот факт, что они дают лишь качественную характеристику когнитивным способностям и психологическим особенностям человека, не позволяют оценить данные характеристики в реальном времени, и не всегда могут претендовать на

объективность полученных результатов. В то же время, принципиальным отличием предлагаемого способа является возможность объективного определения скорости приятия решения, связанного с неопределенностью выбора. Кроме того, отличительной особенностью метода, гарантирующей корректность и объективность полученных оценок, является применение современных математических методов, а именно методов искусственного интеллекта, для обработки сложных данных нейропсихологического эксперимента.

Таким образом, проблема настоящего изобретения заключается в необходимости разработки универсального способа, позволяющего проводить автоматическое определение длительности принятия решения человеком при решении когнитивных задач по экспериментальным записям активности нейронного ансамбля головного мозга.

Техническим результатом изобретения является возможность определение длительности принятия решения человеком при решении когнитивных задач различной степени сложности.

Предлагаемое изобретение поясняется чертежами: на Фиг. 1 - изображен пример тестовой когнитивной задачи - предъявления неоднозначных визуальных стимулов - подразумевающей различную степень сложности и решение которой может вызвать у испытуемого состояние сомнения, характеризующееся неопределенностью в интерпретации наблюдаемого изображения. На рисунке приведено графическое представление предъявляемых человеку визуальных стимулов в зависимости от управляющего параметра (а). В качестве визуальных стимулов используется классическое бистабильное изображение - куб Неккера, а управляющим параметром выступает контраст видимых граней (I=0 - минимальный контраст граней, I=0.5 и I=-0.5 - максимальный контраст граней). Серым цветом выделены изображения визуального стимула, характеризующиеся наибольшей сложностью интерпретации. Также

представлена схематичная иллюстрация проведения эксперимента по записи многоканальных сигналов активности головного мозга (б). В ходе тестового эксперимента испытуемый полностью расслаблен и сидит перед монитором в удобной позе с открытыми глазами. В ходе эксперимента на экране монитора испытуемому предъявляются визуальные стимулы разной степени неоднозначности, которые он пытается интерпретировать. Справа (в) приведена последовательность действий по обработке полученных экспериментальных данных - 1) регистрация многоканальных сигналов; 2) предварительная обработка сигналов, включая выделение информативных отрезков сигнала, полосовую фильтрацию, удаление артефактов и нормировку отрезков сигнала по каждому отдельному каналу в диапазоне [-1;1]; 3) создание обучающей выборки и обучение ИНС; 4) обработка сигналов с использованием обученной ИНС и расчет характеристики, отражающей степень сомнения человека при интерпретации визуальных стимулов. На Фиг. 2. - представлен процесс обработки многоканального сигнала с помощью обученной ИНС - многослойного персептрона. Отрезки многоканального сигнала длительностью 1 секунда, подаются на входной слой ИНС, и последовательно обрабатываются на слое 1, слое 2 и выходном слое. Выходной слой формирует отклик нейронной сети в виде временного ряда Y(t) длительностью 1 секунда. Здесь LW₁, LW₂, LW₃ - матрицы весов связей скрытого слоя 1, скрытого слоя 2 и выходного слоя; - векторы весов смещения скрытого слоя 1, скрытого слоя 2 и выходного слоя. На Фиг. 3. - представлены результаты отклика ИНС, усредненные по всем решенным задачам одинаковой сложности (а), (б). Сложность изображения: (а) - |I|=0.4; (б) - |I|=0.35. Черные кривые соответствуют положительным значениям I, серые кривые - отрицательным значениям I. (в) - зависимость длительности состояния сомнения человека, рассчитанная для группы из 5 испытуемых.

Усредненный отклик ИНС позволяет оценить среднюю длительность процесса принятия решения, предшествующего устойчивой интерпретации

визуального стимула (в). Величина длительности процесса принятия решения позволяет охарактеризовать степень сомнений человека относительно сложности решаемой когнитивной задачи - видно, что более сложным задачам соответствует большая длительность процесса принятия решения.

Для реализации заявленного способа идентификации и оценки длительности процесса принятия решения проводят нейрофизиологический эксперимент по регистрации активности нейронной сети его головного мозга с помощью датчиков. Эксперимент состоит из нескольких повторяющихся сессий, в ходе каждой из которых испытуемому предлагают решить последовательность когнитивных задач, сложность которых определяется случайным образом. Каждое из решений поставленной перед испытуемым когнитивной задачи ассоциируют с определенным состоянием нейронного ансамбля его головного мозга. По полученным в ходе эксперимента многоканальным сигналам активности нейронной сети головного мозга обучают ИНС, классифицирующую состояния мозга, ассоциированные с определенными решениями когнитивных задач. С помощью обученной ИНС обрабатывают экспериментальные многоканальные записи активности головного мозга, диагностируют состояния, ассоциированные с принятием решений, а также некоторое промежуточное состояние, расположенное в пространстве откликов ИНС между откликами, соответствующими конкретным классам решений. Предполагается, что последнее ассоциировано с процессом принятия решения или сомнением, поскольку оно не соответствует ни одному из состояний, связанных с принятым решением. Далее, оценивают длительность процесса принятия решения, в течение которого человек пребывает в состоянии сомнения. Очевидно, что сложность задания пропорциональна длительности процесса принятия решения.

Пусть X₀(t) - исходный N-канальный сигнал, полученный в ходе эксперимента по решению когнитивных задач, содержащего N_s сессий. В течение каждой сессии эксперимента испытуемому предлагают решить N_c вариаций задачи, различной степени сложности. Таким образом, в ходе всего

эксперимента испытуемый решил N_t=N_c*N_s когнитивных задач. К экспериментальному сигналу X₀(t), в блоке предварительной обработки, применяют процедуру полосовой фильтрации в диапазоне от 5 до 30 Гц для удаления низкочастотных артефактов и высокочастотных шумов, а также специальные процедуры удаления артефактов, связанных с дыханием, движением глаз, морганием и сердцебиением. В итоге, получают отфильтрованный полезный сигнал X_filt(t). Далее, из сигнала X_filt(t) в соответствие с протоколом эксперимента вырезают N_t отрезков (x₁(t)…x_Nt(t)), соответствующих непосредственному решению когнитивных задач. Каждый из отрезков (x₁(t)…X_Nt{t)) многоканального сигнала нормируют отдельно по каждому каналу в диапазоне от [-1,1]. Процедура нормировки необходима для обеспечения корректного обучения и работы ИНС. В блоке обучения ИНС для классификации состояний головного мозга по многоканальным сигналам нейронную сеть формируют на основе архитектуры многослойного персептрона, где нейроны на всех слоях имеют логистическую функцию активации:

а выходное значение i-го нейрона на j-ом слое u_ij рассчитывается как:

где N_j-1 - количество нейронов на предыдущем слое, ω_ik - вес связи между i-ым нейроном и k-ым входом, a b_i - вес смещения i-го нейрона на j-ом слое.

Для обучения ИНС составляют обучающую выборку, состоящую из отрезков многоканального сигнала, соответствующих решению задач минимальной сложности. При решении неоднозначной когнитивной задачи, имеющей Nc возможных решений d₁…d_Nc, возбуждается одно из Nc состояний нейронной сети коры головного мозга, каждое из которых ассоциировано с одним из решений поставленной задачи [Hramov А.Е. et al.

Classifying the perceptual interpretations of a bistable image using EEG and artificial neural networks // Frontiers in neuroscience. - 2017. - T. 11. - C. 674.]. Для классификации таких состояний используется ИНС, обученная на базе семейства алгоритмов «с учителем». Отрезки сигнала перемешивают в случайном порядке, а каждому моменту времени ставят в соответствие класс состояния мозга d_i. Таким образом, формируют обучающую выборку X_train и соответствующие ей желаемые ответы d_train. Для обучения ИНС используют алгоритм Левенберга-Маквардта [С. Хайкин. Нейронные сети: полный курс, 2-е издание. Изд. дом Вильямс, 2008], направленный на минимизацию среднеквадратичной ошибки между откликом ИНС и желаемым ответом:

где K - количество элементов обучающей выборки, a Y_k - отклик ИНС на предъявляемый k-ый элемент выборки X_train. Обученная таким образом ИНС способна с высокой точностью классифицировать состояния головного мозга, соответствующие различным вариантам решения поставленной когнитивной задачи. Кроме того, ИНС позволяет детектировать состояние, связанное с процессом принятия решения, как промежуточное состояние между всеми классами состояний мозга, которым была обучена ИНС.

В блоке классификации с использованием обученной ИНС обрабатывают отрезки экспериментальных данных, не использованные в обучающей выборке, а результаты обработки усредняют по сессиям эксперимента:

Здесь нижний индекс s соответствует номеру сессии эксперимента.

Для количественной характеристики процесса принятия решения оценивают длительность процесса принятия решения τ по усредненным

откликам ИНС для каждой когнитивной задачи с фиксированной сложностью.

Рассмотрим пример конкретной реализации заявляемого способа. Проводился анализ когнитивных способностей и измерение длительности процесса принятия решения в группе 5 испытуемых, здоровых мужчин и женщин в возрасте от 26 до 30 лет. Запись активности нейронной сети головного мозга проводилась в Центре Биомедицинских технологий Технического Университета Мадрида (Centra de Tecnologia Biomedica, Universidad Politecnica de Madrid, Испания) с помощью 360-канального магнитоэнцефалографа Elekta Neuromag Vector View 306 Channel. Данный магнетометр регистрирует 306-канальный МЭГ сигнал с разрешением 1 кГц, в котором 102 канала соответствуют датчикам-магнетометрам и 204 канала соответствуют датчикам планарных градиометров. Для работы заявляемого способа использовались только каналы, регистрируемые магнетометрами (102 канала). В ходе тестового эксперимента в качестве решаемой когнитивной задачи испытуемому предлагалось интерпретировать бистабильные визуальные стимулы различной степени неоднозначности. Под бистабильным визуальным стимулом понимают визуальное изображение, которое может иметь две интерпретации при его наблюдении. При этом, в ходе наблюдения одного и того же изображения, его интерпретация головным мозгом человека может скачкообразно переключаться от одной к другой. В результате человек видит одно и то же изображение по-разному. Бистабильный визуальный стимул, использованный в ходе тестового эксперимента для реализации предлагаемого способа - куб Неккера (Фиг. 1, а), классическое бистабильное изображение, широко используемое в психологических и нейрофизиологических исследованиях. Он представляет собой проекцию на плоскости объемного куба с прозрачными сторонами и видимыми гранями. В зависимости от контраста между центральными гранями человек может однозначно интерпретировать его как левоориентированный (I=-0.5) или правосторонний (I=0.5). При |I|<0.5

изображение куба Неккера представляет собой суперпозицию проекций левоориентированного и право-ориентированного, при этом сложность его интерпретации возрастает при |I|→0. Таким образом, задача по интерпретации неоднозначного изображения куба Неккера может иметь 2 возможных решения - интерпретация лево- (d1) и право-ориентированного куба (d2).

В работе [Runnova А.Е. et al. Theoretical background and experimental measurements of human brain noise intensity in perception of ambiguous images // Chaos, Solitons & Fractals. - 2016. - T. 93. - C. 201-206.] было показано, что при восприятии такого бистабильного изображения человеческий мозг ведет себя подобно бистабильной динамической системе, переключаясь между двумя состояниями, ответственными за интерпретацию лево- (d1) и правоориентированной проекции куба Неккера (d2). Обозначим классы состояний, ассоциированных с интерпретацией лево- и право-ориентированной проекции куба Неккера, как d1=0 и d2=1 соответственно. На основании результатов данного исследования была проведена работа по классификации описанных состояний головного мозга по многоканальным экспериментальным данным, включающая постановку нейропсихологического эксперимента и последовательную обработку полученных данных (Фиг. 1, б-в). Для классификации этих состояний был использован аппарат искусственных нейронных сетей (ИНС) - архитектура сети представляет собой многослойный персептрон с двумя скрытыми слоями (15 нейронов на первом скрытом слое и 10 нейронов на втором скрытом слое) и выходным слоем, содержащем один нейрон, поскольку необходимо классифицировать всего два состояния головного мозга (Фиг. 2). Применяя ИНС для классификации состояний головного мозга при решении поставленных когнитивных задач (наблюдении за отдельными визуальными стимулами), а затем усредняя результаты по задачам с одинаковым уровнем сложности, можно оценить среднюю длительность процесса, в ходе которого состояния головного мозга человека не удалось классифицировать, как

состояние, связанное с одним из решений поставленной задачи (процесс принятия решения). Полученная величина длительности процесса принятия решения является количественной мерой, отражающей скорость решения человеком сложной когнитивной задачи (восприятии сложного бистабильного визуального стимула) и способной охарактеризовать его когнитивные способности.

Эксперимент по регистрации многоканального сигнала активности головного мозга при интерпретации бистабильного визуального стимула проводится следующим образом. В ходе одной сессии эксперимента испытуемому случайным образом предъявляется 15 изображений куба Неккера из набора со следующими параметрами I=(-0.4, -0.35, -0.2, -0.1, -0.03, -0.02, -0.01, 0.0, 0.01, 0.02, 0.03, 0.1, 0.2, 0.35, 0.4). Параметры изображения куба Неккера не повторяются в рамках одной сессии. Из литературы известно, что средняя продолжительность визуального восприятия может варьироваться от одной секунды до нескольких минут в зависимости от индивидуальных особенностей наблюдателя и условий стимула [Pastukhov A. et al. Multi-stable perception balances stability and sensitivity // Frontiers in computational neuroscience. - 2013. - T. 7. - C. 17.], в то время как среднее время отклика довольно постоянное и достигает лишь нескольких сотен миллисекунд [Carpenter R.Н.S. Analysing the detail of saccadic reaction time distributions // Biocybernetics and Biomedical Engineering. - 2012. - T. 32. - №.2. - C. 49-63.]. Поэтому, длительность предъявления изображения куба Неккера в ходе эксперимента выбрана порядка 1 секунды и варьируется в диапазоне от 0.8 до 1.3 секунды [Merk I., Schnakenberg J. А stochastic model of multistable visual perception // Biological Cybernetics. - 2002. - T. 86. - №.2. - C. 111-116.]. Изображения куба Неккера чередуются с абстрактными изображениями длительностью предъявления от 4.2 до 5.25 секунд для отвлечения внимания и избегания проблем самообучения испытуемого. Полный цикл эксперимента содержит 15 сессий. Из полученного временного ряда затем вырезаются отрезки длительностью 1

секунда с момента предъявления визуального стимула. Итого, получается 225 отрезков. Для каждого из них выполняется следующая последовательность действий по предварительной подготовке для последующей обработки с помощью ИНС.

Данные сигналы были предварительно обработаны в соответствии с описанной выше последовательностью, а ИНС обучена на классификацию состояний головного мозга индивидуально для каждого испытуемого.

Результаты обработки данных с использованием заявленного способа для испытуемого номер 1 приведены на Фиг. 3 (а)-(б). Действительно, полученные результаты, показывают, что началу процесса восприятия соответствует стадия принятия решения, вызванная обработкой визуального стимула нейронной сетью головного мозга испытуемого, которую успешно детектирует заявляемый способ. После нее наступает стадия устойчивой интерпретации, когда человек уверен в том, как именно он воспринимает увиденное бистабильное изображение. При этом, усложнение предъявляемого изображения с точки зрения его интерпретации приводит к увеличению длительности процесса обработки изображения, иными словами, человек дольше принимает решение. Такая активность головного мозга характерна для всех испытуемых, проходивших эксперимент. Отличие состоит только в длительности процессов принятия решения, идентифицированного ИНС - это поясняется на Фиг. 3, (в). Видно, что среди всех испытуемых наблюдается четкая тенденция к росту длительности процесса восприятия при увеличении сложности наблюдаемого изображения. Однако, некоторым испытуемым требуется меньше времени, чтобы определиться с тем, как они интерпретируют предъявленные изображения, поэтому можно прямо сопоставлять длительность процесса принятия решения с особенностями обработки и восприятия человеком внешней информации. Меньшее время, затрачиваемое испытуемым на обработку предъявляемого изображения, говорит о более высоких когнитивных способностях, связанных с восприятием визуальных стимулов.

Таким образом, техническим результатом заявляемого способа является возможность определения длительности процесса принятия решения человеком в условиях неоднозначности выбора по данным электрической или магнитной активности головного мозга, применяя аппарат ИНС к обработке многоканальных записей нейрофизиологических сигналов. Данный способ, в частности, обеспечит возможность введения новой количественной оценки когнитивных способностей человека, связанных с визуальным восприятием, и реализации интерфейсов мозг-компьютер, повышающих эти когнитивные способности.

Изобретение относится к области цифровой обработки и анализа данных и предназначено для детектирования и оценки характеристик состояний сомнения человека по многоканальным записям электрической или магнитной активности нейронного ансамбля головного мозга с применением искусственной нейронной сети. Предложен способ определения длительности процесса принятия решения по многоканальным записям активности головного мозга на основе искусственной нейронной сети, заключающийся в том, что проводят нейропсихологический эксперимент, в рамках которого испытуемому предлагают решать когнитивные задачи различной степени сложности с различными возможными вариантами решений, с помощью датчиков регистрируют многоканальный сигнал активности нейронной сети головного мозга испытуемого при решении когнитивных задач, в блоке предварительной обработки фильтруют полученный многоканальный сигнал в диапазоне от 5 до 30 Гц, удаляют артефакты, связанные с сердцебиением, дыханием, морганием и движением глаз, выделяют из полученного сигнала отрезки, соответствующие процессу принятия решения, нормируют отрезки многоканального сигнала в диапазоне [-1, 1] по каждому каналу, в блоке обучения ИНС составляют обучающую выборку для искусственной нейронной сети на основе отрезков многоканального сигнала, соответствующих решению задач минимальной сложности, с помощью нее обучают искусственную нейронную сеть классифицировать состояния головного мозга, соответствующие разным решениям когнитивных задач, в блоке классификации с помощью ИНС применяют искусственную нейронную сеть для обработки отрезков многоканальных сигналов, не вошедших в обучающую выборку, усредняют отклик искусственной нейронной сети по задачам с одинаковой сложностью, выделяют интервал времени принятия решения, где отклик ИНС принимает промежуточные значения, не соответствующие ни одному из заранее определенных классов состояний головного мозга, определяют количественную характеристику скорости принятия человеком решения в условиях неоднозначности выбора как длительность интервала времени принятия решения. Изобретение обеспечивает возможность идентификации состояния сомнения и определения его длительности, применяя аппарат ИНС к обработке многоканальных записей активности головного мозга. 3 ил.

Способ определения длительности процесса принятия решения по многоканальным записям активности головного мозга на основе искусственной нейронной сети, заключающийся в том, что проводят нейропсихологический эксперимент, в рамках которого испытуемому предлагают решать когнитивные задачи различной степени сложности с различными возможными вариантами решений, с помощью датчиков регистрируют многоканальный сигнал активности нейронной сети головного мозга испытуемого при решении когнитивных задач, в блоке предварительной обработки фильтруют полученный многоканальный сигнал в диапазоне от 5 до 30 Гц, удаляют артефакты, связанные с сердцебиением, дыханием, морганием и движением глаз, выделяют из полученного сигнала отрезки, соответствующие процессу принятия решения, нормируют отрезки многоканального сигнала в диапазоне [-1, 1] по каждому каналу, в блоке обучения ИНС составляют обучающую выборку для искусственной нейронной сети на основе отрезков многоканального сигнала, соответствующих решению задач минимальной сложности, с помощью нее обучают искусственную нейронную сеть классифицировать состояния головного мозга, соответствующие разным решениям когнитивных задач, в блоке классификации с помощью ИНС применяют искусственную нейронную сеть для обработки отрезков многоканальных сигналов, не вошедших в обучающую выборку, усредняют отклик искусственной нейронной сети по задачам с одинаковой сложностью, выделяют интервал времени принятия решения, где отклик ИНС принимает промежуточные значения, не соответствующие ни одному из заранее определенных классов состояний головного мозга, определяют количественную характеристику скорости принятия человеком решения в условиях неоднозначности выбора как длительность интервала времени принятия решения.