Настоящая группа изобретений относится к области психофизиологии, в частности, к пользовательской диагностике, и может быть использована для регистрации и анализа электрических сигналов мозга человека для определения состояния когнитивной нагрузки.
Оценка уровня когнитивной нагрузки является одним из важных аспектов и значимых факторов, определяющих эффективность деятельности человека. Высокий уровень и превышение когнитивной нагрузки приводит к резкому снижению способности к обучению и ослаблению понимания, увеличению вероятности ошибок при выполнении задач. В настоящий момент выделяют следующие формы когнитивной нагрузки [Sweller J. Cognitive load during problem solving: Effects on learning. Cognitive science, 12(2), 257-285. [Журнал]. - 1988 г.]: внутренняя нагрузка (intrinsic load), внешняя нагрузка (extraneous load), соответствующая нагрузка (germane load). Внутренняя когнитивная нагрузка определяется взаимодействием между характером объекта деятельности и опытом человека. Нагрузка рабочей памяти зависит от количества элементов, которые должны обрабатываться одновременно в рабочей памяти, а количество элементов, которые должны обрабатываться одновременно, в свою очередь, зависит от степени интерактивности элемента. Элемент в данной ситуации - любой изучаемый объект. Чем больше количество элементов входит в изучаемый предмет, тем сложнее он для изучения. Внешняя когнитивная нагрузка отражает усилия по преодолению формы подачи информации (визуальный, аудиальный и др.). Внешняя нагрузка во многом определяется дизайном используемых при осуществлении деятельности материалов. К примеру, внешняя нагрузка при объяснении особенностей геометрических фигур будет ниже при графическом представлении изучаемых объектов и выше - при аудиальном. Соответствующая нагрузка отображает затраты мозга человека на создание и перевод схем взаимодействия элементов объекта из рабочей в долговременную память.
Цель оптимизации деятельности в соответствии с теорией когнитивной нагрузки состоит в сокращении внешней когнитивной нагрузки, увеличении соответствующей нагрузки и управлении внутренней нагрузкой пользователей [Ayres P. Using subjective measures to detect variations of intrinsic cognitive load within problems. Learning and Instruction, 16(5), 389-400. [Журнал]. - 2006 г.].
Существуют различные методы оценки когнитивной нагрузки. Когнитивная нагрузка может оцениваться как снижение темповых характеристик деятельности и качества выполнения работы. Однако этот подход требует сложных лабораторных испытаний и не может использоваться в реальном рабочем или учебном процессе.
На современном этапе наиболее распространён эмпирический подход к оценке когнитивной нагрузки. Эмпирический подход, направлен на оценку ментальных усилий и производительности человека на основе сбора субъективных данных о ментальных усилиях с помощью оценочных шкал и последующего измерения психофизиологических параметров активности.
В настоящее время развиваются подходы к оценке когнитивной нагрузки связаны с применением средств инструментального наблюдения за психофизиологическими параметрами когнитивных процессов: на основе окулографических показателей [М.А. Шурупова, А.В. Красноперов, Л.В. Терещенко, А.В. Латанов Влияние когнитивного задания на параметры движений глаз при просмотре статических и динамических сцен . C. 202-212] и, в особенности, на базе оценки показателей суммарной электрической активности мозга (ЭЭГ). В рамках последнего подхода проведено достаточное количество работ, которые показывают, что когнитивная нагрузка коррелируется со спектральными характеристиками ЭЭГ, преимущественно в диапазонах тэта-(4-7) и нижних частотах альфа-(8-10 Гц) ритмов [Klimesch W. EEG alpha and theta oscillations reflect cognitive and memory performance: a review and analysis. Brain research reviews, 29(2-3), 169-195. [Журнал]. - 1999 г., Поликанова И. С., & Сергеев, А. В. Влияние длительной когнитивной нагрузки на параметры ЭЭГ. Национальный психологический журнал, (1 (13)). [Журнал]. - 2014 г.].
Кроме того, исследования в области оценки когнитивной нагрузки показали взаимосвязь между субъективной оценкой состояния пользователей и объективно измеряемыми психофизиологическими показателями. Так, обнаружена зависимость между когнитивной нагрузкой и параметрами электроэнцефалографией (ЭЭГ), двигательной активностью глаз (ДА), кожно-гальванической реакцией (КГР).
Известен способ оценки эмоционального состояния человека [патент на изобретение RU 2291720, опубл. 20.01.2007], заключающийся в предъявлении пациенту четырех групп словесных характеристик, отражающих различные эмоциональные состояния и степень их выраженности. Затем анализируют выбранные человеком словесные характеристики, отражающие его состояние с использованием шкалы баллов. Способ позволяет дать количественную оценку степени эмоциональной дезадаптации и позволяет испытуемому самостоятельно осознать характер переживаемых эмоций.
Недостатком известного способа является низкая степень автоматизации сбора и обработки данных и достоверности полученной информации из-за субъективного метода сбора данных.
Известны система и способ обучения [заявка на изобретение US 20170330475, опубл. 16.11.2017], использующая данные ЭЭГ для анализа результатов выполнения тестов и определение того, нужно ли сделать перерыв в учебной деятельности или наоборот усложнить выполняемое задание. Система обучения включает в себя блок вывода, который выводит первую проблему и сообщение на дисплее, предлагающее пользователю сделать перерыв, блок сбора, который получает ответ на первую проблему от пользователя, блок измерения ЭЭГ, который измеряет ЭЭГ пользователя, и блок управления. Блок управления определяет, присутствует ли первая мотивация, на основе потенциала, связанного с первым событием, включенного в ЭЭГ, и, начиная с момента, когда выводится первая проблема, определяет, присутствует ли вторая мотивация пользователя на основе потенциала, связанного со вторым событием, включенным в ЭЭГ, и начинающийся с момента, в который был получен ответ, и инструктирует блок вывода выводить сообщение на дисплей, предлагающее пользователю сделать перерыв, если первая мотивация отсутствует и второй мотивации нет.
Недостатками известной системы является ограниченная сфера применения (только образование), отсутствие информации о текущем психоэмоциональном состоянии пользователя, ограниченный набор выдаваемых рекомендаций (сделать перерыв).
Известны система и способ для модуляции контента на основе данных об электрических сигналах мозга человека [заявка на изобретение US 2018278984, опубл. 27.09.2018], включая изменение представления цифрового контента по меньшей мере на одном вычислительном устройстве. Контент также может модулироваться на основе набора правил, поддерживаемых или доступных компьютерной системе, на основе пользовательского ввода, в том числе посредством приема команды управления представлением, которая может быть обработана компьютерной системой для модификации представления контента. Содержимое также может быть передано со связанной информацией о состоянии мозга. Компьютерная система может обрабатывать данные биосигнала, используя конвейер обработки биологического сигнала, чтобы определить, по меньшей мере, одно состояние мозга пользователя. Можно определить, что данные о состоянии мозга произошли в ответ на представление пользователю определенного цифрового контента. Следовательно, компьютерная система может связывать определенное состояние мозга пользователя с представленным цифровым контентом. Вместо или в дополнение к выполнению этой ассоциации компьютерная система может модифицировать представление цифрового контента, по меньшей мере, на одном вычислительном устройстве, основываясь, по меньшей мере, частично на принятых данных биосигнала и, по меньшей мере, одном правиле модификации представления, связанном с представленным цифровым контентом. Применение любых таких правил может быть использовано для обработки компонентом модулятора, взаимодействующим с источником контента.
Недостатками известных технических решений является ограниченная сфера применения (только медиа сфера), связывание состояние мозга только с представляемым цифровым контентом, узкая интерпретация данных о мозговой активности пользователя.
Настоящая группа изобретений направлена на достижение технического результата, заключающегося в повышении достоверности определения текущего состояния когнитивной нагрузки за счет повышения точности обработки полученных данных и расширенной интерпретации данных о мозговой активности пользователя в режиме реального времени.
Заявленный технический результат в части системы, достигается за счет того, что система определения состояния когнитивной нагрузки на основе сигнала ЭЭГ включает блок приема сигнала, выполненный с возможностью получения сигнала ЭЭГ от нейроинтерфейса пользователя, с которым соединен блок первичной обработки сигнала, выполненный с возможностью спектрального разложения полученного сигнала на ритмы головного мозга, с которым соединен блок фильтрации первично обработанных сигналов, выполненный с возможностью проверки сигнала на наличие помех и агрегации первично преобразованных сигналов с выделением левополушарных тета-ритмов, количество морганий, с которым соединен блок определения состояния когнитивной нагрузки, выполненный с возможностью определения коррелята состояния когнитивной нагрузки путем определения количества морганий в минуту, усреднения суммы отведений по скользящему окну, определения стандартного отклонения индикатора когнитивной нагрузки и глобального среднего индикатора когнитивной нагрузки, определения границы состояния и выхода за нее, с блоком определения состояния когнитивной нагрузки соединен блок вывода данных, выполненный с возможностью предоставления пользователю полученных результатов.
Имеются варианты развития основного технического решения:
- блок первичной обработки сигнала выполнен с возможностью реализации предварительного сглаживания полученного сигнала;
- введен блок персонализации состояния когнитивной нагрузки, соединенный с блоком определения состояния когнитивной нагрузки и с блоком вывода данных и выполненный с возможностью определения границ нормального состояния для данного пользователя путем статистического анализа исторических значений по состоянию пользователя;
- введен блок фиксации отклонения от нормального состояния пользователя, соединенный с блоком персонализации состояний и блоком вывода данных и выполненный с возможностью определения нахождения пользователя в заданном состоянии.
Заявленный технический результат в части способа достигается за счет того, что способ определения состояния когнитивной нагрузки на основе сигнала ЭЭГ включает получение сигнала ЭЭГ от нейроинтерфейса пользователя посредством блока приема сигнала, его первичную обработку путем спектрального разложения полученного сигнала на ритмы головного мозга с помощью блока первичной обработки сигнала, проверку сигнала на наличие помех и агрегацию первично преобразованных сигналов таких, как левополушарные тета-ритмы и количество морганий с помощью блока фильтрации первично обработанных сигналов, определение состояния когнитивной нагрузки путем определения коррелята состояния когнитивной нагрузки посредством блока определения состояния когнитивной нагрузки, сконфигурированного для определения количества морганий в минуту, усреднения суммы отведений по скользящему окну, определения стандартного отклонения индикатора когнитивной нагрузки и глобального среднего индикатора когнитивной нагрузки, определения границы состояния и выхода за нее, вывод данных путем предоставления пользователю полученных результатов с помощью блока вывода данных.
Имеются варианты развития основного технического решения:
- на этапе первичной обработки сигнала ЭЭГ выполняют предварительное сглаживание полученного сигнала;
- после определения состояния когнитивной нагрузки и перед выводом полученных данных определяют границы нормального состояния для данного пользователя путем статистического анализа исторических значений по состоянию пользователя с помощью блока персонализации состояния когнитивной нагрузки;
- после определения границ нормального состояния для данного пользователя путем статистического анализа исторических значений по состоянию пользователя и перед выводом полученных данных определяют нахождение пользователя в состоянии когнитивной нагрузки с помощью блока фиксации отклонения от нормального состояния пользователя.
Таким образом, за счет заявленных совокупностей признаков системы и способа повышается достоверность определения текущего состояния когнитивной нагрузки за счет повышения точности обработки полученных данных и расширенной интерпретации данных о мозговой активности пользователя в режиме реального времени. Это стало возможным благодаря агрегации первично преобразованных сигналов таких, как левополушарные тета-ритмы и количество морганий, с помощью блока фильтрации первично обработанных сигналов, и последующему определению состояния когнитивной нагрузки путем определения коррелята состояния когнитивной нагрузки посредством блока определения состояния когнитивной нагрузки, сконфигурированного для определения количества морганий в минуту, усреднения суммы отведений по скользящему окну, определения стандартного отклонения индикатора когнитивной нагрузки и глобального среднего индикатора когнитивной нагрузки, определения границы состояния и выхода за нее. Одновременно с этим расширена сфера применения заявленных технических решений (образование, собеседования, оценка контента, повышение производительности труда) и объема предоставляемых рекомендаций. Оценка состояния когнитивной нагрузки осуществляется без привязки к контенту, в любое время, при различных видах деятельности.
Сущность предлагаемой группы изобретений раскрыта более подробно с помощью фигур и дальнейшего описания.
На Фиг. 1 приведена блок схема системы.
На Фиг. 2 приведена блок схема блока определения состояния когнитивной нагрузки.
На Фиг. 3 приведены исходные данные для определения состояния когнитивной нагрузки.
На Фиг. 4 приведена сводка по рассчитываемым индексам в блоке 5 определения состояния когнитивной нагрузки.
На Фиг. 5 приведена сводка по применяемым триггерам в блоке 5 определения состояния когнитивной нагрузки.
На Фиг. 6 приведен перечень сообщений в блоке 5 определения состояния когнитивной нагрузки.
На Фиг. 7 приведена блок-схема модели определения состояния когнитивной нагрузки пользователя.
На Фиг. 8 приведен пример с результатами использования оценки когнитивной нагрузки
Система определения состояния когнитивной нагрузки на основе сигнала ЭЭГ (Фиг. 1 и 2) пользователя 1 включает последовательно соединенные друг с другом блок 2 приема сигнала, блок 3 первичной обработки сигнала, блок 4 фильтрации первично обработанных сигналов, блок 5 определения состояния когнитивной нагрузки, блок 6 вывода данных.
Дополнительно система может содержать блок 7 персонализации состояния когнитивной нагрузки, соединенный с блоком 5 определения состояния когнитивной нагрузки и с блоком 6 вывода данных, а также блок 8 фиксации отклонения от нормального состояния пользователя 1, соединенный с блоком 7 персонализации состояний и блоком 6 вывода данных.
Блок 2 приема сигнала выполнен с возможностью получения сигнала ЭЭГ от нейроинтерфейса пользователя 1. Нейроинтерфейс обеспечивает регистрацию ЭЭГ и двигательной̆ активности головы (в том числе морганий), а также трансляцию этих данных по беспроводному каналу связи в блок 2 приема.
Блок 3 первичной обработки сигнала выполнен с возможностью спектрального разложения полученного сигнала на ритмы головного мозга и представляет собой преобразователь исходной ЭЭГ-волны в гармонические колебания по алгоритму Фурье с определением абсолютных и относительных спектральных мощностей каждого из заданного диапазонов частот. Также блок 3 может быть выполнен с возможностью реализации предварительного сглаживания полученного сигнала путем проверки на превышение заданной амплитуды сигнала с последующим удалением участка записи, в котором произошло превышение амплитуды.
Блок 4 фильтрации первично обработанных сигналов выполнен с возможностью проверки сигнала на наличие помех путем определения амплитудного всплеска на основе статистического анализа и агрегации первично преобразованных сигналов с выделением левополушарных тета-ритмов и определения количества морганий.
В качестве метода оценки электрической активности мозга в рамках разрабатываемой модели используется регистрация ЭЭГ. В качестве показателя электрической активности мозга в разрабатываемой модели принимается поток сигнала с электрода в точке F7 по системе «10-20».
Простой, но эффективный метод оценки состояния человека на основе регистрации глазодвигательной деятельности предполагает анализ частоты морганий человека за определённый промежуток времени. Этот показатель представляет собой обычное, просто наблюдаемое и легкодоступное явление, которое отражает активность центральной нервной системы. Другим легко измеряемым показателем является длительность моргания. Этот показатель считается особенно подходящей для прогнозирования сонливости, сопровождающей потерю производительности.
Таким образом, применяются два показателя глазодвигательной активности:
- Количество морганий;
- Длительность моргания.
Перечень и описание входных (регистрируемых) данных приведены на Фиг. 3
Блок 5 определения состояния когнитивной нагрузки выполнен с возможностью определения коррелята состояния увлеченности или монотонии путем определения количества морганий в минуту, усреднения суммы отведений по скользящему окну, определения стандартного отклонения индикатора когнитивной нагрузки и глобального среднего индикатора когнитивной нагрузки, определения границы состояния и выхода за нее. Блок 5 представляет собой программируемый модуль, сконфигурированный для осуществления последовательности вычислительных действий.
Для потока ЭЭГ-сигнала с электрода F7, регистрируемого в сыром виде, происходит последовательная обработка следующего вида:
1. Сигнал проходит полосно-заградительный фильтр;
2. Сигнал проходит дополнительную фильтрацию, удаляющую резкие высокоамплитудные выбросы текущем скользящем окне обработки;
3. Производится быстрое преобразование Фурье;
4. Оценивается мощность спектра в тэта-диапазоне, выделяются средние значения амплитуд, среднеквадратичное отклонение (СКО) за текущее окно анализа;
5. Данные о средних значения и СКО конкретного пользователя сохраняются в Базе данных (БД);
6. Вычисляются статистические показатели (мода, медиана, СКО и пр.) за весь период записи.
На основе измеренных данных производится расчет ряда индексов, всесторонне характеризующих состояние когнитивной активности пользователей.
Колебания ЭЭГ в альфа-и тета-полосе отражают эффективность когнитивных функций и памяти. Хорошая производительность связана с двумя типами явлений ЭЭГ (i) тоническим увеличением альфа, но уменьшением тета-мощности и (ii) большим фазическим (связанным с событиями) снижением альфа, но увеличением тэта, в зависимости от типа памяти. Поскольку альфа-частота показывает большие межличностные различия, связанные с возрастом и памятью, эта двойная диссоциация между альфа-и тета-тоническими и фазовыми изменениями может наблюдаться только в случае отказа фиксированных полос частот. Для этого применяются скорректированные частотные окна альфа- и тета по каждому предмету с использованием отдельные альфа-частоты в качестве опорной точки. Основываясь на этой процедуре, становится возможным последовательная интерпретация различных результатов. В качестве примера, подобно увеличению мозгового объема человека, верхняя альфа-сила увеличивается (но сила тэта уменьшается) с раннего детства до взрослой жизни, тогда как противоположное имеет место и для поздней части жизни. Альфа-мощность снижается, и сила тета усиливается у субъектов с различными неврологическими расстройствами. Кроме того, после продолжительного бодрствования и во время перехода от пробуждения к сна, когда способность реагировать на внешние раздражители прекращается, верхняя альфа-мощность уменьшается, тогда как тета увеличивается. Изменения, связанные с событиями, показывают, что степень альфа-десинхронизации положительно коррелирует с (семантической) долговременной памятью, тогда как синхронизация тета положительно коррелирует с возможностью кодирования новой информации. Рассматриваемые результаты интерпретируются на основе колебаний мозга.
Индекс Low-Alpha-index рассчитывается на основании потока сигнала с электрода в точке F7 (Df7). Для обработки сигнала используется быстрое преобразование Фурье (FFT)
Iai=FFT(Df7),
затем производится расчет вклада частот 8-10 Hz в общий спектр.
Индекс Thetа-index рассчитывается на основании потока сигнала с электрода в точке F7 (Df7). Для обработки сигнала используется быстрое преобразование Фурье (FFT)
Iai=FFT(Df7),
затем расчет вклада частот 4-7 Hz в общий спектр.
Индекс частоты моргания рассчитывается на основании измеренного количества морганий (Dblink)
Ibr= 60/ Dblink,
Индекс длительности морганий рассчитывается на основании измеренной длительности морганий (Dbl) как средняя величина измерений за участок записи
Ibl = (Dbl1 +…. DblN )/N
На Фиг. 4 приведена сводка по рассчитываемым индексам в блоке 5 определения состояния когнитивной нагрузки.
Характеристики различных аспектов состояний человека определяются с помощью определения и интерпретации некоторых граничных значений индексов или их сочетаний - триггеров. Под триггерами понимаются условия, выполнение которых приводит к формированию обратной связи пользователю.
Триггер основывается на одном или нескольких индикаторах и предполагает, что эти значения этих индикаторов соответствуют определённому шаблону. Самый простой вид триггера - это выход какого-либо индикатора за границу допустимых значений сверху или снизу. Например, превышение частоты сердечных сокращений предельно допустимого порога.
В настоящей модели определения когнитивной нагрузки триггером является сильный рост тэта-ритма, рассчитываемый как выход текущего значения тэта-ритма за 2,25 СКО, рассчитанного по всем имеющимся данным пользователя. Для отсева резких изменений исходного параметра, не связанных с переходом в состояние высокой когнитивной нагрузки, используется дополнительное условие - для срабатывания триггера выход за исходного параметра за границы должен удерживаться более 10 секунд. Данный классификатор является бинарным и свидетельствует только о выходе когнитивной нагрузки за допустимые пределы. Когда условие, заложенное в триггере, выполняется, этот триггер вызывает одно или несколько событий, полное пространство которых задано массивом возможных сообщений обратной связи S(T) = [S1,…Sl]. Совокупность триггеров составляет множество T = [T1,…Tk].
В модели применяются следующие триггеры.
Триггер "Увеличение низкочастотной активности" формируется на основе индексов Low-Alpha-index (Iai ) и Thetа-index (Iti ). Проверяемое условие:
[Iai>(meanIai+1.5*stdIai)] И [Iti>(meanIai+2.25*stdIti)]
Выполнение условия означает сильное увеличение низкочастотной активности, что свидетельствует о увеличении когнитивной нагрузки. Здесь и далее:
1) Аффикс «mean» обозначает, что необходимо взять среднее значение индикатора по трем предыдущим замерам
2) Аффикс «std» обозначает, что необходим взять усредненное стандартное отклонение параметра по трем предыдущим величинам.
Триггер "Увеличение морганий" рассчитывается на основе индексов частоты морганий (Ibr) и средней длительности морганий (Ibl). Проверяемое условие:
[Ibr>(meanIbr+stdIbr)]И[Ibl>(meanIbl+stdIbl)]
Выполнение условия означает увеличение частоты и длительности морганий, что свидетельствует о когнитивном утомлении.
На Фиг. 5 приведена сводка по применяемым триггерам в блоке 5 определения состояния когнитивной нагрузки.
В качестве результатов модель мониторинга и оценки когнитивной нагрузки предусматривает при наступлении определенных условий генерацию и вывод пользователю диагностических сообщений.
Сообщение о когнитивной усталости генерируется, если выполняется триггер Tblink (увеличение морганий). При этом на носимый браслет выдается сигнал вибрации в течение 5 секунд, частота 0,5 Гц. При появлении сигнала рекомендуется прием стимулирующих средств (кофеин), либо использование активирующих упражнений (физические упражения/ активирующий тренинг по бета-ритму).
Сообщение о сложности задачи формируется, если сработало условие Tlow (увеличение низкочастотной активности). При этом на экране монитора формируется фраза: «Сейчас вы склонны переоценивать сложность задачи. Это повышает вероятность ошибок. Отслеживайте их особенно внимательно. Также будет полезно обратиться за помощью к коллегам».
На Фиг. 6 приведен перечень сообщений в блоке 5 определения состояния когнитивной нагрузки.
Разрабатываемая модель предполагает измерение выбранных показателей когнитивной нагрузки, вычисление на их основе индексов, характеризующих различные аспекты состояния усталости и работоспособности пользователей, определение некоторых граничных значений индексов или их сочетаний (триггеров) и генерацию диагностических сообщений пользователям, выдаваемые на различные внешние устройства (экран монитора, мобильные устройства).
Данная модель задаёт основную рамку модели определения когнитивной нагрузки у пользователя. Модель интегрирует все типы активности и задаёт параметры переключения от одного состояния к другому.
На Фиг. 7 приведена блок-схема модели определения состояния когнитивной нагрузки пользователя.
Блок 6 вывода данных представляет собой любое электронное устройство, способное выдавать информацию на какой-то из каналов восприятия пользователя, выполненный с возможностью предоставления пользователю 1 полученных результатов в текстовой, визуальной, звуковой, тактильной форме в зависимости от доступной периферии и задачи. К нему могут быть подключены монитор, дисплей, звуковые колонки, вибромотор и др.
Блок 7 персонализации состояния когнитивной нагрузки, выполнен с возможностью определения границ нормального состояния для данного пользователя 1 путем статистического анализа исторических значений по состоянию пользователя 1, и представляет собой программируемый модуль вычислительных операций, в котором происходит расчет верхней границы нормального состояния когнитивной нагрузки пользователя на основе исторических данных, вычисляется разница между текущим значением и границей состояния (когнитивной нагрузки), а также происходит проверка нахождения среднего значения в диапазоне триггера состояний (когнитивной нагрузки).
Блок 8 фиксации отклонения от нормального состояния пользователя выполнен с возможностью определения нахождения пользователя 1 в заданном состоянии, и представляет собой модуль, обеспечивающий проверку сильно ли отклоняются показатели текущего состояния пользователя от обычного состояния и насколько устойчиво отклонение.
Питание всех блоков обеспечивается от общего питания ПК.
Дополнительно может быть введен блок (на чертеже не показано) взаимодействия с сервером, на котором хранятся исторические данные по пользователю 1 и на который отправляются данные о состоянии для сохранения в базе данных и предъявления с помощью веб-интерфейсов.
Заявляемая система реализует следующий способ определения состояния когнитивной нагрузки на основе сигнала ЭЭГ.
Пользователь 1 надевает нейроинтерфейс и включает его Bluetooth-адаптер для передачи сигнала ЭЭГ в заявляемую систему.
Получают сигнал ЭЭГ от нейроинтерфейса пользователя 1 посредством блока 2 приема сигнала, затем осуществляют его первичную обработку путем спектрального разложения полученного сигнала на ритмы головного мозга с помощью блока 3 первичной обработки сигнала, при необходимости выполняют предварительное сглаживание полученного сигнала.
Далее осуществляют проверку сигнала на наличие помех и агрегацию первично преобразованных сигналов таких, как левополушарные тета-ритмы и количество морганий, с помощью блока 4 фильтрации первично обработанных сигналов.
Последующее определение состояния когнитивной нагрузки производят путем определения коррелята состояния когнитивной нагрузки посредством блока 5 определения состояния когнитивной нагрузки, сконфигурированного для выполнения определения количества морганий в минуту, усреднения суммы отведений по скользящему окну, определения стандартного отклонения индикатора когнитивной нагрузки и глобального среднего индикатора когнитивной нагрузки, определения границы состояния и выхода за нее.
При необходимости после определения состояния когнитивной нагрузки и перед выводом полученных данных определяют границы нормального состояния для данного пользователя 1 путем статистического анализа исторических значений по состоянию пользователя 1 с помощью блока 7 персонализации состояния когнитивной нагрузки. А после определения границ нормального состояния для данного пользователя 1 путем статистического анализа исторических значений по состоянию пользователя и перед выводом полученных данных определяют нахождение пользователя 1 в состоянии когнитивной нагрузки с помощью блока 8 фиксации отклонения от нормального состояния пользователя 1.
Конечный вывод данных осуществляют путем предоставления пользователю 1 полученных результатов с помощью блока 6 вывода данных, также могут быть предоставлены рекомендации.
Для перехода в желаемое состояние могут быть использованы рекомендации трех типов:
1. Рекомендации для пользователей, уверенно владеющих психонетическими практиками;
2. Рекомендации, содержащие более подробную последовательность действий;
3. Рекомендации, не связанные с психотехниками и работой с эйдограммами.
Рекомендации на основе психонетических практик требуют ознакомления с базовыми психонетическими практиками, освоение которых поможет пользователю превратить свое внимание в гибкий инструмент в первую очередь для максимально эффективного перехода из нежелательных состояний в необходимое.
Для выхода из состояния когнитивной нагрузки:
1. Устройте 10-ти минутный активный отдых. Вспомните самые простые упражнения из школьных уроков по физкультуре и проделайте их. Сделайте 20 приседаний и/или отжиманий. Устройте пробежку. Активные движения помогут вернуться в активное состояние.После выполнения упражнений вернитесь к работе с информацией, вызвавшей когнитивную перегрузку
2. Постарайтесь разделить поступающую информацию на меньшие структурные элементы, а затем последовательно проследить связи элементов друг с другом.
3. Попробуйте нарисовать схему, отображающее ваше понимание ситуации, вызвавшей когнитивную перегрузку. Элементами схемы могут стать, к примеру, функциональные части рассматриваемого вами объекта.
Система и способ могут быть реализованы на базе персонального компьютера и могут быть использованы в любой области и при любом виде деятельности, основной задачей является выявление негативного состояния и информирование о нем пользователя для принятия своевременных мер с целью повышения производительности труда или эффективности обучения.
Пример применения способа и системы.
Примером применения системы является получение преподавателем уведомлений о превышении студентами-математиками показателей когнитивной нагрузки при освоении тем из линейной алгебры. Получение подобных уведомлений является поводом для повторного объяснения участка, вызвавшего затруднения, либо организации краткосрочного перерыва. Использование своевременных рекомендаций позволяет повысить усвояемость учебного материала, что приводит к повышению оценок за промежуточное тестирование на 0.27. Результаты исследования, в котором приняли участие 34 студента, приведены на Фиг.8.
| название | год | авторы | номер документа |
|---|---|---|---|
| Система и способ определения психоэмоциональных состояний на основе биометрического сигнала ЭЭГ | 2020 |
|
RU2740256C1 |
| Система и способ определения ресурсного состояния на основе биометрического сигнала ЭЭГ | 2020 |
|
RU2736804C1 |
| Система и способ определения состояния увлеченности или монотонии на основе биометрического сигнала ЭЭГ | 2020 |
|
RU2736707C1 |
| Система и способ определения состояния усталости или бодрости на основе биометрического сигнала ЭЭГ | 2020 |
|
RU2736710C1 |
| Система и способ определения состояния концентрации на основе биометрического сигнала ЭЭГ | 2020 |
|
RU2736803C1 |
| Система и способ определения состояния стресса на основе биометрического сигнала ЭЭГ | 2020 |
|
RU2736711C1 |
| Система и способ определения состояния стресса на основе биометрического сигнала ЭЭГ и электродермальной активности | 2020 |
|
RU2736397C1 |
| УСТРОЙСТВО ДЛЯ КОНТРОЛЯ БОДРСТВОВАНИЯ ЧЕЛОВЕКА | 2016 |
|
RU2734329C2 |
| УСТРОЙСТВО ДЛЯ ОЦЕНКИ ЭМОЦИЙ МЛАДЕНЦЕВ И ДЕТЕЙ МЛАДШЕГО ВОЗРАСТА | 2019 |
|
RU2794620C2 |
| СПОСОБ ДИАГНОСТИКИ КОГНИТИВНЫХ НАРУШЕНИЙ У БОЛЬНЫХ С ПОЛУШАРНЫМ ИШЕМИЧЕСКИМ ИНСУЛЬТОМ В ОСТРЕЙШЕМ ПЕРИОДЕ | 2019 |
|
RU2712037C1 |
Группа изобретений относится к медицине, а именно к способу и системе определения состояния когнитивной нагрузки на основе сигнала ЭЭГ. Система включает блок приема сигнала (2), блок первичной обработки сигнала (3), блок фильтрации первично обработанных сигналов (4), блок определения состояния когнитивной нагрузки (5), блок вывода данных (6). В вариантах технического решения возможно наличие блока персонализации состояния когнитивной нагрузки (7) и блока фиксации отклонения от нормального состояния пользователя (8). При исполнении способа получают сигнал ЭЭГ от нейроинтерфейса пользователя (1) посредством блока приема сигнала. С блоком приема сигнала соединен блок первичной обработки сигнала. С помощью блока первичной обработки сигнала производят первичную обработку сигнала путем спектрального разложения полученного сигнала на ритмы головного мозга. С блоком первичной обработки сигнала соединен блок фильтрации первично обработанных сигналов. С помощью блока фильтрации производят проверку сигнала на наличие помех и агрегацию первично преобразованных сигналов: левополушарных тета-ритмов и количества морганий. Определяют состояние когнитивной нагрузки путем определения коррелята состояния когнитивной нагрузки посредством блока определения состояния когнитивной нагрузки. Блок определения состояния когнитивной нагрузки соединен с блоком фильтрации и сконфигурирован для определения количества морганий в минуту, усреднения суммы отведений по скользящему окну, определения стандартного отклонения индикатора когнитивной нагрузки и глобального среднего индикатора когнитивной нагрузки, определения границы состояния и выхода за нее. С блоком определения состояния когнитивной нагрузки соединен блок вывода данных. С помощью блока вывода данных выводят данные путем предоставления пользователю полученных результатов. Достигается повышение достоверности определения текущего состояния когнитивной нагрузки за счет повышения точности обработки полученных данных и расширенной интерпретации данных о мозговой активности пользователя в режиме реального времени. 2 н. и 6 з.п. ф-лы, 8 ил.
1. Система определения состояния когнитивной нагрузки на основе сигнала ЭЭГ включает
блок приема сигнала, выполненный с возможностью получения сигнала ЭЭГ от нейроинтерфейса пользователя, с которым соединен
блок первичной обработки сигнала, выполненный с возможностью спектрального разложения полученного сигнала на ритмы головного мозга, с которым соединен
блок фильтрации первично обработанных сигналов, выполненный с возможностью проверки сигнала на наличие помех и агрегации первично преобразованных сигналов с выделением левополушарных тета-ритмов, количество морганий, с которым соединен
блок определения состояния когнитивной нагрузки, выполненный с возможностью определения коррелята состояния когнитивной нагрузки путем определения количества морганий в минуту, усреднения суммы отведений по скользящему окну, определения стандартного отклонения индикатора когнитивной нагрузки и глобального среднего индикатора когнитивной нагрузки, определения границы состояния и выхода за нее, с блоком определения состояния когнитивной нагрузки соединен
блок вывода данных, выполненный с возможностью предоставления пользователю полученных результатов.
2. Система по п. 1, отличающаяся тем, что блок первичной обработки сигнала выполнен с возможностью реализации предварительного сглаживания полученного сигнала.
3. Система по п. 1, отличающаяся тем, что введен блок персонализации состояния когнитивной нагрузки, соединенный с блоком определения состояния когнитивной нагрузки и с блоком вывода данных и выполненный с возможностью определения границ нормального состояния для данного пользователя путем статистического анализа исторических значений по состоянию пользователя.
4. Система по п. 3, отличающаяся тем, что введен блок фиксации отклонения от нормального состояния пользователя, соединенный с блоком персонализации состояний и блоком вывода данных и выполненный с возможностью определения нахождения пользователя в заданном состоянии.
5. Способ определения состояния когнитивной нагрузки на основе сигнала ЭЭГ включает
получение сигнала ЭЭГ от нейроинтерфейса пользователя посредством блока приема сигнала,
его первичную обработку путем спектрального разложения полученного сигнала на ритмы головного мозга с помощью блока первичной обработки сигнала,
проверку сигнала на наличие помех и агрегацию первично преобразованных сигналов таких, как левополушарные тета-ритмы и количество морганий с помощью блока фильтрации первично обработанных сигналов,
определение состояния когнитивной нагрузки путем определения коррелята состояния когнитивной нагрузки посредством блока определения состояния когнитивной нагрузки, сконфигурированного для определения количества морганий в минуту, усреднения суммы отведений по скользящему окну, определения стандартного отклонения индикатора когнитивной нагрузки и глобального среднего индикатора когнитивной нагрузки, определения границы состояния и выхода за нее,
вывод данных путем предоставления пользователю полученных результатов с помощью блока вывода данных.
6. Способ по п. 5, отличающийся тем, что на этапе первичной обработки сигнала ЭЭГ выполняют предварительное сглаживание полученного сигнала.
7. Способ по п. 5, отличающийся тем, что после определения состояния когнитивной нагрузки и перед выводом полученных данных определяют границы нормального состояния для данного пользователя путем статистического анализа исторических значений по состоянию пользователя с помощью блока персонализации состояния когнитивной нагрузки.
8. Способ по п. 7, отличающийся тем, что после определения границ нормального состояния для данного пользователя путем статистического анализа исторических значений по состоянию пользователя и перед выводом полученных данных определяют нахождение пользователя в состоянии когнитивной нагрузки с помощью блока фиксации отклонения от нормального состояния пользователя.
| US 9532748 B2, 03.01.2017 | |||
| WO 2008091323 A1, 31.07.2008 | |||
| US 2018278984 A1, 27.09.2018 | |||
| AU 2016205850 A1, 27.07.2017 | |||
| ПЛАЗМЕННЫЙ ДВИГАТЕЛЬ С ЗАМКНУТЫМ ДРЕЙФОМ ЭЛЕКТРОНОВ | 2000 |
|
RU2204053C2 |
