ПРОГРАММНО-АППАРАТНЫЙ КОМПЛЕКС ДЛЯ УЛУЧШЕНИЯ КОГНИТИВНЫХ ФУНКЦИЙ ПОЛЬЗОВАТЕЛЯ Российский патент 2024 года по МПК A61B5/31 A61B5/378 A61B5/386 A61B5/372 G16H20/70 

ОБЛАСТЬ ТЕХНИКИ

Настоящее техническое решение относится к области вычислительной техники, в частности к программно-аппаратным комплексам для улучшения когнитивных функций пользователя.

УРОВЕНЬ ТЕХНИКИ

Из уровня техники известно решение, выбранное в качестве наиболее близкого аналога, RU 2291720 C1, опубл. 20.01.2007. Известное из уровня техники решение относится к медицинской и клинико-психологической диагностике и может быть использовано для своевременной оценки эмоционального состояния больных с неврологической и соматической патологией. В данном решении раскрыт способ оценки эмоционального состояния человека, включающий предъявление пациенту четырех групп словесных характеристик, отражающих различные эмоциональные состояния и степень их выраженности, анализ выбранных человеком словесных характеристик, отражающих его состояние, с использованием шкалы баллов, отличающийся тем, что человеку предъявляют четыре группы прилагательных, отражающих различные степени удовлетворения следующих четырех базисных личностных потребностей: в безопасности, в независимости, в достижении, в единении-близости; для оценки степени удовлетворения базисной личностной потребности в безопасности используют следующую систему прилагательных и баллов: «успокоенный, умиротворенный, безмятежный» - 0 баллов; «настороженный, обеспокоенный, взволнованный» - 1 балл; «растревоженный, напуганный, устрашенный» - 2 балла; «замученный, истерзанный, отчаявшийся» - 3 балла; для оценки степени удовлетворения базисной личностной потребности в независимости используют следующую систему прилагательных и баллов: «облегченный, освобожденный, раскрепощенный» - 0 баллов; «разгоряченный, возмущенный, рассерженный» - 1 балл; «озабоченный, перегруженный, перенапряженный» - 2 балла; «подавленный, угнетенный, скованный» - 3 балла; для оценки степени удовлетворения базисной личностной потребности в достижении используют следующую систему прилагательных и баллов: «довольный, радостный, гордый» - 0 баллов; «настроенный, вдохновленный, воодушевленный» - 1 балл; «перевозбужденный, исступленный, взвинченный» - 2 балла; «истощенный, опустошенный, безразличный» - 3 балла; для оценки степени удовлетворения базисной личностной потребности в единении используют следующую систему прилагательных и баллов: «услажденный, ублаженный, благополучный» - 0 баллов; «заинтересованный, увлеченный, восхищенный» - 1 балл; «расстроенный, уязвленный, разочарованный» - 2 балла; «покинутый, одинокий, тоскующий» - 3 балла; для исследования каждой базисной личностной потребности используют круговую шкалу, разделенную на четыре равных квадранта пересекающимися в ее центре двумя взаимно перпендикулярными и расположенными под углом 45° к горизонтали прямыми отрезками, причем в каждой точке пересечения этих прямых отрезков с окружностью круговой шкалы располагают по три прилагательных, отражающих определенную степень удовлетворения исследуемой базисной личностной потребности; при выборе пациентом слов, соответствующих его состоянию, проводят отметку на круговой шкале либо в точке нахождения группы слов, либо при выборе двух разных групп слов - на окружности или отрезке между двумя различными этой группами слов; в зависимости от места нахождения этой отметки определяют количество набранных человеком баллов для каждой из четырех базисных личностных потребностей; при этом в случае расположения отметки на границе между квадрантами ей присваивают наибольшее из двух значений; в случае расположения отметки в самом центре окружности она исключается из анализа результатов, затем определяют средний для всех четырех базисных личностных потребностей балл и по этому среднему баллу судят о степени эмоциональной дезадаптации следующим образом: 0 баллов - отсутствие эмоциональной дезадаптации, физиологическая релаксация; 1 балл - слабо выраженная эмоциональная дезадаптация, физиологическое напряжение; 2 - умеренно выраженная эмоциональная дезадаптация, патологическое напряжение; 3 - резко выраженная эмоциональная дезадаптация, патологическая релаксация.

Приведенное выше известное из уровня техники решение направлено на решение проблемы оценки эмоционального состояния человека.

Предлагаемое техническое решение направлено на устранение недостатков современного уровня техники и отличается от известных ранее тем, что предложенное решение обеспечивает качественную обработку сигналов электроэнцефалограммы головного мозга (ЭЭГ) и высокую степень точности их классификации.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Технической проблемой, на решение которой направлено заявленное решение, является создание программно-аппаратного комплекса для улучшения когнитивных функций пользователя. Дополнительные варианты реализации настоящего изобретения представлены в зависимых пунктах изобретения.

Технический результат заключается в улучшении когнитивных функций пользователя.

Заявленный результат достигается за счет осуществления программно-аппаратного комплекса для улучшения когнитивных функций пользователя, содержащего:

вычислительное устройство, выполненное с возможностью отображения информации и содержащее клиентское приложение;

нейрокомпьютерный интерфейс, содержащий нейроусилитель;

программный интерфейс, выполненный с возможностью осуществления управления режимами работы нейроусилителя, а именно выполненный с возможностью: подключения к нейроусилителю и активации команд на получение сопротивлений электродов и/или для снятия и записи данных электроэнцефалограммы головного мозга (ЭЭГ);

сервер, содержащийся в составе программного интерфейса и включающий в себя: модуль связи с нейрокомпьютерным интерфейсом; ядро программного интерфейса; модуль классификации сигналов ЭЭГ; модуль отправки данных клиентскому приложению.

В частном варианте реализации описываемого решения, программный интерфейс подключается к нейроусилителю по каналу Bluetooth.

В частном варианте реализации описываемого решения, вычислительное устройство, выполненное с возможностью отображения — это шлем виртуальной реальности.

В другом частном варианте реализации описываемого решения, сервер дополнительно выполнен с возможностью приема ЭЭГ данных напрямую с нейроусилителя.

В другом частном варианте реализации описываемого решения, сервер выполнен с возможностью приема ЭЭГ данных напрямую с вычислительного устройства пользователя.

В другом частном варианте реализации описываемого решения, программный интерфейс выполнен с возможностью сохранения данных сопротивлений и ЭЭГ данных, полученных в ходе сеанса, и выполнен с возможностью отправки сохранённых данных на удаленный сервер для осуществления анализа.

ОПИСАНИЕ ЧЕРТЕЖЕЙ

Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения. К заявке прилагаются следующие чертежи:

фиг. 1 иллюстрирует компоненты программного интерфейса и их взаимосвязи;

фиг. 2 иллюстрирует компоненты программного интерфейса с точки зрения программной архитектуры;

фиг. 3 иллюстрирует схему взаимодействия между программными модулями программного интерфейса;

фиг. 4 иллюстрирует общую схему взаимодействия между программным интерфейсом и устройством нейроусилителя;

фиг. 5 иллюстрирует схему буферизации данных, поступающих от нейроусилителя в программный интерфейс;

фиг. 6 иллюстрирует пример общей схемы вычислительного устройства.

ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако квалифицированному в предметной области специалисту будет очевидно, каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.

Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.

Предлагаемое техническое решение представляет собой программно-аппаратный комплекс, в состав которого входят: вычислительное устройство, выполненное с возможностью отображения информации (например, шлем виртуальной реальности); нейроусилитель в составе нейрокомпьютерного интерфейса (интерфейса «мозг-компьютер»); программный интерфейс (описываемый в настоящем техническом решении, как “Капсула”); сервер, содержащийся в составе программного интерфейса и включающий в себя: модуль связи с нейрокомпьютерным интерфейсом; ядро программного интерфейса; модуль классификации сигналов электроэнцефалограммы головного мозга (ЭЭГ); модуль отправки данных клиентскому приложению; обучающее приложение (например, VR-приложение), приложение “Лаунчер”; веб-платформа для создания собственного образовательного контента.

Настоящее техническое решение базируется на детектировании вызванного потенциала P300 — слабых изменений электрической активности зрительной коры головного мозга, возникающих в электрическом сигнале спустя 300мс в ответ на внешние раздражители, которыми являются объекты в клиентском приложении (например, в игре). Фильтрация с последующим суммированием и усреднением сигналов, поступающих от зрительной коры, позволяет выделять потенциал на фоне всей электроэнцефалограммы. В совокупности с применением методов машинного обучения и нейросетевых классификаторов это позволяет определить, на какой из объектов смотрит пользователь.

Благодаря качественному распознаванию сигнала P300, настоящее техническое решение позволяет контролировать качество прижима электродов, запускать различный образовательный контент и проходить обучение с выбором правильного ответа за счет концентрации внимания на выбранном объекте для улучшения когнитивных функций пользователя.

Программный интерфейс позволяет устанавливать связь, и осуществлять управление режимами работы различных нейроусилителей. Также программный интерфейс содержит систему буферизации сигналов, для минимизации задержек при связи по беспроводными интерфейсам (в т.ч. Bluetooth). В состав интерфейса входят модули управления клиентскими приложениями (например VR-приложениями) с синхронизацией команд старт/стоп/запись ЭЭГ между приложением и нейроусилителем. Программный интерфейс дополнительно содержит модуль классификации сигналов ЭЭГ P300.

Для классификации сигналов ЭЭГ используется метод линейного дискриминантного анализ (LDA). Данный классификатор с линейной границей решения, генерируемый путем подгонки условных плотностей класса под данные, использует правила Байеса. Модель соответствует гауссовской плотности для каждого класса, предполагая, что все классы имеют одну и ту же ковариационную матрицу. Подогнанная модель также может быть использована для уменьшения размерности входных данных, проецируя их на наиболее дискриминирующие направления.

В предлагаемом техническом решении используется Метод наименьших квадратов (Least Squares) посредствам QR декомпозиции с усадкой ковариационной матрицы (shrinkage) Ледойт-Вульфа (Ledoit-Wolf).

Перед классификацией ЭЭГ данные фильтруются следующим образом:

Сначала обрабатываются полосовым фильтром (bandpass) Баттерворта 4 порядка с границами 1/20 Гц.

После чего проводится децимация до частоты дискретизации в 50 Гц.

Программный интерфейс представляет собой мультиплатформенное (Windows x64 / Android) решение, построенное по клиент-серверной модели.

Ключевой стек технологий: ZeroMQ, LSL, Python/C++, Pytorch.

В процессе работы программный интерфейс подключается к нейроусилителю (например, по каналу Bluetooth) и отдает команды на получение сопротивлений электродов или снятия ЭЭГ сигнала.

Алгоритм работы может быть описан следующим образом:

программный интерфейс разделяется на два главных компонента, клиент и сервер;

клиентом может быть приложение или игра;

сервер может выступать как отдельное приложение или сервис, а также может быть встроен в само приложение вместе с клиентом;

сервер получает ЭЭГ данные напрямую с ЭЭГ устройства, в дальнейшем сможет получать их от клиента;

сервер получает данные об активации стимулов от клиента.

Пример работы предлагаемого технического решения.

1. Запускается сервер системы, сервер инициализирует и подготавливает все элементы для дальнейшей работы нейроинтерфейсов.

a. Настраивает ядро программного интерфейса.

b. Открывает канал для общения с клиентами по TCP или in-proc.

c. Подготавливает устройства ЭЭГ.

2. Клиент соединяется с сервером посредствам TCP или по соединению внутри процесса (in-proc).

3. Далее клиент запрашивает начало сессии нейроинтерфейса с определенным классификатором и устройством ЭЭГ.

4. Сервер подготавливает сессию.

a. Инициализирует соединения для потоковых данных сессии.

b. Подготавливает выбранный классификатор.

c. Передает данные клиенту, необходимые для соединения с сессией.

5. Клиент присоединяется к сессии и начинает пересылку данных. В качестве пересылаемых данных могут выступать:

a. Время активации стимулов.

b. Команды на обучение, проверки состояния классификатора (инициализирован, обучен ли и т.п.).

6. Если классификатор требует обучения перед использованием, клиент предварительно обучает его следующим образом:

a. Клиент передает данные об активации стимулов и запрашивает обучение после того, как достаточное количество данных будет передано.

b. Количество данных необходимых для обучения классификатора зависит от классификатора. Для LDA классификатора на данный момент достаточно 5 циклов обучения по 10 последовательностей в каждом (иными словами, каждый стимул мигает по 10 раз в 1 цикл, итого 50 миганий каждого стимула).

c. Сервер находит соответствующее ЭЭГ по времени активации стимулов, нарезает (размечает) его.

d. Нарезанное ЭЭГ вместе с маркерами целевой-нецелевой стимул передаются классификатору на обучение.

7. После обучения классификатора клиент имеет возможность предсказывать, для этого он также отсылает данные об активации стимулов.

8. Сервер при получении достаточного количества данных начинает предсказание и результат отправляет клиенту.

9. Клиент обрабатывает результат и останавливает процесс активаций стимулов.

10. Клиент выдает обратную связь пользователю и по необходимости начинает новую последовательность активации стимулов.

Необходимо учесть, что в настоящем решении в качестве сервера может использоваться: удаленный сервер; облачный сервер; подпрограмма, осуществляющая необходимую обработку данных и находящаяся в составе программного интерфейса и др.

Веб-платформа в настоящем решении предназначена для создания дополнительного контента для обучающихся, с возможностью гибкой настройки доступов, хранения результатов и ЭЭГ-данных, отображения статистики успеваемости.

Под признаком «ядро программного интерфейса» в настоящем решении раскрывается набор программных кодов и компонентов, обеспечивающих функционирование и связь между модулями программного интерфейса, в составе:

- модуля классификации сигналов ЭЭГ;

- модуля связи с нейрокомпьютерным интерфейсом;

- модуля отправки данных клиентскому приложению.

Учитывая “плавающую” задержку в приеме данных по беспроводному протоколу, программный интерфейс использует буфер для сбора данных, тем самым позволяя добиться равномерной задержки в 2 мс., при передаче ЭЭГ-данных для классификации и дальнейшей передаче их в клиентское приложение (например, VR-приложение).

Программный интерфейс дополнительно имеет возможность устанавливать подключение к внешним классификаторам сигналов для отладочных или исследовательских целей по протоколу TCP. В процессе работы программный интерфейс сохраняет ЭЭГ-данные сессии и данные сопротивлений электродов, для отсылки в веб-платформу (например, платформу Нейри). Программный интерфейс имеет возможность интеграции со сторонними игровыми приложениями, посредством использования собственной библиотеки.

В качестве дополнительно преимущества программного интерфейса можно выделить его гибкую архитектуру: программный интерфейс может быть интегрирован с различными интерфейсами, различными приложениями, различными классификаторами сигналов. Дополнительно присутствует возможность отсылки ЭЭГ данных на удаленный сервер для дальнейшего анализа.

На фиг. 5 представлена схема буферизации данных, поступающих от нейроусилителя в программный интерфейс. Буферизация данных необходима для обеспечения поступления данных ЭЭГ без задержек (без влияния возможных помех на канал связи Bluetooth) и обеспечения работы модуля классификации.

На фиг. 6 далее будет представлена общая схема вычислительного устройства (600), обеспечивающего обработку данных, необходимую для реализации заявленного решения.

В общем случае устройство (600) содержит такие компоненты, как: один или более процессоров (601), по меньшей мере одну память (602), средство хранения данных (603), интерфейсы ввода/вывода (604), средство В/В (605), средства сетевого взаимодействия (606).

Процессор (601) устройства выполняет основные вычислительные операции, необходимые для функционирования устройства (600) или функциональности одного или более его компонентов. Процессор (601) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (602).

Память (602), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал.

Средство хранения данных (603) может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство (603) позволяет выполнять долгосрочное хранение различного вида информации, например, вышеупомянутых файлов с наборами данных пользователей, базы данных, содержащих записи измеренных для каждого пользователя временных интервалов, идентификаторов пользователей и т.п.

Интерфейсы (604) представляют собой стандартные средства для подключения и работы с серверной частью, например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п.

Выбор интерфейсов (604) зависит от конкретного исполнения устройства (600), которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.

В качестве средств В/В данных (605) в любом воплощении системы, реализующей работу комплекса, может использоваться нейрокомпьютерный интерфейс, содержащий нейроусилитель. В отдельных случаях, в качестве средств В/В данных может использоваться клавиатура. Аппаратное исполнение клавиатуры может быть любым известным: это может быть, как встроенная клавиатура, используемая на ноутбуке или нетбуке, так и обособленное устройство, подключенное к настольному компьютеру, серверу или иному компьютерному устройству. Подключение при этом может быть, как проводным, при котором соединительный кабель клавиатуры подключен к порту PS/2 или USB, расположенному на системном блоке настольного компьютера, так и беспроводным, при котором клавиатура осуществляет обмен данными по каналу беспроводной связи, например, радиоканалу, с базовой станцией, которая, в свою очередь, непосредственно подключена к системному блоку, например, к одному из USB-портов. Помимо клавиатуры, в составе средств В/В данных также может использоваться: джойстик, дисплей (сенсорный дисплей), шлем виртуальной реальности, проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.

Средства сетевого взаимодействия (606) выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средств (605) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM.

Компоненты устройства (600) сопряжены посредством общей шины передачи данных (610).

В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Изобретение относится к медицинской технике. Программно-аппаратный комплекс для улучшения когнитивных функций пользователя содержит вычислительное устройство, нейрокомпьютерный и программный интерфейсы и сервер. Вычислительное устройство представляет собой шлем виртуальной реальности с возможностью отображения информации и содержит клиентское приложение. Нейрокомпьютерный интерфейс содержит нейроусилитель. Программный интерфейс выполнен с возможностью подключения к нейроусилителю и активации команд на получение сопротивлений электродов и/или для снятия и записи данных электроэнцефалограммы головного мозга (ЭЭГ). Сервер включает модуль связи с нейрокомпьютерным интерфейсом, ядро программного интерфейса, модуль классификации сигналов ЭЭГ и модуль отправки данных клиентскому приложению. Для классификации сигналов ЭЭГ используется метод линейного дискриминантного анализа. Программный интерфейс содержит систему буферизации сигналов и модули управления клиентскими приложениями с синхронизацией команд старт/стоп/запись ЭЭГ между приложением и нейроусилителем. Достигается повышение точности классификации сигналов ЭЭГ. 4 з.п. ф-лы, 6 ил.

1. Программно-аппаратный комплекс для улучшения когнитивных функций пользователя, содержащий:

вычислительное устройство, которое представляет собой шлем виртуальной реальности, выполненное с возможностью отображения информации и содержащее клиентское приложение;

нейрокомпьютерный интерфейс, содержащий нейроусилитель;

программный интерфейс, выполненный с возможностью осуществления управления режимами работы нейроусилителя, а именно выполненный с возможностью: подключения к нейроусилителю и активации команд на получение сопротивлений электродов и/или для снятия и записи данных электроэнцефалограммы головного мозга (ЭЭГ);

сервер, содержащийся в составе программного интерфейса и включающий в себя: модуль связи с нейрокомпьютерным интерфейсом; ядро программного интерфейса; модуль классификации сигналов ЭЭГ; модуль отправки данных клиентскому приложению, причем для классификации сигналов ЭЭГ используется метод линейного дискриминантного анализа (LDA),

программный интерфейс содержит систему буферизации сигналов и модули управления клиентскими приложениями с синхронизацией команд старт/стоп/запись ЭЭГ между приложением и нейроусилителем, а также выполнен с возможностью реализации следующих этапов:

1) запускают сервер системы, сервер инициализирует и подготавливает все элементы для дальнейшей работы нейроинтерфейса:

a) настраивает ядро программного интерфейса,

b) открывает канал для общения с клиентами по протоколу TCP,

c) подготавливает устройство ЭЭГ;

2) клиент соединяется с сервером посредством протокола TCP;

3) клиент запрашивает начало сессии нейроинтерфейса с определенным классификатором и устройством ЭЭГ;

4) сервер подготавливает сессию:

a) инициализирует соединения для потоковых данных сессии,

b) подготавливает выбранный классификатор,

c) передает клиенту данные, необходимые для соединения с сессией;

5) клиент присоединяется к сессии и начинает пересылку таких данных, как:

a) время активации стимулов;

b) команды на обучение, проверки состояния классификатора;

6) для обучения классификатора перед использованием:

a) клиент передает данные об активации стимулов и запрашивает обучение,

b) для LDA-классификатора передают 5 циклов обучения по 10 последовательностей в каждом,

c) сервер находит соответствующий сигнал ЭЭГ по времени активации стимулов, размечает его,

d) размеченный сигнал ЭЭГ вместе с маркерами целевой-нецелевой стимул передают классификатору на обучение;

7) после обучения классификатора клиент отсылает данные об активации стимулов;

8) сервер при получении данных начинает предсказание и результат отправляет клиенту;

9) клиент обрабатывает результат и останавливает процесс активаций стимулов;

10) клиент выдает обратную связь пользователю и начинает новую последовательность активации стимулов.

2. Программно-аппаратный комплекс по п. 1, в котором программный интерфейс выполнен с возможностью подключения к нейроусилителю по каналу Bluetooth.

3. Программно-аппаратный комплекс по п. 1, в котором сервер дополнительно выполнен с возможностью приема ЭЭГ-данных напрямую с нейроусилителя.

4. Программно-аппаратный комплекс по п. 1, в котором сервер выполнен с возможностью приема ЭЭГ-данных напрямую с вычислительного устройства пользователя.

5. Программно-аппаратный комплекс по п. 1, в котором программный интерфейс выполнен с возможностью сохранения данных сопротивлений и ЭЭГ-данных, полученных в ходе сеанса, и выполнен с возможностью отправки сохраненных данных на удаленный сервер для осуществления анализа.