СПОСОБ ФОРМИРОВАНИЯ СИСТЕМЫ УПРАВЛЕНИЯ МОЗГ-КОМПЬЮТЕР Российский патент 2019 года по МПК G06F3/01 A61B5/04 

ОБЛАСТЬ ТЕХНИКИ

Изобретение относится к области вычислительной техники и предназначено для обеспечения возможности формирования воздействий, управляющих электронными устройствами пользователей, не имеющих возможностей уверенного использования речи и движений конечностей.

УРОВЕНЬ ТЕХНИКИ

Известны системы, описанные в патентных заявках КНР CN 104571504 (А) от 29.04.2015 и CN 107132915 (А) от 09.05.2017, в которых для управления используются воображаемые движения конечностей пользователя, при этом обе системы используют специальные алгоритмы для повышения точности определения воображаемых движений по электрической активности мозга. Основным недостатком указанных систем является отсутствие обратной связи, и ограничения, наложенные возможностью использования для управления только сигналов, связанных с воображаемыми конечностями.

Наиболее близким к предложенному техническим решением является система по патенту РФ RU 2622206 (В) от 13.06.2017, предназначенная для реабилитации постинсультных и посттравматических пациентов с использованием интерфейса мозг-компьютер, в которой предъявляю пользователю задания по кинестетическому воображению движения конечности, производят анализ паттернов мозговой активности пользователя, возникающих при воображении движения, передачу этих данных в компьютер для выделения сигналов, ответственных за воображение движения, предъявляют пользователю по зрительной обратной связи результатов распознавания выполняемого задания в виде метки на экране монитора, по изменению которой определяют правильность выполнения задания. Система не учитывает особенности локализации повреждений мозга у пользователей и не обеспечивает возможность формирования сигналов управления, для обеспечения движений конечностей в случае невозможности воображения пользователем движения конечности.

Для устранения указанных выше недостатков систем, известных из уровня техники, а также достижения технического результата, заключающегося в возможности построения универсальной системы управления мозг-компьютер, в которой отсутствуют ограничения как по количеству управляющих команд, так и по использованию команд в интересах пользователя, предложено настоящее изобретение. Кроме того, задачей настоящего изобретения является преодоление указанных недостатков, и обеспечение возможности коммуникации с внешним миром и управления сервисными устройствами для пациентов без использования движений и функций речи, а также упрощение использования средств коммуникации. При этом обеспечивается возможность использования изобретения в качестве средства для ускорения социализации и повышения эффективности реабилитационных мероприятий.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Изобретение характеризуется тем, что для построения системы управления мозг-компьютер, содержащей шлем с гнездами для установки системы электродов, усилитель биосигналов, формируемых на электродах, блок обработки биосигналов и блок формирования сигналов управления, где в способе формирования сигналов управления,

размещают на голове пользователя пробную систему контактных электродов с повышенной плотностью расположения электродов для измерения потенциалов головного мозга, используемых в качестве биосигналов;

предъявляют пользователю зрительные стимулы из заранее заданного набора стимулов и одновременно регистрируют потенциалы, наводимые на электродах;

выявляют специфические паттерны потенциалов головного мозга, возникающие при предъявлении стимулов;

из заранее заданного набора стимулов выбирают специфические стимулы, при предъявлении которых формируются специфические паттерны потенциалов головного мозга;

для специфических паттернов определяют места расположения специфических электродов, потенциалы которых обеспечивают возможность выявления специфических паттернов;

заменяют пробную систему контактных электродов на шлем с гнездами для установки электродов, с пониженной плотностью электродов, в котором по крайней мере часть электродов расположена в местах расположения специфических электродов;

при использовании шлема, обеспечивающего установку электродов в местах расположения специфических электродов, предъявляют пользователю специфические стимулы и отбирают уточненные специфические стимулы, при предъявлении пользователю которых формируются повторяющиеся для каждого стимула, и отличающиеся от других стимулов паттерны потенциалов головного мозга;

предъявляют пользователю понятийные стимулы, соответствующие уточненным специфическим стимулам, с возможностью представления пользователем образа специфического стимула, и регистрируют электрическую активность мозга при предъявлении пользователю понятийного стимула;

отбирают управляющие стимулы, соответствующие понятийным стимулам, такие, что при предъявлении пользователю понятийного стимула формируется управляющий паттерн, тождественный паттерну электрической активности мозга, соответствующий специфическому стимулу, соответствующему понятийному стимулу;

для отобранных управляющих стимулов формируют обучающую последовательность операций, заключающуюся в том, что регистрируют электрическую активность мозга, при выявлении паттерна потенциала головного мозга формируют образ стимула, соответствующего отобранному управляющему стимулу, предъявляют пользователю сформированный образ стимула, соответствующий паттерну потенциала головного мозга;

повторяют обучающую последовательность операций по крайней мере двукратного выявления паттернов электрической активности головного мозга, для каждого из отобранных стимулов;

назначают управляющие паттерны, соответствующие стимулам из числа отобранных стимулов командам управления системы управления мозг-компьютер;

регистрируют электрическую активность мозга с возможностью выявления паттернов электрической активности головного мозга; и

формируют системой управления мозг-компьютер команды управления, соответствующие управляющим паттернам, при выявлении управляющих паттернов.

В частных случаях реализации изобретения обучают систему управления мозг-компьютер путем получения от пользователя указаний о соответствии команды управления образу специфического управляющего стимула, а для количества управляющих стимулов, превышающего количества команд управления, исключают из совокупности управляющих стимулов стимулы с максимальным количеством ошибок.

Дополнительно, при настройке системы задают минимальное расстояние между гнездами для электродов в шлеме с пониженной плотностью электродов. При этом система может быть использована для управления конечностями пользователя с использованием внешнего протеза.

КРАТКОЕ ОПИСАНИЕ РИСУНКОВ

ФИГ. 1 иллюстрирует схематическое представление системы, для настройки которой используется предложенный способ.

ФИГ. 2 иллюстрирует общий состав системы Когниграф.

ФИГ. 3 иллюстрирует структуру используемой для классификации нейронной сети типа CNN, в частности схему сверточной сети CNN для нейросетевого алгоритма ИМК.

ФИГ. 4 иллюстрирует схему рекуррентно-сверточной сети RCNN, в частности архитектуру рекуррентно-сверточной сети RCNN для классификации мысленных состояний.

ФИГ. 5 иллюстрирует общую схему способа, в частности схему алгоритма DNI.

ФИГ. 6 иллюстрирует суть описанной репараметризации, в частности иллюстрирует репараметризацию VAE.

ФИГ. 7 иллюстрирует принцип работы CVAE.

ФИГ. 8 иллюстрирует схему генеративной модели GAN.

ФИГ. 9 иллюстрирует результаты работы алгоритма DeepNeuralImaging на 4-х ментальных состояниях, в частности примеры искусственных изображений символов.

ФИГ. 10 иллюстрирует схему алгоритма АФИКС, в частности, схему нейросети алгоритма АФИКС.

ФИГ. 11 иллюстрирует схему расположения электродов (1105 и 1110) на щлеме с высокой плотностью электродов, показанном на фиг. 13 выбранных каналов для индивидуальной нейрогарнитуры.

ФИГ. 12 иллюстрирует схему обыкновенногоавтоэнкодера.

ФИГ. 13 иллюстрирует 128-канальный ЭЭГ шлем компании «МКС».

ФИГ. 14 иллюстрирует вариант, шлема, обеспечивающего установку электродов (1405) в местах расположения специфических электродов (1110).

ПОДРОБНОЕ ОПИСАНИЕ

На ФИГ. 1 представлено упрощенное схематическое представление системы, для настройки которой используется предложенный способ.

Система, предназначенная для определения активности головного мозга пользователя (105) содержит: монитор, используемый в качестве блока предъявления стимулов, блок записи, просмотра и анализа данных, блок функционального картирования (115), блок считывания и записи данных мультимодальных источников, блок выбора конфигурации стимулов (120), блок обработки данных с помощью внешних оптимизированных модулей картирования; классификатор ЭЭГ (125), используемый для анализа потенциалов головного мозга и осуществляющий выбор (140) индивидуальных триггеров, в процессе работы блока средств создания сценариев пользователя, блок графического отображения данных, состояний и результатов работы алгоритмов (250, 275, ФИГ. 2), в качестве которого может использоваться монитор; блок средств для создания сценариев стимуляции пользователя, в качестве элементов которого используется генератор изображений (130) и монитор, блок обмена с внешними программами и компонентами; и база (135), формируемая из тригеров, пригодных для обследуемго пользователя.

В системе может использоваться:

Многоканальный усилитель;

Мощный ПК с хорошей видеокартой;

Программно-аппаратный комплекс для визуализации реальных и сгенерированных стимулов;

Набор стимуляционного материала;

Блок выбора датчиков для шлема с пониженной плотностью электродов.

Для реализации изобретения используется программно-аппаратный комплекс «Когниграф» (245, ФИГ. 2), представляющий собой систему функционального 3D-картирования мозга на основе ЭЭГ. Комплекс может быть использован для решения актуальных научно-прикладных задач в области неинвазивного интерфейса мозг-компьютер (ИМК). Основной частью разрабатываемого комплекса являются средства обработки информации, в состав которых входят устройства для обработки, анализа, классификации и визуализации биосигналов, а также интерфейсы для интеграции модулей сторонних разработчиков. Система Когниграф обеспечивает синхронную регистрацию данных, поступающих со следующих устройств:

биоусилитель (215);

видеокамера (220);

микрофон (225);

клавиатура и мышь (235);

трекер глаз (230).

Общий состав системы Когниграф представлен на ФИГ. 2. Схема отражает принцип модульности системы: большая часть элементов и подсистем являются автономными единицами и подразумевают возможность замены на пользовательские элементы и подсистемы с учетом соблюдения соответствия конфигурации входных и выходных данных. В состав Когниграфа и системы, применяемой в настоящем изобретении, входят модули:

источников данных (205);

записи данных (240);

блоков обработки и классификации данных от мультимодальных источников (биопотенциалы, изображения, аудио и другие данные);

визуализации работы (250, 275);

предъявления стимулов (270);

передачи команд и данных (255).

База данных алгоритмов (260) содержит наборы методов для работы блока визуализации алгоритмов (275), Наборы правил и решений (265) используются для ускорения процессов обработки данных.

Средства обработки данных могут использоваться в режиме реального времени, для анализа данных, регистрируемых биоусилителем (215) и сенсорами, а также могут учитывать ранее произведенные записи и данные из файлов (210). В состав комплекса входит модуль стимуляции (270), формирующий воздействия на пользователя и регистрирующий отклики пользователя на предложенные воздействия.

Для настройки системы и первоначального обучения пользователя используется блок предъявления стимулов (110) пользователю, выполненный, например, в виде персонального компьютера с графическим дисплеем и блоком сопряжения с внешними устройствами. Блок сопряжения используется для формирования синхронизирующих сигналов, определяющих важные моменты, относящиеся к смене стимулов, предъявляемых пользователю. Такими моментами могут быть моменты смены стимулов, промежутки времени между предъявлением стимулов, а также моменты начала предъявления стимулов и промежутки времени предъявления стимулов.

Совместно с блоком предъявления стимулов используется многоканальный анализатор-монитор биопотенциалов головного мозга, например, биоусилитель Нейровизор-136 производства ООО «Медицинские компьютерные системы» со 128 каналами регистрации ЭЭГ (электроэнцефалограммы) и 8 внешними дополнительными каналами. В качестве датчиков потенциалов головного мозга для снятия ЭЭГ, используется шлем с пробной системой контактных электродов с повышенной плотностью расположения электродов, представленный на ФИГ. 11. Важной особенностью анализатора является возможность синхронизации регистрируемых потенциалов активности мозга с внешними устройствами, например, с блоками генерации и предъявления стимулов пользователю.

При использовании указанных средств осуществляется размещение на голове пользователя пробной системы контактных электродов с повышенной плотностью расположения электродов для измерения потенциалов головного мозга, используемых в качестве биосигналов, предъявление пользователю зрительных стимулов из заранее заданного набора стимулов с регистрацией потенциалов, наводимых на электродах и выявление специфических паттернов потенциалов головного мозга, возникающие при предъявлении стимулов.

В частном случае реализации изобретения, момент смены стимулов или начала предъявление нового стимула регистрируется датчиком освещенности, а определение или указание стимула осуществляется обслуживающим персоналом. Кроме того, возможна регистрация идентификационных данных стимула в автоматизированном режиме.

Предельная частота дискретизации регистрируемых потенциалов составляет 100 кГц, однако экспериментальным путем было установлено, что для целей распознавания активных или применимых стимулов достаточно регистрации изменений потенциалов 200 раз в секунду.

При использовании изобретения, Когниграф конфигурируется в режим генеративной обратной связи, с обеспечением формирования настроек и параметров полноценной функциональной системы, обеспечивающей работоспособность интерфейса мозг-компьютер.

На этапе обучения описываемая система использует информацию, однозначно указывающую на стимул, являющийся объектом внимания пользователя.

Для формирования параметров системы интерфейса, а именно, для построения системы управления мозг-компьютер пользователь проходит когнитивный тест. При прохождении теста пользователю предъявляются визуальные образы, а в периоды наблюдения пользователем визуальных образов осуществляется регистрация ЭЭГ сигналов. По результатам сопоставления параметров образов и параметров ЭЭГ сигналов, выбранным категориям визуальных образов ставится в соответствие участки ЭЭГ сигнала.

Полученные на предыдущем этапе данные используются для обучения нейронной сети - кодировщика (энкодера), предназначенной для преобразования оцифрованного ЭЭГ-сигнала в вектор заранее заданной длины фиксированной длины, содержащий информацию об отличительных свойствах сигнала. Длина вектора, для целей дальнейшего описания, принятая равной 100, определяется количеством независимых признаков, которые могут быть выделены из снятой ЭЭГ пользователя. С помощью методов метрического обучения осуществляется расчет расстояний между векторами для определения меры их схожести. Близкие по свойствам сигналы ЭЭГ, то есть, те ЭЭГ, которые формировались при просмотре схожих категорий стимулов формируют скопления близких по расстоянию векторов.

С учетом известности изображений, предъявляемых пользователю, производится обучение нейронной сети декодера, которая обеспечивает восстановление из вектора длины 100 изображений заданных категорий. В дальнейшем, нейронная сеть декодер используется для формирования изображений, которые в наибольшей мере соответствуют ЭЭГ пользователя. Чем ближе вектор по расстоянию к пространству векторов какой-либо категории, тем более похожим будет восстановленное изображение на стимулы из этой категории. Если вектор признаков ЭЭГ не имеет сходства с известными группами векторов, будет формироваться изображение в виде «шума». При возможности проведения декомпозиции или разложения неизвестного вектора на векторы из ранее определенных категорий, то будет формироваться изображение, представляющее собой объединенную совокупность изображений выявленных категорий. Например, набор линий может быть преобразован в матричное изображение алфавитно-цифрового символа. В процессе обучения пользователь может самостоятельно определять степень соответствия изображения, кроме того, степень соответствия и изображения, сформированного сетью декодером.

На следующем этапе производится обучение пользователя работе с системой. Задачей пользователя является выбрать объекта, ранее использованного в качестве стимула, и сформировать максимально реалистичное изображение объекта на экране. Объект может быть выбран, например, в виде словесного описания объекта. Таким образом, пользователь последовательно воображает или представляет стимулы из какой-либо используемой ранее категории. Сигналы ЭЭГ пользователя, снятые в режиме реального времени, последовательно обрабатываются сетью энкодером и сетью декодером. По результатам обработки на экране формируется изображение, которое может изменяться динамически. В процессе реализации этапа, пользователь старается «заставить» изображение соответствовать воображаемому им объекту, что помогает ему естественным образом сконцентрироваться на мысленных образах и быстрее освоить переключение различных мысленных команд. Например, при использовании объекта «автомобиль» пользователь может не справиться с формированием изображения микроавтобуса, но может сформировать реалистичное изображение гоночного болида Формулы-1.

В процессе обучения пользователя работе с системой из набора возможных стимулов, удаляются стимулы, для которых пользователь не смог сформировать реалистичное изображение.

Важно, что показанные выше операции способа реализуются с максимально возможным разрешением, и максимально возможной точностью определения потенциалов ЭЭГ, для чего размещают на голове пользователя пробную систему контактных электродов с повышенной плотностью расположения электродов для измерения потенциалов головного мозга, используемых в качестве биосигналов.

Одной из стадий предложенного способа является сравнение реакций пользователя на различные стимулы для определения возможности разделения реакций на стимулы и возможности использования стимулов для команд управления с точки зрения воспроизводимости реакций пользователя.

В качестве стимулов могут выступать объекты, которые имеют форму визуального образа (изображение/видео), могут иметь объем (для обучения сетевых алгоритмов), соответствуют нескольким дискретным или независимым категориям с вариативностью или взаимозаменяемостью стимулов имеющих существенные внешние различия внутри каждой категории.

Длительность предъявления стимулов, в общем случае может составлять от 5 до 10 секунд, но может существенно отличаться. При этом стимулы могут предъявляется в случайной последовательности. Желательно предъявлять стимулы, поддерживающие мотивацию пользователя на просмотр стимуляционного материала.

При обучении пользователя и системы использование стимулов в виде водопадов создает ощущение покоя, использование машины Голдберга позволяет тренировать концентрацию на точке и так далее.

При демонстрации видеоматериалов, в одном из вариантов реализации, использовалась демонстрация 20 фрагментов на категорию (или 17 на абстракцию) с длительностью фрагментов от 6 до 10 секунд, где длительность фрагментов выбирается случайным образом, а интервалы перехода между видеофрагментами составляет от 1 до 3 сек. Как правило, для обучения используется 2 сесии по 21 мин каждая.

В частном случае реализации изобретения, для обучения системы, а также для реализации системы управления, используется способ глубокого нейронного анализа изображений (Deep Neural Imaging) для ИМК с высокоинформативной обратной связью.

В качестве составной части способа глубокого нейронного анализа изображений используется нейросетевой классификатор мысленных состояний на основе глубоких сетей типов CNN и RCNN.

При использовании нейросетевого классификатора мысленных состояний сигнал многоканальной ЭЭГ разбивается на перекрывающиеся временные фрагменты длиной 1-2 секунды. Каждый фрагмент представляется в виде изображения топографической карты активности на сенсорах. Точки изображения окрашены в соответствии со значениями спектральной мощности трех диапазонов частот: тета - 4-7 Гц (красный), альфа - 8-13 Гц (зеленый) и бета - 14-30 Гц (синий). В качестве базы данных для одного из пользователей использовались записи 10 сессий эксперимента по генерации 4-х ментальных состояний (по 30 секунд на состояние), полученных при регистрации с усилителя NVX136 при частоте дискретизации 500 Гц. Структура используемой для классификации нейронной сети типа CNN представлена на ФИГ. 3 и состоит из трех сверточных слоев (305) и двух полносвязных слоев (315). На этапе обучения в сеть также добавляются дропаут-слои для обеспечения регуляризации и предотвращения переобучения. В сети также содержатся слои субдискретизации (310), используемые между слоями свертки. Результаты использования нейронных сетей формируются на слое (320) выходных нейронов.

Следующие базовые параметры применялись при обучении модели:

Размер окна анализа: 1 секунда;

Число сэмплов (525 и 545 на фиг. 5) (от англ. Sample - шаблон или образец): 50 на 1 состояние (т.е. шаг скользящего окна составляет около 0.6 секунды);

Размер изображения, подаваемого в сеть: 64 х 64;

Общее число обучаемых параметров сети: 116652.

Результаты работы способа представлены в Таблице 1 Результатов работы алгоритма CNN для распознавания 4-х ментальных состояний.

Исследование проводилось с применением кросс-валидации при различных соотношениях числа записей в обучающей и тестовой выборках.

Таким образом, в среднем точность классификации 4-х состояний составила около 75% при уровне случайного попадания 25%.

В ходе исследования также была проведена оценка влияния базовых параметров алгоритма на точность классификации, представленная в Таблице 2 влияние базовых параметров алгоритма на точность классификации ментальных состояний.

Было показано, что серьезного влияния на точность классификации небольшие изменения базовых параметров не оказывают.

Также была проведена оценка вклада отдельных частотных полос в качество распознавания состояний. Для этого алгоритм был обучен и протестирован с использованием каждой из трех частотных полос в отдельности (т.е. с формированием изображения в оттенках серого), было установлено, что для полосы Тета (4-7 Гц) точность составляет 43,6%, для полосы Альфа (8-13 Гц) - 54,1% для полосы Бета (14-30 Гц) - 78.9% и для всех 3-х полос - 78,4%.

Результаты свидетельствуют о доминирующем вкладе частот бета-диапазона в формирование дискриминантных характеристик мысленных состояний.

Также был реализован нейросетевой классификатор на основе рекуррентно-сверточной сети RCNN. Схема сети представлена на ФИГ. 4. Сеть состояла из 10 сверточных подсетей (405), организованных по принципу Time-Distributed (распределенных во времени и принимающих входные данные с 10 последовательных окон данных), выходные данные которых подавались на нейрон типа LSTM (Long-shorttermmemory, нейрон долговременной/краткосрочной памяти) 410. Затем через полносвязный слой (415) данные передавались на выход из 4-х нейронов (425).

Остальные базовые параметры алгоритма заданы аналогично классификатору CNN. Результаты классификации для различного соотношения числа обучающих и тестовых записей показаны в Таблице 3 результатов работы алгоритма RCNN для распознавания 4-х ментальных состояний.

Таким образом, в среднем точность классификации 4-х состояний составляет около 84% при уровне случайного попадания 25%. Таким образом, применение классификатора RCNN дает лучшую точность распознавания состояний, чем CNN и реализованный ранее классический алгоритм ИМК.

Использованный в частном случае реализации изобретения принципиально новый способ глубокого нейронного анализа изображений предназначен для обработки данных ЭЭГ с возможностью определения ментальных состояний. Идея способа состоит в формировании на выходе алгоритма реалистичного изображения, сгенерированного глубокой нейронной сетью-генератором. В случае экспериментов, подразумевающих деятельность по воображению пользователем (испытуемым или оператором) ИМК некоторых визуальных образов, выходное изображение может быть задано соответствующим этому образу: в этом случае алгоритм работает непосредственно на «визуализацию мыслей».

Основной проблемой кодирования выхода алгоритма в форме изображения является необходимость учета основных присущих изображению свойств, а именно:

- Связность элементов изображения в двумерном пространстве (т.е. отсутствие резких перепадов яркости между пикселями и наличие инвариантных паттернов, присущих тому или иному изображению).

- Соответствие изображения какому-либо из реально существующих образов, т.е. «реалистичность» изображения.

Для обеспечения первого свойства для генерации изображения используются сверточные нейронные сети. Для обеспечения второго свойства добавляется регуляризацию в пространстве изображений с использованием генеративных моделей. В использованном способе генерация изображений-выходов системы ИМК производится с помощью сверточных генеративных состязательных сетей.

Общая схема способа показана на ФИГ. 5. Оператор ИМК воспринимает некоторое изображение либо воображает его. Данное изображение представляет собой пример «естественного» изображения. Массив таких «естественных» изображений заложен в базе данных RealWorldImages (изображения реального мира) 540, где каждому примеру соответствует метка класса. Для конкретной ЭЭГ пользователя из базы 540 извлекаются образцы (545) или «сэмплы», Сеть-классификатор (550), формирующая на выходе (555) совокупность классов, предварительно обучалась на этой базе данных. Данные ЭЭГ, регистрируемые в процессе восприятия/воображения стимула поступали на вход энкодера ЭЭГ (510), который преобразовывал их в скрытое пространство (Latentspace) 515 формата, пригодного для подачи на вход генератора (520). Функция энкодера (510)заключалась в извлечении информативных признаков сигнала. В качестве энкодера может выступать любой алгоритм извлечения признаков сигнала или классификации, например, текущей работе таковым выступает нейросетевой алгоритм ИМК.

Генератором (520) выступает модель, полученная на основе обучения CVAE (ConditionalVariationalAutoencoder или обусловленный вариационный автоэнкодер). Обыкновенный автоэнкодер - это нейронная сеть, целевая функция которой заключается в отображении входного пространства на выход в неизменном виде. При этом промежуточные слои автоэнкодера имеют существенно более низкую размерность, чем размерность данных. Таким образом, автоэнкодер работает как алгоритм сжатия и последующего восстановления данных (ФИГ. 12).

Для обучения VAE используется так называемый трюк с репараметризацией, поскольку распространять ошибку через случайные значения на декодере (615) невозможно. На ФИГ. 6 показана суть репараметризации, где стандартное отклонение, предсказанное энкодером (510, ФИГ. 5), умножается на случайное число из N(0,1), затем добавляется среднее значение μ (схема справа).

Результатом такой репараметризации является возможность проводить обучение через обратное распространение ошибки, как и для любой другой конфигурации сетей.

Недостатком автоэнкодера типа VAE является плохая компактность отдельных классов данных: множество образов подается на вход модели как сэмплы из единого пространства данных, но в реальности представляет собой линейно несвязное многообразие. В результате модель плохо обучается переходам от одного класса к другому. Данный недостаток устраняется в модели обусловленного вариационного автоэнкодера (CVAE). На вход этой модели, помимо самих сэмплов данных, подаются еще и соответствующие им метки классов (ФИГ. 7). Благодаря этой информации автоэнкодер может обучаться каждой части многообразия отдельно.

Основное уравнение модели в этом случае принимает вид:

Где Y - метки классов.

Одной из интересных особенностей модели CVAE является возможность создавать новые образцы данных в стиле заданного класса. Для этого стиль заданного образа кодируется в скрытом пространстве Z, а при декодировании меняются метки классов.

Тем не менее, даже генератор образов на основе CVAE в большинстве реальных задач не способен создавать высококачественные изображения: зачастую получаются слегка размытые или нереалистичные образцы, которые с легкостью можно отличить от «настоящих». Для достижения максимального правдоподобия изображений применяется более сложная архитектура модели: Generative AdversarialNetworks (GAN). Модель схематично показана на ФИГ. 8 и состоит из двух нейронных сетей:

Генератор (520): это может быть описанная выше модель VAE, генерирующая случайные числа, на основе которых генерируются образцы из случайных точек скрытого пространства Z модели:

Х_р=G(Z; _g);

Дискриминатор (530): получая на вход созданные генератором объекты Хр, он учится предсказывает вероятность того, что данный объект принадлежит к многообразию реально существующих изображений (т.е. степень правдоподобности данного образа):

P_real=D(Z; _g).

Генератор (520) и дискриминатор (530) обучаются по шагам. За шаг обучения дискриминатора его параметры обновляются в сторону уменьшения кросс-энтропии, т.е. снижается вероятность принять сгенерированный образ за реальный.

Шаг обучения генератора (520) приводит к увеличению вероятности распознавания дискриминатором (530) сгенерированного объекта как реального:

Таким образом, две сети «соревнуются» между собой. Оптимумом данной задачи является ситуация, когда генератор научился генерировать объекты данных настолько хорошо, что идеально отображает распределение в многообразии реальных данных Р(Х). В этом случае дискриминатор (530) всегда выдавал бы на выход (535) дискриминатора значение 0.5 (полная неуверенность в ответе).

Аналогично, при передаче в генератор (520) и дискриминатор (530) метку класса объекта данных, можно построить обусловленную генеративную модель (CGAN).

В рамках изобретения, был использован способ на основе CGAN для генерации образов, соответствующих десяти символам латинского алфавита: А, С, Е, I, N, О, R, S, Т, U. Способ был протестирован на модельной задаче распознавания и формирования образов обратной связи для 4-х ментальных состояний. Каждому из состояний был поставлен в соответствие один из вышеуказанных символов (4 используемых в эксперименте символа: А, С, Е, I). Модель должна была распознать как номер состояния, так и отобразить образ символа.

В качестве базы данных для обучения генеративной модели использовалась база данных EMNIST, а также искусственная база данных символов, полученная при применении случайных аффинных преобразований к стандартным изображениям символов. В качестве энкодера ЭЭГ выступала сверточная нейронная сеть, при этом в качестве вектора сжатых признаков ЭЭГ-сигнала использовался предпоследний слой сети. В результате применения алгоритма DeepImaging к указанным данным были получены искусственные изображения символов (910), примеры которых представлены на ФИГ. 9.

Для формирования индивидуального шлема, обеспечивающего установку электродов в местах расположения специфических электродов, используется система обработки данных, применяющая агоритм адаптивного формирования индивидуальной конфигурации сенсоров (АФИКС).

Классический алгоритм распознавания ментальных состояний рассчитан на работу с малоканальной нейрогарнитурой (8-16 каналов). Однако информативность данных, получаемых с различных сенсоров и с различных областей мозга с точки зрения вклада в различение состояний неодинакова и, в общем случае, специфична для каждого отдельного оператора ИМК. Для достижения наилучших характеристик распознавания состояний в ИМК необходимо определить оптимальную конфигурацию сенсоров на поверхности головы оператора (пользователя), что представляет собой нетривиальную задачу. В рамках реализации изобретения эта задача решается с помощью следующей процедуры:

Производится регистрация данных ЭЭГ для каждого из ментальных состояний на многоканальной (64 и более сенсоров) нейрогарнитуре.

Проводится обучение классического алгоритма ИМК (BCI Classic) отдельно по данным каждого из сенсоров.

С помощью алгоритма АФИКС формируется набор из 8 сенсоров, оптимальный с точки зрения эффективности объединения отдельных поканальных классификаторов ИМК.

Дле реализации задачи использовались данные, полученные при обучении системы, в том числе: 10 записей с 128-канальной системы регистрации NVX136, разбитые на двухсекундные фрагменты с шагом 0,5 секунды. Состояниям соответствовало одинаковое число фрагментов. Обучение алгоритма ИМК происходило на фрагментах, относящихся к одной из записей.

Схема алгоритма АФИКС показана на ФИГ. 10. На первом этапе классический алгоритм ИМК («бинарный классификатор») 1010 обучался для каждого канала 1005 отдельно, результатом его работы являлся бинарный one-hot вектор, со значением «1» для распознанного состояния. Взвешенные выходы бинарных классификаторов подавались на соответствующие нейроны второго уровня («базовые классификаторы») 1015. Взвешенные ответы 128 нейронов - базовых классификаторов поступали на нейрон третьего уровня: итоговый классификатор 1030.

Из фрагментов всех записей (3560) формировался обучающий сет (набор данных) и тестовый сет. Обучающий сет разбивался на валидационный (716 фрагментов) и тренировочный (1669 фрагментов). Обучение длилось 1000 эпох с размером батча 30. В качестве функции потерь использовалась категориальная кросс-энтропия. Выделение каналов ЭЭГ происходило за счет L1-регуляризаций (1020, 1025) со значением параметра 0.1, применявшихся к каждому слою, т.к. в этом случае сети выгодно уменьшать малые значения весов. Сеть инициализировалась вероятностями алгоритма для каждого канала дать правильный ответ. После обучения для каждого нейрона второго слоя считалось произведение норм Фробениуса весом каждого состояния и веса ответа нейрона среди всех ответов. 8 каналов с наибольшим произведением при обучении классификатора на каждой из записей представлены в Таблице 4 Каналов, выбранных алгоритмом АФИКС при обучении на различных данных.

При использовании данных с этих каналов для обучения по другим записям на 200 эпохах были получены результаты, представленные в Таблице 5 Результатов работы классического алгоритма ИМК на выбранных с помощью АФИКС наборах каналов.

Для описанного случая, наилучшие результаты для пользователя при реализации ИМК дает нейрогарнитура со следующими 8 сенсорами: Р7, Poz, Ро7, Ро4, Af3, Cpp1h, Aff5h, P1 (ФИГ. 11).

Для повышения точности исследований также может использоваться трекер глаз пользователя, определяющий направление взгляда пользователя, а также состояние век пользователя. При использовании трекера глаз становится возможным повысить точность выявления детектируемых (распознаваемых) стимулов, а также качество обучения. При обучении, с помощью трекера глаз могут быть исключены моргательные артефакты, а также потеря пользователем внимания к предъявляемым стимулам.

Существенным признаком изобретения является тестирование возможности восприятия объектов. При начальном конфигурировании и переконфигурировании возможно задание геометрических размеров экранных объектов, другие характеристики экранных объектов, отображаемых на экране (дисплее).

В частном случае, учитывается острота зрения пользователя. Если использованные параметры объектов не удовлетворяют требованиям восприятия, стимулы исключаются из набора стимулов, необходимых для работы системы.

Дополнительно, а автоматизированном режиме или под контролем оператора, могут проверяться как причины отсутствия восприятия пользователем стимула, так и наличие артефактов, которые могут внести ошибки в интерпретацию восприятия пользователем стимула. Настройки интерфейса могут быть осуществлены в автоматизированном режиме, а также в режиме ручного управления пользователем или оператором. При ручной настройке интерфейса, на экране дисплея отображаются элементы интерфейса, размеры и положение которых можно изменять, а также значения параметров, которые существенно влияют на восприятие стимулов пользователем.

После настройки интерфейса может быть проведено повторно тестирование различимости стимулов и подстройка параметров детектирующего оборудования под конфигурацию системы, например, в части замены пробной системы контактных электродов на шлем с гнездами для установки электродов, с пониженной плотностью электродов. При необходимости, производится дополнительная корректировка средствами и методами, показанными выше. В частности, при использовании шлема, обеспечивающего установку электродов в местах расположения специфических электродов, предъявляют пользователю специфические стимулы и отбирают уточненные специфические стимулы, при предъявлении пользователю которых формируются повторяющиеся для каждого стимула, и отличающиеся от других стимулов паттерны потенциалов головного мозга;

предъявляют пользователю понятийные стимулы, соответствующие уточненным специфическим стимулам, с возможностью представления пользователем образа специфического стимула, и регистрируют электрическую активность мозга при предъявлении пользователю понятийного стимула;

отбирают управляющие стимулы, соответствующие понятийным стимулам, такие, что при предъявлении пользователю понятийного стимула формируется управляющий паттерн, тождественный паттерну электрической активности мозга, соответствующий специфическому стимулу, соответствующему понятийному стимулу;

для отобранных управляющих стимулов формируют обучающую последовательность операций, заключающуюся в том, что регистрируют электрическую активность мозга, при выявлении паттерна потенциала головного мозга формируют, соответствующего отобранному управляющему стимулу, предъявляют пользователю отобранный управляющий стимул, соответствующий паттерну потенциала головного мозга;

повторяют обучающую последовательность операций по крайней мере двукратного выявления паттернов электрической активности головного мозга, для каждого из отобранных стимулов;

назначают управляющие паттерны, соответствующие стимулам из числа отобранных стимулов командам управления системы управления мозг-компьютер;

регистрируют электрическую активность мозга с возможностью выявления паттернов электрической активности головного мозга; и

формируют системой управления мозг-компьютер команды управления, соответствующие управляющим паттернам, при выявлении управляющих паттернов.

В качестве экранных объектов или стимулов используются разного рода изобразительные элементы, например, символы в виде буквы и цифр, так называемые смайлики, другие пиктограммы, а также представления элементов управления. Символы, используемые для стимулов, могут быть семантически связаны с командами управления, либо, при ограниченном наборе стимулов, могут быть назначены для команд управления случайным образом.

Система содержит и использует электроды, сконфигурированные так, чтобы обеспечивался контакт с кожей головы пользователя для передачи соответствующих потенциалов на блок обработки аналоговых данных. Электроды могут быть закреплены в средстве фиксации электродов на голове пользователя.

Для предварительного определения параметров системы используется изображенный на ФИГ. 13 шлем с 128 электродами, после настройки, число электродов, предназначенных для закрепления на голове пользователя, а также их расположение выбирается с учетом индивидуальных особенностей пользователя. Например, по результатам проведенных хирургических операций при поражениях головного мозга, либо в результате травм головы, участки скальпа могут отсутствовать или не могут быть использованы для установки электродов. В таком случае используется средство крепления электродов, в котором количество электродов, а также места их установки задаются с учетом выявленных особенностей. В частном случае, могут быть использованы дополнительные электроды, установленные в максимально возможной близости к месту травмы. В случае существенного изменения картины распределения потенциалов на коже головы пользователя, для обеспечения функционирования системы, используется дополнительное обучение системы.

Специфическими компонентами может являться отклонение усредненных по целевым стимулам данных электроэнцефалограммы в динамике, в частности, в течение определенного предустановленного временного интервала, например, в течение 600-1000 миллисекунд, после предъявления целевого стимула от аналогичного усреднения при предъявлении нецелевого стимула, а при утрате функций отдельных участков коры головного мозга, используется дополнительное уточнение, заключающееся в том, что в частном случае, анализируются данные полученные от измененного, сниженного или увеличенного количества электродов, а анализ динамики распределения потенциалов осуществляется для всех электродов совместно с использованием методов машинного обучения или с применением искусственного интеллекта. При этом, на этапе обучения, информацию о выбранном пользователем объекте получают без использования вычислительных средств и передают системе дополнительно, либо задают последовательность стимулов, на которых должен сосредоточиться пользователь и данную последовательность используют как обучающую при сопоставлении паттернов и стимулов.

ПЕРЕЧЕНЬ ПРИНЯТЫХ СОКРАЩЕНИЙ

БОС - биологическая обратная связь;

ИМК - интерфейс мозг-компьютер;

ПО - программное обеспечение;

ЭКГ - электрокардиограмма;

ЭМГ - электромиограмма;

ЭОГ - электроокулограмма;

ЭЭГ - электроэнцефалограмма;

BEM - boundaryelementmethod (метод граничных элементов);

CNN - convolutional neural network (сверточная нейронная сеть);

CSP - commonspatialpatterns (метод общих пространственных структур);

ERD - event related desynchronization (вызванная десинхронизация);

ERS - event related synchronization (вызванная синхронизация);

FEM - finite element method (метод конечных элементов);

FIR - finite impulse response (конечная импульсная характеристика);

FFT - fast Fourier transform (быстрое преобразование Фурье);

ICA - independent component analysis (метод независимых компонент);

IIR - infinite impulse response (бесконечная импульсная характеристика);

KNN - k nearest neighbors (метод k ближайших соседей);

LDA - linear discriminant analysis (линейный дискриминантный анализ);

PCA - principal component analysis (метод главных компонент);

RNN - recurrent neural network (рекуррентная нейронная сеть);

SVM - support vector machine (метод опорных векторов).

Изобретение относится к области вычислительной техники. Технический результат заключается в обеспечении возможности формирования воздействий, управляющих электронными устройствами пользователей, не имеющих возможностей уверенного использования речи и движений конечностей. Такой результат достигается за счет предварительного определения мест размещения электродов, которые могут использоваться для определения управляющих паттернов и выявления управляющих паттернов, которые могут уверенно использоваться в качестве команд управления. 4 з.п. ф-лы, 14 ил., 5 табл.

1. Способ формирования системы управления мозг-компьютер, содержащей шлем с гнездами для установки системы электродов, усилитель биосигналов, формируемых на электродах, блок обработки биосигналов и блок формирования сигналов управления, где в способе формирования сигналов управления:

размещают на голове пользователя пробную систему контактных электродов с повышенной плотностью расположения электродов для измерения потенциалов головного мозга, используемых в качестве биосигналов;

предъявляют пользователю зрительные стимулы из заранее заданного набора стимулов и одновременно регистрируют потенциалы, наводимые на электродах;

выявляют специфические паттерны потенциалов головного мозга, возникающие при предъявлении стимулов;

из заранее заданного набора стимулов выбирают специфические стимулы, при предъявлении которых формируются специфические паттерны потенциалов головного мозга;

для специфических паттернов определяют места расположения специфических электродов, потенциалы которых обеспечивают возможность выявления специфических паттернов;

заменяют пробную систему контактных электродов на шлем с гнездами для установки электродов с пониженной плотностью электродов, в котором по крайней мере часть электродов расположена в местах расположения специфических электродов;

при использовании шлема, обеспечивающего установку электродов в местах расположения специфических электродов, предъявляют пользователю специфические стимулы и отбирают уточненные специфические стимулы, при предъявлении пользователю которых формируются повторяющиеся для каждого стимула и отличающиеся от других стимулов паттерны потенциалов головного мозга;

предъявляют пользователю понятийные стимулы, соответствующие уточненным специфическим стимулам, с возможностью представления пользователем образа специфического стимула и регистрируют электрическую активность мозга при предъявлении пользователю понятийного стимула;

отбирают управляющие стимулы, соответствующие понятийным стимулам, такие, что при предъявлении пользователю понятийного стимула формируется управляющий паттерн, тождественный паттерну электрической активности мозга, соответствующий специфическому стимулу, соответствующему понятийному стимулу;

для отобранных управляющих стимулов формируют обучающую последовательность операций, заключающуюся в том, что регистрируют электрическую активность мозга, при выявлении паттерна потенциала головного мозга формируют образ стимула, соответствующего отобранному управляющему стимулу, предъявляют пользователю сформированный образ стимула, соответствующий паттерну потенциала головного мозга;

повторяют обучающую последовательность операций по крайней мере двукратного выявления паттернов электрической активности головного мозга для каждого из отобранных стимулов;

назначают управляющие паттерны, соответствующие стимулам из числа отобранных стимулов командам управления системы управления мозг-компьютер;

регистрируют электрическую активность мозга с возможностью выявления паттернов электрической активности головного мозга; и

формируют системой управления мозг-компьютер команды управления, соответствующие управляющим паттернам, при выявлении управляющих паттернов.

2. Способ по п. 1, отличающийся тем, что обучают систему управления мозг-компьютер путем получения от пользователя указаний о соответствии команды управления образу специфического управляющего стимула.

3. Способ по п. 2, отличающийся тем, что для количества управляющих стимулов, превышающего количество команд управления, исключают из совокупности управляющих стимулов стимулы с максимальным количеством ошибок.

4. Способ по п. 1, в котором задают минимальное расстояние между гнездами для электродов в шлеме с пониженной плотностью электродов.

5. Способ по п. 2, отличающийся тем, что команды управления используются для управления конечностями пользователя с использованием внешнего протеза.