Нейрокомпьютерная система для выбора команд на основе регистрации мозговой активности Российский патент 2017 года по МПК A61B5/476 A61B5/478 

Изобретение относится к нейрокомпьютерным системам, а именно к области бесконтактного управления электронно-вычислительными или другими техническими устройствами с использованием интерфейсов мозг-компьютер для выбора команд, и может быть использовано в системах коммуникации и управления, в частности, предназначенных для людей с нарушениями моторной функции, а также для здоровых людей в ситуациях, когда управление выбором команд осуществляется в бесконтактном режиме.

Известен способ управления устройством с помощью глазных жестов (см. RU 2522848, опубл. 20.07.2014), при осуществлении которого пользователю указывают по меньшей мере одну управляющую позицию, с каждой управляющей позицией ассоциируют по меньшей мере один глазной жест, с каждой комбинацией управляющей позиции и ассоциированного с нею глазного жеста ассоциируют одну команду, создают условия, при которых в управляющих позициях в разное время появляются заданные зрительные стимулы, дают инструкцию пользователю для отдачи команды управляемому им устройству перевести взгляд в управляющую позицию, ассоциированную с данной командой, и после появления в ней заданного зрительного стимула подать глазной жест, регистрируют движения глаз пользователя, анализируют записи движений глаз пользователя с целью выявления глазного жеста и определения времени его подачи, и в случае, если выявлен глазной жест, время подачи которого соответствует времени появления стимула в одной из управляющих позиций, детектируют отдачу команды, ассоциированной с комбинацией данного глазного жеста и данной управляющей позиции, и выдают ее на управляемое устройство. Недостаток данного способа заключается в необходимости использования глазных жестов, выполнение которых может быть ограниченно доступно для определенных категорий пользователей, в том числе, пользователей с нарушениями моторной функции.

Известна нейрокомпьютерная система (см. US 9389685, опубл. 12.07.2016), состоящая из пользовательского интерфейса, включающего электроды, сконфигурированные для обнаружения мозговых волн, камеру, позволяющую делать снимок окружающего пространства с объектом, в отношении которого зафиксирован интерес пользователя в совершении действия, электронно-вычислительное устройство, предназначенное для идентификации границ объектов в пределах изображения, разделения изображения на сетку, состоящую из строк и столбцов, структурированных так, что края строк и столбцов, как правило, совпадают с границами объектов в пределах изображения, демонстрации сетки, наложенной поверх изображения, пользователю, при этом система снабжена средствами, обеспечивающими возможность выбора пользователем определенной ячейки, находящейся на пересечении строки и столбца сетки. Выбор пользователем ячейки осуществляется путем использования интерфейса мозг-компьютер (далее ИМК), который функционирует на базе технологии Р300. Недостатком данной системы является сравнительно низкая скорость и значимое количество времени, требуемого для сплошного перебора различных ячеек в пределах сетки, что особенно существенно для крупных объектов, в отношении которых может быть зафиксирован интерес пользователя в совершении действия. Кроме того, при большом количестве команд в ИМК-Р300 вероятность непроизвольного смещения выбора к нецелевым командам увеличивается, возрастает роль отвлекающих факторов, что приводит к увеличению числа ошибок выбора команд, понижающих эффективность всей системы.

В целом, функционирование ИМК-Р300 основано на анализе вызванных потенциалов (ВП) мозга человека, или потенциалов, связанных с событиями (ПСС). Такие потенциалы представляют собой специфическую реакцию мозга в ответ на редкий или значимый для пользователя стимул, которая может быть получена после процедуры обработки зарегистрированной электроэнцефалограммы. В большинстве случаев в системах коммуникации на основе ИМК-Р300 для стимулов используется зрительная модальность (например, появление изображений или символов на экране, или их подсветка - т.е. увеличение яркости). Система нейроуправления на основе ИМК-Р300 организована следующим образом. Обычно пользователь видит перед собой экран с символами, представляющими собой различные команды управления (в том числе буквы, если интерфейс предназначен для набора текстов), часто организованными в виде таблицы-матрицы. Отдельные элементы-символы этой матрицы поочередно подсвечиваются в случайном порядке. Пользователь должен сфокусировать внимание на символе-команде, которую он желает выбрать с помощью интерфейса, и всякий раз, когда этот символ загорается, мысленно реагировать на это событие (например, посчитать общее число подсветок этого символа). В течение всего процесса у пользователя регистрируется электроэнцефалограмма, и программа сравнивает реакции мозга в ответ на подсветки разных символов. В реакциях на подсветку целевого символа-команды присутствует специфический паттерн - так называемая волна Р300, которая приводит к увеличению амплитуды сигнала для данного символа. Целью алгоритма является распознавание такой усиленной реакции на подсветку нужного пользователю символа, после чего программа определяет, что именно этот символ-команда находился в фокусе внимания пользователя, и определяет его как целевой. Таким образом, становится возможным выбор любой команды из целого набора символов-команд, представленных на экране (Farwell L.A., Donchin Е. Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials. EEG a. Clin. Neurophysiol. 1988. 70: 510-523.). Как показано, например, в US 9389685, в качестве экрана может выступать воображаемая сетка, накладываемая на изображение объекта, или иные модули визуальной среды, обеспечивающие использование зрительной модальности для формирования регистрируемых стимулирующих импульсов.

Время выбора команды при использовании ИМК-Р300 может составлять до нескольких десятков секунд и определяется в первую очередь количеством элементов, используемых для формирования регистрируемых стимулирующих импульсов в отношении определенных команд, и количеством повторов, используемых для повышения надежности идентификации выбора пользователем того или иного стимула. Соотношение данных показателей со временем выбора команды в литературе подробно изучалось для визуальных стимульных сред, представленных буквенно-символьными матрицами с различным количеством содержащихся элементов. Например, в работе Guger et al. (2009) на большой выборке испытуемых (N=100) изучалась возможность управления в ИМК-Р300 с матрицей размером 6×6. При средней точности выбора команд 91% (100%-ной точности достигли 73% испытуемых) время на выбор одной команды составило около 29 секунд. Это время было достигнуто при 15 повторах циклов подсветок в ИМК-Р300. При уменьшении числа повторов время выбора может быть уменьшено в 1,5-3 раза, однако это, как правило, приводит к ухудшению точности, поскольку при большем числе повторов стимулов вероятность ошибки ниже. Темп работы с выбором команды за 29 секунд является достаточно медленным и утомительным для пользователя, особенно если принять во внимание то, что матрицы размером 6×6 (36 команд), как правило, недостаточно для полноценной коммуникации.

Таким образом, для визуальных стимульных сред, содержащих значительное количество элементов, используемых для формирования регистрируемых стимулирующих импульсов в отношении определенных команд, использование ИМК-Р300 характеризуется низкой скоростью выбора команды и высокой утомляемостью пользователей.

Задачей настоящего изобретения является преодоление вышеуказанных недостатков и повышение эргономичности используемой системы в целом.

Технический результат, достигаемый предлагаемым изобретением, состоит в снижении времени, затрачиваемого на выбор элемента в визуальной стимульной среде, содержащей большое количество элементов, при сохранении заданного уровня надежности выбора.

Указанный технический результат достигается тем, что нейрокомпьютерная система для выбора команд на основе регистрации мозговой активности содержит электроэнцефалограф, электронно-вычислительное устройство, предназначенное для анализа регистрируемой мозговой активности, электроды, сконфигурированные для передачи регистрируемых импульсов, и модуль визуальной стимульной среды, объединяющий по меньшей мере два элемента управления, снабженных возможностью создания зрительных стимулов, каждый из которых ассоциирован с одной командой, при этом элементы управления сгруппированы, по меньшей мере, в две группы, каждая из которых состоит, по меньшей мере, из одного элемента управления, при этом для каждой группы имеется один переключающий элемент управления, ассоциированный с командой, одновременно инициирующей создание зрительных стимулов для всех элементов управления в той группе, к которой он относится, и отключающей создание зрительных стимулов для всех элементов управления, содержащихся в других группах, кроме переключающих элементов управления каждой из групп.

Технический результат также достигается тем, что обеспечивается идентификация команд пользователя, отдаваемых техническому устройству посредством регистрации электрической мозговой активности, с возможностью быстрого переключения между двумя и более группами элементов управления, за счет того, что:

- создание зрительных стимулов для всех элементов управления, кроме переключающих элементов управления, в ходе выбора команд организуется в виде повторяющихся циклов, включающих последовательное создание одинаковых зрительных стимулов для каждого из элементов управления, кроме переключающего, и для выбора одной команды используется, по меньшей мере, один цикл стимуляции, при этом для выбора команд, ассоциированных с переключающими элементами управления каждой из групп, осуществляется непрерывное создание зрительных стимулов с частотами, отличающимися от частот зрительных стимулов всех других элементов управления, и дополнительно осуществляется фиксация взгляда пользователя в зоне визуальной стимульной среды, в которой располагается выбранный переключающий элемент управления;

- создание зрительных стимулов для всех элементов управления, кроме переключающих элементов управления, в ходе выбора команд организуется в виде повторяющихся циклов, включающих последовательное создание одинаковых зрительных стимулов для каждого из элементов управления, кроме переключающего, и для выбора одной команды используется, по меньшей мере, один цикл стимуляции, при этом для выбора команд, ассоциированных с переключающими элементами управления каждой из групп, после завершения каждого цикла стимуляции для элементов управления каждой группы, осуществляется создание зрительных стимулов с частотами, отличающимися от частот зрительных стимулов всех других элементов управления, и дополнительно осуществляется фиксация взгляда пользователя в зоне визуальной стимульной среды, в которой располагается выбранный переключающий элемент управления.

Технический результат также достигается тем, что обеспечивается возможность быстрого выбора функциональных команд, выполнение которых возможно для любой группы элементов управления, за счет того, что модуль визуальной стимульной среды содержит группу функциональных элементов управления, ассоциированных с командами, выполнение которых возможно для любой группы элементов управления, которые имеются в визуальной стимульной среде, при этом создание зрительных стимулов для функциональных элементов управления осуществляется таким же образом, каким оно осуществляется для переключающих элементов управления.

Технический результат также достигается тем, что переключающие элементы управления расположены оптимальным с точки зрения пользователя образом, в том числе по отношению к другим элементам управления, в том числе тем, что:

- переключающие элементы управления для каждой группы элементов управления находятся непосредственно в пределах тех групп, к которым они относятся.

- переключающие элементы управления для каждой группы элементов управления находятся за пределами тех групп, к которым они относятся, и сгруппированы по меньшей мере в одной выделенной области визуальной стимульной среды;

- в момент, когда инициировано и осуществляется в рамках повторяющихся циклов последовательное создание зрительных стимулов для всех элементов управления в определенной группе, в отношении переключающего элемента управления для этой группы создание зрительных стимулов не осуществляется;

- создание зрительного стимула для переключающего элемента управления осуществляется путем изменения его яркости, цвета или содержимого с частотой, отличающейся от частоты зрительных стимулов всех других элементов управления;

- переключающие элементы управления частично или полностью замещают элементы управления, содержащиеся в группах, к которым они относятся.

Предлагаемое изобретение поясняется чертежами:

на фиг. 1 показана схема нейрокомпьютерной системы для выбора команд на основе регистрации мозговой активности;

на фиг. 2 показан возможный пример схемы реализации нейрокомпьютерной системы для выбора команд на основе регистрации мозговой активности (на примере системы для набора текстов).

Схема нейрокомпьютерной системы для выбора команд на основе регистрации мозговой активности, показанная на фиг. 1, содержит электроэнцефалограф, электроды, сконфигурированные для передачи регистрируемых импульсов (в том числе снабженные системой фиксации их на голове пользователя), электронно-вычислительное устройство, предназначенное для анализа регистрируемой мозговой активности (электроэнцефалограммы, ЭЭГ) в соотнесении со временем создания и характером создаваемых зрительных стимулов, а также модуль визуальной стимульной среды, объединяющий совокупность элементов управления (по меньшей мере два элемента управления). Элементы управления снабжены возможностью создания зрительных стимулов, при этом каждый из них ассоциирован с одной командой. Визуальная стимульная среда может быть выполнена в различных вариантах: как набор символов-элементов управления на экране компьютера, как набор движущихся механических блоков, как совокупность светодиодов.

На фиг. 2 показан возможный пример схемы реализации нейрокомпьютерной системы для выбора команд на основе регистрации мозговой активности (на примере системы для набора текстов). Элементы управления на фиг. 2 сгруппированы в две группы 1 и 2, при этом группа 1 состоит из 12 элементов управления, а группа 2 - из 24 элементов управления. Переключения между группами 1 и 2 происходит посредством команды, поступающей от переключающего элемента управления, при этом предполагается, что в отдельные моменты времени только одна из групп является «активной»; другие матрицы находятся в «неактивном» состоянии, т.е. выбор элементов управления, находящихся в этих группах, в данный момент невозможен.

Группа 1 является «активной» - именно для этой группы в момент времени, показанный на фиг. 2, осуществляется создание зрительных стимулов для всех элементов управления группы, кроме переключающего элемента управления (который скрыт от наблюдателя). При этом создание зрительных стимулов в ходе выбора команд организуется в виде повторяющихся циклов, включающих последовательное создание одинаковых зрительных стимулов для каждого из элементов управления. В данном примере, создание зрительных стимулов подразумевает осуществление кратковременных видоизменений элементов управления, выведенных на экран электронно-вычислительной машины, например, выполнение подсветки, увеличение яркости, изменение цвета, замена содержимого символа-команды, изменение размеров и формы, движение и пр.

Для выбора одной команды используется, по меньшей мере, один цикл стимуляции элементов управления. Для осуществления выбора той или иной команды, пользователь должен сфокусировать внимание на элементе управления, который ассоциирован с интересующей его командой (в данном примере, прямо указанной на элементе управления). Всякий раз, когда осуществляется стимуляция данного элемента управления, пользователь должен мысленно реагировать на это событие, за счет чего в ЭЭГ пользователя (фиксируемой с помощь электроэнцефалографа и анализируемой с помощью ЭВМ), возникает специфический паттерн волны Р300. Полученный паттерн распознается электронно-вычислительным устройством в соотнесении со временем создания и характером создаваемых зрительных стимулов для элементов управления, что позволяет идентифицировать управляющий элемент, на который мысленно реагирует пользователь, и определить интересующую пользователя целевую команду.

Для каждой группы элементов управления визуальной стимульной среды имеется один переключающий элемент управления (например, показанный на фиг. 2 под номером 4), ассоциированный с командой, одновременно инициирующей создание зрительных стимулов для всех элементов управления в той группе, к которой он относится (на фиг. 2 переключающий элемент 4 относится к группе 2), и отключающей создание зрительных стимулов для всех элементов управления, содержащихся в других группах (например, группе 1 на фиг. 2), кроме переключающих элементов управления каждой из групп. При этом в тот момент, когда инициировано и осуществляется в рамках повторяющихся циклов последовательное создание зрительных стимулов для всех элементов управления в определенной группе (на фиг. 2 - в группе 1), в отношении переключающего элемента управления для этой группы создание зрительных стимулов может не осуществляться, и более того, этот элемент управления может быть скрыт от внешнего наблюдателя (как это и показано на фиг. 2).

Следует отметить, что, хотя стимуляция переключающих элементов управления может осуществляться и порядке общей последовательности повторяющихся циклов создания зрительных стимулов, на практике такая стимуляция нецелесообразна, поскольку требует значительных затрат времени и не позволяет достичь задачи предлагаемого изобретения. Для повышения скорости работы и эргономичности нейрокомпьютерной системы для выбора команд переключающие элементы управления целесообразно вынести из стимульных сред матриц Р300 и осуществлять управление ими при помощи системы SSVEP-ИМК.

Как и в системах ИМК-Р300, управление в SSVEP-ИМК осуществляется при помощи фокусировки взгляда на одном из элементов управления, подвергающемся визуальной стимуляции (например, меняющему яркость или цвет - «мигающему») на экране. Однако, в отличие от ИМК-Р300, в этих системах все элементы управления подвергаются визуальной стимуляции не в последовательном порядке (по очереди), а одновременно, но с разной частотой (в среднем, от 4 до 20 Гц). При фокусировке взгляда на элементе управления, стимулируемом с определенной частотой, в ЭЭГ пользователя возникают колебания соответствующей частоты. Электронно-вычислительное устройство анализирует регистрируемую мозговую активность (по данным электроэнцефалограммы) в соотнесении со временем создания и характером создаваемых зрительных стимулов, и осуществляет выбор ассоциированной с элементом управления команды на основе совпадения частот управляющего элемента, и частот специфических пиков ЭЭГ.

Для небольшого числа команд SSVEP-ИМК может обеспечить меньшее время выбора команды, чем выбор с помощью ИМК-Р300 (см. Шишкин СЛ., Федорова А.А., Нуждин Ю.О., Ганин И.П., Осадчий А.Е., Величковский Б.Б., Каплан А.Я., Величковский Б.М. На пути к высокоскоростным интерфейсам глаз-мозг-компьютер: сочетание «Одностимульной» парадигмы и перевода взгляда // Вестник Московского университета. Серия 14: Психология. 2013. №4). Для более чем 4-6 элементов управления надежность использования SSVEP-ИМК снижается, ввиду чего, в частности, для рассматриваемого примера системы нейроуправления с необходимостью набора текстов использование системы, полностью основанной на SSVEP-ИМК, с высокой вероятностью оказало бы негативное влияние на скорость и точность работы системы в целом.

Таким образом, для выбора с использованием системы SSVEP-ИМК команд, ассоциированных с переключающими элементами управления каждой из групп, может осуществляться непрерывное создание зрительных стимулов с частотами, отличающимися от частот зрительных стимулов всех других элементов управления, дополнительно сопровождаемое осуществлением фиксации взгляда пользователя в зоне визуальной стимульной среды, в которой располагается выбранный переключающий элемент управления. В целях снижения количества ошибок и повышения надежности работы системы, выбор с использованием системы SSVEP-ИМК команд, ассоциированных с переключающими элементами управления каждой из групп, также может осуществляться не непрерывно, а исключительно в промежутках между циклами Р300-стимуляции элементов управления, после завершения каждого цикла стимуляции для элементов управления каждой группы.

Группировка переключающих элементов управления в визуальной стимульной среде зависит от ее содержания, количества групп элементов управления, сложности операций, которые должен выполнять пользователь. На фиг. 2 проиллюстрирован случай, когда переключающий элемент управления 4 для группы 2 элементов управления находится непосредственно в пределах той группы, к которой он относится. На фиг. 2, контур переключающего элемента управления 4 частично закрывает от наблюдателя элементы управления группы 2; в целом, возможен случай, когда переключающий элемент управления полностью замещают элементы управления, содержащиеся в группе, к которым они относятся. Без каких-либо ограничений, переключающие элементы управления для каждой группы элементов управления могут находиться за пределами тех групп, к которым они относятся, при этом они могут быть сгруппированы в одной или нескольких выделенных областях визуальной стимульной среды.

Переключающие элементы также могут быть разного размера (занимать место одного или нескольких символов, или закрывать всю группу элементов управления целиком). Переключающие элементы, при этом могут как заменять содержимое элементов управления в группе, так и накладываться поверх них в виде маски (не затрагивая принципиально их содержимое). В определенные моменты переключающий элемент управления (непрерывно или дискретно) мигает в режиме SSVEP - тогда, переведя на него взгляд, пользователь может выбрать другую группу элементов управления («матрицу»). Если система распознает в ЭЭГ пользователя паттерн, соответствующий такому элементу управления и ассоциированной с ним команде, то происходит «переключение» на ту матрицу, в пределах которой он расположен. Это означает, что текущая матрица, в которой происходила стимуляция Р300, и из элементов которой происходил выбор команд, «деактивируется» (стимуляция в ней прекращается), а выбранная новая матрица, напротив, «активируется» (в ней начинается стимуляция и становится доступным выбор команд из ее набора).

Модуль визуальной стимульной среды на фиг. 2 также содержит группу функциональных элементов управления, ассоциированных с командами, выполнение которых возможно для любой группы элементов управления, которые имеются в визуальной стимульной среде (в случае, показанном на фиг. 2 - групп 1 и 2), при работе всей системы в целом. Такое вынесение совокупности функциональных команд за пределы групп однородных элементов управления позволяет обеспечить повышение эффективности работы системы, в том числе за счет внедрения для выбора данных элементов управления SSVEP-ИМК. Функциональные команды могут располагаться в отдельной зоне, например, сбоку или снизу от основной совокупности групп элементов управления (в иллюстрации на фиг. 2 - групп 1 и 2). Эффективность выделения функциональных команд в отдельный блок обуславливается наличием команд, потребность в выборе которых является относительно нечастой. Критической характеристикой при этом становится возможность обеспечения непрерывной доступности элемента управления, ассоциированного с данной командой, вне зависимости от текущего состояния всей системы (наличия или отсутствия стимуляции в той или иной группе элементов управления Р300 и пр.). Для этого, создание зрительных стимулов для функциональных элементов управления осуществляется таким же образом, каким оно осуществляется для переключающих элементов управления.

Например, в показанном на фиг. 2 случае команды для набора текста в отдельный блок SSVEP-команд могут быть вынесены функциональные кнопки 5, относящиеся к остановке и началу стимуляции в группах элементов Р300, удалению введенных символов и слов, перезапуску цикла стимуляции в Р300, например, если пользователь пропустил момент начала стимуляции и хочет начать процесс выбора команды заново. Реализация отдельных элементов модуля визуальной стимульной среды направлена на повышение общей скорости коммуникации с помощью предлагаемой системы.

Далее приведен подробный пример осуществления изобретения.

На фиг. 2 показаны «активная» 1 и «неактивная» 2 матрицы, содержащие буквы и знаки, сформированные на основе частоты встречаемости той или иной буквы или знака в русской речи; момент стимула в «активной» матрице, когда подсвечена группа управляющих элементов 3; переключающий управляющий элемент 4; функциональные управляющие элементы вне матриц, служащие для выбора высокоуровневых команд 5.

Пользователь располагается перед экраном, на котором представлены элементы управления: символы-команды, сгруппированные, по крайней мере, в две группы-матрицы. Каждая матрица состоит, по меньшей мере, из одного элемента управления, при большем их количестве они группируются произвольным образом (например, в виде регулярной матрицы). Позиции управляющих элементов внутри матрицы фиксированы. Для выбора команд из той или иной матрицы необходимо, чтобы данная матрица была «активна», то есть в ней должны предъявляться стимулы (в «активном» состоянии на каждом этапе управления находится только одна матрица из присутствующих в поле зрения пользователя).

Стимулами являются кратковременные видоизменения управляющих элементов, например, подсветки (увеличение яркости), изменение цвета, замена содержимого символа-команды, изменение размеров и формы, движение и пр. Стимуляция осуществляется таким образом, что в каждый момент времени видоизменения происходят с одним элементом или с группой элементов матрицы; таким образом, стимуляция представляет собой последовательные видоизменения отдельных элементов или групп элементов матрицы. Каждый этап работы с системой соответствует выбору одной команды из элементов матрицы. В рамках этого этапа каждый из элементов управления подвергается стимуляции, по крайней мере, один раз. Однако, в большинстве случаев для выбора одной команды стимуляцию элемента управления требуется повторить несколько раз. Пользователю заранее указывается, каким образом осуществляется стимуляция.

Чтобы выбрать команду из матрицы, пользователь должен сфокусировать свое внимание в позиции, где находится нужный ему (целевой) элемент «активной» матрицы, дождаться начала стимуляции, и затем мысленно реагировать на момент появления стимула в целевой позиции, игнорируя стимулы в других позициях матрицы, если таковые имеются. Тип мысленной реакции на стимул в целевой позиции указывается пользователю заранее, в наиболее типичном варианте инструкция звучит так: «Мысленно четко считайте появление целевого стимула» (прим.: стимула в целевой позиции матрицы). Целевой стимул может указываться пользователю заранее (например, исследователем), либо пользователь может произвольно решить для себя, какой стимул является целевым.

В процессе выполнения данного задания у пользователя неинвазивно регистрируется активность головного мозга. В наиболее типичном случае активность регистрируется при помощи метода электроэнцефалографии (ЭЭГ) с помощью стандартной методики. Система обрабатывает сигналы мозга, и после завершения каждого этапа работы со стимулами (окончания стимуляции) выдает результат. Результатом является распознанный элемент управления в совокупности с ассоциированной с этим элементом командой. Результат может предъявляться конечному пользователю в различных видах. Например, при выборе буквы или другого графического символа распознанный символ выделяется, может происходить дополнительное действие (в том числе, при наборе текста выбранная буква может печататься в специальную строку результатов). Также результатом работы системы может быть отсутствие распознавания команды (например, если пользователь по тем или иным причинам не сфокусировал или плохо сфокусировал внимание на целевом стимуле); в этом случае ни один из элементов управления не распознается системой.

Элементы «неактивной» матрицы (матриц) не подвергаются стимуляции на этапе работы пользователя с «активной» матрицей. Быстрое переключение на другую «неактивную» матрицу производится пользователем с использованием переключающих элементов управления. При выборе пользователем соответствующего переключающего элемента управления «неактивная» матрица, с которой ассоциирован данный переключающий элемент, становится «активной», а матрица, с которой производилась работа, напротив, переходит из состояния «активной» в «неактивную».

Для выбора переключающего элемента управления он на момент осуществления выбора должен находиться в «активном» состоянии, которое предусматривает изменение состояния («мигание») элемента с заданной частотой. Частота «мигания» настраивается для системы определенным образом, в наиболее типичном случае лежит в пределах 4-20 Гц. Для выбора переключающего элемента управления пользователь должен перевести взгляд на этот элемент в момент, когда он является «активным» («мигает»), и сфокусировать его на этом элементе в течение некоторого времени. Это время заранее сообщается пользователю и составляет, как правило, 4-10 секунд. Еще раз отметим, что переключающий элемент управления может быть как простым (например, занимать место только одного элемента из «неактивной» матрицы), так и сложным (состоять из более чем одного элемента матрицы, либо быть размером с целую матрицу). При этом переключающий элемент управления, в том числе, может как заменять содержимое элементов «неактивной» матрицы, так и сохранять все или часть элементов в неизменном виде.

В одном из вариантов реализации системы данный управляющий элемент может представлять собой одну или несколько исходных ячеек «неактивной» матрицы», в которой он находится, а его мигания могут представлять собой такие же видоизменения элементов «неактивной» матрицы, которые происходят в ней при обычной стимуляции, когда она используется для управления в своем «активном» состоянии (например, подсветки), но с заданной постоянной частотой. В другом варианте переключающий управляющий элемент может представлять собой специальный символ, который располагается в одной или нескольких позициях «неактивной» матрицы, заменяя собой содержимой соответствующих элементов матрицы.

При активации с помощью переключающего элемента управления связанной с ним матрицы, данная матрица становится «активной», таким образом, появляется возможность выбрать команду из числа элементов управления, содержащихся в этой матрице. При этом переключающий элемент управления, с помощью которого произошло переключение, может в дальнейшем как отображаться в пределах данной матрицы, так и не отображаться вовсе. Одновременно бывшая «активной» матрица «деактивируется», т.е. ее элементы не могут больше быть выбраны до момента, пока эта матрица не будет «активирована» снова. Для активации в этой «неактивной» матрице появляется переключающий объект управления со свойствами, описанными выше. Если на экране присутствует более двух матриц (т.е. в любой момент времени «неактивных» матриц больше, чем одна), но подобные переключающие управляющие элементы присутствуют во всех «неактивных» матрицах.

Помимо переключающих элементов управления в пределах «неактивных» матриц, подобные функциональные управляющие элементы могут располагаться на экране вне одной из матриц. Их назначение может заключаться в быстром выборе некоторых наиболее важных и в то же время нечасто используемых команд. Например, при печати текста эти функциональные управляющие элементы могут отвечать за удаление последней введенной буквы или слова, «перезапуск» стимуляции в «активной матрице» (т.е. инициация начала нового этапа выбора команды). В системах для пациентов с двигательными нарушениями такие функциональные управляющие элементы могут отвечать на жизненно важные команды или выполнять функцию «тревожной кнопки». Как и в случае переключающих управляющих элементов, эти отдельные функциональные элементы могут быть «активными» (т.е. обеспечивать выбор команды с помощью них) как в течение всего времени работы системы, так и быть активными лишь на определенных этапах (например, в промежутках времени между этапами выбора управляющих элементов из матриц).

Преимуществом предлагаемой нейрокомпьютерной системы для выбора команд на основе регистрации мозговой активности является возможность разбить совокупность всех элементов управления на несколько групп (матриц), одновременно присутствующих на экране, и обеспечить возможность быстрого переключения между ними при помощи переключающих элементов управления. Предлагаемый подход к организации визуальной стимульной среды позволяет выбирать команду из отдельных матриц быстрее, чем из единой матрицы, которая бы содержала столько же управляющих элементов, сколько суммарно содержится в отдельных матрицах. При этом переключение между матрицами представляет собой команду, быстрота выбора которой обеспечивается алгоритмами, отличными от тех, что используются в многокомандных матрицах.

Кроме того, работающие на основе тех же алгоритмов функциональные элементы управления вне матриц могут обеспечить быстрый выбор других важных команд, однородных для групп элементов управления в пределах матриц. Например, как отмечалось выше, возможно будет осуществлять выбор управляющих команд в ходе печати текста. Кроме того, с помощью функциональных элементов управления можно выбирать команды навигации по всей системе: перемещаться между разными экранами (содержащими различные матрицы с управляющими элементами, переходить в основные или главные разделы меню управления интерфейсом, где также можно выбирать различные управляющие матрицы).

Данная система переключения между различными группами элементов управления может быть использована не только для «мысленного» набора текста, но и, например, в качестве виртуального пульта управления телевизором, или «умным домом». При управлении телевизором так же, как и при вводе текстов, может существовать необходимость выбора часто используемых команд (например, частых ТВ-каналов) в отдельную матрицу с возможностью быстрого выбора этих команд, а также с возможностью перехода к другим матрицам (редким ТВ-каналам, настройкам) или перемещения в другие разделы меню управления телевизором. Последние два варианта переключения могут осуществляться при помощи «быстрых» переключающих или функциональных элементов управления, в то время как выбор основных команд (навигация по ТВ-каналам) могут осуществляться при помощи элементов в основных управляющих матрицах. При использовании подобной системы управления в «умном доме» пользователь с помощью основных элементов управления может выбирать различные команды (включение света, управление ТВ, музыкальным центром, включение компьютера или активация телефона), и, в то же время, при помощи переключающих и функциональных элементов управления быстро переключаться на другие многокомандные управляющие матрицы. Например, для печати текста при пользовании компьютером, для ввода номера при использовании телефона или для выбора ТВ-каналов при включении телевизора. В свою очередь, в меню каждого из устройств в этих примерах могут быть свои разделы, управления в которых может осуществляться при помощи основных команд в матрицах, а навигация между разделами - с помощью «быстрых» переключающих и функциональных управляющих элементов (на примере управления телевизором).

Практическое применение предлагаемого изобретения было рассмотрено выше; полезные эффекты применения предлагаемого изобретения заключаются в общем ускорении процесса работы пользователя при выборе команд (уменьшении времени на выбор одной команды, и уменьшении вероятности ошибки при выборе команды из матрицы с меньшим количеством элементов). В системах управления, где требуется большое количество управляющих элементов (несколько десятков), например, для «мысленного» набора текста, целесообразным является организация матрицы небольших размеров с наиболее часто используемыми командами (частными буквами), а также других матриц (с редкими буквами, цифрами, знаками препинания, другой языковой раскладкой и пр.).

Переключение между такими матрицами потенциально возможно и с помощью тех же алгоритмов, что используются для выбора управляющих элементов в них. Однако, во-первых, оно является более долгим ввиду необходимости выбирать команду переключения из множества других команд. Во-вторых, оно является менее эргономичным для пользователя, поскольку элемент переключения находится вне объекта, за «активацию» которого он отвечает.

Предлагаемая система позволяет преодолеть указанные недостатки, обеспечивая возможность быстрого переключения между группами элементов управления, в некоторых реализациях возможного в любой момент времени (даже на этапе выбора команды из матрицы). Кроме того, сам процесс переключения организован логичнее, поскольку для активации требуемой совокупности команд (матрицы) пользователю нужно лишь перевести и зафиксировать взгляд на элементе (элементах) этой матрицы. В некоторых реализациях предлагаемой системы функциональные элементы управления, расположенные отдельно (вне матриц), также могут ускорить работу пользователя в системе, а также дать ему возможность быстрого выбора некоторых важных команд.

Изобретение относится к нейрокомпьютерным системам, а именно к области бесконтактного управления электронно-вычислительными или другими техническими устройствами с использованием интерфейсов мозг-компьютер для выбора команд и может быть использовано в системах коммуникации и управления. Система содержит: электроэнцефалограф, электроды, сконфигурированные для передачи регистрируемых импульсов, электронно-вычислительное устройство, предназначенное для анализа регистрируемой мозговой активности, и модуль визуальной стимульной среды, объединяющий по меньшей мере два элемента управления, снабженных возможностью создания зрительных стимулов, каждый из которых ассоциирован с одной командой. При этом элементы управления сгруппированы по меньшей мере в две группы, каждая из которых состоит по меньшей мере из одного элемента управления. При этом для каждой группы имеется один переключающий элемент управления, ассоциированный с командой, одновременно инициирующей создание зрительных стимулов для всех элементов управления в той группе, к которой он относится, и отключающей создание зрительных стимулов для всех элементов управления, содержащихся в других группах, кроме переключающих элементов управления каждой из групп. Система позволяет уменьшить время, затрачиваемое на выбор элемента в визуальной стимульной среде, содержащей большое количество элементов, при сохранении заданного уровня надежности выбора. 8 з.п. ф-лы., 2 ил.

1. Нейрокомпьютерная система для выбора команд на основе регистрации мозговой активности, содержащая электроэнцефалограф, электроды, сконфигурированные для передачи регистрируемых импульсов, электронно-вычислительное устройство, предназначенное для анализа регистрируемой мозговой активности, и модуль визуальной стимульной среды, объединяющий по меньшей мере два элемента управления, снабженных возможностью создания зрительных стимулов, каждый из которых ассоциирован с одной командой, отличающаяся тем, что элементы управления сгруппированы по меньшей мере в две группы, каждая из которых состоит по меньшей мере из одного элемента управления, при этом для каждой группы имеется один переключающий элемент управления, ассоциированный с командой, одновременно инициирующей создание зрительных стимулов для всех элементов управления в той группе, к которой он относится, и отключающей создание зрительных стимулов для всех элементов управления, содержащихся в других группах, кроме переключающих элементов управления каждой из групп.

2. Нейрокомпьютерная система по п. 1, отличающаяся тем, что создание зрительных стимулов для всех элементов управления, кроме переключающих элементов управления, в ходе выбора команд организуется в виде повторяющихся циклов, включающих последовательное создание одинаковых зрительных стимулов для каждого из элементов управления, кроме переключающего, и для выбора одной команды используется по меньшей мере один цикл стимуляции, при этом для выбора команд, ассоциированных с переключающими элементами управления каждой из групп, осуществляется непрерывное создание зрительных стимулов с частотами, отличающимися от частот зрительных стимулов всех других элементов управления, и дополнительно осуществляется фиксация взгляда пользователя в зоне визуальной стимульной среды, в которой располагается выбранный переключающий элемент управления.

3. Нейрокомпьютерная система по п. 1, отличающаяся тем, что создание зрительных стимулов для всех элементов управления, кроме переключающих элементов управления, в ходе выбора команд организуется в виде повторяющихся циклов, включающих последовательное создание одинаковых зрительных стимулов для каждого из элементов управления, кроме переключающего, и для выбора одной команды используется по меньшей мере один цикл стимуляции, при этом для выбора команд, ассоциированных с переключающими элементами управления каждой из групп, после завершения каждого цикла стимуляции для элементов управления каждой группы осуществляется создание зрительных стимулов с частотами, отличающимися от частот зрительных стимулов всех других элементов управления, и дополнительно осуществляется фиксация взгляда пользователя в зоне визуальной стимульной среды, в которой располагается выбранный переключающий элемент управления.

4. Нейрокомпьютерная система по п. 2 или 3, отличающаяся тем, что модуль визуальной стимульной среды содержит группу функциональных элементов управления, ассоциированных с командами, выполнение которых возможно для любой группы элементов управления, которые имеются в визуальной стимульной среде, при этом создание зрительных стимулов для функциональных элементов управления осуществляется таким же образом, каким оно осуществляется для переключающих элементов управления.

5. Нейрокомпьютерная система по одному (любому) из пп. 1-3, отличающаяся тем, что переключающие элементы управления для каждой группы элементов управления находятся непосредственно в пределах тех групп, к которым они относятся.

6. Нейрокомпьютерная система по одному (любому) из пп. 1-3, отличающаяся тем, что переключающие элементы управления для каждой группы элементов управления находятся за пределами тех групп, к которым они относятся, и сгруппированы по меньшей мере в одной выделенной области визуальной стимульной среды.

7. Нейрокомпьютерная система по одному (любому) из пп. 2, 3, отличающаяся тем, что в момент, когда инициировано и осуществляется в рамках повторяющихся циклов последовательное создание зрительных стимулов для всех элементов управления в определенной группе, в отношении переключающего элемента управления для этой группы создание зрительных стимулов не осуществляется.

8. Нейрокомпьютерная система по одному (любому) из пп. 2, 3, отличающаяся тем, что создание зрительного стимула для переключающего элемента управления осуществляется путем изменения его яркости, цвета или содержимого с частотой, отличающейся от частоты зрительных стимулов всех других элементов управления.

9. Нейрокомпьютерная система по п. 7, отличающаяся тем, что переключающие элементы управления частично или полностью замещают элементы управления, содержащиеся в группах, к которым они относятся.