Система и способ (варианты) управления интерфейсом дополненной реальности Российский патент 2023 года по МПК G06F3/01 G02C7/04 

Группа изобретений относится к системам и способам взаимодействия пользователя с компьютером, а именно к системам и способам управления интерфейсом дополненной реальности (AR) с помощью биоэлектрических сигналов (в частности, движений языка или устойчивых визуально вызванных потенциалов), регистрируемых с помощью контактных линз.

Из уровня техники известен контактный электрод с системой отслеживания направления взгляда, содержащий контактную линзу и встроенный в неё визуальный электрофизиологический контактный электрод, соприкасающийся с роговицей глаза пользователя (см. публикацию CN 210055982 U, кл. A61B 3/113, A61B 5/0496, опубл. 2020-02-14). В известном устройстве во время измерения указанным электродом электрофизиологических параметров роговицы движение глазных яблок регистрируется с помощью системы отслеживания взгляда. Основным недостатком известного решения является его ограниченная функциональность (может быть использовано только для пассивной регистрации сигнала исключительно контактным методом) и невозможность формирования полноценной взаимосвязи пользователь-компьютер. Кроме того, кольцевой электрод изготовлен из непрозрачного материала (что ухудшает видимость) и снимает только усредненный электрический сигнал с роговицы (что малоинформативно).

Из уровня техники известно устройство на основе контактной линзы с электродной матрицей для одновременного обнаружения электрических потенциалов в нескольких точках поверхности глаза, содержащее диэлектрическую подложку с вогнутой внутренней поверхностью и, по меньшей мере, пять регистрирующих электродов, выполненных с возможностью электрического соединения с передней поверхностью глаза (см. публикацию US 2008294066 A1, кл. A61B 5/05, опубл. 2008-11-27). Каждый регистрирующий электрод находится в электропроводящей связи со своим изолированным проводящим контактом для оперативного подключения к процессору обработки сигналов, который анализирует зарегистрированные электрофизиологические потенциалы, отражающие пространственное распределение активности сетчатки. Недостатками известного решения являются ограниченная функциональность, исключающая возможность его использования для управления пользовательским интерфейсом, а также сложность изготовления и необходимость использования дифференциального усилителя, подключенному к налобному электроду заземления.

Из уровня техники известны система и способ для получения информации о пространственном распределении активности фоторецепторов и нервной активности в сетчатке с использованием одновременно зарегистрированных множественных биоэлектрических сигналов (см. публикацию US 2007188710 A1, кл. A61B 3/10; опубл. 2007-08-16). Собранная таким образом информация используется для оценки дисфункции сетчатки вследствие травмы или заболевания. Биоэлектрические сигналы регистрируются с поверхности глаза и головы пользователя с помощью множества электродов (в том числе, встроенных в контактную линзу) и записываются до, во время и после действия оптического стимула. Анализ и интерпретация сигналов биопотенциала являются количественными и используют электромагнитную модель глаза пользователя. Недостатками известного решения также являются ограниченная функциональность, исключающая возможность его использования для управления пользовательским интерфейсом, а также невозможность совмещения с носимыми устройствами дополненной реальности.

Наиболее близкой по технической сущности к заявленному изобретению является система управления интерфейсом дополненной реальности, содержащая контактную линзу, блок проецирования интерфейса дополненной реальности в глаз пользователя, сенсор, выполненный с возможностью регистрации биоэлектрических сигналов пользователя, блок обработки указанных биоэлектрических сигналов, выполненный с возможностью формирования управляющих сигналов, и блок управления, выполненный с возможностью изменения интерфейса дополненной реальности в соответствии с управляющими сигналами, полученными от указанного блока обработки (см. патент US10990175B2, кл. G02B27/01, G06F3/01, G06T19/00, A61B5/316, A61B5/378, A61B5/38, опубл. 2021-04-27). Из этого же документа известен способ управления интерфейсом дополненной реальности, заключающийся в том, что на глаз пользователя устанавливают контактную линзу или очки, проецируют в глаз пользователя интерфейс дополненной реальности, регистрируют генерируемые пользователем биоэлектрические сигналы, обрабатывают зарегистрированные биоэлектрические сигналы и формируют на их основе управляющие сигналы, и изменяют интерфейс дополненной реальности в соответствии с указанными управляющими сигналами. Известная система реализована в гарнитуре, включающая дисплей дополненной реальности, аккумулятор и печатную плату, оснащённую датчиками для считывания биоэлектрических сигналов с затылочной части головы пользователя. В известном решении выходные данные обеспечивают обратную связь посредством стимуляции нескольких сенсорных систем мозга пользователя, включая аудио и визуальное отображение на дисплее дополненной реальности или аудио и тактильное с точки зрения вибрационных паттернов, которые может почувствовать пользователь. Все вместе это образует замкнутую систему: зарегистрированный биоэлектрический сигнал запускает обратную связь, которая, в свою очередь, усиливает биосигнал. Основными недостатками известного решения являются громоздкость носимого устройства, а также необходимость одновременного стимулирования нескольких сенсорных систем мозга пользователя.

Технической проблемой является устранение указанных недостатков и создание простой и комфортной в эксплуатации системы управления интерфейсом дополненной реальности.

Технический результат заключается в повышении компактности носимой части системы управления.

В части устройства поставленная проблема решается, а технический результат достигается тем, что в системе управления интерфейсом дополненной реальности, содержащей, по меньшей мере, одну контактную линзу, блок проецирования интерфейса дополненной реальности в глаз пользователя, сенсор, выполненный с возможностью регистрации биоэлектрических сигналов пользователя, блок обработки указанных биоэлектрических сигналов, выполненный с возможностью формирования управляющих сигналов, и блок управления, выполненный с возможностью изменения интерфейса дополненной реальности в соответствии с управляющими сигналами, полученными от указанного блока обработки, указанный сенсор содержит, по меньшей мере, два основных электрода, интегрированных в указанную контактную линзу, а блок обработки биоэлектрических сигналов выполнен с возможностью формирования управляющих сигналов на основе данных этого сенсора, отражающих изменение во времени разности потенциалов между его электродами. Блок обработки может быть интегрирован в указанную контактную линзу или быть расположен в устройстве-компаньоне, выполненном с возможностью получения данных сенсора посредством беспроводной связи. Указанное устройство-компаньон может быть снабжено дополнительными электродами, выполненными с возможностью независимой регистрации биоэлектрических сигналов пользователя. Блок проецирования также может быть расположен в указанном устройстве-компаньоне или быть интегрирован в указанную контактную линзу. Сенсор может быть снабжен референтным электродом и электродом заземления, отличными от основных электродов. Референтный электрод и/или электрод заземления могут быть выполнены в виде кольцевого проводника, интегрированного в указанную контактную линзу, или установлены на коже пользователя и электрически подключены к основным электродам с помощью проводящей структуры. Указанная проводящая структура предпочтительно включает в себя проводящую татуировку, выполненную на внутренней стороне века пользователя, и ответную контактную площадку, выполненную на внешней поверхности контактной линзы с возможностью формирования электрического контакта с указанной проводящей татуировкой. Основные электроды могут быть расположены на внутренней поверхности контактной линзы с возможностью формирования электрического контакта с глазом пользователя и снабжены интегрированным в указанную контактную линзу проводящим кожухом, экранирующим внешнее электромагнитное поле. В альтернативном варианте основные электроды могут быть выполнены в виде бесконтактных емкостных электродов. Основные электроды предпочтительно выполнены прозрачными в оптическом диапазоне и сформированы из Ван-дер-Ваальсова материала, состоящего из двумерных слоев, связанных между собой Ван-дер-Ваальсовыми силами.

В части способа по первому варианту поставленная проблема решается, а технический результат достигается тем, что согласно способу управления интерфейсом дополненной реальности, заключающемуся в том, что устанавливают на глаз пользователя, по меньшей мере, одну контактную линзу, проецируют в глаз пользователя интерфейс дополненной реальности, регистрируют генерируемые пользователем биоэлектрические сигналы, обрабатывают зарегистрированные биоэлектрические сигналы и формируют на их основе управляющие сигналы, и изменяют интерфейс дополненной реальности в соответствии с указанными управляющими сигналами, биоэлектрические сигналы регистрируют с помощью сенсора, содержащего, по меньшей мере, два основных электрода, интегрированных в указанную контактную линзу, а в ходе обработки зарегистрированных биоэлектрических сигналов пользователя регистрируют изменение во времени разности потенциалов между электродами указанного сенсора, выделяют частотные сигналы, обусловленные движением языка, и формируют управляющие сигналы на их основе. В ходе проецирования в глаз пользователя интерфейса дополненной реальности формируют пространственно разнесённые по полю зрения элементы интерфейса, а управляющие сигналы формируют таким образом, что выбор соответствующего элемента интерфейса определяют по движению языка в полости рта в том же направлении, в котором расположен выбираемый элемент интерфейса.

В части способа по второму варианту поставленная проблема решается, а технический результат достигается тем, что согласно способу управления интерфейсом дополненной реальности, заключающемся в том, что устанавливают на глаз пользователя, по меньшей мере, одну контактную линзу, проецируют в глаз пользователя интерфейс дополненной реальности, регистрируют генерируемые пользователем биоэлектрические сигналы, обрабатывают зарегистрированные биоэлектрические сигналы и формируют на их основе управляющие сигналы, и изменяют интерфейс дополненной реальности в соответствии с указанными управляющими сигналами, в ходе проецирования в глаз пользователя интерфейса дополненной реальности формируют пространственно разнесённые по полю зрения элементы интерфейса, мерцающие с различной частотой, биоэлектрические сигналы регистрируют с помощью сенсора, содержащего, по меньшей мере, два основных электрода, интегрированных в указанную контактную линзу, а в ходе обработки зарегистрированных биоэлектрических сигналов пользователя регистрируют изменение во времени разности потенциалов между электродами указанного сенсора, выделяют частотные сигналы, соответствующие частоте мерцания элементов интерфейса, и формируют управляющие сигналы на их основе. Предпочтительно в случае доминирования биоэлектрических сигналов с частотой мерцания одного из элементов интерфейса формируют управляющие сигналы выбора, соответствующие выбору указанного элемента интерфейса, и в ходе изменения интерфейса дополненной реальности в соответствии с указанными управляющими сигналами выбора изменяют интенсивность свечения и\или форму выбранного элемента интерфейса.

На фиг.1 представлена схема предлагаемой системы управления при максимальной интеграции в контактную линзу;

на фиг.2 представлена схема предлагаемой системы управления при максимальной интеграции в устройство-компаньон;

на фиг.3 представлена схема функционирования системы согласно предлагаемому способу управления по первому варианту с использованием устройства-компаньона;

на фиг.4 - вариант выполнения проводящих татуировок в периокулярной области;

на фиг.5 представлена схема возможных движения языка при управлении интерфейсом дополненной реальности согласно предлагаемому способу по первому варианту;

на фиг.6 представлена матрица несоответствий для экспериментальной реализации предлагаемого способа управления по первому варианту при выделении медленноволновой компоненты и использовании фильтра CSP+LDA;

на фиг.7 - то же, что на фиг.6 при использовании фильтра XDAWN;

на фиг.8 представлено среднее отношение «сигнал-шум» по всем каналам для экспериментальной реализации предлагаемого способа управления по второму варианту при осуществлении когнитивного выбора элемента интерфейса «стрелка вверх», мерцающего с частотой 17 Гц;

на фиг.9 - то же, что на фиг.8 при осуществлении когнитивного выбора элемента интерфейса «стрелка вниз», мерцающего с частотой 19 Гц.

Предлагаемая система управления интерфейсом дополненной реальности (фиг.1-2) выполнена на основе сенсора 1 биоэлектрических сигналов с основными электродами 2, интегрированными в контактную линзу 3, а также (опционально) дополнительными электродами 4, которые выполнены с возможностью независимой регистрации биоэлектрических сигналов пользователя и могут быть установлены на теле пользователя. Основные электроды 2 предпочтительно располагают на внутренней поверхности контактной линзы 3 с возможностью формирования электрического контакта с глазом пользователя. Для исключения влияния на результаты регистрации внешних наводок (окружающих электромагнитных полей, не связанных с биоэлектрическими сигналами пользователя) основные электроды 2 с противоположной от глаза стороны снабжают интегрированным в указанную контактную линзу 3 проводящим кожухом, функционирующим по принципу клетки Фарадея. В альтернативном варианте основные электроды 2 могут быть выполнены в виде бесконтактных емкостных электродов, расположенных на внешней поверхности и полностью интегрированных в контактную линзу 3.

Принципиально для функционирования системы нужно два основных электрода 2 (чтобы обеспечить возможность определения разности потенциалов между ними), однако для получения более полных данных для последующей обработки целесообразно формировать от 4 до 12 электродов по всему периметру линзы 3. К системе может быть подключена как одна контактная линза 3, так и две, установленные на оба глаза пользователя.

В качестве контактной линзы 3 может быть использована жесткая склеральная, мягкая гидрогелевая, комбинированная (гибридная) или любая другая структура из полимера или иного материала, выполненная с возможностью фиксации на роговице пользователя. Для комфортного использования таких контактных линз 3 в повседневной жизни, основные электроды 2 выполняют из прозрачного материала. Предпочтительно использование тонких слоёв металла (например, золота или меди) или Ван-дер-Ваальсовых материалов, состоящих из двумерных слоев, связанных между собой Ван-дер-Ваальсовыми силами, в частности: графена, черного мышьяка, черного фосфора, Cd₃As₂, Cd₃Sb₂, Cr₂AlC, Cr₂C, Mn₂AlC, Mo₂C, Mo₂Ga₂C, Mo₃AlC₂, Nb₂AlC, Nb₂C, Nb₄AlC₃, Nb₄C₃, Ta₂C, Ta₄AlC₃, Ti₂AlC, Ti₂AlN, Ti₂C, Ti₂N, Ti₃AlC₂, Ti₃C₂, Ti₃CN, Ti₃SiC₂, Ti₄N₃, V₂AlC, V₂C, V₄AlC₃, V₄C₃, Sb₂Te₃, PdSe₂, PtS₂, PtSe₂, Sb₂Se₃, Sb₂S₃, As₂Te₃, Bi₂Se₃, Bi₂TeO₂, BiSbTe₃, Bi₂Te₃ или AsP. Такие материалы, сформированные в виде слоя толщиной порядка нескольких десятков нанометров (менее 100 нм) обладают достаточно хорошей проводимостью и прозрачностью в оптическом диапазоне (в т.ч. видимой области спектра).

Для взаимодействия с интерфейсом дополненной реальности система управления также должна включать блок 5 проецирования интерфейса дополненной реальности в глаз пользователя, блок 6 обработки биоэлектрических сигналов и блок 7 управления. Для максимальной компактности все эти блоки 5, 6, 7 интегрируют непосредственно в тело контактной линзы 3. При этом блок 5 проецирования выполняют в виде микродисплея с оптической системой, формирующей квазиколлимированный пучок, направляемый на хрусталик глаза пользователя, по существу, вдоль его оптической оси.

Однако для упрощения конструкции и обеспечения возможности использования больших вычислительных мощностей, блок 6 обработки (фиг.1) может быть вынесен в устройство-компаньон 8 или представлять собой внешний программно-аппаратный комплекс.

Блоки 5, 7 также могут быть вынесены в устройство-компаньон 8 (фиг.2-4), которое позволяет использовать более габаритные электронные компоненты и комфортно распределить их вес. При этом блок 5 проецирования выполняют в виде обычного микропроектора, а контактную линзу 3 снабжают оптическим диффракционным элементом (например, голограммой, дифракционной решеткой или иной оптической структурой, в том числе на основе метаповерхности), заворачивающим излучение от такого внешнего проектора в глаз пользователя. Устройство-компаньон 8 может представлять собой очки, ободок, обруч и т.д. и устанавливаться, например, на голову или шею пользователя. Для взаимодействия с основными электродами 2, расположенными в контактной линзе 3, устройство-компаньон 8 и сенсор 1 выполняют с возможностью обмена данными посредством беспроводной связи (снабжают соответствующими приёмопередатчиками), кроме того, в указанном взаимодействии могут быть использованы облачные системы хранения данных. В контактную линзу 3 могут быть также интегрированы приемопередающая антенна, блок питания (например, аккумуляторная батарея) и управляющий чип типа ASIC (на чертежах не показано).

Блок 6 обработки подключен к сенсору 1 проводным или беспроводным способом и преобразует зарегистрированные биоэлектрические сигналы в управляющие сигналы. Для этого блок 6 выполнен с возможностью формирования управляющих сигналов на основе данных сенсора 1, отражающих изменение во времени разности потенциалов между его электродами. Разность потенциалов может быть измерена непосредственно между основными электродами 2 в контактной линзе 3 или между основными электродами 2 и дополнительными электродами 4.

Для определения биоэлектрических сигналов в виде мозговых волн в стандартной схеме используют активные электроды, референтный электрод и электрод заземления. При этом изменение в качестве целевого сигнала сенсор 1 регистрирует изменение во времени разности потенциалов между основным электродом 2 и референтным электродом, а электрод заземления используют для учёта фонового внешнего электромагнитного поля.

В простейшем с точки зрения минимизации компонентов является вариант, когда в качестве референтного электрода и/или электрода заземления используются виртуальные элементы, потенциал на которых представляет собой расчётное значение, полученное на основе математической обработки электрического потенциала на всех реальных основных электродах 2.

Однако, для повышения точности могут быть использованы реальные референтный электрод и электрод заземления, отличные от основных электродов 2. В этом случае референтный электрод и/или электрод заземления выполняют в виде более толстого кольцевого проводника 9 (например, медной проволоки толщиной 1-10 мкм), интегрированного в указанную контактную линзу 3 по периферии вокруг прозрачных основных электродов 2.

В альтернативном варианте (фиг.3-4) референтный электрод может быть выполнен в виде одной или более проводящей наклейки 10, которая содержит дополнительный электрод 4, соединённый устройством-компаньоном 8, и фиксируется на коже над бровью, в уголках глаз, на подвижном/неподвижном веке или ином участке головы пользователя. Электрический контакт с основными электродами 2 при этом может быть выполнен в виде подключения посредством проводящей структуры, которая полностью или частично представляет собой проводящую татуировку 11. Оконечную часть такой проводящей татуировки выполняют на внутренней стороне верхнего или нижнего века пользователя, а на внешней поверхности контактной линзы 3 формируют ответную контактную площадку, обеспечивающую возможность формирования электрического контакта основных электродов 2 с указанной проводящей татуировкой и референтным электродом. Электрод заземления при этом может быть выполнен в виде обычного электроэнцефолографического (ЭЭГ) дополнительного электрода 4, зафиксированного на устройстве-компаньоне 8 и находящегося в контакте, например, с преокулярной или затылочной частью головы пользователя.

Управляющие сигналы, сформированные блоком 6 обработки на основе данных сенсора 1, направляются в блок 7 управления, который формирует целевое изображение интерфейса дополненной реальности и передаёт его в блок 5 проецирования. Новое изображение интерфейса воспринимается пользователем, он формирует ответную реакцию выбора, и эта реакция генерирует новые биоэлектрические сигналы. Сенсор 1 вновь регистрирует изменение во времени этого сигнала, передаёт его в блок 6 обработки, тот формирует управляющие сигналы для блока 7 управления, который вновь изменяет интерфейс дополненной реальности и цикл взаимодействия начинается заново.

Таким образом, с помощью предлагаемого устройства при максимальной компактности носимой части может быть сформирована эффективная система управления интерфейсом дополненной реальности (AR), а также виртуальной реальности (при совместном использовании с VR носимыми устройствами). При этом возможность организации эффективных каналов биологической обратной связи и нейроинтерфейсов обусловлена многообразием различных параметров, регистрируемых с глаза человека. В качестве биоэлектрических сигналов могут быть использованы любые электрические сигналы, генерируемые пользователем, в том числе на основе исключительно мозговой (например, когнитивные изменения), иной нейронной (например, зрительно вызванные электрические потенциалы) и/или мышечной активности (работа мимических или челюстных мышц; прищур, иные движения периокулярной области, век, языка, бровей, ноздрей, губ, ушей, лба и т.п.; комбинация вдохов, выдохов и задержки дыхания, прикусывание мягких тканей полости рта; формирование звуков и т.д.), а также любой их комбинации. Одним из перспективных вариантов использования комбинированного биоэлектрического сигнала представляется калибровка блока 6 обработки для преобразования в управляющий сигнал речи (в т.ч. беззвучной): при этом сенсор регистрирует комплексные сигналы, обусловленные движением губ и языка пользователя, а также движения жевательных мышц и мышц глотки. Такое использование представляется наиболее интуитивно понятным, но требует длительного сбора и обработки данных для реализации достаточно точной калибровки под конкретного пользователя.

Ниже рассмотрены варианты реализации способов управления интерфейсом дополненной реальности, представляющиеся перспективными, но не ограничивающие объём притязаний в части устройства.

Предлагаемый способ управления интерфейсом дополненной реальности по первому варианту заключается в выделении из биоэлектрического сигнала, зарегистрированного вышеописанным сенсором 1 в виде изменения во времени разности потенциалов, частотных сигналов, обусловленных движением языка 12 пользователя, а именно - высокочастотных и/или низкочастотных сигналов.

Для осуществления предлагаемого способа на глаз пользователя устанавливают контактную линзу 3 с интегрированными основными электродами 2, проецируют в глаз пользователя интерфейс дополненной реальности (фиг.3), регистрируют генерируемые пользователем биоэлектрические сигналы с помощью сенсора 1, обрабатывают зарегистрированные биоэлектрические сигналы и формируют на их основе управляющие сигналы, после чего изменяют интерфейс дополненной реальности в соответствии с указанными управляющими сигналами. Для формирования интуитивно понятного принципа управления в ходе проецирования в глаз пользователя интерфейса дополненной реальности формируют пространственно разнесённые по полю зрения элементы 13 интерфейса, а управляющие сигналы формируют таким образом, что выбор соответствующего элемента 13 интерфейса определяют по движению языка 12 в полости рта в том же направлении, в котором расположен выбираемый элемент интерфейса относительно центрального направления взора пользователя. На фиг.3 и фиг.5 для наглядности представлено изображение с открытым ртом, однако в ходе реального использования такой необходимости не требуется и рот может быть закрыт.

В качестве экспериментальной реализации биоэлектрически сигналы, записанные в периокулярной области с помощью вышеописанного устройства при движениях языка 12, были обработаны как потенциалы, связанные с событием (ERP, от англ. - event-related potential) и представляли собой измеренный отклик мозга, являющийся прямым результатом моторного события. Т.е. пользователь выполнял команды по выбору того или иного элемента 13 интерфейса («влево», «вправо», «вверх», «вниз») путём перемещения языка 12 в полости рта в том же направлении (фиг.5), блок 6 обработки преобразовывал её в управляющую команду, после чего анализировалась корректность идентификации выбора. Анализ регистрируемых биоэлектрических сингалов в виде изменения во времени разности потенциалов проводился в диапазоне от 0,5 до 7 Гц, что соответствует медленноволновой (низкочастнотной) компоненте глоссокинетического потенциала. Медленноволновая активность при движении языка 12 возникает в результате движения диполя, образованного кончикам языка, который заряжен положительно относительно корня. Возможность использования классификатора на основе движений языка в системе управления интерфейсом дополненной реальности демонстрируют расчеты матриц несоответствий для различных комбинаций пространственных фильтров и классификаторов (фиг.6-7). При этом полученные результаты относятся к стандартным, неоптимизированным по параметрам классификаторам, и имеют значительный потенциал к улучшению (итоговая точность такого классификатора может составлять более 95%).

Формирование классификатора по движению языка в полости рта в том же направлении, в котором расположен выбираемый элемент интерфейса является наиболее интуитивно понятным, однако потенциально возможны и иные варианты практической реализации: инвертированные команды, траекторные команды (форма элемента интерфейса может задавать активирующую траекторию движения языка) и т.д.

Предлагаемый способ управления интерфейсом дополненной реальности по второму варианту заключается в выделении из биоэлектрического сигнала (зарегистрированного вышеописанным сенсором 1 в виде изменения во времени разности потенциалов) частотных сигналов, соответствующих частоте мерцания элементов 13 интерфейса - вызванных потенциалов. Т.е. в предлагаемом способе сигналы ритмической активности регистрируются с основных электродов 2 контактной линзы, а не оксипитальными электродами.

Регистрация вызванных потенциалов головного мозга является хорошо проработанным объективным и неинвазивным методом тестирования функций центральной нервной системы как человека, так и животных. Применение высокочувствительных усилителей и цифровых устройств, позволяет выделить слабые сигналы в 5-100 раз меньшие обычной спонтанной активности головного мозга (ЭЭГ), электромиограммы (ЭМГ) и других биоэлектрических сигналов, за счет усреднения большого числа слабых ответов мозга. Стимулы в виде синусоидально модулированных монохроматических световых импульсов вызывают появление низкоамплитудных вызванных потенциалов, получивших название устойчивых зрительных вызванных потенциалов (SSVEP). Составляющие дискретные частотные компоненты таких сигналов остаются почти постоянными по амплитуде и фазе в течение длительного периода времени. При этом амплитуда необработанной ЭЭГ во временной области может меняться, тогда как амплитудное распределение спектрального состава SSVEP с характерными пиками остается стабильным во времени. SSVEP являются достаточно устойчивыми к помехам записи, таким как моргания, движения глаз и миографические артефакты. Пики SSVEP-спектра могут быть усилены с помощью специальных фильтров и использованы для формирования сигнала управления в различных устройствах. Возникновение SSVEP происходит преимущественно в полосе от 3 до 50 Гц, но может достигать и величин более 80 Гц.

Когерентный анализ ЭЭГ представляет собой метод математической обработки, направленный на оценку подобия (схожести) спектрального состава между двумя выбранными отведениями, т.е. отражает степень подобия сравниваемых ЭЭГ в частотной области. Когерентность дает информацию о стабильности взаимосвязи, оценивает статистическую связь между соответствующими частотными компонентами двух процессов и обладает высокой чувствительностью. Количественно степень подобия спектров может быть выражена через безразмерный параметр сходства - коэффициент когерентности (когерентность).

Математически когерентность может быть рассчитана как комплексная степень когерентности и как степень когерентности:

где C_xy(f) - комплексная степень когерентность, C²_xy(f) - квадрат степени когерентности, S_xy(f) - значение кросс-спектра на данной частоте, S_xx(f) и S_yy (f) - значения автоспектров сигналов х и у на той же частоте.

Использование блока 5 проецирования, встроенного внутрь контактной линзы 3, предполагает смещение всех элементов интерфейса при движении глаз, поэтому использование для управления простой смены направления взгляда представляется не очень перспективным. Для преодоления этой сложности в предлагаемом способе в качестве стимула, который должен обуславливать появление вызванных потенциалов, выступают элементы 13 интерфейса, мерцающие с заданной различной частотой (в ходе экспериментальной реализации изначально были использованы частоты f₁=5 Гц, f₂=15 Гц, f₃=20 Гц, f₄=35 Гц, а затем, соответственно, 11 Гц, 13 Гц, 17 Гц и 19 Гц). При этом элементы 13 интерфейса разнесены от центральной оптической оси в сторону периферической части поля зрения (в ходе экспериментальной реализации были использованы смещения вверх, вправо, вниз и влево). Дополнительно элементы интерфейса могут иметь различную форму и цвет для облегчения их когнитивной идентификации.

Для выбора того или иного элемента 13 пользователь совершает когнитивное усилие, заключающееся в фокусировке внимания (без перемещения взгляда) на одном из элементов 13 интерфейса. При этом биоэлектрические сигналы с частотой мерцания выбранного элемента 13 интерфейса начинают доминировать (например, по амплитуде или степени устойчивости) над остальными. На основе выявления такого доминирования блок 6 обработки формирует управляющие сигналы выбора, соответствующие выбору указанного элемента 13 интерфейса, и направляет их в блок 7 управления. Для упрощения взаимодействия и снижения вероятности ложного срабатывания после осуществления выбора блок 7 управления изменяет интенсивность свечения и\или форму выбранного элемента 13 интерфейса, после чего сенсором 1 может быть считан дополнительный биоэлектрический сигнал, соответствующий операции подтверждения выбора. В случае наличия устойчивой калибровки переход к новому интерфейсу (например, другому меню), соответствующему выбранному элементу 13, осуществляется сразу после его выбора.

Для осуществления предлагаемого способа на глаз пользователя устанавливают контактную линзу 3 с интегрированными основными электродами 2, проецируют в глаз пользователя интерфейс дополненной реальности с элементами 13 интерфейса (пространственно разнесенными по полю зрения и мерцающими с различной частотой), регистрируют генерируемые пользователем биоэлектрические сигналы с помощью сенсора 1, обрабатывают зарегистрированные биоэлектрические сигналы и формируют на их основе управляющие сигналы, после чего изменяют интерфейс дополненной реальности в соответствии с указанными управляющими сигналами.

Для формирования управляющих сигналов в блоке 6 обработки был реализован предварительный спектральный анализ полученного биоэлектрического сигнала, который заключался в разложении сигнала на его частотные и спектральные составляющие, а также оценке их характеристик - амплитуды, фазы, мощности, спектральной плотности мощности и др. Поскольку навязывание ритма может происходить не только на частоте стимуляции, но и на кратных гармониках, проведение многоэтапной математической обработки (с использованием быстрого преобразования Фурье и выделением соотношения сигнал-шум) является обязательным условием при использовании множественного числа частот стимула (мерцания элементов интерфейса). Проведённая экспериментальная реализация показала, что идентификация когнитивного выбора возможна при соответствующей обработке регистрируемого биоэлектрического сигнала в блоке 6 (см. фиг.8-9). Наиболее точные управляющие сигналы можно получить при использовании частот мерцания элементов интерфейса от 10 до 20 Гц, указанный диапазон близок к разрешению глаза (24 кадра в секунду). Причём во избежание появления гармонических колебаний частоты следует выбирать из некратных друг другу, в идеале - в виде простых чисел.

Изобретение относится к системам и способам управления интерфейсом дополненной реальности (AR). Техническим результатом является расширение функциональных возможностей системы дополненной реальности путем возможности управления интерфейсом AR с помощью биоэлектрических сигналов, регистрируемых с помощью контактных линз, повышение компактности носимой части системы управления. Система управления содержит контактную линзу, блок проецирования интерфейса дополненной реальности в глаз пользователя, сенсор для регистрации биоэлектрических сигналов пользователя, блок обработки и блок управления, выполненный с возможностью изменения интерфейса дополненной реальности в соответствии с управляющими сигналами. Указанный сенсор содержит, по меньшей мере, два основных электрода, интегрированных в указанную контактную линзу. Блок обработки выполнен с возможностью формирования управляющих сигналов на основе данных этого сенсора, отражающих изменение во времени разности потенциалов между его электродами. 3 н. и 14 з.п. ф-лы, 9 ил.

1. Система управления интерфейсом дополненной реальности, содержащая,

по меньшей мере, одну контактную линзу,

блок проецирования интерфейса дополненной реальности в глаз пользователя,

сенсор, выполненный с возможностью регистрации биоэлектрических сигналов пользователя,

блок обработки указанных биоэлектрических сигналов, выполненный с возможностью формирования управляющих сигналов, и

блок управления, выполненный с возможностью изменения интерфейса дополненной реальности в соответствии с управляющими сигналами, полученными от указанного блока обработки,

отличающаяся тем, что

указанный сенсор содержит, по меньшей мере, два основных электрода, интегрированных в указанную контактную линзу,

а блок обработки биоэлектрических сигналов выполнен с возможностью формирования управляющих сигналов на основе данных этого сенсора, отражающих изменение во времени разности потенциалов между его электродами.

2. Система управления по п.1, отличающаяся тем, что блок обработки интегрирован в указанную контактную линзу.

3. Система управления по п.1, отличающаяся тем, что блок обработки расположен в устройстве-компаньоне, выполненном с возможностью получения данных сенсора посредством беспроводной связи.

4. Система управления по п.3, отличающаяся тем, что указанное устройство-компаньон снабжено дополнительными электродами, выполненными с возможностью независимой регистрации биоэлектрических сигналов пользователя.

5. Система управления по п.3, отличающаяся тем, что блок проецирования расположен в указанном устройстве-компаньоне.

6. Система управления по п.1, отличающаяся тем, что блок проецирования интегрирован в указанную контактную линзу.

7. Система управления по п.1, отличающаяся тем, что указанный сенсор снабжен референтным электродом и электродом заземления, отличными от основных электродов.

8. Система управления по п.7, отличающаяся тем, что референтный электрод и/или электрод заземления выполнены в виде кольцевого проводника, интегрированного в указанную контактную линзу.

9. Система управления по п.7, отличающаяся тем, что референтный электрод и/или электрод заземления установлены на коже пользователя и электрически подключены к основным электродам с помощью проводящей структуры.

10. Система управления по п.9, отличающаяся тем, что указанная проводящая структура включает в себя проводящую татуировку, выполненную на внутренней стороне века пользователя, и ответную контактную площадку, выполненную на внешней поверхности контактной линзы с возможностью формирования электрического контакта с указанной проводящей татуировкой.

11. Система управления по п.1, отличающаяся тем, что основные электроды расположены на внутренней поверхности контактной линзы с возможностью формирования электрического контакта с глазом пользователя и снабжены интегрированным в указанную контактную линзу проводящим кожухом, экранирующим внешнее электромагнитное поле.

12. Система управления по п.1, отличающаяся тем, что основные электроды выполнены в виде бесконтактных емкостных электродов.

13. Система управления по п.1, отличающаяся тем, что основные электроды выполнены прозрачными в оптическом диапазоне и сформированы из Ван-дер-Ваальсова материала, состоящего из двумерных слоев, связанных между собой Ван-дер-Ваальсовыми силами.

14. Способ управления интерфейсом дополненной реальности, заключающийся в том, что

устанавливают на глаз пользователя, по меньшей мере, одну контактную линзу,

проецируют в глаз пользователя интерфейс дополненной реальности,

регистрируют генерируемые пользователем биоэлектрические сигналы,

обрабатывают зарегистрированные биоэлектрические сигналы и формируют на их основе управляющие сигналы, и

изменяют интерфейс дополненной реальности в соответствии с указанными управляющими сигналами,

отличающийся тем, что

биоэлектрические сигналы регистрируют с помощью сенсора, содержащего, по меньшей мере, два основных электрода, интегрированных в указанную контактную линзу, а

в ходе обработки зарегистрированных биоэлектрических сигналов пользователя регистрируют изменение во времени разности потенциалов между электродами указанного сенсора, выделяют частотные сигналы, обусловленные движением языка, и формируют управляющие сигналы на их основе.

15. Способ управления по п.14, отличающийся тем, что в ходе проецирования в глаз пользователя интерфейса дополненной реальности формируют пространственно разнесённые по полю зрения элементы интерфейса, а управляющие сигналы формируют таким образом, что выбор соответствующего элемента интерфейса определяют по движению языка в полости рта в том же направлении, в котором расположен выбираемый элемент интерфейса.

16. Способ управления интерфейсом дополненной реальности, заключающийся в том, что

устанавливают на глаз пользователя, по меньшей мере, одну контактную линзу,

проецируют в глаз пользователя интерфейс дополненной реальности,

регистрируют генерируемые пользователем биоэлектрические сигналы,

обрабатывают зарегистрированные биоэлектрические сигналы и формируют на их основе управляющие сигналы, и

изменяют интерфейс дополненной реальности в соответствии с указанными управляющими сигналами,

отличающийся тем, что

в ходе проецирования в глаз пользователя интерфейса дополненной реальности формируют пространственно разнесённые по полю зрения элементы интерфейса, мерцающие с различной частотой,

биоэлектрические сигналы регистрируют с помощью сенсора, содержащего, по меньшей мере, два основных электрода, интегрированных в указанную контактную линзу, а

в ходе обработки зарегистрированных биоэлектрических сигналов пользователя регистрируют изменение во времени разности потенциалов между электродами указанного сенсора, выделяют частотные сигналы, соответствующие частоте мерцания элементов интерфейса, и формируют управляющие сигналы на их основе.

17. Способ управления по п.16, отличающийся тем, что в случае доминирования биоэлектрических сигналов с частотой мерцания одного из элементов интерфейса формируют управляющие сигналы выбора, соответствующие выбору указанного элемента интерфейса, и в ходе изменения интерфейса дополненной реальности в соответствии с указанными управляющими сигналами выбора изменяют интенсивность свечения и/или форму выбранного элемента интерфейса.