Способ обучения бионическому зрению в виртуальной реальности Российский патент 2025 года по МПК A61F9/08 G09B19/00 G06F7/00 G06F3/01 

Заявляемое изобретение относится к области нейрохирургических имплантов, а именно к технологиям функциональной реабилитации пациентов, использующих кортикальные зрительные протезные системы, и может быть реализован в системах, предназначенных для использования людьми с ограниченными возможностями с целью улучшения восприятия и распознавания окружающего пространства пользователем.

Кортикальные нейроимпланты представляют собой системы, которые могут заменить двигательные, сенсорные или когнитивные функции человека, которые могли быть повреждены в результате травмы или заболевания. Кортикальные нейроимпланты располагаются в прямой связи с корой головного мозга и могут состоять из комплекса внешних и внутренних (имплантируемых) устройств. Непосредственно взаимодействуя с различными областями коры головного мозга, кортикальный нейроимплантат может обеспечивать стимуляцию непосредственной области и обеспечивать различные преимущества, в зависимости от его конструкции и расположения. Одним из видов кортикальных нейроимплантов является кортикальная зрительная протезная система, отвечающая за восстановление зрительных функций у тотально слепых людей.

Однако использование кортикальной зрительной протезной системы требует прохождения достаточно тяжелого для пациента адаптационного периода, в течение которого он обучается новому бионическому зрению, в том числе изучает различные пространства, в которых предполагается его самостоятельная ориентация, например, особенности геометрии собственной квартиры или дома, магазинов, библиотек, жилых домов и так далее. Изучение того или иного общественного пространства может быть сопряжено с организационными и функциональными сложностями, поскольку на этапе знакомства с любым пространством поблизости не должно быть никаких подвижных объектов (людей, животных, машин и т.п.). На начальном этапе пользователь должен ознакомиться и изучить стационарные элементы пространства (стены, кассы, киоски и т.п.), чтобы в реальных условиях не путать их с подвижными. Перемещение по тому или иному пространству может быть сопряжено с проблемами, которые связаны с техническими ограничениями зрительных протезных систем и того бионического зрения, которое оно дает пользователю. Так, в связи с ограниченным пространственным разрешением (зависит, в первую очередь, от количества электродов), может быть затруднена идентификация деталей, а из-за отсутствия цветности или, если используются алгоритмы контурирования объектов на этапе предобработки, отсутствия градаций серого у фона, объекты окружения могут восприниматься как один объект, хотя в реальности являться конгломератом из нескольких. Такая ситуация снижает общий уровень безопасности использования кортикальных зрительных протезных систем, потому что пользователь может не увидеть травмоопасный объект или его часть. Также это может вызывать сложности в ориентировке, снижая общий уровень удовлетворенности пользовательским опытом и уровень социализации.

На сегодняшний день из уровня техники практически не известны решения, направленные на повышение качества адаптации и снижение реабилитационного периода для пользователей кортикальных зрительных протезных систем.

Наиболее близким к заявляемому техническому решению является способ реализации визуализации для слепых с помощью технологии виртуальной реальности (патентная заявка CN 104510568 A, опубл. 15.04.2015), в котором транслируют информацию пациенту об окружающем пространстве путем стимуляции мозга электродами, при этом источником информации является шлем с различными датчиками. Данное решение используется для создания трехмерной сцены окружения в реальном времени, на основе которой происходит создание стимулирующего сигнала на электродную мозговую матрицу. Недостатком данного решения является отсутствие возможности использования трехмерных моделей для статичных тренировок пользователя кортикальной протезной системы в безопасных условиях, а также в том, что создаваемые модели нельзя корректировать и нет уверенности, что они не ошибочны и пользователь может им доверять, находясь в местах скопления людей, автомобилей и т.п. потенциально опасных ситуаций.

Задачей заявляемого изобретения является разработка способа создания редактируемых трехмерных моделей различных локаций, в которых может находиться пользователь кортикальной зрительной протезной системы, для его тренировок по ориентированию в безопасных и контролируемых условиях в рамках программ реабилитации.

Технический результат заявляемого изобретения заключается в сокращении сроков реабилитации пользователей кортикальных зрительных протезных систем, повышении безопасности процесса реабилитации, а также расширении функционала систем адаптации к бионическому зрению.

Технический результат достигается способом обучения бионическому зрению в виртуальной реальности, состоящим из этапов, на которых считывают геометрические параметры окружающего пользователя кортикальной зрительной протезной системы пространства посредством технических средств для получения информации об окружающем пространстве, передают их на персональный компьютер, где с помощью программного обеспечения создают виртуальные комнаты с возможностью редактирования; передают с персонального компьютера данные о виртуальных комнатах на вычислительный блок кортикальной зрительной протезной системы с предустановленным программным обеспечением, обеспечивающим возможность управления виртуальными комнатами и визуализации объектов, находящихся в них, с помощью бионического зрения; погружают пользователя кортикальной зрительной протезной системы в выбранную виртуальную комнату, непрерывно фиксируют данные о положении пользователя в пространстве посредством датчиков положения частей его тела, синхронизируя на вычислительном блоке кортикальной зрительной протезной системы информацию о положении тела пользователя в пространстве с его цифровой копией в виртуальной комнате, при этом пользователь кортикальной зрительной протезной системы в окружении виртуальных объектов, выполняет упражнения реабилитационной программы посредством сценариев, имитирующих адаптированные бытовые действия в виде индивидуального или многопользовательского режима, посредством инструментов управления в виртуальной реальности.

В качестве инструментов управления в виртуальной реальности могут использовать контроллеры или инструменты биологического управления. В качестве инструментов биологического управления могут использовать устройство голосового управления, или электроэнцефалограф, или айтрекер, или любое другое подобное решение.

Ниже будут подробно рассмотрены термины и их определения, используемые в описании технического решения.

Кортикальная зрительная протезная система программно-аппаратный комплекс, посредством которого осуществляется замещение утерянных зрительных функций путем обработки изображения с камеры и последующей стимуляции зрительной коры головного мозга.

Бионическое зрение - зрение, функционирующее как результат работы кортикальной зрительных протезных систем.

Виртуальная комната цифровая трехмерная модель замкнутого пространства и расположенных внутри него трехмерных моделей предметов.

В качестве аппаратной основы заявляемого способа обучения бионическому зрению используют вычислительный блок кортикальной зрительной протезной системы с установленным программным обеспечением, содержащим виртуальные комнаты, и контроллеры или инструменты биологического управления, обеспечивающие перемещение пользователя в виртуальном пространстве, с помощью которых пользователя погружают в иммерсионную виртуальную среду, где он присутствует в виртуальной комнате, может видеть цифровые копии (аватары) других пользователей (в случае, если в процессе обучения участвует несколько пользователей), выполняет упражнения под дистанционным контролем инструктора-реабилитолога. Виртуальная среда копирует привычную для пользователя обстановку (помещения квартиры, магазин, спортивный зал и т.п.).

Способ обучения бионическому зрению пользователя кортикальных зрительных протезных систем в виртуальной реальности состоит из нескольких этапов и реализуется следующим образом.

На начальном этапе на компьютере реабилитолога или инженера реабилитационного центра создают виртуальную копию любого пространства, окружающего пользователя кортикальной зрительной протезной системы, любым из известных способов. Для этого окружающее пространство может быть реконструировано вручную с нуля, то есть основываясь на планировке помещения и с помощью программного обеспечения для моделирования трехмерных объектов или информации о геометрических данных пространства, полученной на компьютер с помощью любого технического средства для получения информации об окружающем пространстве, например, лазерного сканера, лазерного локатора (LIDAR), фотокамеры, ультразвукового сканера и других подобных, а также программного обеспечения, позволяющего на основе данных, полученных от такого технического средства, создавать и редактировать трехмерные модели (в том числе интеллектуальные алгоритмы, создающие трехмерные реконструкции из фотографий или кадров видео).

Далее файлы с полученными трехмерными объектами (виртуальная комната и предметы, находящиеся в ней) переносят в предустановленное на компьютер программное обеспечение, с помощью которого создают файлы «реабилитационных виртуальных пространств» с размещенной внутри них цифровой копией пользователя кортикальной зрительной протезной системы. Реабилитационные виртуальные пространства - это виртуальные комнаты с 3D-реконструкциями пространств с возможностью перемещения в них и взаимодействия с виртуальными предметами пользователя кортикальной зрительной протезной системы, которые при необходимости могут быть в дальнейшем изменены.

К указанному компьютеру по каналу связи подключен вычислительный блок кортикальной зрительной протезной системы с предустановленным программным обеспечением, выполненным с возможностью загрузки файлов реабилитационных виртуальных пространств с указанного компьютера, или уже содержащим виртуальные комнаты с размещенными внутри них виртуальными объектами, а также по меньшей мере один инструмент управления перемещением пользователя в виртуальной комнате, подключенный по каналу связи к вычислительному блоку кортикальной зрительной протезной системы. Предустановленное на вычислительном блоке программное обеспечение выполнено с возможностью управления виртуальными комнатами (их выбор, запуск и выход, выбор условий освещения и любые другие настройки), а также визуализации объектов, находящихся в них, с помощью бионического зрения. С помощью инструментов управления в виртуальной реальности (контроллеров или устройств биологического управления), подключенных по каналу связи к вычислительному блоку кортикальной зрительной протезной системы, пользователь выполняет действия, предусмотренные программой реабилитации. В качестве контроллеров используют известные технические решения для управления действиями в виртуальной реальности, например, перчатки с датчиками, внешние видеокамеры, в том числе с управлением на основе искусственного интеллекта. В случае использования виртуальных комнат в просторных и контролируемых реабилитологами помещениях (например, в специализированных реабилитационных центрах), контроллеры могут быть замещены внешними датчиками слежения, которые обеспечивают определение человека в пространстве. В качестве инструментов биологического управления используют устройство голосового управления, или электроэнцефалограф (далее - ЭЭГ-устройство), или айтрекер, или любое другое подобное решение. К компьютеру, на котором создают и редактируют виртуальные комнаты, может быть подключено по каналу связи несколько вычислительных блоков кортикальных зрительных протезных систем, таким образом обеспечивается возможность обучения бионическому зрению нескольких пользователей зрительных протезных систем. Причем на вычислительные блоки разных пользователей могут быть установлены разные виртуальные комнаты.

Для обеспечения точности и достоверности обучения бионическому зрению в виртуальных комнатах необходима синхронизация информации о положении в пространстве частей тела реального пользователя кортикальной зрительной протезной системы и его цифровой копии в виртуальной комнате. С этой целью снаружи тела пользователя кортикальной зрительной протезной системы размещены датчики для отслеживания положения частей тела (например, внешние видеокамеры, сканеры, носимые датчики и т.д.), подключенные по каналу связи к вычислительному блоку протезной системы. Датчики могут быть использованы в различных вариациях в зависимости от конкретной комплектации кортикальной зрительной протезной системы.

Процесс обучения бионическому зрению происходит следующим образом. Пользователя кортикальной зрительной протезной системы погружают в виртуальную среду с отображением цифровой копии пользователя и отслеживанием выполняемого объема упражнений обучающих сценариев и предлагают выполнить задания, предусмотренные программой реабилитации. В виртуальной комнате пользователь кортикальной зрительной протезной системы видит свою цифровую копию, а также цифровые копии других пользователей, в случае группового реабилитационного занятия. Посредством контроллера или инструментов биологического управления пользователь управляет предметами в виртуальной комнате в соответствии с указанными заданиями. При этом посредством датчиков для отслеживания положения тела пользователя осуществляется непрерывная фиксация изменений положения частей его тела. Сигналы с указанных датчиков поступают на вычислительный блок, где посредством программного обеспечения синхронизируют соответствующие изменения положения частей тела с цифровой копией пользователя.

Настройку и управление виртуальными комнатами осуществляют посредством программного обеспечения, установленного на компьютере. Для этого в существующие виртуальные комнаты на компьютере вносят необходимые изменения, после чего информацию о скорректированных виртуальных комнатах передают по каналу связи на вычислительный блок.

Предложенное изобретение при своем осуществлении позволяет создавать редактируемые виртуальные пространства различных локаций (например, квартиры, магазины и т.д.), в которых может находиться пользователь кортикальной зрительной протезной системы. Созданные виртуальные пространства используются для тренировок по ориентированию в безопасных и контролируемых условиях (например, дома или в реабилитационном центре) в рамках программ реабилитации.

Изобретение относится к технологии нейрохирургических имплантов, а именно к технологиям функциональной реабилитации пациентов. Технический результат заключается в сокращении сроков реабилитации пользователей кортикальных зрительных протезных систем, повышении безопасности реабилитации, расширении функционала систем адаптации к бионическому зрению. Способ включает этапы, на которых считывают геометрические параметры окружающего пространства, передают их на персональный компьютер, где создают виртуальные комнаты с возможностью редактирования, передают данные о виртуальных комнатах на вычислительный блок кортикальной протезной системы с программным обеспечением, обеспечивающим возможность управления виртуальными комнатами и визуализации объектов с помощью бионического зрения, погружают пользователя в виртуальную комнату, непрерывно фиксируют данные о положении пользователя в пространстве, синхронизируя их на вычислительном блоке с цифровой копией пользователя в виртуальной комнате, пользователь выполняет упражнения реабилитационной программы посредством инструментов управления в виртуальной реальности. 2 з.п. ф-лы.

1. Способ обучения бионическому зрению в виртуальной реальности, включающий этапы, на которых:

a) считывают геометрические параметры окружающего пользователя кортикальной зрительной протезной системы пространства посредством технических средств для получения информации об окружающем пространстве, передают их на персональный компьютер, где с помощью программного обеспечения создают виртуальные комнаты с возможностью редактирования;

b) передают с персонального компьютера данные о виртуальных комнатах на вычислительный блок кортикальной зрительной протезной системы с предустановленным программным обеспечением, обеспечивающим возможность управления виртуальными комнатами и визуализации объектов, находящихся в них, с помощью бионического зрения;

c) погружают пользователя кортикальной зрительной протезной системы в выбранную виртуальную комнату, непрерывно фиксируют данные о положении пользователя в пространстве посредством датчиков положения частей его тела, синхронизируя на вычислительном блоке кортикальной зрительной протезной системы информацию о положении тела пользователя в пространстве с его цифровой копией в виртуальной комнате, при этом пользователь кортикальной зрительной протезной системы в окружении виртуальных объектов выполняет задания реабилитационной программы посредством сценариев, имитирующих адаптированные бытовые действия в виде индивидуального или многопользовательского режима, посредством инструментов управления в виртуальной реальности.

2. Способ по п. 1, отличающийся тем, что в качестве инструментов управления в виртуальной реальности используют контроллеры или инструменты биологического управления.

3. Способ по п. 2, отличающийся тем, что в качестве инструментов биологического управления используют устройство голосового управления, или электроэнцефалограф, или айтрекер, или любое другое подобное решение.