Способ адаптации окружающего пространства для пользователей зрительных протезных систем Российский патент 2025 года по МПК A61F9/08 A61H3/06 G06T3/00 

Предложенный способ относится к области нейрохирургических имплантов, а именно к технологиям функциональной реабилитации пациентов, использующих кортикальные зрительные протезные системы и может быть реализован в системах, предназначенных для использования людьми с ограниченными возможностями, с целью улучшения восприятия и распознавания окружающего пространства пользователем.

Кортикальные нейроимпланты представляют собой системы, которые могут заменить двигательные, сенсорные или когнитивные функции человека, которые могли быть повреждены в результате травмы или заболевания. Кортикальные нейроимпланты располагаются в прямой связи с корой головного мозга и могут состоять из комплекса внешних и внутренних (имплантируемых) устройств. Непосредственно взаимодействуя с различными областями коры головного мозга, кортикальный нейроимплантат может обеспечивать стимуляцию непосредственной области и обеспечивать различные преимущества, в зависимости от его конструкции и расположения. Одним из видов кортикальных нейроимплантов является кортикальная зрительная протезная система, отвечающая за восстановление зрительных функций у тотально слепых людей.

Однако использование кортикальной зрительной протезной системы требует прохождения достаточно тяжелого для пациента адаптационного периода, в течение которого он обучается новому бионическому зрению, в том числе изучает различные пространства, в которых предполагается его самостоятельная ориентация, например, особенности геометрии собственной квартиры или дома, магазинов, библиотек, жилых домов и так далее. Изучение того или иного общественного пространства может быть сопряжено с организационными и функциональными сложностями, поскольку на этапе знакомства с любым пространством поблизости не должно быть никаких подвижных объектов (людей, животных, машин и т.п.). На начальном этапе пользователь должен ознакомиться и изучить стационарные элементы пространства (стены, кассы, киоски и т.п.), чтобы в реальных условиях не путать их с подвижными. Перемещение по тому или иному пространству может быть сопряжено с проблемами, которые связаны с техническими

ограничениями зрительных протезных систем и того бионического зрения, которое оно дает пользователю. Так, в связи с ограниченным пространственным разрешением (зависит, в первую очередь, от количества электродов), может быть затруднена идентификация деталей, а из-за отсутствия цветности или, если используются алгоритмы контурирования объектов на этапе предобработки, отсутствия градаций серого у фона, объекты окружения могут восприниматься как один объект, хотя в реальности являться конгломератом из нескольких. Такая ситуация снижает общий уровень безопасности использования кортикальных зрительных протезных систем, потому что пользователь может не увидеть травмоопасный объект или его часть. Также это может вызывать сложности в ориентировке, снижая общий уровень удовлетворенности пользовательским опытом и уровень социализации.

Из уровня техники известны решения, которые направлены на создание трехмерных моделей из реальных объектов окружения, будь то предметы обихода, здания, техника и так далее. На сегодняшний день существует множество технических подходов и их комбинаций в данной области и каждое из них по-своему решает задачу воссоздания реальных объектов в виде трехмерных цифровых моделей.

Так, например, в патентах US 10823955 B2 (Grating-based spatial mode filter for laser scanning, опубл. 03.11.2020) и US 9523850 B2 (Beam scanning using an interference filter as a turning mirror, опубл. 20.12.2016) описаны решения компании Apple с оригинальной технологией LiDAR, которая используется для сканирования пространства благодаря обработке в реальном времени отраженного оптического сигнала. На похожем принципе основывается метод сканирования пространства и методы с использованием других типов волн, например, ультразвуковых.

В патентных заявках ЕР 2852932 А1 (A method and a system for generating a realistic 3d reconstruction model for an object or being, опубл. 01.04.2015) и EP 4266257 A1 (3D reconstruction from images, опубл. 25.10.2023) описывается другой подход для 3D- реконструкции виртуальных объектов из реальных - на основе их изображений. При этом обрабатывается массив снимков того или иного объекта, выполненных с разных сторон и под разными углами по отношению к объекту, чтобы зафиксировать особенности всех его сторон.

Недостатком всех представленных и подобных им решений применительно к предлагаемому способу, является ограниченный до факта создания 3D-модели функционал,

что не позволяет использовать их для улучшения видимости окружающих объектов бионическим зрением при использовании кортикальных зрительных протезных систем.

Задачей заявляемого изобретения является создание способа создания редактируемых трехмерных моделей различных локаций для выявления в различных локациях сложных для восприятия бионическим зрением объектов и зон с целью их адаптации или модификации в рамках программ клинико-функциональной реабилитации пользователей кортикальных зрительных протезных систем.

Технический результат заявляемого изобретения заключается в сокращении сроков реабилитации пользователей кортикальных зрительных протезных систем, повышении безопасности процесса реабилитации, а также расширении функционала систем адаптации к бионическому зрению.

Технический результат достигается способом адаптации окружающего пространства для пользователей зрительных протезных систем и включает в себя этапы, на которых считывают геометрические параметры окружающего пользователя кортикальной зрительной протезной системы пространства посредством технических средств для получения информации об окружающем пространстве, передают их по каналу связи на персональный компьютер, где с помощью программного обеспечения создают трехмерные образы пространств; передают с видеокамеры на персональный компьютер двухмерные изображения, где их редуцируют с помощью программного обеспечения до разрешения, предусмотренного зрительной протезной системой; сопоставляют на персональном компьютере трехмерные образы пространств и изображения, полученные с видеокамеры, выявляя невидимые бионическому зрению участки пространств посредством программного обеспечения; после чего редактируют трехмерные образы пространств с помощью программного обеспечения с возможностью создания видимых бионическому зрению объектов, и предоставляют рекомендации по внесению изменений в окружающее пользователя кортикальной зрительной протезной системы пространство.

В качестве технических средств для получения информации об окружающем пространстве могут использовать лазерный сканер или лазерный локатор, или фотокамеру, или ультразвуковой сканер, или любое другое подобное решение.

На этапе редуцирования двухмерных изображений до разрешения, предусмотренного зрительной протезной системой, могут переводить данные изображения из «цветного» режима в режимы «градации серого» и «бинарного черно-белого».

В качестве программного обеспечения, создаваемого и редактируемого трехмерные модели виртуальных пространств, могут использовать интеллектуальные алгоритмы.

На этапах считывания геометрических параметров окружающего пространства и редактирования трехмерных образов пространств могут взаимодействовать с трехмерными образами пространств с помощью подключенных к персональному компьютеру монитора и устройств ввода, или портативных электронных устройств, или устройств виртуальной реальности.

Ниже будут подробно рассмотрены термины и их определения, используемые в описании технического решения.

Кортикальная зрительная протезная система программно-аппаратный комплекс, посредством которого осуществляется замещение утерянных зрительных функций путем обработки изображения с камеры и последующей стимуляции зрительной коры головного мозга.

Бионическое зрение - зрение, функционирующее как результат работы кортикальной зрительных протезных систем.

Виртуальная комната цифровая трехмерная модель замкнутого пространства и расположенных внутри него предметов.

Способ адаптации окружающего пространства для пользователей зрительных протезных систем состоит из нескольких этапов и реализуется следующим образом.

На начальном этапе на компьютере реабилитолога или инженера реабилитационного центра создают виртуальную копию любого пространства, окружающего пользователя кортикальной зрительной протезной системы, любым из известных способов. Для этого окружающее пространство может быть реконструировано вручную с нуля, то есть основываясь на планировке помещения и с помощью программного обеспечения для моделирования трехмерных объектов или информации о геометрических данных пространства, полученной на компьютер с помощью любого технического средства для получения информации об окружающем пространстве, например, лазерного сканера, лазерного локатора (LIDAR), фотокамеры, ультразвукового сканера и других подобных, а также программного обеспечения, позволяющего на основе данных, полученных от такого технического средства, создавать и редактировать трехмерные модели (в том числе интеллектуальные алгоритмы, создающие трехмерные реконструкции из фотографий или кадров видео).

Далее файлы с полученными трехмерными объектами (виртуальная комната и предметы, находящиеся в ней) переносят в предустановленное на компьютер программное обеспечение, с помощью которого создают файлы «реабилитационных виртуальных пространств» виртуальных комнат с 3D-реконструкциями пространств, которые при необходимости могут быть в дальнейшем изменены. Реабилитологи и инженеры взаимодействуют с виртуальными элементами пространств с помощью монитора и устройств ввода (мышь, клавиатура), портативных электронных устройств, подключенных к этому компьютеру (планшет, смартфон и т.п.), или устройств виртуальной реальности (VR-шлем с контроллерами и другими комплектующими) с целью их изучения. В этих реабилитационных виртуальных пространствах, кроме реабилитологов и инженеров, может безопасно перемещаться и взаимодействовать с виртуальными элементами окружения пользователь кортикальной зрительной протезной системы посредством контроллеров.

К указанному компьютеру по каналу связи подключена 360-градусная видеокамера, передающая на него изображения, или обычная видеокамера, передающая серию изображений, которые затем реконструируют в панорамное 360-градусное, получая таким образом снимки всего окружающего пространства в разных его точках, для дальнейшего анализа реабилитологами и/или инженерами по нему на предмет выявления участков пространства, недоступных (невидимых) бионическому зрению. На компьютере с помощью предустановленного программного обеспечения, анализирующего двумерные изображения отсканированных пространств, редуцируются полученные с камеры снимки до разрешения, которое предусмотрено в кортикальной зрительной протезной системе (в зависимости от количества электродов на имплантируемой матрице). Кроме того, данное программное обеспечение переводит цветное изображение в режимы «градации серого» и «бинарного черно-белого», поскольку прямая стимуляция зрительной коры может не давать пользователю кортикальной зрительной протезной системы корректного цветного зрения. Затем происходит выявление «слабых» участков пространств, объектов или их частей, которые не могут быть увидены с помощью бионического зрения. Чтобы обеспечить техническую реализацию задачи по выделению (обозначению, индикации) невидимых бионическому зрению участков анализируемого пространства, необходимо «сопоставить» ЗВ-реконструкцию пространства с изображениями, полученными из видеокамеры. Данное решение может быть выполнено как вручную с помощью специализированных программных инструментов в графической среде компьютера, так и в автоматизированном режиме, который в том числе обеспечивается алгоритмами сегментации (машинное зрение), которые определяют объекты и их видимые и не видимые

(прогнозируемые) границы, а также графически обозначают их в редактируемом формате при визуализации 3D-пространств (дорисовка линий, их изменение, удаление и т.п.). Результатом работы программного обеспечения на данном этапе является 3D-файл с выявленными «невидимыми» для бионического зрения участками пространства или выступающими частями объектов в пространстве, или границы между объектами, которые очевидны для зрячего человека, но не для бионического зрения (в виде контуров).

Заключительным этапом реализации способа является использование программного обеспечения, которое позволяет в ручном и/или автоматическом режиме создавать видимые для бионического зрения элементы пространства. Для этого в функционал данного программного обеспечения входят соответствующие инструменты редактирования геометрических параметров таких пространств в виде рисования на 3D-моделях пространства растровым и/или векторным способами (изменение формы, размеров, удаление, добавление и т.п.), создание текстовых и графических примечаний на них для пояснения их значимости, особенностей, правил размещения, материалов и т.п., а также инструменты редактирования двухмерного изображения с видеокамеры (цветность, яркость, разрешение и т.п.), контуров, полученных ранее. Кроме того, указанное программное обеспечение содержит инструменты симуляции бионического зрения, с помощью которого реабилитолог, родственник или другой зрячий человек могут «войти» в виртуальное пространство (посредством персонального компьютера, мобильных устройств или средств VR) и увидеть, что будет доступно бионическому зрению до и после модификаций пространства. Результатом работы способа является файл с рекомендациями по тому, как следует изменить то или иное окружающее пользователя зрительной протезной системы пространство, в котором он находится, чтобы его бионическое зрение могло «видеть» важные элементы пространства и, таким образом, было максимально полезным. Управление виртуальными комнатами (их выбор, запуск и выход, выбор условий освещения и любые другие настройки) осуществляется с помощью предустановленного на компьютер программного обеспечения, которое может являться отдельным программным продуктом, а может быть частью любого другого с возможностью использования и редактирования трехмерных файлов. При этом управление перемещением реабилитолога или инженера в виртуальном пространстве осуществляется с помощью клавиатуры с мышью, если используется компьютер с указанным программным обеспечением, или сенсорный экран, если используются мобильные устройства (смартфоны и планшеты) или контроллеры, соединенные по каналу связи с компьютером с указанным программным обеспечением, если используется VR-шлем. В случае использования виртуальных комнат в

просторных и контролируемых реабилитологами помещениях (например, в специализированных реабилитационных центрах), контроллеры могут быть замещены внешними датчиками слежения, которые обеспечивают определение человека в пространстве.

Все вышеперечисленные программные элементы, позволяющие реализовать изобретение, могут быть частями одного программно-аппаратного комплекса или нескольких.

Таким образом, обеспечивается достижение технического результата, заключающегося в сокращении сроков реабилитации пользователей кортикальных зрительных протезных систем, повышении безопасности процесса реабилитации, а также расширении функционала систем адаптации к бионическому зрению.

Изобретение относится к технологиям функциональной реабилитации пациентов, использующих кортикальные зрительные протезные системы. Предложен способ, который включает этапы, на которых считывают геометрические параметры окружающего пространства посредством технических средств для получения информации о нем, передают по каналу связи на компьютер, где создают трехмерные образы пространств; передают с видеокамеры на компьютер двухмерные изображения, редуцируют их до разрешения, предусмотренного зрительной протезной системой; сопоставляют на компьютере трехмерные образы пространств и изображения с видеокамеры, выявляя невидимые бионическому зрению участки пространств; редактируют трехмерные образы пространств и предоставляют рекомендации по изменению окружающего пользователя пространства. Изобретение обеспечивает сокращение сроков реабилитации пользователей зрительных протезных систем, повышении безопасности процесса реабилитации, расширении функционала систем адаптации к бионическому зрению. 4 з.п. ф-лы.

1. Способ адаптации окружающего пространства для пользователей кортикальных зрительных протезных систем, включающий этапы, на которых

a) считывают геометрические параметры окружающего пользователя кортикальной зрительной протезной системы пространства посредством технических средств для получения информации об окружающем пространстве, передают их по каналу связи на персональный компьютер, где с помощью программного обеспечения создают трехмерные образы пространств,

b) передают с видеокамеры на персональный компьютер двухмерные изображения, где их редуцируют с помощью программного обеспечения до разрешения, предусмотренного зрительной протезной системой,

c) сопоставляют на персональном компьютере трехмерные образы пространств и изображения, полученные с видеокамеры, выявляя невидимые бионическому зрению участки пространств посредством программного обеспечения,

d) после чего редактируют трехмерные образы пространств с помощью программного обеспечения с возможностью создания видимых бионическому зрению объектов и предоставляют рекомендации по внесению изменений в окружающее пользователя кортикальной зрительной протезной системы пространство.

2. Способ по п. 1, отличающийся тем, что в качестве технических средств для получения информации об окружающем пространстве используют лазерный сканер или лазерный локатор, или фотокамеру, или ультразвуковой сканер.

3. Способ по п. 1, отличающийся тем, что на этапе редуцирования двухмерных изображений до разрешения, предусмотренного зрительной протезной системой, переводят данные изображения из «цветного» режима в режимы «градации серого» и «бинарного черно-белого».

4. Способ по п. 1, отличающийся тем, что в качестве программного обеспечения, создаваемого и редактируемого трехмерные модели виртуальных пространств, используют интеллектуальные алгоритмы.

5. Способ по п. 1, отличающийся тем, что на этапах (а) и (d) взаимодействуют с трехмерными образами пространств с помощью подключенных к персональному компьютеру монитора и устройств ввода, или портативных электронных устройств, или устройств виртуальной реальности.