ВИЗУАЛЬНО-ЗВУКОВАЯ СИСТЕМА ДЛЯ СЛЕПЫХ И СЛАБОВИДЯЩИХ ЛЮДЕЙ Российский патент 2019 года по МПК A61F9/08 A61B5/02 G06T7/00 G06N3/02 

Изобретение относится к области медицинской техники и может использоваться для ориентации людей, имеющих сложности с визуальным восприятием информации - полностью или частично утратившими зрение.

Так, из уровня техники известно мобильное устройство для ориентации в пространстве, включающее очки с видеокамерами, микронаушники, блок питания и вычислительный блок, при этом видеокамеры расположены в поле зрения пользователя и соединены со входом составного вычислительного блока, с помощью которого выполняют расчет карты глубины и определяют расстояние до всех точек на видеоизображении, и преобразователя, выводы которого соединены со входами микронаушников (патент РФ 132721, A61F 9/08, опубликованный 27.09.2013).

Наиболее близким аналогом патентуемого решения является навигационные очки для слепых, обеспечивающие зондирование изображения, навигацию, позиционирование и ведение по маршруту и включающие корпус, встроенную батарею, камеры встроенные в линзы очков, инфракрасный датчик, GPS-приемник, Bluetooth, наушники и голосовой подсказчик, соединенные с информационным процессором (патент Китая 103720576, А61Н 3/06, опубликованный 16.04.2014).

Недостатками известных решений являются длительное и сложное привыкание к механизму работы устройств, трудность ориентации при их использовании из-за ограниченности поступающей к пользователю информации, а также не достаточная безопасность передвижения пользователя.

Техническая проблема, решаемая изобретением, заключается в разработке визуально-звуковой системы для слепых и слабовидящих людей, которая преобразует поток визуальной информации в звуковую для облегчения ориентации пользователей в пространстве, ускорении процесса привыкания и обучения по использованию заявленной системы, а также повышению безопасности передвижения слепого и слабовидящего пользователя.

Техническим результатом патентуемого решения является повышение безопасности передвижения, облегчение ориентации слепого или слабовидящего пользователя в пространстве, ускорение и упрощение процесса обучения, за счет увеличения объема воспринимаемой информации благодаря автоматической корректировки скорости вывода звуковой информации.

Указанный технический результат достигается за счет использования визуально-звуковой системы для слепых и слабовидящих людей, содержащей очки, включающие камеру, GPS/Глонасс-приемник, наушник и датчик для измерения частоты сердечных сокращений, соединенные с процессором, при этом процессор выполнен с библиотекой символов, представляющей собой базу данных изображений с заранее известным названием, и программным обеспечением на основе нейросетей с возможностью преобразования информации камеры в звуковые сигналы с разными тонами для передачи их на наушник и формирования объемной картины окружающего мира, определение предметов согласно данным библиотеки символов и изменения скорости сканирования и передачи преобразованной информации с камеры в звуковую информацию на наушник в зависимости от частоты сердечных сокращений.

Благодаря использованию визуально-звуковой системы для слепых и слабовидящих людей, содержащей очки, включающие по меньшей мере одну камеру, GPS/Глонасс-приемник, головной подсказчик с по меньшей мере одним наушником и по меньшей мере один датчик для измерения частоты сердечных сокращений, соединенные с процессором, соединенный с процессором, где процессор выполнен с библиотекой символов, представляющей собой базу данных изображений с заранее известным названием, и программным обеспечением на основе нейросетей с возможностью преобразования информации с камер в звуковые сигналы с разными тонами для передачи их на наушник и формирования объемной картины окружающего мира, определение предметов согласно данным библиотеки символов и изменения скорости сканирования и передачи преобразованной информации с камеры в звуковую информацию на наушник в зависимости от частоты сердечных сокращений (данных, полученных от по меньшей мере с одного датчика измерения частоты сердечных сокращений), обеспечивается повышение безопасности передвижения, облегчение ориентации слепого и слабовидящего пользователя в пространстве и ускорение процесса обучения, за счет увеличения объема воспринимаемой информации благодаря автоматической корректировки скорости вывода звуковой информации на наушник в зависимости от скорости пользователя в тот или иной момент воспринимать информацию с наушника, которая определяется исходя из данных, полученных с датчика для измерения частоты сердечных сокращений.

Общеизвестно, что при стрессе у человека повышается частота сердечных сокращений, что негативно сказывается как на здоровье, так и на процессе обучения. Стресс (повышение частоты сердечных сокращений) при использовании заявленной визуально-звуковой системы может быть вызван дискомфортом при первичных использованиях визуально-звуковой системы в период адаптации и привыкания к ее работе, в результате чего пользовать не в полной мере может воспринимать поступающие на наушник звуковые сигналы и начинать сильнее волноваться. Для того чтобы пользователь успевал воспринимать всю полученную информацию в заявленной системе предусмотрена возможность измерения частоты сердечных сокращений и корректировки в зависимости от частоты сердечных сокращений скорости сканирования камерой и скорости передачи звуковых данных на наушник.

Применение камеры и наушников, связанных с процессором с программным обеспечением, работающим на основе нейросетей и машинного обучения, благодаря нейропластичности мозга пользователи обеспечивает пользователю с инвалидностью по зрению «звуковое» зрение, он может получать объемную картину окружающего мира, также применение нейросетей позволяет при помощи камеры распознавать широкий перечень окружающих объектов, лица знакомых людей, дорожные знаки, деревья, предметы мебели и другие препятствия.

Кроме того, благодаря GPS/Глонасс-приемнику и камеры, соединенных с процессором, заявленная система позволяет отслеживать местоположение пользователя, прокладывать маршрут и направлять движение пользователя, информируя его через наушник.

В частности, датчик измерения частоты сердечных сокращений выполнен в виде датчика фотоплетизмограммы и размещен в душке очков, что позволяет точнее измерять показания частоты сердечных сокращений, уровень ритма дыхания.

В частности, очки снабжены кнопкой изменения скорости сканирования и передачи преобразованной информации с камеры в звуковую информацию на наушник, что позволяет пользователю самостоятельно регулировать скорость поступления звуковой информации, например, в случаях, когда увеличение частоты сердечных сокращений не связано с дискомфортом пользователя, связанного с использованием заявленной системы.

В частности, очки дополнительно могут быть оборудованы датчиками измерения температуры тела, что позволит процессору точнее определять способность пользователя воспринимать информацию (уровень стресса и дискомфорта пользователя), датчик для измерения температуры окружающей среды, который позволяет повысить безопасность передвижения пользователя, поскольку, например, внешний вид дерева летом и зимой принципиально отличаются, а температура окружающей среды позволяет привязывать получаемые изображения к времени года, тем самым улучшая алгоритм распознавания посредством нейросетей, увеличивая обучаемость системы и более точное и быстрое распознавание объектов, а также ультразвуковые и лазерные датчики для определения местоположения и инфракрасные акселерометры для.

В частности, камеры выполнены широкоугольными и расположены симметричные относительно центра очков, что позволяет захватывать большую область для сканирования и принимать больше информации из окружающего мира.

В частности, в качестве наушника использован костный наушник, что позволяет пользователю одновременно слышать звуки из окружающего мира и из заявленной системы ничем не пренебрегая и ограничиваясь. Наушники могут быть размещены в обеих дужках очков.

В частности, процессор с библиотекой символов, выполнен с возможностью машинного обучения, что позволяет системе постоянно расширять библиотеку символов, совершенствовать алгоритм распознавания на протяжении всего срока работы системы.

В частности, процессор выполнен с возможностью распознавания текста с камер и передачи на наушники, а очки снабжены кнопкой для озвучивания символов, знаков дорожного движения, деревьев, предметов мебели и других препятствий в порядке их размещения перед пользователем слева направо, что дополнительно повышает безопасность перемещения пользователя в пространстве и ускоряет обучение, а также с «качающиеся» кнопкой для регулировки громкости звука, кнопкой включения и выключения, кнопкой информирования о текущем местоположении, тревожной кнопкой, по нажатию на которую приходит соответствующий сигнал определенному кругу лиц, что дополнительно повышает безопасность ориентации в пространстве пользователя.

В частности, очки снабжены инфракрасным датчиком, выполненным с возможностью работы в импульсный режим в условиях низкой освещенности и автоматической активации, что дополнительно повышает безопасность передвижения пользователя в пространстве.

В частности, система выполнена с возможностью подключения к компьютеру/смартфону для внесения настроек, удаленного управления настройками системы, обновления прошивки, загрузке карт с помощью беспроводной сети wi-fi, Bluetooth, соединительного кабеля.

В частности, система содержит браслет с динамическими ячейками для передачи информации в виде букв и цифр, соединенный с процессором, что позволяет дублировать звуковую текстовую информацию и дополнительно упрощать процесс обучения.

Далее решение в частном случае реализации поясняется ссылками на фигуры, на которых приведено следующее.

Фиг. 1 - общий вид визуально-звуковой системы для слабовидящих людей.

Фиг. 2 - блок схема визуально-звуковой системы для слабовидящих людей.

Фиг. 3 - зависимость изменения частоты сканирования от величины сердечных сокращений.

Согласно фигурам в частном случае реализации визуально-звуковая система для слепых и слабовидящих людей содержит очки с камерами 1 между линзами 9, в широких дужках 12 очков размещен процессор 2 (компьютерная плата, блок обработки) и блок питания 3 (далее аккумулятор), на конце одной или обеих дужек 12 - костные наушники или аудиовыходы для соединения с наушниками 4. Процессор 2 соединен с камерами 1, аккумулятором 3 и наушниками 4. На корпусе очков также расположены инфракрасный датчик 7, GPS- и/или Глонасс-приемник 8, wi-fi и Bluetooth 11, датчик для измерения частоты сердечных сокращений 5, соединенные с процессором 2 и датчик для измерения температуры тела 15.

В качестве датчика измерения частоты сердечных сокращений 5, который расположен в душке очков и входит в контакт с кожей при надевании очков, может быть использован датчик фотоплетизмограммы, который регистрирует кровяной поток с использованием источника инфракрасного или светового излучения.

Процессор 2 выполнен с программным обеспечением 13 на основе нейросетей и возможностью преобразования информации с камер 1 в звуковые сигналы с разными тонами - трансформации видео изображения в аудио ряд для передачи их в наушники 4, формирования объемной картины окружающего мира, определения местоположения, GPS-навигации, прокладывания маршрутов голосовыми сообщениями, определения предметов согласно данным библиотеки символов, хранимой в блоке памяти 6, распознавания текста с камер 1 и передачи на наушник 4, а также изменения скорости передачи преобразованной информации с камеры 1 в звуковую информацию на наушник 4 в зависимости от данных, полученных от датчика измерения частоты сердечных сокращений 5. Процессор 2 с библиотекой символов также выполнен с возможностью машинного обучения. Машинное обучение - это применение искусственного интеллекта (AI), который предоставляет системам возможность автоматически учиться и самоулучшаться из опыта, не будучи явно запрограммированным.

Библиотека символов представляет собой базу данных изображений с заранее известным названием. То есть, как пример, это 1000 фотографий различных деревьев с подписью, что это дерево. Искусственный интеллект по заранее описанному алгоритму самостоятельно находит общее среди всех фотографий и затем предсказывает появление, например, дерева, на основе библиотеки.

Линзы 9 могут представлять собой затемненные муляжи для того, чтобы слепой/слабовидящий пользователь не выделялся в общественных местах.

В частности, очки снабжены кнопкой изменения скорости сканирования/скорости передачи преобразованной информации с камеры 1 в звуковую информацию на наушник 4.

Камеры 1 выполнены широкоугольными и симметрично расположены относительно центра очков.

Очки снабжены кнопками 10: кнопкой для озвучивания символов, знаков дорожного движения, деревьев, предметов мебели и других препятствий в порядке их размещения перед пользователем слева направо, а также кнопкой для регулировки громкости звука, кнопкой включения и выключения, кнопкой информирования о текущем местоположении, тревожной кнопкой, по нажатию на которую приходит соответствующий сигнал определенному кругу лиц, что дополнительно повышает безопасность ориентации в пространстве пользователя.

Инфракрасный датчик 7 выполнен с возможностью работы в импульсном режиме в условиях низкой освещенности и автоматической активации.

Система выполнена с возможностью подключения к компьютеру/смартфону для внесения настроек, удаленного управления настройками системы, обновления прошивки, загрузке карт с помощью беспроводной сети wi-fi, Bluetooth 11, соединительного кабеля.

Система может содержать браслет 14 для надевания на руку слабовидящему человеку с динамическими ячейками для передачи информации в виде букв и цифр, используя шрифт Брайля, соединенный с процессором посредством технологии Bluetooth или иных беспроводных протоколов. Шрифт Брайля является дублирующим источником помимо основного звукового канала (костных динамиков) расположенных в системе. Используя визуально-звуковую систему, пользователь имеет возможность конвертации текстовой информации (таблички, вывески, газеты и т.д.) не только в аудио-звуковой формат, но и в тактильный, более привычный слабовидящим людям на ранних этапах обучения, что позволяет дублировать звуковую текстовую информацию и дополнительно упрощать процесс обучения.

Для хранения параметров используемого программного обеспечения, обновления прикладного программного обеспечения системы - допустимо использование облачного хранилища, выполненного на базе платформы Microsoft AZURE. Обновление и получение новых параметров производится в автоматическом режиме.

В частном случае визуально-звуковая система работает следующим образом: пользователь надевает очки включает систему, камеры 1 начинают с частотой один раз в секунду передавать изображение на процессор 2. Процессор 2 обрабатывает картинку и присваивает каждой точке картинки звук определенной громкости и тональности. Черный цвет имеет нулевую громкость. С повышением яркости увеличивается громкость и тональность звука. Самую высокую тональность имеет белый цвет.

Преобразования изображения в звук осуществляется согласно следующим принципам.

1. Лево и право.

Изображения сканируются и озвучиваются по направлению слева направо. По умолчанию скорость озвучивания одного изображения равна одному снимку в секунду. Стерео-звук, который вы слышите, соответственно, прокручивается слева направо, что облегчает отслеживание направления сканирования изображения. Таким образом, возникший слева или справа от вас звук свидетельствует о наличии зрительного образа, расположенного, соответственно, в левой или правой стороне.

2. Верх и низ.

Возникающий при каждом сканировании тон обозначает высоту: чем выше тон, тем выше положение объекта в поле зрения. Следовательно, в зависимости от того, повышается или понижается тон звукового ландшафта, можно судить о том, восходящий, или, соответственно, нисходящий зрительный образ располагается перед вами.

3. Тень и свет.

Громкость обозначает яркость: чем громче звук, тем ярче (светлее) изображаемый предмет. Следовательно, тишина соответствует черному цвету, громкий звук - белому, а все, что между ними - есть оттенки серого цвета.)

В результате обработки через наушники 4 пользователя, передается объемный звук, который мозг пользователя благодаря своей нейропластичности со временем начинает воспринимать не как звук, а как картинку окружающего мира (контрастная линия, которая идет вверх, передается нарастающим звуковым сигналом, а та, что идет вниз - с понижающим тоном). Заявленная система с помощью датчика измерения частоты сердечных сокращений 5 отслеживает уровень дискомфорта (стресса), который возникает у пользователей при обучении и на начальных этапах использования очков. Данный дискомфорт в основном связан с тем, что пользователь не успевает воспринимать новую для него информацию. Процессор 2, отслеживая показания датчика измерения частоты сердечных сокращений 5, пропорционально изменяет скорость сканирования камерой 1 картинки окружающего мира и передачи переработанной в звук информации на наушники 4, тем самым давая пользователю больше времени на усвоение информации. Как только процессор 2 фиксирует стабилизацию частоты сердечных сокращений, он постепенно увеличивает скорость передачи переработанной в звук информации с камер 1. На фигуре 3 приведена зависимость изменения частоты сканирования от величины сердечных сокращений. Нормой для человека является 60-80 сокращений в минуту, этим значениям соответствует максимальная скорость сканирования.

В случае если пользователь нервничает не по причине неспособности быстро воспринимать звуковую информацию он использует кнопку изменения скорости сканирования и передачи преобразованной информации с камеры в звуковую информацию на наушник 4.

Также в блок памяти 6, который хранит базу данных, процессора 2 записывается библиотека символов: деревья, скамейки, светофоры, знаки дорожного движения, лица знакомых людей и прочее. Если пользователю в ходе передвижения требуется дополнительная информация об окружающей обстановке, он нажимает кнопку на очках и получает перечисление окружающих его предметов в порядке их размещения перед пользователем слева направо. Данная возможность обеспечивается благодаря снабжению процессора 2 библиотекой символов и программным обеспечением на основе нейросетей.

Также на очках имеется навигационная кнопка, при нажатии на которую пользователь получает аудио информацию о месте своего положения и направлении движения. Данная возможность обеспечивается благодаря GPS-и/или Глонасс приемнику 8, связанному с процессором 2. Для чтения текстовой информации: вывесок, указателей, газет, названия улиц пользователь может конвертировать текст не только в аудио-звуковой формат, но и в тактильный, более привычный слабовидящим людям на ранних этапах обучения.

Пример

Пользователями заявленной системой являются слабовидящие и слепые люди. Пользователь надевает очки, датчики, расположенные на дужках плотно прилегают к коже пользователя, измеряют частоту сердечных сокращений и передают в процессор. Начальная скорость (частота) сканирования камерой 1 изображения кадр в секунду (на основе личных ощущений данная скорость является оптимальной). Если пользователь не успевает воспринимать информацию в виде звуковых сигналов, поступающую на наушники, он начинает нервничать, возрастает частота сердечных сокращений. Эти данные фиксируется датчиком и передаются на процессор. Процессор сравнивает поступившие показатели с нормальным значением частоты сердечных сокращений и пропорционально повышению частоты сердечных сокращений уменьшает скорость сканирования и соответственно скорость передачи звуковой информации на наушники. Как видно из фиг. 3 при частоте сердечных сокращений 100-120 ударов в минуту скорость сканирования составляет 0,4 кадра в секунду. Все пользователи отмечали улучшение и облегчение привыкания к работе визуально-звуковой системы. Период адаптации снизился на 50% по сравнению с визуально-звуковой системы, выполненной без возможности изменения скорости сканирования в зависимости от частоты сердечных сокращений.

Таким образом, заявленное изобретение повышает безопасность передвижения, облегчает ориентацию слепого или слабовидящего пользователя в пространстве и ускоряет процесс обучения, за счет увеличения объема воспринимаемой информации путем совместного и согласованного воздействия звуком и вибрацией на пользователя и для возможности чтения текста, например на указателях.

Изобретение относится к области медицинской техники и может использоваться для ориентации людей, имеющих сложности с визуальным восприятием информации - полностью или частично утратившими зрение. Визуально-звуковая система для слепых и слабовидящих людей, содержащая очки, включающие камеру, GPS/Глонасс-приемник и головной подсказчик с по меньшей мере одним наушником, соединенные с процессором, отличающийся тем, что содержит датчик для измерения частоты сердечных сокращений, соединенный с процессором, при этом процессор выполнен с библиотекой символов, представляющей собой базу данных изображений с заранее известным названием, и программным обеспечением на основе нейросетей с возможностью преобразования информации с камеры в звуковые сигналы с разными тонами для передачи их на наушник и формирования объемной картины окружающего мира, определение предметов согласно данным библиотеки символов и изменения скорости сканирования и передачи преобразованной информации с камеры в звуковую информацию на наушник в зависимости от частоты сердечных сокращений. Изобретение обеспечивает повышение безопасности передвижения, облегчение ориентации слепого или слабовидящего пользователя в пространстве, ускорение и упрощение процесса обучения, за счет увеличения объема воспринимаемой информации благодаря автоматической корректировке скорости вывода звуковой информации. 9 з.п. ф-лы, 3 ил., 1 пр.

1. Визуально-звуковая система для слепых и слабовидящих людей, содержащая очки, включающие камеру, GPS/Глонасс-приемник и головной подсказчик с по меньшей мере одним наушником, соединенные с процессором, отличающийся тем, что содержит датчик для измерения частоты сердечных сокращений, соединенный с процессором, при этом процессор выполнен с библиотекой символов, представляющей собой базу данных изображений с заранее известным названием, и программным обеспечением на основе нейросетей с возможностью преобразования информации с камеры в звуковые сигналы с разными тонами для передачи их на наушник и формирования объемной картины окружающего мира, определение предметов согласно данным библиотеки символов и изменения скорости сканирования и передачи преобразованной информации с камеры в звуковую информацию на наушник в зависимости от частоты сердечных сокращений.

2. Визуально-звуковая система для слепых и слабовидящих людей по п. 1, отличающаяся тем, что датчик измерения частоты сердечных сокращений выполнен в виде датчика фотоплетизмограммы и размещен в душке очков.

3. Визуально-звуковая система для слепых и слабовидящих людей по п. 1, отличающаяся тем, что содержит датчик измерения температуры тела, окружающей среды, ультразвуковые и лазерные датчики для определения местоположения и инфракрасные акселерометры.

4. Визуально-звуковая система для слепых и слабовидящих людей по п. 1, отличающаяся тем, что сдержит две широкоугольные камеры, расположенные симметрично относительно центра очков.

5. Визуально-звуковая система для слепых и слабовидящих людей по п. 1, отличающаяся тем, что в качестве наушника использован костный наушник, размещенный в дужке или в каждой дужке очков.

6. Визуально-звуковая система для слепых и слабовидящих людей по п. 1, отличающаяся тем, что процессор с библиотекой символов выполнен с возможностью машинного обучения.

7. Визуально-звуковая система для слепых и слабовидящих людей по п. 1, отличающаяся тем, что процессор выполнен с возможностью распознавания текста с камер и передачи на наушники, а очки снабжены кнопкой для озвучивания символов, знаков дорожного движения, деревьев, предметов мебели в порядке их размещения перед пользователем слева направо, кнопкой для регулировки громкости звука, кнопкой включения и выключения, кнопкой информирования о текущем местоположении, тревожной кнопкой, по нажатию на которую приходит соответствующий сигнал определенному кругу лиц, и кнопкой изменения скорости сканирования и передачи преобразованной информации с камеры в звуковую информацию на наушник.

8. Визуально-звуковая система для слепых и слабовидящих людей по п. 1, отличающаяся тем, что очки снабжены инфракрасным датчиком, выполненным с возможностью работы в импульсный режим в условиях низкой освещенности и автоматической активации.

9. Визуально-звуковая система для слепых и слабовидящих людей по п. 1, отличающаяся тем, что выполнена с возможностью подключения к компьютеру/смартфону для внесения настроек, удаленного управления настройками системы, обновления прошивки, загрузке карт с помощью беспроводной сети wi-fi, Bluetooth, соединительного кабеля.

10. Визуально-звуковая система для слепых и слабовидящих людей по п. 1, отличающаяся тем, что содержит браслет с динамическими ячейками для передачи информации в виде букв и цифр, соединенный с процессором, что позволяет дублировать звуковую текстовую информацию и дополнительно упрощать процесс обучения.