ПОРТАТИВНАЯ СИСТЕМА, ОБЕСПЕЧИВАЮЩАЯ ВОСПРИЯТИЕ СЛЕПЫМИ ИЛИ СЛАБОВИДЯЩИМИ ЛЮДЬМИ ОКРУЖАЮЩЕГО ПРОСТРАНСТВА ПОСРЕДСТВОМ ЗВУКА ИЛИ КАСАНИЯ Российский патент 2020 года по МПК A61F9/08 G01B11/22 G08B3/00 

Область техники, к которой относится изобретение

Изобретение относится к вспомогательным устройствам для людей с ограниченными возможностями или инвалидностью. В частности, изобретение относится к вспомогательной системе, предназначенной прежде всего для слепых или слабовидящих.

Уровень техники

Пользователи с нарушением зрения обычно полагаются на простые вспомогательные средства такие, как трости и собаки-поводыри, для передвижения или распознавания окружающего их пространства. Хотя для этих целей и разработаны высокотехнологичные системы, зачастую они являются инвазивными и сложными в использовании. Кроме того, обычно они слишком дороги для массового использования.

Современные системы обычно измеряют расстояния из одной точки, например, посредством лазера, обеспечивая звуковое уведомление, если на пути находится какой-либо предмет. Такие системы не выполняют объемный анализ местности, а также не учитывают нюансы, связанные с изменением положения, размером или геометрией (кривые линии, границы, положение относительно линии горизонта). Помимо этого, анализ местности путем измерения расстояний с множеством точек требует большой вычислительной мощности, в результате чего, как правило, его невозможно применять в реальном времени и/или в портативном устройстве.

При этом из уровня техники также известны устройства для анализа изображений окружающего пространства, причем указанные устройства выполнены с возможностью обработки указанных изображений и преобразования их для своих пользователей в виде звуков, так чтобы обеспечить звуковые представления расстояний до предметов, составляющих указанные изображения, и, таким образом, сформировать трехмерную проекцию, которая помогает ориентироваться и уведомляет пользователей о возможных препятствиях на их пути. Несмотря на это, указанные устройства также являются неэффективными относительно требований к обработке данных, что на практике выражено в низкой скорости реакции и вычислительных недочетах, приводящих к погрешностям и некорректному использованию. Примеры устройств такого типа, основанных на полном преобразовании изображений, раскрыты в патентных документах ES 2133078 А1 и US 2009/122161 А1.

В качестве альтернативы таким устройствам известно устройство, раскрытое в патентном документе ES 2517765 А1, выполненное с возможностью создания звуковой библиотеки и сопоставления каждой точки полученных изображений по меньшей мере с одним звуком из указанной звуковой библиотеки, создавая при этом карту закодированных звуков и представляя плоскость в запечатленном трехмерном пространстве. Упомянутое устройство также выполнено с возможностью последовательного воспроизведения звука от каждой из точек, заданных на карте, причем указанный звук связан с пространством, представленным горизонтальными линиями, с целью упростить компенсацию ошибок, обусловленных некорректным размещением устройства пользователями, например для вариантов осуществления, в которых используются очки, когда некорректное горизонтальное положение может привести к ошибочному вычислению расстояний до пользователя.

Хотя упомянутое альтернативное решение позволяет исправить некоторые из недостатков, присущих более ранним вариантам известных из уровня техники устройств, оно все же имеет значительное ограничение, обусловленное необходимостью наличия вычислительных ресурсов, поскольку, хотя оно и выполнено с возможностью представления горизонтальной звуковой модели, полученной из изображений, обработка их глубины осуществляется посредством анализа указанных изображений целиком, тем же способом, что используется в аналогичных упомянутых выше системах. Аналогичным образом, все известные устройства требуют значительных вычислительных ресурсов, что существенно ограничивает результат их работы и производительность. Помимо этого, такие устройства обычно требуют использования инклинометров/гравиметров, что существенно их усложняет, при этом это полностью не решает проблему точности вычислений глубины.

Следовательно, существует потребность в создании эффективных вспомогательных систем для людей с нарушением зрения, обеспечивающих возможность предоставления доступного для восприятия отображения окружающего пространства посредством легко понятных звуковых или тактильных сигналов и, в то же время, демонстрирующих более низкое потребление вычислительных и компьютерных ресурсов.

Раскрытие сущности изобретения

Настоящее изобретение предназначено прежде всего для людей, имеющих проблемы со зрением. Тем не менее, оно может быть использовано в ситуациях и при обстоятельствах другого типа, в которых не может быть использовано зрительное восприятие или требуется альтернативная навигационная система.

Сопровождение людей становится легче благодаря описанию окружающего пространства посредством интерпретации имеющихся вокруг них предметов и препятствий, которое сообщается пользователю через сигнал, предпочтительно звуковой или тактильный сигнала (например, вибрации, передаваемой посредством касания). Указанный сигнал генерируется на основе обработки стереоизображения, чтобы обеспечить отображение областей с наибольшей интенсивностью окраски, соответствующих удаленным участкам, в то время как другие области с меньшей интенсивностью окраски связаны с близлежащими участками.

Следовательно, одним из объектов изобретения является портативная система, обеспечивающая восприятие слепыми или слабовидящими людьми окружающего пространства посредством звука или касания, содержащая:

- две камеры, отделенные друг от друга, выполненные с возможностью одновременного получения изображения окружающего пространства,

- средства обработки, объединяющие два изображения в реальном времени и формирующие по меньшей мере одну вертикальную полосу с информацией о глубине элементов комбинированного изображения, причем указанные средства обработки также выполнены с возможностью разделения указанной вертикальной полосы на множество участков; определения звукового или тактильного сигнала на каждом участке согласно их глубине и высоте на изображении; определения звукового или тактильного выходного сигнала на основе звуковых или тактильных сигналов на каждом участке вертикальной полосы;

- средства воспроизведения для воспроизведения звукового или тактильного выходного сигнала.

В предпочтительном варианте осуществления изобретения вертикальная полоса находится в центральной части комбинированного изображения, и пользователь при передвижении сканирует окружающее пространство. Указанный режим работы изобретения будет далее называться "режимом сканирования".

Обработка только одной вертикальной полосы изображения, полученного камерами, позволяет, с одной стороны, ограничить анализ глубины интересующим участком, что оптимально для пользователей (поскольку он соответствует центральной точке фокуса), исключая периферийные участки, информация с которых представляет меньший интерес. Благодаря такой оптимизации могут быть существенно сокращены требования к вычислительным ресурсам системы без негативного влияния на получаемую информацию. Это возможно благодаря тому, что на вертикальной линии сконцентрирована информация, относящаяся к глубине на горизонте, так как она более существенна для пользователя для определения местоположения препятствий. Информация, соответствующая периферийному боковому зрению, генерируется при этом при естественном движении головы в сторону во время движения пользователя, что сдвигает вертикальную линию анализа и позволяет получить остальную информацию без необходимости непрерывной обработки получаемого камерами полного изображения. Движение головы в горизонтальном направлении на несколько градусов позволяет естественным образом охватить участок, расположенный перед пользователем, для оценки глубины всего горизонта (осуществляемой посредством анализа вертикальной линии). Посредством такой технической оптимизации, согласно оценкам, экономия в отношении требований к вычислительным ресурсам составляет около 90% по сравнению с известными из уровня техники альтернативными решениями. Кроме того, обработка вертикальной линии по сравнению с целым изображением, полученным камерами, позволяет предотвратить возникновение звуковых шумов, обусловленных близлежащими периферийными предметами, находящимися вблизи от пользователя, но не загораживающими непосредственно его проход. В этом смысле, использование такой системы во многих отношениях сходно с рабочим режимом сканирования или зондирования посредством трости для слепых, что позволяет легко обучиться работе с ней.

В другом предпочтительном варианте осуществления изобретения на комбинированном изображении с каждой стороны от центральной вертикальной полосы сформировано множество боковых вертикальных полос, и левосторонний или правосторонний звуковой или тактильный сигнал определяется из участков каждой из левосторонних полос и каждой из правосторонних полос, соответственно; причем пользователь может сканировать окружающее пространство без перемещения. Указанный режим работы изобретения будет далее называться "полным ландшафтным режимом". В указанном режиме средства обработки выполнены с возможностью осуществления одновременного анализа множества боковых вертикальных полос, так что сегментарный участок полученного камерами полного изображения обрабатывается горизонтально. По сравнению с режимом сканирования, полный ландшафтный режим предъявляет более высокие требования к вычислительным ресурсам, но он обеспечивает пользователю системы больше информации относительно периферийных боковых участков. Несмотря на это, сокращение обрабатываемого пространства до множества вертикальных линий обеспечивает, также как и в режиме сканирования, значительное сокращение времени обработки и потребления ресурсов по сравнению с известными из уровня техники решениями.

В другом предпочтительном варианте осуществления изобретения режимы работы средств обработки могут быть приведены в действие и отключены пользователем, так что одновременный анализ множества боковых вертикальных полос может чередоваться с анализом одной вертикальной полосы. В результате, в зависимости от положения пользователя, пользователь может использовать рабочий режим сканирования (т.е. реализуемый посредством обработки глубины на центральной вертикальной линии), который будет эффективным в большинстве ситуаций ежедневного использования, а также полный ландшафтный режим (использующий множество вертикальных полос) в случае необходимости получения дополнительной информации о периферийных боковых участках.

В предпочтительном варианте осуществления изобретения, средства воспроизведения воспроизводят в стереофоническом режиме, объединяя левосторонний звуковой или тактильный сигнал и правосторонний звуковой или тактильный сигнал.

В предпочтительном варианте осуществления изобретения средства обработки определяют звуковую или тактильную интенсивность звукового или тактильного сигнала согласно высоте участка на вертикальной полосе.

В предпочтительном варианте осуществления изобретения средства обработки определяют частоту звукового или тактильного сигнала согласно глубине участка.

В предпочтительном варианте осуществления изобретения глубина участка определяется согласно уровню серого на карте глубины изображения окружающего пространства.

В предпочтительном варианте осуществления изобретения участок содержит по меньшей мере один пиксель.

В предпочтительном варианте осуществления изобретения система содержит несущую конструкцию, выполненную с возможностью ношения пользователем, на которой могут быть размещены средства воспроизведения и две камеры.

В предпочтительном варианте осуществления изобретения на основе тактильного сигнала генерация указанного сигнала осуществляется на основе электроактивного полимера (ЭАП) или мембраны, выполненной из эластомера, форма которых изменяется в зависимости от напряжения. В альтернативном варианте сигнал может генерироваться механически посредством небольшого генерирующего вибрацию мотора.

В предпочтительном варианте осуществления изобретения на основе звукового сигнала частота указанного звукового сигнала находится в диапазоне от 100 Гц до 18000 Гц.

В предпочтительном варианте осуществления изобретения средства воспроизведения представляют собой кохлеарные наушники. Предпочтительно ухо остается свободным и сигнал принимается по кости. Это означает, что пользователь может разговаривать, не искажая при этом генерируемый звуковой сигнал, или наоборот.

В предпочтительном варианте осуществления изобретения несущая конструкция выбрана по меньшей мере из группы, включающей в себя: очки, головную повязку, шейную повязку, нагрудную повязку, плечевую повязку или переносное устройство.

В предпочтительном варианте осуществления изобретения генерируемый звуковой сигнал является невербальным, что позволяет защитить пользователя от постоянного наплыва голосовых сообщений, которые после длительного использования могут стать утомительными и раздражающими. Кроме того, невербальное сообщение легче распознается, и оно может воспроизводиться в то же время, когда выполняются другие действия. Изобретение, таким образом, может быть использовано без появления лингвистических барьеров, связанных с языком.

Краткое описание чертежей

На фиг. 1 проиллюстрирована упрощенная структурная схема варианта осуществления изобретения.

На фиг. 2 проиллюстрировано пиксельное изображение тороида, проанализированное посредством изобретения.

На фиг.3 проиллюстрировано пиксельное и обработанное изображение тороида с фиг. 2.

На фиг. 4 проиллюстрирована упрощенная блок-схема способа, реализуемого системой согласно изобретению.

На фиг. 5 проиллюстрирован вариант осуществления изобретения на основе очков.

Осуществление изобретения

Для большей ясности вариант осуществления изобретения без ограничения описан со ссылками на чертежи, при этом особое внимание уделено звуковым или тактильным сигналам.

На фиг. 1 проиллюстрирована структурная схема с основными элементами системы согласно изобретению. Указанная схема иллюстрирует то, как получаются изображения посредством пары стереокамер (3i, 3d). Они предпочтительно размещены с обеих сторон лица и на высоте глаз пользователя для упрощения фокусировки на интересующем участке посредством движений головы. Камеры (3i, 3d) предпочтительно расположены параллельно на одном уровне.

Специальные элементы электрической цепи камер (3i, 3d) осуществляют предварительную обработку полученного изображения, чтобы обеспечить равномерный поток изображений, предотвращая геометрические или хроматические искажения и абберации. Электрическая цепь датчиков позволяет получить пару синхронизированных по времени изображений.

В результате указанный видео поток передается на модуль (2) обработки. Модуль (2) обработки предпочтительно представляет собой специализированные аппаратные средства, выполняющие алгоритм преобразования изображений в звук/вибрацию. Для обеспечения связи камеры (3i, 3d) с модулем (2) обработки предусмотрен кабель (6). Тем не менее, в других более сложных вариантах осуществления может быть предусмотрена беспроводная связь.

Модуль (2) обработки преобразовывает стереоскопические изображения в карту глубины в оттенках серого. Предварительно формируется карта диспаратности (без информации о шкале).

Под картой глубины следует понимать изображение в оттенках серого, в котором полученный в результате обработки черный цвет означает максимальную удаленность (в зависимости от используемой шкалы), а чистый белый - максимальную близость (в зависимости от используемой шкалы). Остальные серые цвета обозначают промежуточные расстояния. Тем не менее, в других вариантах осуществления изобретения возможен обратный контраст, когда более темные цвета соответствуют более коротким расстояниям, или применяется предустановленная цветовая шкала, аналогичная термографическому представлению.

Под картой диспаратности следует понимать конечное изображение, т.е. полученное путем наложения пары стереоизображений, подвергнутых математической обработке. Бинокулярная карта диспаратности отображает на одном изображении различия на пиксельном уровне между двумя стереоизображениями. Разность между пикселями может быть приведена в соответствие с реальными расстояниями путем применения математического алгоритма диспарантности с учетом расстояния между камерами и калибровочных файлов камер. Результатом этой обработки является расстояние камеры от каждого фрагмента (пиксельного размера) полученного изображения. Для отображения этого расстояния используются оттенки серого.

Затем это преобразуется в карту глубины. После математической обработки, в ходе которой используются расстояния/уровни в оттенках серого, получается карта глубины.

На основе сформированной карты глубины применяется разработанный для этой цели алгоритм преобразования, представляющий собой высоко оптимизированный алгоритм, и, следовательно, требующий меньшего объема вычислительных ресурсов, что позволяет преобразовать специализированные данные, относящиеся к глубине, в звук более эффективно, чем в известных системах.

В результате, из первоначальной пары стереоизображений получают невербальный стереофонический звуковой сигнал, передаваемый пользователю посредством кохлеарных наушников или посредством средств (4i, 4d) костной проводимости. Так устанавливается аудиовизуальный язык, позволяющий надежно преобразовать визуальную информацию в слуховую информацию интуитивно-понятно для пользователя.

На фиг. 2 проиллюстрирован пример карты глубины тороида с низким разрешением. Каждый пиксель карты глубины имеет связанную с ним координату (X, Y), соответствующую полученному камерами положению пикселя. Кроме того, с каждым пикселем связан уровень серого (G), предоставляющий информацию, относящуюся к глубине, т.е. расстояние, на котором расположен участок, связанный с указанным пикселем.

На фиг. 3 упрощенным образом проиллюстрировано разделение центральной вертикальной полосы или столбца на три области согласно их уровням серого. Область "А" является черной, область "В" - белой, а область "С" - серой. Следовательно, с каждой из областей связаны три различных по силе громкости (тишина для области "А", максимальная громкость для области "В" и промежуточная интенсивность звука для области "С"). Следует понимать, что обычно задано намного больше промежутков уровней серого и, следовательно, связанных с ними интенсивностей звука. Звуковой сигнал формируется путем объединения отдельных сигналов, соответствующих пикселям каждой области.

С использованием информации из карты глубины, строится матрица или таблица с информацией, относящейся к окружающему в тот момент времени пространству.

Указанная информация должна быть преобразована в звук согласно следующим принципам:

- карта диспаратности строится для каждой пары стереокадров. С учетом разности пикселей изображений и с использованием данных камер (поле зрения, межокулярное расстояние, определенную калибровку), может быть реализована триангуляция, следовательно, пиксели могут быть связаны с расстояниями в реальном пространстве. С помощью этой информации выполняется обработка изображения для получения карты глубины. Она представляет собой схематическое изображение предметов в оттенках серого, отображающее их объемы и реальные расстояния до них. Следовательно, это обеспечивает единое составное изображение, содержащее пространственную информацию, относящуюся к местности;

- пример рабочего режима сканирования приведен со ссылками на фиг. 3. Для анализа изображения необходимо двигать головой слева направо, как бы качая головой в знак отрицания. Центральной курсор (выделен красным), следовательно, сможет полностью просканировать тороид. Сгенерированный звук будет слышен в центре стереопанорамы (поскольку он всегда будет центром линии наблюдения). Посредством такого сканирования будет получено представление о горизонтальном размере предмета (движение шеи будет служить в качестве точки отсчета), а вертикальный размер будет отображен с помощью диапазона частот;

- в полном ландшафтном режиме для анализа используется фиг. 2. В этом случае, пользователю нет необходимости двигать шеей, чтобы воспринимать, что находится впереди указанного пользователя. Правая часть тороида будет звучать справа в виде стереопанорамы. Центральная и левая части будут звучать аналогичным образом. Уровень апертуры стереопанорамы даст представление о горизонтальном размере тороида. Вертикальный размер будет отображен диапазоном частот, как и в режиме сканирования;

- сопоставление изображения стереозвуку осуществляется следующим образом. Звуковой сигнал на основе изображения ландшафта соответствует анализируемой области. Левая область изображения будет звучать в левой части стереопанорамы. Правая область будет звучать в правой части стереопанорамы. Центральная область, следовательно, будет звучать в центре стереопанорамы (т.е. 50% слева + 50% справа);

- диапазон частот, в котором частоты обозначают параметр высоты, составляет от 100 Гц до 18000 Гц и разделен на равные промежутки. Указанный диапазон был выбран, поскольку он является достаточно широким для детального отображения звука, но при этом достаточно узким, чтобы среднестатистический человек воспринимал его без каких-либо проблем (диапазон человеческого восприятия звука составляет от 20 Гц до 20000 Гц). Базовая частота (100 Гц) соответствует первому нижнему ряду пикселей на дисплее. Самая высокая частота (18000 Гц) соответствует верхнему ряду пикселей. Остальные частотные промежутки лежат между ними. Если изображение имеет высоту 128 пикселей, каждый ряд будет соответствовать одному промежутку. Если разрешение изменяется, промежутки будут выделены так, чтобы пропорционально соответствовать высоте. Этот способ работает для систем с низкой вычислительной мощностью. При наличии мощности, позволяющей генерировать синтезированный звук в реальном времени, диапазон частот будет разделен на множество пикселей по высоте, и каждый частотный промежуток будет соответствовать каждому пикселю без интерполяции или усреднения;

- параметр пространственного расстояния относительно пользователя (ось Z) связан с параметром громкости, генерируемой алгоритмом, так что черный пиксель не будет иметь ощутимой громкости (т.е. точка в бесконечности), а белый пиксель будет иметь максимальную громкость (0 дБ). Эта шкала может быть гибкой и применяться к различным используемым диапазонам измерений (40 см, 2 м, 6 м);

- длительность звука на пиксель непосредственно пропорциональна его "присутствию" на дисплее. Если пиксель постоянно белый, звук будет повторяться постоянно;

- анализ центрального столбца используется только в режиме сканирования. Теоретически, может использоваться центральный столбец шириной в 1 пиксель. Тем не менее, для ослабления звука и предотвращения искажения, громкость пикселя трех или даже пяти центральных столбцов, в зависимости от разрешения карты глубины (что зависит от вычислительной мощности), может быть усреднена.

Интенсивность громкости связана с глубиной оттенка серого пикселя (I). Следовательно, пиксель со значением 0.0.0 (в модели RGB) соответствует удаленному участку и связан с интенсивностью, соответствующей тишине (1=0). Пиксель со значением 255.255.255 соответствует очень близкому участку и максимальной громкости сигнала (1=0 дБ). Таким образом, каждый пиксель может рассматриваться в виде "звуковой единицы", используемой для создания звуковой композиции. Частота звука предпочтительно лежит в диапазоне от 100 Гц до 18000 Гц.

В зависимости от режима работы, положение X пикселя может быть преобразовано двумя способами.

Режим сканирования. Будут звучать только те сигналы, которые соответствуют пикселям в центральном столбце. Сканирование местности осуществляется, когда пользователь двигает головой как будто в знак отрицания. Это аналогично сканированию с помощью трости.

Полный ландшафтный режим. Будут звучать одновременно несколько столбцов пикселей, связанных с местностью. В указанном режиме в сканировании нет необходимости. Изображение отображается (или "звучит") целиком. Например, чем дальше в правую сторону находятся пиксели, тем громче они будут звучать справа в стереопанораме. То же справедливо для центрального и левого участков.

Полный ландшафтный режим требует большой вычислительной мощности, так что, в зависимости от эффективности модуля (2) обработки, вместо того, чтобы звучали все столбцы изображения, может быть осуществлена оптимизация с использованием пяти столбцов, т.е. центрального и лежащих на 45°, -45°, 80°, -80°. В зависимости от вычислительной мощности может быть использовано большее количество столбцов.

Положение Y пикселя (высота предмета) задается частотой звука: для этого используется полосовой фильтр (альтернативные решения в зависимости от вычислительной мощности устройства включают в себя или генерируемую синусоидальную частоту, или предварительно вычисленный шаблон в определенном диапазоне частот), так что пиксели в верхней области будут звучать высоким тоном, а пиксели в нижней области будут звучать низким тоном. Звуковой спектр, которым отображается каждый пиксель, определяется количеством пикселей Y.

Пример. Этот пример представлен для пояснения того, как звук генерируется из изображения глубины. Предполагается, что выбран режим сканирования, и что получено изображение глубины аналогично проиллюстрированному на фиг. 3, на котором в приближении различаются только три уровня серого. Следовательно, в центральном столбце находятся (снизу вверх): 10 черных пикселей, 12 белый пикселей, 2 черных пикселя, 8 серых пикселей и 15 черных пикселей. Предполагается, что сформирована цветовая шкала, в которой 0 дБ соответствует белому, -30 дБ соответствует серому и -∞ дБ соответствует черному.

Интенсивность сигнала в конкретный момент времени будет представлять собой аналоговую смесь всех сигналов.

Пользователь будет воспринимать различные частоты в зависимости от положения пикселя по высоте. Пиксели, расположенные на меньшей высоте, будут более низкого тона, а пиксели, расположенные на большей высоте, будут более высокого тона. Звук, генерируемый таким столбцом, может быть разделен на компонент низкого тона с высокой интенсивностью звука (область В) и компонент с промежуточной интенсивностью звука частоты более высокого тона (область С). Этот сигнал будет сгенерирован для двух каналов, левого и правого (и будет соответственно воспроизведен в наушниках (4i, 4d)).

Когда пользователь изменяет положение камер посредством поворота головы, изображение глубины и, следовательно, связанный с ним звуковой сигнал, будут меняться.

На фиг. 4 проиллюстрирована блок-схема, на которой представлены некоторые из основных этапов, выполняемых в режиме сканирования. Первый этап (Р1) получения изображения с помощью камер (3i, 3d), этап (Р2) обработки для генерации карты глубины, этап (Р3) сопоставления для определения соответствия частоты и интенсивности звука для каждого пикселя или группы пикселей на центральном столбце карты глубины, этап (Р4) генерации для генерации конечного звукового сигнала, соответствующего центральному столбцу.

На фиг. 5 проиллюстрирован вариант осуществления изобретения, реализованный в очках 1. Тем не менее, изобретение может быть реализовано в изделии другого типа, служащего в качестве несущей конструкции. Например, оно может быть реализовано на шляпе, головной повязке, шейной повязке, нагрудной повязке, плечевой повязке или в переносном устройстве. Очки обладают тем преимуществом, что они удобны в ношении, и, с одной стороны, позволяют разместить наушники (4i, 4d) в необходимом положении, и, с другой стороны, они обеспечивают точную фокусировку камер (3i, 3d) на интересующем участке. Модуль (2) обработки выполнен с возможностью ношения пользователем в кармане или на ремне. В будущем возможно сокращение его размера для интеграции с очками (1). Поскольку они разделены, информация, полученная камерами (3i, 3d), передается на модуль (2) обработки посредством кабеля (6). Помимо этого, поскольку указанная информация обрабатывается, модуль (2) обработки передает соответствующие звуковые сигналы на наушники (4i, 4d).

Количество информации и детализация, с которой звук позволяет отображать формы и пространство, характеризуется недоступной до настоящего времени точностью. При проведенном со слепыми тестировании подтвердилось, что после короткого тренировочного периода настоящее изобретение позволяет распознавать определенные формы посредством связанного с ними звука. Например, бутылки, очки и тарелки на столе имеют характерные звуки, позволяющие отличить их друг от друга.

Для передачи звука предпочтительно используются кохлеарные наушники, которые оставляют ушной проход свободным. Это повышает комфорт пользователя, значительно сокращают слуховое утомление и является значительно более гигиеничным при длительных сеансах использования.

В одном варианте осуществления предусмотрен интерфейс, связанный с модулем (2) обработки и имеющий кнопку выбора диапазона для определения анализируемого расстояния, например, близкого, нормального и дальнего, соответствующих расстояниям 40 см, 2 м и 6 м, соответственно, или определяемого пользователем посредством подходящего для этих целей интерфейса. Расстояния при нажатии кнопки могут выбираться циклически. Выбор диапазона обычно служит для обеспечения соответствия диапазона различным видам местности или ситуациям, например, 40 см - для определения положения предметов на столе, 2 м - при перемещении по дому, а 6 м - при переходе дороги.

В другом предпочтительном варианте осуществления изобретения система содержит средства беспроводной передачи данных (например, посредством Wi-Fi, Bluetooth или других аналогичных технологий), соединенные с модулем (2) обработки, причем указанные средства передачи соединены с внешним устройством, выполненным с возможностью беспроводного соединения, и/или с устройством переносного типа.

В одном варианте осуществления интерфейс, связанный с модулем (2) обработки, имеет кнопку режима анализа. Выбор между режимами может осуществляться циклически.

Режим сканирования. Анализ только в центральной области изображения. Пользователь будет циклически поворачивать голову слева направо, сканируя местность аналогично тому, как это осуществляется посредством трости. Звук является монофоническим.

Полный ландшафтный режим. Анализ осуществляется над целым изображением. Звук является стереофоническим. Пользователь, таким образом, может различать формы и пространства во всем поле зрения одновременно. Например, слева различает столб (левая часть стереопанорамы), в центре различает низкий стол (центральная часть стереопанорамы), а справа проход свободен (правая часть стереопанорамы). Указанный режим обработки является более сложным относительно звука, поскольку он предоставляет больше информации, чем режим сканирования. Он легко может стать преобладающим, хотя и требует большей тренировки.

Изобретение относится к медицинской технике, а именно к средствам, обеспечивающим возможность восприятия слепыми или слабовидящими людьми окружающего пространства. Портативная система, обеспечивающая восприятие слепыми или слабовидящими людьми окружающего пространства посредством звука или касания содержит две камеры, отделенные друг от друга и выполненные с возможностью одновременного получения изображения окружающего пространства, средства генерации звуковых и/или тактильных выходных сигналов, средства обработки, соединенные с камерами и средствами генерации звуковых и/или тактильных сигналов, при этом средства обработки выполнены с возможностью объединения изображений, полученных в реальном времени, и обработки информации о глубине элементов, содержащихся в по меньшей мере одной вертикальной полосе комбинированного изображения, где вертикальная полоса по существу охватывает всю высоту комбинированного изображения, причем средства обработки также выполнены с возможностью: разделения вертикальной полосы на один или более участков, определения звукового или тактильного сигнала на каждом участке согласно глубине участка и высоте участка, и определения звукового или тактильного выходного сигнала на основе звуковых или тактильных сигналов на каждом участке вертикальной полосы. Использования изобретения позволяет ускорить обработку информации для получения в реальном времени точного значения глубины и вертикальных координат для трансформации их в звуковой или тактильный сигнал. 14 з.п. ф-лы, 5 ил.

1. Портативная система, обеспечивающая восприятие слепыми или слабовидящими людьми окружающего пространства посредством звука или касания, содержащая:

две камеры (3i, 3d), отделенные друг от друга и выполненные с возможностью одновременного получения изображения окружающего пространства,

средства (4i, 4d) генерации для генерации звуковых и/или тактильных выходных сигналов;

средства (2) обработки, соединенные с камерами (3i, 3d) и средствами (4i, 4d) генерации для генерации звуковых и/или тактильных сигналов,

отличающаяся тем, что указанные средства (2) обработки выполнены с возможностью объединения изображений, полученных в реальном времени, и обработки информации о глубине элементов, содержащихся в по меньшей мере одной вертикальной полосе комбинированного изображения, при этом указанная вертикальная полоса по существу охватывает всю высоту комбинированного изображения, причем указанные средства (2) обработки также выполнены с возможностью: разделения указанной вертикальной полосы на один или более участков; определения звукового или тактильного сигнала на каждом участке согласно глубине участка и высоте участка; и определения звукового или тактильного выходного сигнала на основе звуковых или тактильных сигналов на каждом участке вертикальной полосы.

2. Система по п. 1, в которой указанная вертикальная полоса представляет собой центральную полосу комбинированного изображения.

3. Система по п. 2, в которой средства (2) обработки выполнены с возможностью обработки множества боковых вертикальных полос на комбинированном изображении с каждой стороны от центральной вертикальной полосы, отличающаяся тем, что левосторонний сигнал и правосторонний сигнал определяются из участков каждой левосторонней полосы и каждой правосторонней полосы, соответственно.

4. Система по п. 3, в которой средства (2) обработки выполнены с возможностью осуществления одновременного анализа множества боковых вертикальных полос, так что сегментарный участок на полном изображении, полученном камерами (3i, 3d), обрабатывается горизонтально.

5. Система по п. 4, в которой режим работы средств (2) обработки может быть задан пользователем, так что режим одновременного анализа множества боковых вертикальных полос и режим анализа одной вертикальной полосы могут быть приведены в действие и отключены пользователем.

6. Система по любому из пп. 1-5, в которой средства (4i, 4d) генерации работают в стереофоническом режиме, объединяя левосторонний звуковой или тактильный сигнал и правосторонний звуковой или тактильный сигнал, и/или в которой звук генерируется в монофоническом режиме, причем оба режима могут быть выбраны пользователем.

7. Система по любому из пп. 1-6, в которой средства (2) обработки определяют интенсивность звукового или тактильного сигнала согласно глубине участка.

8. Система по п. 7, в которой средства (2) обработки определяют частоту звукового или тактильного сигнала согласно высоте участка на вертикальной полосе.

9. Система по п. 8, в которой средства (2) обработки выполнены с возможностью определения глубины участка на карте глубины изображения окружающего пространства согласно цветовой кодировке в оттенках серого или посредством цветового градиента.

10. Система по любому из пп. 1-9, содержащая несущую конструкцию (1), выполненную с возможностью ношения пользователем и размещения средств (4i, 4d) воспроизведения и двух камер (3i, 3d).

11. Система по любому из пп. 1-10, в которой тактильный сигнал представляет собой сигнал, генерируемый посредством вибрации.

12. Система по любому из пп. 1-11, в которой частота звукового сигнала находится в диапазоне от 100 Гц до 18000 Гц.

13. Система по любому из пп. 1-12, в которой средства (4i, 4d) генерации содержат наушники с костной проводимостью звука.

14. Система по любому из пп. 1-13, в которой несущая конструкция (1) выбрана по меньшей мере из группы, включающей в себя:

- очки,

- головную повязку,

- шейную повязку,

- нагрудную повязку,

- плечевую повязку,

- наручную повязку.

15. Система по любому из пп. 1-14, содержащая средства беспроводной передачи данных, соединенные с модулем (2) обработки, причем указанные средства передачи соединены с внешним устройством, выполненным с возможностью беспроводного соединения, и/или с устройством нательного типа.