СПОСОБ ФОРМИРОВАНИЯ АКУСТИЧЕСКОГО ОБРАЗА Российский патент 1998 года по МПК A61F9/08 G09B21/00 

Изобретение относится к способам преобразования зрительной информации в другие виды ее восприятия. Изобретение может быть использовано для обучения или общения со слепыми. Способ также представляет интерес при проектировании перспективы средств отображения информации и оптимизации структуры управления информационным потоком в биотехнических системах.

Известен способ формирования субъективного акустического образа [1, 2], в котором для преобразования зрительного образа в звуковые сигналы лучи света от изображения, действуя на фотоэлементы, возбуждают в них фототоки, которые возбуждают в телефоне, связанном с фотоэлементами разные по высоте и тембру звуки. Для этого, чтобы различать элементы изображения вдоль щели развертки осуществляется амплитудная модуляция падающего света в каждом элементе щели с разной частотой. Недостатком способа является то, что информация, которую получают слепой пользователь не только ограничена локализацией световых пятен по их положению относительно головы: право - влево, верх - вниз, но и может давать неверные представления о предметах, обладающих различными коэффициентами отражения.

Наиболее близким по технической сущности к заявляемому, является способ формирования акустического образа [3] путем создания графического образа и воспроизведения по нему акустического в реальном масштабе времени посредством программного обеспечения и подачи широкополосного сигнала на акустический преобразователь. Данный способ [3] принят за прототип.

В прототипе преобразование зрительного изображения в акустический образ основано на растровом способе представления видеоизображения. Недостатком прототипа является то, что развертка изображения по строкам и столбцам предполагает пространственную реконструкцию образа в памяти пользователя. Предъявленный акустический образ используют не реальные, пространственно распределенные сигналы, а условные. Акустический образ не является статическим или квазистатическим и поэтому процесс его распознавания должен происходить не по фрагментам, а целым паттерном в течение установленной длительности воспроизведения. Такой способ является неадекватным с точки зрения известных механизмов сенсорного восприятия и полностью полагается на обучение слушателя распознаванию сложных звуковых паттернов, требует высокой дифференциальной чувствительности слухового анализатора, высокой лабильности психических процессов и концентрации внимания, утомляет пользователя и затрудняет восприятие (интерпретацию) изображения.

Техническим результатом, получаемым от использования изобретения является устранение указанных недостатков прототипа за счет применения векторного представления квазистатических фрагментов изображения и формирования специальных условий, повышающих точность локализации границ движущегося звукового курсора в вертикальной (медианной) плоскости, т.е. путем повышения пространственного разрешения при воспроизведении акустического образа.

Данный технический результат получают за счет того, что в известном способе формирования акустического образа, заключающемся в создании графического образа и воспроизведении по нему акустического в реальном масштабе времени посредством программного обеспечения и подачи широкополосного сигнала на акустический преобразователь, акустический образ формируют во фронтальной плоскости с помощью четырех направленных попарно сопряженных акустических преобразователей, основная гармоника f_о широкополосного сигнала лежит в диапазоне 200 - 500 Гц, а амплитудой и частотой звукового сигнала управляют как функцией удаления звукового курсора от центра плоскости графического образа, одновременно осуществляют девиацию Δf частоты f_о по вертикали в зависимости от удаления курсора от горизонтальной оси фронтальной плоскости. Причем в качестве широкополосного сигнала используют сигнал трапецеидальной формы. Девиацию частоты Δf задают не более 20% от частоты f_о. Акустический образ формируют во фронтальной плоскости с помощью четырех направленных попарно сопряженных акустических преобразователей с диаграммой направленности, не превышающей угла в 90 угл. град. Амплитудой и частотой звукового сигнала управляют как линейной функцией удаления курсора от центра плоскости графического образа по закону
AX(1-Y)+A(1-X)(1-Y)+AXY+A(1-X)Y=B,
где
A - амплитуда сигнала частоты f₀;
X, Y - текущие координаты звукового курсора;
B - субъективный уровень громкости акустического образа, (регулируемый параметр).

Реализация способа формирования акустического образа основана на следующих предпосылках.

Известно [4] , что ушная раковина вместе со слуховым каналом образуют единую акустическую резонансную систему. Возникновение каждого резонанса системы зависит от направления на источник звука и расстояния до него. Фильтрующее действие головы и наружных ушей в случае широкополосных сигналов приводит к изменениям как значения функции звукопередачи, так и соотношения фаз спектральных составляющих между собой и, следовательно, к сдвигам моментов времени прихода составляющих сигналов барабанной перепонки. Т.е. воспринимаемый каждым ухом широкополосный звуковой сигнал, возбуждаемый в свободном акустическом поле (особенно в ближней зоне, т.е. при расстояниях до источника менее 1 м) содержит значительно больше информации о месте расположения слухового объекта, чем сигнал, возбуждаемый непосредственно в слуховом проходе.

Среди различных способов представления информации в аудио дисплеях известно "естественное" кодирование (примером может служить векторное представление звуковых образов), т.е. такое, при котором сохраняется прямое соответствие между пространственными и временными компонентами исходной информации и компонентами информации, предъявляемой оператору (звуковой курсор и его реальное пространственное положение - интерференционный максимум, или его траектория). В этом случае для декодирования информации (восприятия контура) на выходе дисплея не возникает нужды в специальном обучении пользователя, так как способ основан на врожденной способности млекопитающих (безусловный ориентировочный рефлекс) к пространственной ориентации на движущийся звуковой объект.

Известно [5], что чувствительность человека к звукам с частотой ниже 500 Гц почти не ухудшается с возрастом (потери составляют менее 10 дБ), и дифференциальный разностный порог в этом диапазоне является постоянной величиной, приблизительно равной 4 Гц. С другой стороны, выбор основной частоты виртуального источника звука ниже 200 Гц нецелесообразен из-за снижения величины пространственного разрешения.

Проведенные нами эксперименты показали, что оптимальной девиацией частоты Δf является величина, не превышающаяся 20% от f₀, при этом диаграмма направленности акустических преобразователей 1...4 не должна превышать телесного угла в 90 угл. град. Наиболее удобной для аппаратной реализации и эффективной для восприятия формой широкополосного сигнала является трапецеидальная, а наиболее удобной функцией удаления курсора от центра плоскости графического образа 5 является линейная. Уравнение (1) отображает функцию распределения звукового сигнала, подаваемого на попарно сопряженные акустические преобразователи, расположенные во фронтальной плоскости.

На фиг. 1 представлена схема формирования фронтальной акустической плоскости с помощью четырех акустических преобразователей; на фиг. 2 - блок-схема формирования акустического образа; на фиг. 3 - пример конкретной реализации блока функциональных преобразований.

Схема формирования акустических образов содержит четыре акустических преобразователя 1. . .4 (фиг. 1, 2), расположенных во фронтальной плоскости квадратной формы 5 по ее углам. Схема также содержит (фиг. 2) блок 6 управления значениями переменных параметров, блок 7 функциональных преобразователей и четыре широкополосных усилителя 8...11 низкой частоты.

Схема соединений блоков 1...4, 6...11 представлена на фиг. 2.

Блок функциональных преобразований (фиг. 3) представлен в виде блок-схемы, содержащей блок преобразования код-частота 12; инвертора 13, 14 кода координат звукового курсора (X, Y) и умножителей напряжения 15...21 на цифроаналоговых преобразователях (ЦАП).

Схема электрических соединений в блоке функциональных преобразований представлена на фиг. 3.

Способ реализуется следующим образом.

Параметры модуляции звукового курсора, необходимые для формирования акустического образа, задаются программно. Информация поступает через блок 6 управления значениями переменных параметров на блок 7 функциональных преобразований (четыре 8-ми разрядных ЦАПа) и далее через широкополосные усилители 8. . . 11 на акустические преобразователи 1...4 с ограниченной диаграммой направленности.

Имитация пространственного положения и траектория звукового курсора в акустической плоскости формируются с помощью пространственно разнесенных акустических преобразователей 1. . . 4. При определенных параметрах такой стимуляции испытуемым воспринимается субъективный звуковой образ, локализованный центрально относительно средней линии головы и в горизонтальной плоскости. При изменении параметров звукового сигнала (например, амплитуды) акустический образ смещается в сторону более сильного раздражения тем больше, чем больше выражены межушные различия параметров стимуляции. Если эти различия стимуляции изменяются в течение действия стимула, такой сигнал имитирует пространственное перемещение источника звука (движущийся звуковой курсор).

Программное обеспечение позволяет с помощью видео ввода или графического манипулятора (мыши, джойстика, дигитайзера или иного типа) создавать графические изображения, каждая точка которых (при выбранной степени дискретизации) будет иметь соответствующую проекцию во фронтальной акустической плоскости и одновременно (или по сохраняемой в памяти компьютера последовательности координат точек графического образа) воспроизводится путем изменения параметров модуляции звукового курсора. Таким образом, можно сравнить субъективный акустический образ, описываемый испытуемым, с реальным графическим изображением на мониторе экспериментатора.

Как показали эксперименты, 20%-ная девиация частоты относительно основного тона звукового курсора в вертикальной (медианной) плоскости относительно условного горизонта (нулевой уровень - линия, проведенная через слуховые проходы) и изменение амплитуды сигнала сопряженных излучателей с ограниченной диаграммой направленности, расположенных во фронтальной плоскости перед испытуемым, как функция удаления курсора от центра плоскости графического образа повышают точность локализации примерно в 2 - 2.5 раза. Движение звукового курсора вверх сопровождается повышением частоты линейно с увеличением угла, вниз - понижением. Это позволяет получить разрешение по вертикали до 14 - 16 однозначно локализуемых уровней (горизонтальных линий), что в пределах конкретно выбранной базы между излучателями (0,8 м) и расстоянием от излучателей до слушателя (0,8 м) соответствует 4 угл. град.

Экспериментальная проверка способа.

В экспериментах участвовало 15 человек: мужчины и женщины в возрасте от 15 до 55 лет с нормальным слухом. Для оперативного тестирования и формализации диалога с испытуемым о возникающих субъективных образах была разработана библиотека графических символов русского и латинского алфавитов (печатных и прописных), а также набор цифр и геометрических фигур.

Экспериментально сформировалась последовательность предъявления графических символов, в результате чего узнавание достигло 80-100% с первого или второго предъявления неизвестного звукового символа. Последовательности предъявления печатных букв русского алфавита, облегчающие восприятие векторной системы кодирования графической информации, показаны на фиг.4. Как показали эксперименты, испытуемые, обученные векторной системе звукового кодирования, однозначно воспринимают графические символы даже при нецентральном положении их головы относительно системы звуковых излучателей, при уменьшенных в два раза размерах изображения и сокращенном времени воспроизведения. То есть, существует потенциальная возможность сведения дифференциального порога пространственной локализации звукового курсора в вертикальной плоскости к аналогичному параметру пространственного разрешения по азимуту (около 1 угл. град).

Таким образом, предлагаемый способ формирования акустического образа позволяет создавать изоморфные визуальным акустические образы с реальной пространственной локализацией. Способ не требует, в отличие от прототипа специального обучения пользователя, так как основан на врожденной способности млекопитающих (безусловный ориентировочный рефлекс) к пространственной ориентации на движущийся звуковой объект. Это позволяет достичь поставленного технического результата.

Источники информации
1. Авторское свидетельство СССР N 151059, кл. A 61 F 9/08, G 09 B 21/00, 1967.

2. Авторское свидетельство СССР N 151060, кл. A 61 F 9/08, G 09 B 21/00, 1967.

3. Заявка ЕПВ N 0410045, кл. A 61 F 9/08, 1989 - прототип.

4. Блауэрт Й. Пространственный слух. Пер. с нем. М.: Энергия, 1979.

5. Соркин Р. Представление слуховой и тактильной информации. //Человеческий фактор. Т.5. М.: Мир. 1992. С.175-221.

Способ предназначен для преобразования зрительной информации в другие виды ее восприятия для обучения или общения со слепыми. Графический образ формируют во фронтальной плоскости с помощью четырех направленных попарно сопряженных акустических преобразователей, на которые подают широкополосный сигнал. Основная гармоника f_o его лежит в диапазоне частот 200 - 500 Гц. Амплитудой и частотой звукового сигнала управляют как линейной функцией удаления курсора от центра плоскости графического образа. Одновременно осуществляют девиацию Δf частоты f_o по вертикали в зависимости от удаления курсора от горизонтальной оси фронтальной плоскости. Акустический образ воспроизводят в реальном масштабе времени посредством программного обеспечения. Способ позволяет сформировать изоморфные визуальным акустические образы с реальной пространственной локализацией за счет формирования условий, повышающих точность локализации границ движущегося звукового курсора во фронтальной плоскости. 4 з.п.ф-лы, 4 ил.

1. Способ формирования акустического образа путем создания графического образа и воспроизведения по нему акустического образа в реальном масштабе времени посредством программного обеспечения и подачи широкополосного сигнала на акустический преобразователь, отличающийся тем, что акустический образ формируют во фронтальной плоскости с помощью четырех направленных попарно сопряженных акустических преобразователей, основная гармоника f_o широкополосного сигнала лежит в диапазоне частот 200 - 500 Гц, а амплитудой и частотой звукового сигнала управляют как функцией удаления курсора от центра плоскости графического образа, одновременно осуществляют девиацию Δf частоты f_o по вертикали в зависимости от удаления курсора от горизонтальной оси фронтальной плоскости. 2. Способ по п. 1, отличающийся тем, что в качестве широкополосного сигнала используют сигнал трапецеидальной формы. 3. Способ по п. 1, отличающийся тем, что девиацию частоты Δf задают не превышающей 20% от частоты f_o. 4. Способ по п. 1, отличающийся тем, что акустический образ формируют фронтально с помощью четырех направленных попарно сопряженных акустических преобразователей с диаграммой направленности, не превышающей телесного угла в 90 угл. град. 5. Способ по п. 1, отличающийся тем, что амплитудой и частотой звукового сигнала управляют как линейной функцией удаления курсора от центра плоскости графического образа по закону
AX(1-Y) + A(1-X)(1-Y) + AXY + A(1-X)Y=B,
где A - амплитуда сигнала частоты f_o;
X, Y - текущие координаты звукового курсора;
B - субъективный уровень громкости акустического образа.