СПОСОБ КОМПЕНСАЦИИ ПОТЕРИ СЛУХА В ТЕЛЕФОННОЙ СИСТЕМЕ И В МОБИЛЬНОМ ТЕЛЕФОННОМ АППАРАТЕ Российский патент 2015 года по МПК H04W4/18 H04M1/247 

Область техники

Изобретение относится к вычислительной технике, системам телекоммуникаций и может быть использовано для повышения разборчивости речи для пользователей с ослабленным слухом (с нейросенсорной тугоухостью).

Предшествующий уровень техники

Люди с нейросенсорной тугоухостью обычно имеют приподнятый порог восприятия акустической информации, который мешает услышать звуки низкой интенсивности. Однако восприятие громких звуков часто такое же, как и у здоровых людей. Порог потери слухового восприятия является частотно зависимым и определяется для каждого пациента на заданных частотах (200, 500, 1000, 2000, 3000, 4000 и 6000 Гц), используя чистые тональные сигналы.

Задача повышения разборчивости у тугоухих людей заключается в компоновке динамического диапазона речевых и повседневных звуков в ограниченный динамический диапазон нарушенного слуха. Этот процесс компрессии динамического диапазона представляет собой отображение слышимого диапазона сигнала в область остаточного восприятия пациента. При этом усиленный сигнал не должен превышать максимального уровня, в противном случае это вызовет болевые ощущения у человека. Более того, тугоухость обычно частотно зависимая, т.е. компрессор должен выдерживать различные динамические уровни в различных частотных диапазонах. Решение данной проблемы в общем случае достигается применением многоканальных систем, таких как банки фильтров с различной степенью компрессии в каждом канале. При проектировании многоканального компрессора динамического диапазона требуется найти:

1) компромисс между частотным разрешением и временной задержкой. У известных решений увеличение частотного разрешения анализа приводит к увеличению времени обработки сигнала;

2) максимально согласовать частотное разрешение многоканального компрессора динамического диапазона с частотным разрешением восприятия акустической информации человеком;

3) компромисс между частотным разрешением и групповой задержкой. Задержка обработки сигнала в многоканальном компрессоре динамического диапазона с неравнополосным банком фильтров больше в диапазоне нижних частот, чем в высокочастотных каналах, однако она меньше, чем в равнополосных системах с аналогичным частотным разрешением. При наличии большой задержки (свыше 8 мс) возникает паразитное эхо, которое отрицательно сказывается на восприятии и ухудшается разборчивость.

Известен способ повышения разборчивости речи у пользователей с нейросенсорной тугоухостью в цифровых телекоммуникационных системах, базирующийся на слуховом аппарате (СА) и мобильном телефонном аппарате (ТА), когда для приема сигнала из ТА, пользователь подносит его к своему СА (A. Boothroyd, K. Fitz, J. Kindred, etc. Hearing aids and wireless technology, TheHearingReview, March 2008). Но в этом способе возникают проблемы как акустической совместимости, так и электромагнитной совместимости данных двух приборов. Обеспечение акустической совместимости обуславливает необходимость изменения усиления в динамиках ТА и чувствительности микрофона в СА, что может приводить к образованию обратной акустической связи в системе, и как следствие понижение разборчивости речи, а при определенных уровнях усиления и чувствительности микрофона к болезненным ощущениям пользователя.

Например, в США, разработан специальный стандарт на проверку совместимости разных типов СА и мобильных ТА между собой. В настоящее время часто добавляется дополнительное устройство к СА, имеющее автономное питание и работающее с ТА через беспроводной канал, например, Bluetooth (Yanz J.L. Phone sand hearing aids: issues, resolutions, and a new approach. Hearing Journal, 2005, 58 (10), pp.41-48). Это позволяет разнести СА и ТА на определенное расстояние друг от друга, при этом исключив проблему акустической и электромагнитной совместимости двух приборов. Однако недостатком такого способа является необходимость дополнительного устройства - ретранслятора сигнала между СА и ТА.

Известен также способ повышения разборчивости речи у слабослышащих пользователей в цифровых телекоммуникационных системах, базирующийся на СА со встроенным беспроводным каналом связи (R. Dong, D. Hermann, R. Brennan, E. Chau, Joint filter bank structures for integrating audio coding into hearing aid applications. - ICASSP-2008, - pp.1533-1536). Этот способ включает формирование входного аудиосигнала путем микширования сигнала микрофона с аудиосигналом, принятым из канала беспроводной связи от удаленного терминала (телевизор, мультимедийный проигрыватель, другой СА с беспроводным каналом связи и других устройств аудиосигналов со встроенными беспроводными каналами связи), динамическую компрессию входного аудиосигнала, заключающуюся в формировании субполосных аудиосигналов и управлении уровнем сигнала в соответствующих субполосах для обеспечения требуемой динамики уровней субполосных сигналов, обусловленных аудиограммой пользователя СА, последующее восстановление аудиосигнала на основе банка фильтров синтеза. Достоинством данного аналога со встроенным беспроводным каналом связи является исключение негативного влияния шумовой обстановки и реверберации в помещении на разборчивость речи пользователем СА в принятом аудиосигнале от удаленного терминала. Имеется возможность подключить пользователей в сеть СА, которая не подвержена влиянию акустической обстановки в помещении, и транслировать, например, экстренные сообщения. Недостатком здесь является повышенная сложность и стоимость СА, короткое расстояние связи, увеличенная потребляемая мощность СА. Но главным ограничением данного способа является то, что организация общения пользователей СА через ТА предполагает использование по существу способа первого аналога со всеми присущими ему недостатками, проблема как акустической совместимости, так и электромагнитной совместимости СА и ТА.

Известно персональное коммуникационное устройство, включающее передатчик и приемник, которые передают и принимают коммуникационные сигналы, кодирующие аудио сигналы, аудиопреобразователь, который делает аудиосигнал слышимым, микрофон, и схему управления, связанную с передатчиком, приемником, аудиопреобразователем и микрофоном, содержащую логику, применяющую многополосную компрессию к аудиосигналам, включая генерацию параметров для многополосной компрессии на основе хранимых пользовательских данных и на основе данных окружающей среды, установленные при управлении преобразователем, делающим аудиосигналы слышимыми.

Устройство, способно содержать три подпрофиля - аудиопрофиль пользователя, хранимый и получаемый, в том числе, с помощью удаленных средств, обладающих возможностью осуществить передачу аудиопрофиля устройству, профиль персональных предпочтений пользователя, данные об окружающей среде, а именно профиль окружающего шума, которые в любой комбинации друг с другом применяются к аудиосигналу, получаемому после декодирования коммуникационного сигнала, поступающего на приемник устройства (US, 7529545).

Ограничениями этого устройства являются:

- невозможность использования пользователем данного устройства персонализированного аудиосигнала, необходимого во время личного общения с человеком-собеседником;

- отсутствие возможности пользователем данного устройства получить персонализированный аудиосигнал при одновременном общении пользователя с другим абонентом по телефону и с собеседником лично, при приеме аудиосигнала из динамиков различных устройств, например во время просмотра передач телевидения, прослушивания музыки и т.п.;

- неосуществимость получения персонализированного аудиосигнала слабослышащими абонентами сетей связи, не имеющими подобных устройств, непосредственно из сетей связи, в частности при общении пользователя известного устройства с другим слабослышащим абонентом сети связи, не обладающего подобным устройством;

- отсутствие у пользователя данного устройства в соответствии с его предпочтениями реализации различных режимов: телефонного разговора, личного общения с собеседником, приема аудиосигнала из динамиков разнообразных устройств.

Наиболее близким к предлагаемому способу является способ компенсации потери слуха в телефонной системе, основанный на резолюции номера телефона (US, 6061431). В этом способе формируют персонализированный аудиосигнал для слабослыших пользователей на основе их атрибутов, полученных из их аудиограмм, хранящихся в базе данных и имеющих привязку к телефонным номерам слабослышащих пользователей.

Этот способ реализуется в сети связи, состоящей из ТА ближнего пользователя (абонента) и удаленного пользователя, устройств доступа в сеть данных ТА, а также автоматической телефонной станции - сервера сети, на котором размещается база атрибутов слабослышащих абонентов, программы обработки сигналов ближнего и удаленного абонентов и система селекции атрибутов по номеру слабослышащего пользователя. На сервере связи обрабатывают аудиосигналы в широкополосном частотном диапазоне на основе функции обратной к частотной характеристике слуха слабослышащего пользователя, усиливают и/или ограничивают мощность обработанных аудиосигналов в соответствии с функцией обратной к частотной характеристике слуха слабослышащего пользователя для сохранения умеренной громкости, передают усиленные и/или ограниченные персонализированные аудиосигналы с сервера связи к телефонным аппаратам слабослышащих пользователей. В зависимости от того, кто из абонентов - ближний или удаленный является слабослышащим, можно выделить два варианта реализации способа.

В первом варианте удаленный абонент имеет нормальный слух, а ближний абонент - слабослышащий. В данном случае способ обработки речевого сигнала следующий. Речевой сигнал ближнего абонента без обработки через устройство доступа в сеть передается по сети связи в устройство доступа в сеть удаленного абонента и далее в ТА удаленного абонента. Аудиосигнал удаленного абонента через устройство доступа в сеть на основании номера телефона слабослышащего абонента (ближнего пользователя) поступает на сервер сети, где в программном модуле обработки сигнала удаленного абонента подвергается обработке сервером согласно атрибутам аудиограммы ближнего абонента, которая выбирается из базы атрибутов в соответствии с номером телефона ближнего абонента. Далее обработанный сигнал удаленного абонента через устройство доступа в сеть передается по сети связи в устройство доступа в сеть ближнего абонента и далее в телефонный аппарат ближнего абонента.

Во втором варианте удаленный и ближний абоненты оба слабослышащие. Тогда способ обработки речевых сигналов в коммуникационной сети реализуется следующим образом. Аудиосигналы (речевые) ближнего и удаленного абонентов через соответствующие устройства доступа в сеть поступают на сервер сети, где в соответствующих программных модулях подвергаются обработке сервером согласно атрибутам аудиограммы удаленного абонента (для речевого сигнала ближнего абонента) и атрибутам аудиограммы ближнего абонента (для речевого сигнала удаленного абонента), которые выбраны из базы атрибутов в соответствии с номерами удаленного абонента и ближнего абонента. Далее обработанные сигналы через соответствующие устройства доступа в сеть передаются по сети связи к телефонным аппаратам абонентов.

Достоинством данного способа компенсации потери слуха в системах телефонии является возможность формирования персонализируемого аудиосигнала для слабослышащих пользователей на основе обработки речевого сигнала пользователя на сервере сети согласно атрибутам слабослышащего пользователя сети, которые хранятся в базе атрибутов на сервере сети связи и доступны по номеру его телефона. При этом слабослышащий пользователь не использует свой СА во время телефонного разговора. По окончании разговора слабослышащий пользователь может снова использовать свой СА, что вызывает определенные неудобства для человека. СА у данного пользователя является основным инструментом в его активной жизнедеятельности. В тоже время слабослышащий человек со слуховым аппаратом испытывает ряд неудобств, обусловленных акустикой помещения, например, при восприятии звука от различных мультимедийных устройств, таких как музыкальные проигрыватели аудиосигнала, телевизоры и т.п.

Следует отметить, что этот известный способ не функционирует в цифровых телефонных сетях. Например, в сотовой телефонной сети требуется введение дополнительного декодирования/кодирования аудиосигнала на сервере сети, чтобы получить сигнал в виде импульсно-кодовой модуляции (ИКМ) для выполнения обработки сигналов ближнего и удаленного пользователей. Обработка сигналов пользователей в данном способе на сервере сети связи ведется в широкополосном частотном диапазоне на основе функции обратной к частотной характеристике слуха слабослышащего пользователя, а также для компенсации потери слуха может включаться дополнительное усиление применяемое к широкополосному сигналу и ограничитель мощности выходного сигнала, чтобы аудиосигнал всегда сохранял умеренную громкость даже, если пользователь на другом конце сети начинает говорить очень громко. Однако у слабослышащих людей наблюдается утрата частотной избирательности - для чего необходимо обрабатывать аудиосигнал, в соответствии с психоакустической шкалой и необходимо увеличивать отношение сигнал-шум в принимаемом ТА аудиосигнале для одинакового уровня разборчивости речи с нормально слышащим человеком. Разборчивость речи выше, если частотное разрешение компрессора динамического диапазона максимально согласуется с частотным разрешением восприятия акустической информации человеком - шкалой барков (J.M. Kates and K.H. Arehart, "Multichannel dynamicrange compression using digital frequency warping," EURASIP J. Adv. Sig. Proc, vol. 2005, no. 18, pp.3003-3014, 2005).

Таким образом, известный способ обладает следующими недостатками:

- искажения аудиосигнала и низкая разборчивость речи;

- невозможность формирования персонализированного аудиосигнала, позволяющего пользователю возможность прослушивания аудиофайлов, радио и т.д.;

- отсутствие возможности у пользователя получить персонализированный аудиосигнал, необходимый ему во время личного общения с рядом находящимся собеседником при одновременном приеме аудиосигнала из динамиков различных устройств;

- неосуществимость одновременного ведения слабослышащим пользователем переговоров с удаленным абонентом сети связи, с находящимся рядом собеседником, и прослушивания аудиосигналов с мультимедийных устройств;

- невозможность использования в качестве сервера сети, кроме автоматической телефонной станции (АТС), компьютерных устройств в минимальной комплектации, состоящих из процессора, оперативного запоминающего устройства, устройства долговременного хранения информации и устройства обеспечивающего доступ в сеть связи;

- отсутствие у пользователя данного устройства в соответствии с его предпочтениями реализации различных режимов: телефонного разговора, личного общения с собеседником, приема аудиосигнала из динамиков разнообразных устройств.

Раскрытие изобретения

Решаемая изобретением задача - повышение качества и технико-эксплуатационных характеристик.

Технический результат, который может быть получен при осуществлении заявленного способа, - расширение функциональных возможностей, повышение качества звука и разборчивости речи в мобильных телефонных аппаратах и системах связи для слабослышащих абонентов.

Для решения поставленной задачи с достижением указанного технического результата в известном способе компенсации потери слуха в телефонной системе, заключающемся в том, что формируют персонализированные аудиосигналы для слабослышащих пользователей на основе их атрибутов, полученных из аудиограмм - частотных характеристик слуха слабослышащего пользователя, хранящихся в базе данных на сервере сети связи и имеющих привязку к телефонным номерам слабослышащих пользователей, при этом на сервере связи обрабатывают аудиосигналы в широкополосном частотном диапазоне на основе атрибутов слабослышащего пользователя, регулируют мощность обработанных аудиосигналов в соответствии с атрибутами слабослышащего пользователя, передают отрегулированные персонализированные аудиосигналы с сервера связи к телефонным аппаратам слабослышащих пользователей, согласно заявленному техническому решению в качестве сети связи используют сотовую сеть, а в качестве телефонного аппарата - мобильный телефонный аппарат, при этом осуществляют режим, совмещающий функции мобильного телефонного и слухового аппарата.

Возможны дополнительные варианты осуществления способа, в которых целесообразно, чтобы:

- для осуществления режима, совмещающего функции мобильного телефонного и слухового аппарата, инсталлировали (с помощью электронного носителя информации или с персонального компьютера при помощи сети Интернет) в мобильный телефонный аппарат слабослышащего пользователя со встроенным беспроводным каналом связи программные модули - динамической компрессии аудиосигнала на основе атрибутов слуха пользователя и компенсации акустической обратной связи, микшируют сигнал микрофона мобильного телефонного аппарата для человека-собеседника, находящегося рядом со слабослышащим пользователем, с аудиосигналом, принятым по каналу беспроводной связи от мультимедийного устройства, производят динамическую компрессию микшированного аудиосигнала модулем динамической компрессии и компенсацию акустической обратной связи модулем компенсации акустической обратной связи, получая широкополосный аудиосигнал, который передают для воспроизведения мобильным телефонным аппаратом слабослышащего пользователя, при телефонном вызове мобильного телефонного аппарата слабослышащего пользователя битовый поток сигнала оборудования оператора сотовой сети передают по привязанным телефонным номерам на сервер сети связи, который преобразует битовый поток сигнала оборудования оператора сотовой сети в сигнал импульсно-кодовой модуляции и по этому сигналу импульсно-кодовой модуляции формирует персонализированный аудиосигнал для слабослышащего пользователя на основе его атрибутов, далее на сервере сети связи персонализированный аудиосигнал кодируют и формируют битовый поток сигнала для данного персонализированного аудиосигнала, который передают по сети связи на мобильный телефонный аппарат слабослышащего пользователя для воспроизведения;

- на сервере связи дополнительно производили динамическую компрессию;

- при динамической компрессии формировали комплект субполосных аудиосигналов и управляли динамическим уровнем каждого субполосного аудиосигнала в каждой отдельной неравномерной субполосе частот в соответствии с частотной характеристикой слуха слабослышащего пользователя, коэффициентами алгоритма редактирования шума окружающей среды и функции компрессии динамического диапазона в отдельных неравномерных субполосах;

- при компенсации акустической обратной связи микшированный аудиосигнал дополнительно микшировали с выходным сигналом модуля компенсации акустической обратной связи, входным сигналом которого служит восстановленный широкополосный аудиосигнал модуля динамической компрессии, при этом расщепляют микшированный аудиосигнал и выходной сигнал модуля динамической компрессии на отдельные частотные каналы, оценивают коэффициенты адаптивной фильтрации в каждом отдельном частотном канале, осуществляют адаптивную фильтрацию, сигнал которой служит выходным сигналом модуля компенсации акустической обратной связи.

Достоинством предложенного способа в мобильных телефонах и системах связи является совмещение функции телефона на мобильном телефоне с функцией СА. В отличие от известных технических решений, наряду с коэффициентами динамической компрессии аудиосигнала, введена функция редактирования шумов окружающей среды, подавления обратной акустической связи. Это дает возможность, благодаря функции формирования персонализированного аудиосигнала для слабослышащих пользователей сети, реализованной на сервере сети связи без использования СА и дополнительных устройств, увеличивать разборчивость речи слабослышащему пользователю, комфортно общаться с собеседником даже в неблагоприятной акустической обстановке (ресторанах, вокзалах), исключить «свист» обратной связи, мобильно переключаться на телефонный разговор. Наличие беспроводного канала связи на мобильном ТА и функции СА дает возможность тугоухому человеку с высокой разборчивостью принимать сигнал аудиосигнал телевизора, сохранить качество звука музыкального центра и т.д., исключив шумовую обстановку среды.

Таким образом, существенными отличиями настоящего изобретения являются совмещение функции СА и ТА в одном устройстве - мобильном телефонном аппарате.

Специалистам понятно, что заявленный способ компенсации потери слуха в системе телефонии, формирующий персонализированный аудиосигнал для слабослышащих пользователей может быть осуществлен при помощи различных алгоритмов, не изменяющих его сущности, изложенной в независимом пункте формулы изобретения.

Указанные преимущества, а также особенности настоящего изобретения, поясняются лучшим вариантом его осуществления со ссылками на прилагаемые фигуры.

Краткий перечень чертежей

Фиг.1 изображает диапазон восприятия сигнала человека с нормальным слухом;

Фиг.2 - то же, что фиг.1, человека с поврежденной слуховой системой;

Фиг.3 - функциональная схема системы связи, с помощью которой осуществляется реализация заявленного способа;

Фиг.4 - функциональная схема формирования центральным процессором персонализированного аудиосигнала для слабослышащих пользователей сети;

Фиг.5 - характеристика вход/выход компрессора;

Фиг.6 - входной сигнал;

Фиг.7 - входной сигнал на фиг.6, полученный в результате компрессии динамического диапазона (КДД);

Фиг.8 - спектральная гистограмма аудиосигнала (речевого);

Фиг.9 - спектральная гистограмма сигнала, обработанного при помощи КДД;

Фиг.10 - диаграмма входного аудиосигнала;

Фиг.11 - то же, что фиг.10, после обработки алгоритмом редактирования шума;

Фиг.12 - амплитудно-частотная характеристика (АЧХ) банка фильтров анализа;

Фиг.13 - амплитудно-частотная характеристика (АЧХ) канала акустической обратной связи (АОС);

Фиг.14 - групповая задержка канала акустической обратной связи (АОС);

Фиг.15 - модель частотной характеристики мобильного телефонного аппарата для реализации заявленного способа;

Фиг.16 - входной аудиосигнал до подавления акустической обратной связи (АОС);

Фиг.17 - аудиосигнал на выходе громкоговорителя мобильного телефонного аппарата (без АОС);

Фиг.18 - аудиосигнал на выходе громкоговорителя мобильного телефонного аппарата, полученного в результате обработки входного аудиосигнала алгоритмом подавления акустической обратной связи (АОС).

Осуществление изобретения

На фиг.1 изображен диапазоны восприятия сигнала человеком с нормальным слухом, а на фиг.2 - человеком с нейросенсорной тугоухостью. Задача, которую решают современные цифровые слуховые аппараты, это - преобразование характеристики для слабослышащего пользователя (фиг.1) в характеристику нормально слышащего человека (фиг.2). Основной сложностью, возникающей при проектировании слуховых аппаратов, является ограничение допустимой задержки, вносимой в звуковой сигнал. При наличии большой задержки (свыше 8 мс) возникает паразитное эхо, которое отрицательно сказывается на восприятии. В современных СА обработка выполняется в частотных субполосах сигнала, что требует применения банков фильтров анализа и синтеза, которые вносят дополнительную групповую задержку и не обеспечивают задержки ниже 6-8 мс. Кроме того, при использовании СА с ТА по отдельности возникают проблемы, описанные в предшествующем уровне техники.

Способ компенсации потери слуха в телефонной системе и в мобильном телефонном аппарате может быть осуществлен с помощью устройств, изображенных на фигуре 3 функциональной схемы.

Способ реализуется в сети связи, состоящей из ТА ближнего абонента и удаленного абонента - мобильного телефонного аппарата (МТА) слабослышащего пользователя, устройств доступа в сеть данных ТА, а также сервера сети связи, на котором размещается база атрибутов слабослышащих пользователей, программное обеспечение обработки сигналов ближнего и удаленного абонентов и система селекции атрибутов по номеру тугоухого абонента.

Под МТА в настоящем изобретении понимается любое программируемое персональное коммуникационное устройство, например смартфон, iPhone, iPad, а под телефонными номерами любые идентификационные признаки пользователя, например, принятые в голосовой связи по протоколу IP-«Skype» и др.

Для работы МТА по первому варианту - в режиме слухового аппарата (СА) в существующие МТА со встроенным беспроводным каналом связи инсталлируются с помощью электронного носителя информации или с персонального компьютера при помощи сети Интернет программный модуль (программное обеспечение) динамической компрессии аудио сигнала на основе атрибутов слуха пользователя, полученные на основе аудиограмм слабослышащего пользователя, и модуль компенсации акустической обратной связи

При работе в режиме СА коммутатор находится в положении 2 (фиг.3). МТА включается, подключается беспроводной канал связи для прослушивания мультимедийных устройств (музыкальный центр, телевизор и т.п.). Сигнал беспроводного канала связи поступает на вход модуля динамической компрессии аудиосигнала подвергаясь двойному микшированию (программными средствами). На первое средство микширования из микрофона МТА через устройство ввода/вывода, выполненное на базе аналого-цифрового преобразователя (АЦП) и цифроаналогового преобразователя, поступают окружающие шумы. С выхода первого средства микширования сигнал d[n] поступает на первый вход модуля компенсации акустической обратной связи (АОС) и на первый вход второго средства микширования, на второй вход которого поступает сигнал с выхода модуля компенсации АОС. Сигнал e[n] после второго микширования поступает на вход модуля динамической компрессии аудиосигнала, в котором подвергается сужению динамического диапазона в соответствии атрибутами (аудиограммой) слабослышащего пользователя. С выхода модуля динамической компрессии аудиосигнала восстановленный сигнал s[n] (блок восстановления находится на выходе модуля динамической компрессии и служит для восстановления широкополосности, на фиг.3 не показан) поступает на второй вход модуля компенсации АОС и на вход устройства ввода/вывода для его воспроизведения громкоговорителем МТА (преимущественно наушниками слабослышащего пользователя). Модуль компенсации акустической обратной связи выполнен на базе двух банков фильтров анализа АОС, банка фильтров синтеза АОС, блока субполосной обработки сигналов и предназначен для подавления акустической обратной связи.

Для работы МТА по второму варианту - в режиме слухового аппарата (СА) человек-собеседник, находящийся рядом со слабослышащим пользователем, разговаривает с ним. Аудиосигнал (речевой) с выхода микрофона через устройство ввода/вывода поступает вместе с окружающими шумами на первое средство микширования, поэтому основной входной аудиосигнал для модуля динамической компрессии формируется путем микширования сигнала микрофона с аудиосигналом, принятым из канала беспроводной связи от мультимедийного устройства. Далее функционирование осуществляется согласно первому варианту. Слабослышащий пользователь, не прерываясь, может прослушивать как фразы собеседника, так и музыку, например, звучащую из музыкального центра.

Если поступает телефонный звонок слабослышащий пользователь МТА переключает коммутатор в положение 1 (фиг.3), МТА подключается к сети сотовой связи и находится в режиме функционирования телефона.

Учитывая, что разработчики операционной системы МТА типа iPhone не дают возможности доступа к GSM кодеру-декодеру (преимущественно это обусловлено целями безопасности), битовый поток (например, GSM) канала перехватывается по телефонному номеру сервером сети связи (фиг.3) у оборудования оператора мобильной связи (услуга сотового оператора). Сервер сети связи преобразует битовый поток сигнала оборудования оператора сотовой сети в сигнал импульсно-кодовой модуляции (ИКМ). Дальнейшая обработка сигнала ИКМ производится в соответствии с находящейся на сервере программой формирования персоанализированного аудиосигнала для слабослышащих пользователей на основе их атрибутов, полученных из аудиограмм, хранящихся в базе данных на сервере сети связи и имеющих привязку к телефонным номерам слабослышащих абонентов. Сервер связи обрабатывает аудиосигналы в широкополосном частотном диапазоне на основе функции обратной к частотной характеристике слуха слабослышащего пользователя, усиливает и/или ограничивает мощность обработанных аудиосигналов в соответствии с функцией обратной к частотной характеристике слуха слабослышащего пользователя для сохранения умеренной громкости. После обработки сервером связи формируется ИКМ код сигнала с учетом патологии слабослышащего пользователя. Далее данный код кодируется GSM кодером и передается в устройство доступа в сеть, а далее МТА принимает данный битовый поток из канала сети связи (приемо-передатчик МТА для простоты на фиг.3 не показан), декодирует его устройством декодера, декодированный сигнал поступает на вход устройства ввода/вывода и речевой аудиосигнал воспроизводится громкоговорителем МТА (наушниками).

В зависимости от того, кто из абонентов: ближний или удаленный - является слабослышащим, возможны варианты способа, реализующего телефонный режим.

При работе МТА по третьему варианту - в режиме телефонного аппарата, удаленный абонент имеет нормальный слух, а ближний абонент - слабослышащий. В этом случае речевой аудиосигнал в обычном режиме передается через устройство кодера МТА в устройство доступа в сеть ближнего абонента, минуя сервер связи, и передается по сети связи при помощи оборудования оператора сотовой связи через устройство доступа в сеть удаленного абонента к ТА удаленного абонента. Аудиосигнал удаленного абонента через устройство доступа в сеть на основании номера телефона слабослышащего абонента (ближнего абонента) поступает на сервер сети. На сервере связи сигнал удаленного абонента подвергается динамической компрессии согласно атрибутам аудиограммы ближнего абонента, которая выбирается из базы атрибутов в соответствии с номером телефона ближнего абонента. Далее обработанный и восстановленный сигнал удаленного абонента через устройство доступа в сеть передается по сети связи в устройство доступа в сеть ближнего абонента. Как было описано выше, МТА ближнего абонента принимает данный битовый поток из канала сети связи, декодирует его устройством декодера. Декодированный сигнал поступает на вход устройства ввода/вывода и речевой аудиосигнал удаленного абонента воспроизводится громкоговорителем МТА (наушниками).

При работе МТА по четвертому варианту - в режиме телефонного аппарата, удаленный и ближний абоненты оба слабослышащие. В этом случае речевые сигналы ближнего и удаленного абонентов через соответствующие устройства доступа в сеть поступают на сервер сети связи, где подвергаются динамической компрессии согласно атрибутам аудиограммы удаленного абонента (для речевого сигнала ближнего абонента) и атрибутам аудиограммы ближнего абонента (для речевого сигнала удаленного абонента), которые выбраны из базы атрибутов в соответствии с телефонными номерами удаленного абонента и ближнего абонента. Далее обработанные сигналы восстановленные через соответствующие устройства доступа в сеть передаются по сети связи к МТА обоих абонентов.

При работе МТА по пятому варианту - в режиме телефонного разговора, общения с рядом находящимся собеседником, прослушивания аудиосигнала из мультимедийных внешних устройств и принятого от мультимедийного программного обеспечения, находящегося в МТА и предназначенного для воспроизведения аудиофайлов, радио и т.п., пользователь переключает коммутатор в одновременное положение 1 и 2. При этом одновременно реализуются все предыдущие четыре варианта режимов. Поэтому пользователь имеет возможность получить персонализированный аудиосигнал при одновременном общении пользователя с другим абонентом по телефону и с собеседником лично, при приеме аудио сигнала из динамиков различных устройств, например во время просмотра передач телевидения, прослушивания музыки и т.п.

Специалистам понятно, что переключением коммутатора слабослышащий пользователь имеет возможность управлять режимами: телефонного разговора, личного общения с собеседником, приема аудиосигнала из динамиков и мультимедийных устройств.

Для формирования персонализированного сигнала слабослышащего пользователя центральный процессор его МТА функционирует следующим образом (фиг.4).

Формирование персонализированного аудиосигнала на центральном процессоре МТА осуществляется с помощью следующего программного обеспечения: динамической компрессии аудио сигналов, состоящего из неравнополосного банка фильтров, канальных умножителей на корректирующие коэффициенты усиления, выходного сумматора восстановления широкополосности сигнала, компенсации акустической обратной связи на основе субполосной адаптивной фильтрации, в программный модуль которой включены два банка фильтров анализа АОС, банк фильтров синтеза АОС, (для краткости показаны на фиг.4, блок анализа АОС и банк синтеза АОС), блок субполосной обработки сигнала, который оценивает и обновляет коэффициенты адаптивной фильтрации, измеряет спектральную плотность мощности шума на основе вероятностной оценки наличия речевой паузы, определенной программой детектора речевой активности, и рассчитывает весовые коэффициенты алгоритма редактирования шума окружающей среды.

Сигнал d[n] (см. фиг.1, 3) поступает с выхода первого средства микширования на вход детектора речевой активности, на вход первого банка фильтров анализа АОС и на первый вход второго средства микширования, на второй вход которого поступает сигнал $$\stackrel{\wedge }{y}\left[n\right]$$ с первого выхода банка фильтров синтеза АОС. Сигнал e[n] с выхода второго средства микширования поступает на вход неравнополосного банка фильтров. Сигналы с выходов детектора речевой активности, первого банка анализа АОС, соответственно поступают на первый и второй входы блока субполосной обработки сигнала. Неравнополосный банк фильтров имеет К выходов, на которых с каждого фильтра, входящего в состав банка, получают сигналы e₀[n]…e_K-1[n]. Эти сигналы поступают на соответствующие входы данных блока субполосной обработки сигнала. Блок субполосной обработки сигнала производит расчет субполосных коэффициентов усиления g₀…g_K-1. Сигналы e₀[n]…e_K-1[n] и g₀…g_K-1 соответственно поступают с выходов данных неравнополосного банка фильтров и с выходов данных блока субполосной обработки сигнала на первый и второй входы набора средств микширования, выходы которых соответственно подсоединены к входам многовходового сумматора, служащего для восстановления широкополосности, с выхода которого получают сигнал s[n] для его воспроизведения МТА слабослышащего пользователя. Выход сумматора соединен со вторым блоком анализа АОС, выход которого подсоединен к третьему входу блока субполосной обработки сигнала. Выход блока субполосной обработки сигнала соединен со входом блока синтеза АОС. В блок субполосной обработки сигнала вводятся данные об атрабутах, соответствующих аудиограмме конкретного пользователя.

Сигнал d[n] (см. фиг.1, 3) поступает с выхода первого средства микширования на вход детектора речевой активности, на вход первого банка анализа АОС и на первый вход второго средства микширования, на второй вход которого поступает сигнал $$\stackrel{\wedge }{y}\left[n\right]$$ с первого выхода банка синтеза АОС. Сигнал e[n] с выхода второго средства микширования поступает на вход неравнополосного банка фильтров. Сигналы с выходов детектора речевой активности, первого банка анализа АОС, со второго выхода банка синтеза АОС соответственно поступают на первый, второй и третий входы блока субполосной обработки сигнала. Неравнополосный банк фильтров имеет К выходов, на которых с каждого фильтра, входящего в состав банка, получают сигналы e₀[n]…e_K-1[n]. Эти сигналы поступают на соответствующие входы данных блока субполосной обработки сигнала. Блок субполосной обработки сигнала производит расчет субполосных коэффициентов усиления g_K. Отсчеты канальных сигналов e₀[n]…e_K-1[n] и коэффициенты g₀…g_K-1 соответственно поступают на первый и второй входы канальных умножителей на корректирующие коэффициенты усиления, выходы которых соответственно подсоединены к входам многовходового сумматора, служащего для восстановления широкополосности, с выхода которого получают сигнал s[n] для его воспроизведения МТА слабослышащего пользователя. Выход сумматора соединен со входом второго блока анализа АОС, выход которого подсоединен к третьему входу блока субполосной обработки сигнала. В блок субполосной обработки сигнала вводятся данные об атрибутах, соответствующих аудиограмме конкретного пользователя.

Блок субполосной обработки управляет уровнем сигнала в соответствующих субполосах для обеспечения требуемой динамики уровней субполосных сигналов, обусловленных аудиограммой (атрибутами) слабослышащего пользователя МТА, коэффициентами алгоритма редактирования шума окружающей среды и функции компрессии динамического диапазона в соответствующих субполосах, которые интегрируются в соответствующие коэффициенты субполосного усиления g_k.

Компрессия динамического диапазона (КДД) используется для уменьшения разницы в уровнях компонент с большой и малой интенсивностью в аудиосигнале. При этом широкий динамический диапазон речевого сигнала отображается в суженный динамический диапазон остаточного слуха.

В настоящем способе в качестве неравнополосного банка фильтров использовалась схема фильтрации с малой (менее 4 мс) групповой задержкой на основе кохлеарного банка фильтров, который реализован в виде набора параллельных полосовых фильтров с бесконечной импульсной характеристикой (БИХ) второго порядка. Кохлеарный банк фильтров обладает несколькими важными желательными свойствами: 1) декомпозиция сигнала выполняется на критические полосы слуховой системы человека; 2) маленькая (менее 4 мс) групповая задержка; 3) высокая вычислительная эффективность (фильтрация в каждом канале выполняется при помощи БИХ фильтра второго порядка). В техническом решении использовался 22-канальный банк фильтров, основанный на разностной кохлеарной модели второго порядка.

В соответствии с имеющимися пороговыми значениями по атрибутам слабослышащего пользователя блок субполосной обработки сигнала вычисляет корректирующие коэффициенты усиления g₀…g_K-1 сигнала в каждой субполосе. Далее используется алгоритм компрессии, поскольку динамический диапазон выходного сигнала ограничен болевым порогом. Основная идея алгоритма компрессии динамического диапазона (КДД) заключается в автоматическом управлении коэффициентами усиления в зависимости от текущего уровня входного сигнала. Основными параметрами КДД являются функция ввода/вывода и время атаки и восстановления.

Сигналы в субполосах с высокой мощностью ослабляются, а с малой мощностью усиливаются. Благодаря такой обработке тихие звуки становятся слышимыми, а громкие звуки не вызывают дискомфортных ощущений. Таким образом, КДД заключается в автоматическом управлении коэффициентами усиления в зависимости от текущего уровня входного сигнала. Основными параметрами КДД являются следующие: порог компрессии (СТ); коэффициент сжатия (CR); время атаки и отпускания; коэффициент усиления слухового аппарата (G_dB). Порог компрессии (СТ), измеряемый в децибелах, определяет точку изгиба характеристики вход/выход компрессора, после которой алгоритм КДД становится активным. Если уровень входного сигнала ниже СТ, то выходной сигнал усиливается линейно. В случае, когда уровень выходного сигнала выше порога компрессии (СТ), коэффициент усиления компрессора уменьшается. Параметр CR определяет степень сжатия динамического диапазона. Например, значение CR=5 (или 5:1) означает, что на каждые 5 дБ увеличения уровня входного сигнала, уровень выходного сигнала возрастет только на 1 дБ. На фиг.5 приводится характеристика вход/выход компрессора для параметров CR=2, CT=70 дБ и G_dB=10 дБ. Данный график определяет соотношение между входным и выходным уровнями звукового давления (soundpressurelevel - SPL) в компрессоре.

На фигурах 6 и 7 показан пример результата обработки входного сигнала (фиг.6), состоящего из двух частей - громкого и тихого участка алгоритмом КДД (фиг.7). Отчетливо виден эффект нелинейного усиления (обе части приблизительно выровнялись по громкости (фиг.7). Видимые в спектре после обработки искажения появляются в результате нелинейной обработки в компрессоре, но не оказывают ощутимого влияния на разборчивость речи и узнаваемость диктора.

Тестовый речевой сигнал (фиг.8) обрабатывался при помощи алгоритма КДД, настроенного на конкретный профиль потери слуха. Полученная после обработки сигнала спектральная гистограмма представлена на фиг.9. Результаты показывают, что алгоритм КДД позволяет адаптировать уровень выходного сигнала к слуховой характеристике слабослышащего пользователя.

В основе используемого алгоритма редактирования шума окружающей среды лежит психоакустически мотивированное правило спектрального взвешивания. Алгоритм использует настраиваемый параметр ζ=10^-RL/10, который определяет желаемый уровень остаточного шума RL в дБ. Оценка спектральной плотности мощности шума (СПМ) выполняется для каждого канала алгоритма КДД при помощи вычислительно эффективного и устойчивого к ошибкам алгоритма на основе модифицированного метода MCRA (Minima Controlled Recursive Averagmg). Текущее значение СПМ шума R_n (где n - номер отсчета) вычисляется усреднением предыдущих значений СПМ R_e(n), используя сглаживающие параметры, зависящие от вероятности наличия полезного сигнала, который определяет детектор речевой активности, например, кепстрального анализа. Параметры обновляются каждые 4 мс.

На сервере связи также может быть произведена аналогичная динамическая компрессия, но без компенсации АОС и шумоподавления.

На фигурах 10 и 11 представлены результаты работы алгоритма редактирования шума окружающей среды: фиг.10 - сигнал на входе микрофона, а на фиг.11 - обработанный.

Подавление акустической обратной связи выполняется следующим образом (фиг.4). При помощи первого банка фильтров анализа АОС выполняется расщепление сигнала d[n] на входе КДД на М спектральных компонент. При помощи второго банка анализа АОС, идентичного первому, выполняется расщепление сигнала s[n] выходе КДД на M спектральных компонент. Поскольку спектры сигналов внутри каналов занимают более узкие частотные полосы, выполняется переход на более низкую частоту дискретизации. В банке фильтров синтеза АОС (банк фильтров) исходная частота дискретизации восстанавливается. Блок субполосной обработки сигналов (фиг.4) в каждом канале банка фильтров оценивает свой вектор коэффициентов адаптивного фильтра. Последние результаты в области адаптивной фильтрации показывают, что неравнополосные адаптивные структуры превосходят равнополосные по таким параметрам как скорость сходимости и/или модельная ошибка, благодаря их повышенной гибкости. Для субполосной декомпозиции сигнала в техническом решении используется передискретизированный неравнополосный косинусно-модулированный банк фильтров (КМБФ), амплитудно-частотная характеристика которого показана на фиг.12.

В каждом канале оценивается свой набор коэффициентов адаптивного фильтра. Процедура оценки одинакова для всех каналов и отличается лишь значениями параметров, таких как порядок фильтра, коэффициент потерь и шаг адаптации. Обновление коэффициентов реализуется на основе алгоритма наименьших квадратов (для упрощения записи индекс номера канала опущен):

1. Каждому коэффициенту фильтра w[l], l=0, 1, …, L-1 присваивается нулевое значение, L - порядок адаптивного фильтра.

2. Вычисляется выходной отсчет фильтра: $$\stackrel{\wedge }{y}\left[m\right]={\displaystyle {\sum }_{l=0}^{L-1}w\left[l\right]s\left[m-l\right]}$$ , где m - номер текущего отсчета входного сигнала, s[m] - входной сигнал.

3. Вычисляется оценка ошибки: $$e\left[m\right]=d\left[m\right]-\stackrel{\wedge }{y}\left[m\right]$$ , где d[m] - желаемый сигнал.

4. Обновляются весовые коэффициенты: w[l]=δw[l]+2µe[m]×[m-l], где 0<δ<1 -коэффициент потерь. Параметр µ, представляет собой шаг адаптации алгоритма. Увеличивается номер текущего отсчета: m=m+1. Алгоритм переходит к шагу 2.

На фигурах 13 и 14 изображены частотные характеристики моделируемого канала акустической обратной связи.

Для моделирования прямого канала, т.е. обработки сигнала в МТА, выбрана усредненная АЧХ (фиг.15), которая компенсирует типичное повреждение слуховой системы. Наибольшие потери происходят в районе 1,5 кГц, т.е. в том диапазоне частот, где речь имеет наибольшую информативность.

На фигурах 16, 17, 18 показаны результаты работы модуля АОС: фиг.16 - входной аудиосигнал, фиг.17 - аудиосигнал на выходе динамика, из характеристики отчетливо видно возбуждение системы на частоте около 5000 Гц, фиг.18 результат обработки входного аудиосигнала алгоритмом подавления акустической обратной связи. Из приведенных спектрограмм видно, что использование алгоритма подавления АОС позволяет использовать более высокие коэффициенты усиления для обработки сигнала в прямом канале, что приводит к увеличению разборчивости речи слабослышащим пользователем.

Промышленная применимость

Наиболее успешно заявленный способ компенсации потери слуха в телефонной системе и в мобильном телефонном аппарате промышленно применим как мультимедийное приложение для людей с нейросенсорной тугоухостью.

Изобретение относится к средствам компенсации потери слуха в телефонной системе и в мобильном телефонном аппарате. Технический результат заключается в возможности совмещения функции телефона с функцией слухового аппарата, в увеличении разборчивости речи слабослышащему пользователю и в мобильном переключении на телефонный разговор. Формируют персонализированные аудиосигналы (А) для слабослышащих пользователей на основе их атрибутов, полученных из аудиограмм - частотных характеристик слуха слабослышащего пользователя, хранящихся в базе данных на сервере сети связи и имеющих привязку к телефонным номерам слабослышащих пользователей. На сервере обрабатывают А в широкополосном частотном диапазоне на основе атрибутов слуха слабослышащего пользователя, регулируют мощность обработанных аудиосигналов в соответствии с атрибутами слабослышащего пользователя, передают отрегулированные персонализированные аудиосигналы с сервера связи к телефонным аппаратам слабослышащих пользователей. В качестве сети связи используют сотовую сеть, а в качестве телефонного аппарата - мобильный телефонный аппарат (МТА). Осуществляют режим, совмещающий функции мобильного телефонного и слухового аппарата. 4 з.п. ф-лы, 18 ил.

1. Способ компенсации потери слуха в телефонной системе, заключающийся в том, что формируют персонализированные аудиосигналы для слабослышащих пользователей на основе их атрибутов, хранящихся в базе данных на сервере сети связи и имеющих привязку к телефонным номерам слабослышащих пользователей, при этом на сервере связи обрабатывают аудиосигналы в широкополосном частотном диапазоне на основе атрибутов слабослышащего пользователя, регулируют мощность обработанных аудиосигналов в соответствии с атрибутами слабослышащего пользователя, передают отрегулированные персонализированные аудиосигналы с сервера связи к телефонным аппаратам слабослышащих пользователей, при этом в качестве сети связи используют беспроводную сеть, а в качестве телефонного аппарата - мобильный телефонный аппарат, при этом осуществляют режим телефонного аппарата для абонента, имеющего нормальный слух, и слабослышащего абонента, отличающийся тем, что в качестве атрибутов слабослышащего пользователя используют аудиограмму - частотную характеристику слуха слабослышащего пользователя, при этом мобильный телефонный аппарат осуществляет:
- режим слухового аппарата для прослушивания слабослышащим пользователем мультимедийных устройств,
- режим слухового аппарата для разговора с человеком-собеседником, находящимся рядом со слабослышащим пользователем,
- режим телефонного аппарата для слабослышащих.

2. Способ по п.1, отличающийся тем, что инсталлируют в мобильный телефонный аппарат слабослышащего пользователя со встроенным беспроводным каналом связи программные модули - динамической компрессии аудиосигнала на основе атрибутов слуха пользователя и компенсации акустической обратной связи, микшируют сигнал микрофона мобильного телефонного аппарата для человека-собеседника, находящего рядом со слабослышащим пользователем, с аудиосигналом, принятым по каналу беспроводной связи от мультимедийного устройства, производят динамическую компрессию микшированного аудиосигнала модулем динамической компрессии и компенсацию акустической обратной связи модулем компенсации акустической обратной связи, получая широкополосный аудиосигнал, который передают для воспроизведения мобильным телефонным аппаратом слабослышащего пользователя, при телефонном вызове мобильного телефонного аппарата слабослышащего пользователя битовый поток сигнала оборудования оператора сотовой сети передают по привязанным телефонным номерам на сервер сети связи, который преобразует битовый поток сигнала оборудования оператора сотовой сети в сигнал импульсно-кодовой модуляции, и по этому сигналу импульсно-кодовой модуляции формируется персонализированный аудиосигнал для слабослышащего пользователя на основе его атрибутов, далее на сервере сети связи персонализированный аудиосигнал кодируют и формируют битовый поток сигнала для данного персонализированного аудиосигнала, который передают по сети связи на мобильный телефонный аппарат слабослышащего пользователя для воспроизведения.

3. Способ по п.2, отличающийся тем, что при динамической компрессии формируют комплект субполосных аудиосигналов и управляют динамическим уровнем каждого субполосного аудиосигнала в каждой отдельной неравномерной субполосе частот в соответствии с частотной характеристикой слуха слабослышащего пользователя, коэффициентами алгоритма редактирования шума окружающей среды и функции компрессии динамического диапазона в отдельных неравномерных субполосах.

4. Способ по п.2, отличающийся тем, что при компенсации акустической обратной связи микшированный аудиосигнал дополнительно микшируют с выходным сигналом модуля компенсации акустической обратной связи, входным сигналом которого служит восстановленный широкополосный аудиосигнал модуля динамической компрессии, при этом расщепляют микшированный аудиосигнал и выходной сигнал модуля динамической компрессии на отдельные частотные каналы, оценивают коэффициенты адаптивной фильтрации в каждом отдельном частотном канале, осуществляют адаптивную фильтрацию, сигнал которой служит выходным сигналом модуля компенсации акустической обратной связи.

5. Способ по п.1, отличающийся тем, что упомянутые режимы осуществляют по отдельности или одновременно.