УСТРОЙСТВО ЭХОПОДАВЛЕНИЯ, СПОСОБ ЭХОПОДАВЛЕНИЯ И ПРОГРАММА ЭХОПОДАВЛЕНИЯ Российский патент 2022 года по МПК G10L19/28 

Область техники, к которой относится изобретение

[0001]

Настоящее изобретение относится к устройству эхоподавления, способу эхоподавления и программе эхоподавления.

Уровень техники

[0002]

Известно устройство эхоподавления для снижения акустического эха в изделии со встроенным динамиком и микрофоном, например в головной гарнитуре для телефонной конференц-связи или видео-конференц-связи, встроенном устройстве связи и переговорном устройстве.

[0003]

Поскольку устройство эхоподавления уменьшает накладывающиеся части между голосовым сигналом с передающей стороны и голосовым сигналом с приемной стороны, голосовой сигнал с передающей стороны становится беззвучным и в некоторых случаях возникает ощущение дискомфорта. Соответственно, устройство эхоподавления добавляет комфортный шум в качестве фонового шума к сигналу, в котором было уменьшено акустическое эхо.

[0004]

В патентном документе 1 описано устройство эхоподавления, которое генерирует комфортный шум на основании голосового сигнала, из которого удалили ненужные компоненты, и добавляет его к голосовому сигналу. Устройство эхоподавления включает в себя средство генерации шума, средство анализа уровня сигнала, средство варьирования и средство синтеза. Средство генерации шума генерирует шум, накладываемый на голосовой сигнал после удаления из него ненужных компонентов. Средство анализа уровня сигнала измеряет мощность голосового сигнала до удаления из него ненужных компонентов. Средство варьирования изменяет свойство шума, сгенерированного средством генерации шума, в соответствии с результатами анализа, выполненного средством анализа уровня сигнала, и генерирует комфортный шум. Средство синтеза накладывает комфортный шум, сгенерированный средством варьирования, на голосовой сигнал после удаления ненужных компонентов.

[0005]

В патентном документе 2 описано цифровое устройство обработки звука, которое регулирует тембр фонового шума до и после участка, из которого удалили микрошум с помощью нелинейных средств обработки, и устраняет ощущение разрыва голосового сигнала.

Список библиографических ссылок

Патентные документы

[0006]

Патентный документ 1: JP 2000-022603 A

Патентный документ 2: JP 2002-41100 A

Раскрытие сущности изобретения

Техническая проблема

[0007]

В изобретениях, описанных в патентных документах 1 и 2, комфортный шум генерируют на основании сигнала белого шума. Однако в среде, в которой наблюдается значительное изменение окружающего шума, например во встроенном устройстве связи в подвижном теле, таком как автомобиль, комфортный шум, основанный на сигнале белого шума, имеет величину и тембр, отличные от величины и тембра реального окружающего шума. Из-за этого возникает проблема, заключающаяся в неестественном восприятии звука пользователем, который слышит его после добавления комфортного шума.

[0008]

Настоящее изобретение было разработано с учетом указанных обстоятельств и задачей настоящего изобретения является обеспечение устройства эхоподавления, способа эхоподавления и программы эхоподавления, выполненных с возможностью добавления естественного комфортного шума даже в среде, в которой наблюдается значительное изменение окружающего шума.

Решение проблемы

[0009]

Для решения проблемы, например, на пути прохождения сигнала передающей стороны, по которому осуществляют передачу входного сигнала, поступающего от микрофона терминала, включающего в себя динамик и микрофон, предусматривают устройство эхоподавления в соответствии с настоящим изобретением. Устройство эхоподавления включает в себя блок удаления эха, блок оценки шума, блок подавления шума, блок генерации комфортного шума и блок наложения. Блок удаления эха выполнен с возможностью удаления эха из входного сигнала для генерации сигнала с удаленным эхом. Блок оценки шума выполнен с возможностью оценки сигнала шума, включенного в сигнал с удаленным эхом, для генерации сигнала с оцененным шумом. Блок подавления шума выполнен с возможностью подавления сигнала шума, включенного в сигнал с удаленным эхом, на основании сигнала с оцененным шумом для генерации сигнала с подавленным шумом. Блок генерации комфортного шума выполнен с возможностью генерации комфортного шума на основании сигнала с оцененным шумом. Блок наложения выполнен с возможностью наложения комфортного шума на сигнал с подавленным шумом.

[0010]

Устройство эхоподавления в соответствии с настоящим изобретением оценивает сигнал шума, включенного в сигнал с удаленным эхом, генерируемый посредством удаления эха из входного сигнала, для генерации сигнала с оцененным шумом, и генерирует комфортный шум на основании сигнала с оцененным шумом. Другими словами, комфортный шум генерируют в зависимости от окружающего шума звукового сигнала, полученного от микрофона. В результате естественный комфортный шум может быть добавлен даже в среде со значительным изменением окружающего шума.

[0011]

В данном случае устройство эхоподавления может дополнительно включать в себя преобразователь и обратный преобразователь. Преобразователь может быть выполнен с возможностью преобразования сигнала с удаленным эхом в функцию частотной области. Обратный преобразователь может быть выполнен с возможностью преобразования сигнала, сгенерированного блоком наложения, в функцию временной области. Блок оценки шума может быть выполнен с возможностью генерации сигнала с оцененным шумом для каждой полосы частот на основании сигнала с удаленным эхом, преобразованного преобразователем в функцию частотной области. Блок генерации комфортного шума может быть выполнен с возможностью генерации комфортного шума для каждой полосы частот на основании сигнала с оцененным шумом для каждой полосы частот. Таким образом можно генерировать комфортный шум, еще более близкий к шуму в окружающей среде.

[0012]

В данном случае блок генерации комфортного шума может быть выполнен с возможностью обработки сигнала с оцененным шумом, уменьшенного на фиксированную величину в каждой полосе частот, в качестве комфортного шума. По сравнению с конфигурацией, в которой в качестве комфортного шума используют сигнал с оцененным шумом в существующем состоянии, данная конфигурация обеспечивает удовлетворительное отношение сигнал/шум и позволяет уменьшить неотчетливый голосовой сигнал, возникающий из-за чрезмерно большого комфортного шума.

[0013]

В данном случае блок генерации комфортного шума может быть выполнен с возможностью обработки сигнала с оцененным шумом, уменьшенного в разной степени в зависимости от каждой полосы частот, исходя из отношения сигнал/шум для сигнала с удаленным эхом для каждой полосы частот, в качестве комфортного шума. Таким образом можно уменьшать неотчетливый голосовой сигнал, возникающий из-за чрезмерно большого комфортного шума. Это позволяет обеспечить по существу постоянное отношение сигнал/шум входного сигнала в широкой полосе частот и, таким образом, сгенерировать естественный комфортный шум с меньшим ощущением дискомфорта.

[0014]

В данном случае блок наложения может быть выполнен с возможностью сравнения величины сигнала с подавленным шумом с пороговым значением, основанным на комфортном шуме для каждой полосы частот. Блок наложения может быть выполнен с возможностью наложения комфортного шума на сигнал с подавленным шумом только в полосе частот, в которой величина сигнала с подавленным шумом ниже порогового значения. В результате этого комфортный шум может быть наложен только в полосе частот с небольшой мощностью, и, таким образом, может быть добавлен только требуемый шум при подавлении всей громкости звука выходного сигнала. Другими словами, хотя ощущение дискомфорта при восприятии звука, на который наложили комфортный шум, уменьшается, голосовой сигнал на выходе устройства эхоподавления может быть дополнительно очищен.

[0015]

Для решения проблемы способ эхоподавления в соответствии с настоящим изобретением включает в себя, например, удаление эха из входного сигнала, поступающего от микрофона терминала, включающего в себя динамик и микрофон; оценку сигнала шума, включенного в сигнал с удаленным эхом в виде сигнала, сгенерированного путем удаления эха из входного сигнала, для генерации сигнала с оцененным шумом; подавление сигнала шума, включенного в сигнал с удаленным эхом, на основании сигнала с оцененным шумом для генерации сигнала с подавленным шумом; генерацию комфортного шума на основании сигнала с оцененным шумом; и наложение комфортного шума на сигнал с подавленным шумом.

[0016]

Для решения проблемы, например, предусматривают программу эхоподавления в соответствии с настоящим изобретением на пути прохождения сигнала передающей стороны, по которому передают входящий сигнал от микрофона терминала, включающего в себя динамик и микрофон. Программа эхоподавления инициирует функционирование компьютера в качестве: блока удаления эха, выполненного с возможностью удаления эха из входного сигнала, для генерации сигнала с удаленным эхом; блока оценки шума, выполненного с возможностью оценки сигнала шума, включенного в сигнал с удаленным эхом, для генерации сигнала с оцененным шумом; блока подавления шума, выполненного с возможностью подавления сигнала шума, включенного в сигнал с удаленным эхом, на основании сигнала с оцененным шумом для генерации сигнала с подавленным шумом; блока генерации комфортного шума, выполненного с возможностью генерации комфортного шума на основании сигнала с оцененным шумом; и блока наложения, выполненного с возможностью наложения комфортного шума на сигнал с подавленным шумом.

Преимущества изобретения

[0017]

В соответствии с настоящим изобретением естественный комфортный шум может быть добавлен даже в среде со значительным изменением окружающего шума.

Краткое описание чертежей

[0018]

На ФИГ. 1 представлена схема, примерно изображающая систему 100 голосовой связи, оснащенную устройством 1 эхоподавления в соответствии с первым вариантом осуществления.

На ФИГ. 2 представлена структурная схема, изображающая общую конфигурацию устройства 1 эхоподавления.

На ФИГ. 3 представлена функциональная блок-схема блока 22 оценки шума, предусмотренного в устройстве 1 эхоподавления.

На ФИГ. 4 представлена схема, примерно иллюстрирующая процесс, выполняемый блоком 25 наложения, на ФИГ. 4(а) показана спектральная плотность мощности сигнала с подавленным шумом при отсутствии звука, на ФИГ. 4(b) показана спектральная плотность мощности сигнала, сгенерированного путем наложения комфортного шума на сигнал с подавленным шумом, при отсутствии звука, на ФИГ. 4(c) показана спектральная плотность мощности сигнала с подавленным шумом при наличии звука, а на ФИГ. 4(d) показана спектральная плотность мощности сигнала, сгенерированного путем наложения комфортного шума на сигнал с подавленным шумом, при наличии звука.

На ФИГ. 5 представлена блок-схема, изображающая последовательность процессов, выполняемых устройством 1 эхоподавления.

На ФИГ. 6 представлена схема, примерно иллюстрирующая способ наложения обычного комфортного шума, на ФИГ. 6(а) показана спектральная плотность мощности сигнала с подавленным шумом при отсутствии звука, на ФИГ. 6(b) показана спектральная плотность мощности сигнала, сгенерированного путем наложения комфортного шума на сигнал с подавленным шумом, при отсутствии звука, на ФИГ. 6(c) показана спектральная плотность мощности сигнала с подавленным шумом при наличии звука, а на ФИГ. 6(d) показана спектральная плотность мощности сигнала, сгенерированного путем наложения комфортного шума на сигнал с подавленным шумом, при наличии звука.

На ФИГ. 7 представлена блок-схема, изображающая общую конфигурацию устройства 1A эхоподавления.

На ФИГ. 8 представлена структурная схема, изображающая общую конфигурацию устройства 1B эхоподавления.

Осуществление изобретения

[0019]

Ниже будут подробно описаны варианты осуществления устройства эхоподавления в соответствии с настоящим изобретением со ссылкой на рисунки. Устройство эхоподавления - это устройство, подавляющее эхо, генерируемое во время телефонного вызова в системе голосовой связи.

[0020]

Первый вариант осуществления

На ФИГ. 1 представлена схема, примерно изображающая систему 100 голосовой связи, оснащенную устройством 1 эхоподавления в соответствии с первым вариантом осуществления. Система 100 голосовой связи главным образом включает в себя терминал 50 (например, встроенное устройство, систему конференц-связи и мобильный терминал), включающий в себя микрофон 51 и динамик 52, два сотовых телефона 53 и 54, усилитель 55 динамика и устройство 1 эхоподавления.

[0021]

Система 100 голосовой связи представляет собой систему, в которой пользователь (пользователь A на стороне ближнего конца), использующий терминал 50 (терминал ближнего конца), находится в голосовой связи с пользователем (пользователем B на стороне дальнего конца), использующим сотовый телефон 54 (терминал дальнего конца). Входной голосовой сигнал посредством устройства 54 связи усиливается и выводится динамиком 52, причем микрофон 51 принимает голосовой сигнал, подаваемый пользователем на стороне ближнего конца, и передает на устройство 54 связи. Таким образом, пользователь A может совершать усиленный голосовой вызов (вызов по громкой связи) и не держать при этом сотовый телефон 53 в руках. Сотовый телефон 53 и сотовый телефон 54 соединены друг с другом посредством телефонной линии общего пользования и выполнены с возможностью взаимного обмена данными.

[0022]

Устройство 1 эхоподавления предусматривают на пути прохождения сигнала передающей стороны, по которому входные сигналы, поступающие от микрофона 51, передают с терминала 50 на сотовый телефон 53.

[0023]

Устройство 1 эхоподавления может быть выполнено в виде специализированной платы, установленной, например, на терминале 50 в системе 100 голосовой связи. Кроме того, устройство 1 эхоподавления может включать в себя, например, компьютерное аппаратное и программное обеспечение (программу эхоподавления). Программа эхоподавления может быть заранее сохранена, например, на HDD в качестве носителя данных, встроенного в устройство, такое как компьютер, и в ПЗУ на микрокомпьютере, включающем в себя ЦП (центральный процессор), и может быть установлена с него на компьютер. Кроме того, программа эхоподавления может временно или постоянно храниться (находиться в памяти) на съемном носителе данных, таком как полупроводниковое запоминающее устройство, карта памяти, оптический диск, магнитооптический диск, магнитный диск или т.п.

[0024]

На ФИГ. 2 представлена структурная схема, изображающая общую конфигурацию устройства 1 эхоподавления. Устройство 1 эхоподавления подключено между микрофоном 51 и входным концом 531 сигнала на передающей стороне сотового телефона 53. На ФИГ. 2 верхний путь прохождения сигнала представляет собой путь прохождения сигнала передающей стороны, посредством которого передают входные сигналы, поступающие от микрофона 51, а нижний путь прохождения сигнала представляет собой путь прохождения сигнала приемной стороны, посредством которого сигналы передают на динамик 52.

[0025]

Устройство 1 эхоподавления главным образом включает в себя блок 11 удаления эха и блок 2 добавления комфортного шума.

[0026]

Блок 11 удаления эха представляет собой функциональный блок, который удаляет эхо из входного сигнала, захваченного микрофоном 51. Блок 11 удаления эха получает голосовой сигнал (опорный сигнал), принятый сотовым телефоном 53, и удаляет эхо из входного сигнала на основании опорного сигнала. Например, блок 11 удаления эха смещает фазу опорного сигнала от сотового телефона 53 на 180 градусов, синтезирует его с входным сигналом для удаления эха, присутствующего во входном сигнале, и генерирует сигнал с удаленным эхом.

[0027]

Блок 2 добавления комфортного шума представляет собой функциональный блок, генерирующий комфортный шум, накладывающий сгенерированный комфортный шум на сигнал с удаленным эхом и выводящий полученный сигнал. Блок 2 добавления комфортного шума главным образом включает в себя преобразователь 21, блок 22 оценки шума, блок 23 подавления шума, блок 24 генерации комфортного шума, блок 25 наложения и обратный преобразователь 26.

[0028]

Преобразователь 21 представляет собой функциональный блок, преобразующий сигнал с удаленным эхом от блока 11 удаления эха в функцию частотной области. Сигнал x(t) с удаленным эхом, выраженный функцией временной области, представляет собой входной сигнал для преобразователя 21. Когда голосовой сигнал, включенный в сигнал x(t) с удаленным эхом, обозначен как s(t), и сигнал шума, включенный в сигнал x(t) с удаленным эхом, обозначен как n(t), получается нижеследующая формула (1).

[Формула 1]

[0029]

Преобразователь 21 преобразует обе стороны формулы (1) в функцию частотной области. Представленная ниже формула (2) является результатом преобразования формулы (1) в функцию частотной области.

[Формула 2]

[0030]

Хотя в настоящем варианте осуществления преобразователь 21 выполняет преобразование Фурье в отношении сигнала с удаленным эхом, сигнал с удаленным эхом может быть преобразован в функцию частотной области с применением способа преобразования, отличного от преобразования Фурье.

[0031]

Блок 22 оценки шума и блок 23 подавления шума представляют собой функциональные блоки, которые подавляют шум в сигнале с удаленным эхом для генерации сигнала с подавленным шумом. В настоящем варианте осуществления блок 22 оценки шума и блок 23 подавления шума подавляют шум с применением способа регистрации спектра исключительно в качестве примера.

[0032]

На ФИГ. 3 представлена функциональная блок-схема блока 22 оценки шума, входящего в состав устройства 1 эхоподавления. Блок 22 оценки шума представляет собой функциональный блок, который оценивает компонент в виде шума, включенного в сигнал с удаленным эхом, преобразованный в функцию частотной области, а именно, сигнал с оцененным шумом, для каждой частотной области. Блок 22 оценки шума включает в себя основной блок 221 оценки шума и блок 222 оценки SNR (отношения сигнал/шум).

[0033]

Основной блок 221 оценки шума представляет собой функциональный блок, который оценивает спектр мощности сигнала N(ω) шума. Сначала основной блок 221 оценки шума определяет запуск блока 2 добавления комфортного шума на участке отсутствия звука и задает среднее значение от 4-го до 20-го кадров на участке отсутствия звука в качестве спектральной плотности мощности сигнала шума во время запуска. Спектральную плотность |N(ω, 0)| мощности сигнала шума во время запуска можно выразить формулой (3).

[Формула 3]

[0034]

Затем основной блок 221 оценки шума определяет, находится ли спектральная плотность |X(ω, t)| мощности сигнала с удаленным эхом в t-м кадре на участке отсутствия звука, а именно, на участке, который включает в себя только сигнал шума, или участке со звуком, а именно, на участке, который включает в себя голосовой сигнал и сигнал шума. Когда спектральная плотность |X(ω, t)| мощности сигнала с удаленным эхом в t-м кадре удовлетворяет нижеследующей формуле (4) для определенного порогового значения Thre, основной блок 221 оценки шума определяет, что t-й кадр является участком отсутствия звука.

[Формула 4]

[0035]

Когда t-й кадр представляет собой участок отсутствия звука, спектральная плотность |N(ω, t+1)| мощности t+1-го сигнала шума может быть выражена формулой (5).

[Формула 5]

[0036]

Когда спектральная плотность |X(ω, t)| мощности сигнала с удаленным эхом в t-м кадре не удовлетворяет формуле (4), основной блок 221 оценки шума определяет, что t-й кадр представляет собой участок со звуком.

[0037]

Когда t-й кадр представляет собой участок со звуком, спектральная плотность |N(ω, t + 1)| мощности сигнала шума в t + 1-м кадре может быть выражена формулой (6).

[Формула 6]

[0038]

Блок 222 оценки SNR (отношения сигнал/шум) представляет собой функциональный блок, который оценивает отношение сигнал/шум для сигнала с удаленным эхом на основании спектральной плотности мощности сигнала с оцененным шумом, оцененной основным блоком 221 оценки шума. Отношение сигнал/шум, т. е. отношение ξ(ω) спектральной плотности мощности голосового сигнала к спектральной плотности мощности сигнала шума, можно выразить формулой (7).

[Формула 7]

[0039]

В данном случае отношение между спектральной плотностью X(ω) мощности сигнала с удаленным эхом и оцененным значением спектральной плотности S(ω) мощности голосового сигнала может быть выражено формулой (8).

[Формула 8]

[0040]

При решении формул (7) и (8) и выполнении вычисления с учетом того, что спектральная плотность X(ω) мощности сигнала с удаленным эхом и оцененное значение спектральной плотности S(ω) мощности голосового сигнала соответствуют распределению Гаусса, получают фильтр Винера, как показано в формуле (9).

[Формула 9]

[0041]

Блок 222 оценки SNR (отношения сигнал/шум) применяет значение ξ(ω), выраженное нижеследующей формулой (10), с помощью, например, способа с управлением по решению, к формуле (9) для получения оцененного значения голосового сигнала из сигнала с удаленным эхом.

[Формула 10]

В данном случае γ представляет собой функцию, выраженную формулой (11).

[Формула 11]

[0042]

Блок 23 подавления шума представляет собой функциональный блок, подавляющий сигнал шума в сигнале с удаленным эхом на основании спектральной плотности S(ω) мощности сигнала с оцененным шумом, оцененной блоком 22 оценки шума, и генерирующий сигнал с подавленным шумом. Блок 23 подавления шума умножает спектральную плотность X(ω) мощности сигнала с удаленным эхом на значение G(ω), полученное блоком 22 оценки шума, т. е. осуществляет вычисление по формуле (8), для вычисления оцененного значения спектральной плотности S(ω) мощности голосового сигнала.

[0043]

Обратимся к ФИГ. 2. Блок 24 генерации комфортного шума представляет собой функциональный блок, генерирующий комфортный шум на основании спектральной плотности мощности сигнала с оцененным шумом, оцененной блоком 22 оценки шума. Другими словами, блок 24 генерации комфортного шума генерирует комфортный шум в зависимости от окружающей среды, в которой присутствует пользователь A. Комфортный шум изменяется каждый момент в ответ на изменение окружающей среды, в которой присутствует пользователь A.

[0044]

Блок 24 генерации комфортного шума генерирует комфортный шум для каждой полосы частот на основании сигнала с оцененным шумом, оцененного для каждой области частот блоком 22 оценки шума. Таким образом можно генерировать комфортный шум, еще более близкий к шуму в окружающей среде.

[0045]

Кроме того, блок 24 генерации комфортного шума обрабатывает сигнал с оцененным шумом, уменьшенный на фиксированную величину в каждой полосе частот, в качестве комфортного шума. При использовании сигнала с оцененным шумом в качестве комфортного шума в существующем состоянии в связи с слишком сильным комфортным шумом и неотчетливым голосовым сигналом желательно уменьшить сигнал с оцененным шумом и обработать его в качестве комфортного шума. Например, величина, на которую необходимо уменьшить сигнал с оцененным шумом во время генерации комфортного шума, составляет приблизительно от 1 дБ до 20 дБ. В результате обеспечивается возможность генерации комфортного шума из сигнала с оцененным шумом с применением сравнительно простого вычисления, что позволяет уменьшить нагрузку арифметической обработки на блок 2 добавления комфортного шума.

[0046]

Блок 25 наложения представляет собой функциональный блок, который накладывает комфортный шум на сигнал с подавленным шумом, сгенерированный блоком 23 подавления шума. Блок 25 наложения добавляет спектральную плотность мощности комфортного шума к спектральной плотности мощности сигнала с подавленным шумом для каждой частотной области. Другими словами, блок 25 наложения выполняет их наложение в частотной области.

[0047]

Блок 25 наложения выполняет наложение только комфортного шума на сигнал с подавленным шумом только в полосе частот, в которой величина сигнала с подавленным шумом меньше величины комфортного шума. Другими словами, блок 25 наложения использует спектральную плотность мощности комфортного шума в качестве порогового значения и накладывает комфортный шум в соответствующей полосе частот на спектральную плотность мощности сигнала с подавленным шумом только в полосе частот, в которой спектральная плотность мощности сигнала с подавленным шумом меньше спектральной плотности мощности комфортного шума.

[0048]

На ФИГ. 4 представлена схема, примерно иллюстрирующая процесс, выполняемый блоком 25 наложения, на ФИГ. 4(а) показана спектральная плотность мощности сигнала с подавленным шумом при отсутствии звука, на ФИГ. 4(b) показана спектральная плотность мощности сигнала, сгенерированного путем наложения комфортного шума на сигнал с подавленным шумом, при отсутствии звука, на ФИГ. 4(c) показана спектральная плотность мощности сигнала с подавленным шумом при наличии звука, а на ФИГ. 4(d) показана спектральная плотность мощности сигнала, сгенерированного путем наложения комфортного шума на сигнал с подавленным шумом, при наличии звука. Пунктирными линиями на ФИГ. 4(a) и ФИГ. 4(c) показана спектральная плотность мощности комфортного шума, а сплошными линиями показана спектральная плотность мощности сигнала с подавленным шумом.

[0049]

Как показано на ФИГ. 4(a), значение спектральной плотности мощности сигнала с подавленным шумом при отсутствии звука невелико во всех полосах частот. Другими словами, спектральная плотность мощности комфортного шума превышает спектральную плотность мощности сигнала с подавленным шумом во всех полосах частот. Соответственно, как показано на ФИГ. 4(b), блок 25 наложения накладывает спектральную плотность мощности комфортного шума на спектральную плотность мощности сигнала с подавленным шумом во всех полосах частот.

[0050]

Напротив, при наличии звука спектральная плотность мощности в полосе частот, в которой присутствует голосовой сигнал, превышает спектральную плотность мощности комфортного шума. В примере, показанном на ФИГ. 4(c), в полосе А1 частот спектральная плотность мощности комфортного шума превышает спектральную плотность мощности сигнала с подавленным шумом. Соответственно, как показано на ФИГ. 4(d), блок 25 наложения накладывает комфортный шум в соответствующей полосе частот на спектральную плотность мощности сигнала с подавленным шумом только в полосе А1 частот.

[0051]

Таким образом, поскольку комфортный шум в соответствующей полосе частот накладывается на спектральную плотность мощности сигнала с подавленным шумом только в полосе А1 частот, звук, к которому был добавлен комфортный шум, может представлять собой естественный звук, вызывающий меньшее ощущение дискомфорта.

[0052]

Следует отметить, что хотя в настоящем варианте осуществления блок 25 наложения использует спектральную плотность мощности комфортного шума в качестве порогового значения и накладывает комфортный шум в соответствующей полосе частот на спектральную плотность мощности сигнала с подавленным шумом только в полосе частот, в которой спектральная плотность мощности сигнала с подавленным шумом меньше спектральной плотности мощности комфортного шума, используемое пороговое значение не ограничивается спектральной плотностью мощности комфортного шума. Например, в качестве порогового значения может быть использована спектральная плотность мощности комфортного шума, уменьшенного на фиксированную величину во всей полосе частот. Другими словами, необходимо только чтобы блок 25 наложения сравнивал величину сигнала с подавленным шумом с пороговым значением, основанным на комфортном шуме, для каждой полосы частот и накладывал комфортный шум на сигнал с подавленным шумом только в полосе частот, в которой величина сигнала с подавленным шумом меньше порогового значения.

[0053]

Следует отметить, что блок 25 наложения может накладывать спектральную плотность мощности сигнала с подавленным шумом на спектральную плотность мощности комфортного шума во всей полосе частот. Однако, чтобы звук, к которому был добавлен комфортный шум, был естественным звуком, вызывающим меньшее ощущение дискомфорта, желательно накладывать комфортный шум в соответствующей полосе частот на спектральную плотность мощности сигнала с подавленным шумом только в полосе частот, в которой спектральная плотность мощности сигнала с подавленным шумом меньше спектральной плотности мощности комфортного шума.

[0054]

Обратимся к ФИГ. 2. Обратный преобразователь 26 представляет собой функциональный блок, выполняющий обратное преобразование спектральной плотности мощности сигнала с подавленным шумом, на который наложен комфортный шум, и преобразующий его в функцию временной области. Обратный преобразователь 26 выполняет, например, обратное преобразование Фурье. Выходной сигнал во временной области, преобразованный обратным преобразователем 26, подают на входной конец 531 сигнала со стороны передатчика и передают на сотовый телефон 54, который пользователь B принимает посредством сотового телефона 53.

[0055]

На ФИГ. 5 представлена блок-схема, изображающая последовательность процессов, выполняемых устройством 1 эхоподавления. Далее со ссылкой на ФИГ. 5 будет описана последовательность процессов до удаления устройством 1 эхоподавления в захваченном входном сигнале и вывода входного сигнала с комфортным шумом.

[0056]

Сначала устройство 1 эхоподавления захватывает входной сигнал с помощью микрофона 51 (этап S1). Затем устройство 1 эхоподавления принимает опорный сигнал с выходного конца 532 сигнала (этап S2). Затем блок 11 удаления эха удаляет эхо во входном сигнале на основании опорного сигнала, полученного с выходного конца 532 сигнала (этап S3).

[0057]

Преобразователь 21 преобразует сигнал с удаленным эхом, сгенерированный путем удаления эха блоком 11 удаления эха, в функцию частотной области (этап S4).

[0058]

На основании спектральной плотности мощности сигнала с удаленным эхом, полученного на этапе S4, блок 22 оценки шума оценивает спектральную плотность мощности сигнала шума, включенного в сигнал с удаленным эхом (этап S5).

[0059]

Блок 23 подавления шума получает значение спектральной плотности мощности сигнала с оцененным шумом, полученного на этапе S5, от блока 22 оценки шума и подавляет шум в сигнале с удаленным эхом, полученном от преобразователя 21, на основании спектральной плотности мощности сигнала с оцененным шумом для генерации сигнала с подавленным шумом (этап S6).

[0060]

Блок 24 генерации комфортного шума генерирует комфортный шум на основании спектральной плотности мощности сигнала с оцененным шумом, полученного на этапе S5 (этап S7).

[0061]

Затем блок 25 наложения накладывает спектральную плотность мощности комфортного шума, полученного на этапе S7, на спектральную плотность мощности сигнала с подавленным шумом, полученного на этапе S6 (этап S8).

[0062]

Обратный преобразователь 26 преобразует выходной сигнал, полученный от блока 25 наложения на этапе S8, в функцию временной области (этап S9). Сигнал, преобразованный в функцию временной области на этапе S9, выводят на входном конце 531 сигнала. Устройство 1 эхоподавления многократно выполняет процессы, описанные на этапах S1-S10.

[0063]

Согласно настоящему варианту осуществления, в связи с наложением комфортного шума, основанного на оцененном сигнале шума, т. е. комфортного шума, соответствующего среде, в которой находится пользователь A, может быть добавлен естественный комфортный шум, вызывающий меньшее ощущение дискомфорта, даже в среде со значительным изменением окружающего шума. Таким образом, пользователь B, показанный на ФИГ. 1, может слышать естественный окружающий шум на стороне пользователя А с его речью или без нее.

[0064]

Кроме того, в соответствии с настоящим вариантом осуществления блок 25 наложения накладывает только комфортный шум на сигнал с подавленным шумом только в полосе частот, в которой величина сигнала с подавленным шумом меньше величины комфортного шума. Соответственно, звук, к которому был добавлен комфортный шум, может представлять собой звук, в котором голос пользователя A отчетлив и не вызывает ощущения дискомфорта.

[0065]

На ФИГ. 6 представлена схема, примерно иллюстрирующая способ наложения обычного комфортного шума, на ФИГ. 6(а) показана спектральная плотность мощности сигнала с подавленным шумом при отсутствии звука, на ФИГ. 6(b) показана спектральная плотность мощности сигнала, сгенерированного путем наложения комфортного шума на сигнал с подавленным шумом, при отсутствии звука, на ФИГ. 6(c) показана спектральная плотность мощности сигнала с подавленным шумом при наличии звука, а на ФИГ. 6(d) показана спектральная плотность мощности сигнала, сгенерированного путем наложения комфортного шума на сигнал с подавленным шумом, при наличии звука. Пунктирными линиями на ФИГ. 6(a) и ФИГ. 6(c) показана спектральная плотность мощности комфортного шума, а сплошными линиями показана спектральная плотность мощности сигнала с подавленным шумом.

[0066]

Как показано на ФИГ. 6, традиционное устройство эхоподавления накладывает комфортный шум на сигнал с подавленным шумом во всех полосах частот независимо от величин сигнала с подавленным шумом и спектральной плотности мощности комфортного шума. При отсутствии звука, как показано на ФИГ. 6(a), выходной комфортный шум на выходе является почти таким же, как показано на ФИГ. 6(b). Кроме того, традиционное устройство эхоподавления накладывает предварительно подготовленный комфортный шум во всех полосах частот также и при наличии звука, как показано на ФИГ. 6(c).

[0067]

Другими словами, для устройства эхоподавления из известного уровня техники необязательно накладывать комфортный шум на сигнал с подавленным шумом в частотной области, и сигнал с подавленным шумом и комфортный шум добавляют вместе во временной области. Как показано на ФИГ. 6(d), спектральная плотность мощности сигнала, сгенерированного путем наложения комфортного шума на сигнал с подавленным шумом, возрастает во всех полосах частот. В результате весь звук, выводимый устройством эхоподавления, является мощным и становится неестественным.

[0068]

Напротив, в настоящем варианте осуществления спектральную плотность мощности комфортного шума используют в качестве порогового значения и только в полосе частот, в которой спектральная плотность мощности сигнала с подавленным шумом меньше спектральной плотности мощности комфортного шума, комфортный шум для соответствующей полосы частот накладывают на спектральную плотность мощности сигнала с подавленным шумом, и, таким образом, звук, к которому был добавлен комфортный шум, может быть естественным звуком, вызывающим меньшее ощущение дискомфорта.

[0069]

Второй вариант осуществления

В первом варианте осуществления в качестве комфортного шума используют сигнал с оцененным шумом, уменьшенный на фиксированную величину в каждой полосе частот, но конфигурация комфортного шума не ограничивается этим. Второй вариант осуществления представляет собой конфигурацию, в которой в качестве комфортного шума используют сигнал с оцененным шумом, уменьшенный в другой пропорции, зависящей от каждой полосы частот. Далее будет описано устройство 1A эхоподавления в соответствии со вторым вариантом осуществления. Следует отметить, что те же компоненты, что и в устройстве 1 эхоподавления в соответствии с первым вариантом осуществления, обозначены одними и теми же номерами позиций, и описание этих компонентов будет опущено.

[0070]

На ФИГ. 7 представлена блок-схема, изображающая общую конфигурацию устройства 1A эхоподавления. Устройство 1A эхоподавления главным образом включает в себя блок 11 удаления эха и блок 2A добавления комфортного шума. Блок 2A добавления комфортного шума главным образом включает в себя преобразователь 21, блок 22 оценки шума, блок 23 подавления шума, блок 24A генерации комфортного шума, блок 25 наложения и обратного преобразователя 26.

[0071]

Блок 24A генерации комфортного шума обрабатывает сигнал с оцененным шумом, уменьшенный в различной пропорции, зависящей от каждой полосы частот, на основании отношения сигнал/шум сигнала с удаленным эхом в каждой полосе частот в качестве комфортного шума.

[0072]

В частности, блок 24A генерации комфортного шума генерирует комфортный шум путем умножения спектральной плотности мощности сигнала с оцененным шумом на фильтр Винера. В полосе частот, в которой спектральная плотность мощности сигнала шума меньше спектральной плотности мощности голосового сигнала, значение фильтра Винера уменьшается, а комфортный шум сравнительно снижается. В полосе частот, в которой спектральная плотность мощности сигнала шума превышает спектральную плотность мощности голосового сигнала, значение фильтра Винера увеличивается, а комфортный шум сравнительно возрастает.

[0073]

Таким образом можно обеспечивать по существу постоянное отношение сигнал/шум входного сигнала в широкой полосе частот, выводить естественный комфортный шум, вызывающий меньшее ощущение дискомфорта, и выводить более отчетливый голосовой сигнал.

[0074]

Кроме того, поскольку блок 24 генерации комфортного шума генерирует комфортный шум с использованием фильтра, используемого блоком 23 подавления шума, можно генерировать комфортный шум с помощью меньшего количества процессов, чем в конфигурации с использованием еще одного фильтра. Кроме того, поскольку конфигурация для подавления шума может также быть использована для генерации комфортного шума, отсутствует необходимость в выделении части запоминающего устройства для вычисления и хранения комфортного шума и блок 2 добавления комфортного шума может иметь более простую конфигурацию, например недорогую и компактную конфигурацию.

[0075]

Однако блок 24 генерации комфортного шума может подавлять шум с помощью фильтра, отличного от фильтра, используемого блоком 23 подавления шума, а именно, фильтра Винера. Сигналы с удаленным эхом различаются по оцененной величине подавления между участком отсутствия звука и участком со звуком. Таким образом, за счет использования фильтра, отличного от фильтра, используемого блоком 23 подавления шума, блоком 24 генерации комфортного шума, влияние разницы в оценочном результате в зависимости от наличия или отсутствия голосового сигнала будет менее вероятным и может быть сгенерирован дополнительный естественный комфортный шум.

[0076]

Третий вариант осуществления

В первом варианте осуществления в качестве комфортного шума используют сигнал с оцененным шумом, уменьшенный на фиксированную величину в каждой полосе частот, но конфигурация комфортного шума не ограничивается этим. Третий вариант осуществления представляет собой конфигурацию, которая определяет уровень комфортного шума на основании среднего значения спектральной плотности мощности сигнала с оцененным шумом. Далее будет описано устройство 1B эхоподавления в соответствии с третьим вариантом осуществления. Следует отметить, что те же компоненты, что и в устройстве 1 эхоподавления в соответствии с первым вариантом осуществления, обозначены одними и теми же номерами позиций, и описание этих компонентов будет опущено.

[0077]

На ФИГ. 7 представлена блок-схема, изображающая общую конфигурацию устройства 1B эхоподавления. Устройство 1B эхоподавления главным образом включает в себя блок 11 удаления эха и блок 2B добавления комфортного шума. Блок 2B добавления комфортного шума главным образом включает в себя преобразователь 21, блок 22 оценки шума, блок 23 подавления шума, блок 24B генерации комфортного шума, блок 25 наложения и обратного преобразователя 26.

[0078]

Блок 24B генерации комфортного шума определяет уровень комфортного шума на основании среднего значения (далее называемого уровнем шума) спектральной плотности мощности сигнала с оцененным шумом. На частоте с высоким уровнем шума, т. е. с высоким оцененным уровнем шума, блок 24 генерации комфортного шума генерирует комфортный шум высокого уровня. На частоте с невысоким уровнем шума, т. е. с невысоким оцененным уровнем шума, блок 24 генерации комфортного шума генерирует комфортный шум низкого уровня.

[0079]

Ниже приведено описание с использованием конкретного примера. В громкой среде, например, в которой уровень шума составляет 90 дБ или более, в качестве комфортного шума в каждой полосе частот используют сигнал с оцененным шумом, в котором применяют уменьшение в -6 дБ. Поскольку шум преобладает в громкой среде, количество децибелов, вычтенное из сигнала с оцененным шумом, устанавливают меньше, чем в других случаях (подробно описанных ниже), и комфортный шум усиливается. Однако количество децибелов, вычтенное из сигнала с оцененным шумом, не ограничено значением -6 дБ. В среде, в которой преобладает шум, человек легко воспринимает изменение шума, поэтому количество децибелов, вычтенное из сигнала с оцененным шумом, может превышать значение -6 дБ.

[0080]

В тихой среде, например, в которой уровень шума составляет 50 дБ или менее, в качестве комфортного шума в каждой полосе частот используют сигнал с оцененным шумом, для которого применяют уменьшение в -20 дБ. При изначально небольшом присутствующем шуме ощущение дискомфорта между участком со звуком и участком отсутствия звука, обусловленное эхоподавлением, невелико, поэтому ощущение дискомфорта можно достаточно снизить путем простого наложения небольшого комфортного шума. Однако в тихой среде шум не преобладает, и человек слабо воспринимает изменение шума. Соответственно, для дополнительного уменьшения комфортного шума количество децибелов, вычтенное из сигнала с оцененным шумом, может быть установлено равным -20 дБ или более, или же комфортный шум может быть установлен равным 0.

[0081]

В среде, представляющей собой нечто среднее между громкой средой и тихой средой, например в которой уровень шума составляет от 50 дБ до 90 дБ, сигнал с оцененным шумом, в котором применяют уменьшение в -12 дБ, используют в качестве комфортного шума в каждой полосе частот. В данном случае количество децибелов, вычтенное из сигнала с оцененным шумом, должно быть меньше, чем в громкой среде, и больше, чем в тихой среде, и оно не ограничивается значением -12 дБ.

[0082]

Выше подробно описаны варианты осуществления изобретения со ссылкой на графические материалы. Однако конкретные конфигурации не ограничиваются вариантами осуществления, и изменения в конструкции или т.п. также включены в объем, который не отходит от сущности изобретения.

Перечень условных обозначений

[0083]

1 - Устройство эхоподавления

2 - Блок добавления комфортного шума

11 - Блок удаления эха

21 - Преобразователь

22 - Блок оценки шума

23 - Блок подавления шума

24 - Блок генерации комфортного шума

25 - Блок наложения

26 - Обратный преобразователь

50 - Терминал

51 - Микрофон

52 - Динамик

53 - Сотовый телефон

54 - Сотовый телефон

55 - Усилитель динамика

100 - Система голосовой связи

221 - Основной блок оценки шума

222 - Блок оценки SNR (отношения сигнал/шум)

531 - Входной конец сигнала

532 - Выходной конец сигнала

Система относится к области вычислительной техники для обработки аудиоданных. Технический результат заключается в обеспечении подавления эха без разрыва голосового сигнала. Технический результат достигается за счет удаления эха из входного сигнала, поступающего от микрофона терминала, включающего в себя динамик и микрофон; преобразования сигнала с удаленным эхом в функцию частотной области; оценки сигнала шума, включенного в сигнал с удаленным эхом в виде сигнала, сгенерированного путем удаления эха из входного сигнала, для генерации сигнала с оцененным шумом; подавления сигнала шума, включенного в сигнал с удаленным эхом, на основании сигнала с оцененным шумом для генерации сигнала с подавленным шумом; генерации комфортного шума на основании сигнала с оцененным шумом; сравнения величины сигнала с подавленным шумом с пороговым значением, основанным на комфортном шуме, для каждой полосы частот; наложения комфортного шума на сигнал с подавленным шумом; и преобразования сигнала, полученного путем наложения комфортного шума на сигнал с подавленным шумом, в функцию временной области. 3 н. и 2 з.п. ф-лы, 8 ил.

1. Устройство эхоподавления, предусмотренное на пути прохождения сигнала передающей стороны, по которому передают входной сигнал, поступающий от микрофона терминала, включающего в себя динамик и микрофон, причем устройство эхоподавления содержит:

блок удаления эха, выполненный с возможностью удаления эха из входного сигнала для генерации сигнала с удаленным эхом;

блок оценки шума, выполненный с возможностью оценки сигнала шума, включенного в сигнал с удаленным эхом, для генерации сигнала с оцененным шумом;

блок подавления шума, выполненный с возможностью подавления сигнала шума, включенного в сигнал с удаленным эхом, на основании сигнала с оцененным шумом для генерации сигнала с подавленным шумом;

блок генерации комфортного шума, выполненный с возможностью генерации комфортного шума на основании сигнала с оцененным шумом;

блок наложения, выполненный с возможностью наложения комфортного шума на сигнал с подавленным шумом;

преобразователь, выполненный с возможностью преобразования сигнала с удаленным эхом в функцию частотной области; и

обратный преобразователь, выполненный с возможностью преобразования сигнала, сгенерированного блоком наложения, в функцию временной области, причем

блок оценки шума выполнен с возможностью генерации сигнала с оцененным шумом для каждой полосы частот на основании сигнала с удаленным эхом, преобразованного преобразователем в функцию частотной области,

блок генерации комфортного шума выполнен с возможностью генерации комфортного шума для каждой полосы частот на основании сигнала с оцененным шумом для каждой полосы частот, а

блок наложения выполнен с возможностью сравнения величины сигнала с подавленным шумом с пороговым значением, основанным на комфортном шуме, для каждой полосы частот, и при этом блок наложения выполнен с возможностью наложения комфортного шума на сигнал с подавленным шумом только в полосе частот, в которой величина сигнала с подавленным шумом меньше порогового значения.

2. Устройство эхоподавления по п. 1, в котором

блок генерации комфортного шума выполнен с возможностью обработки сигнала с оцененным шумом, уменьшенного на фиксированную величину в каждой полосе частот, в качестве комфортного шума.

3. Устройство эхоподавления по п. 1, в котором

блок генерации комфортного шума выполнен с возможностью обработки сигнала с оцененным шумом, уменьшенного в разной степени в зависимости от каждой полосы частот, исходя из отношения сигнал/шум сигнала с удаленным эхом для каждой полосы частот, в качестве комфортного шума.

4. Способ эхоподавления, включающий:

удаление эха из входного сигнала, поступающего от микрофона терминала, включающего в себя динамик и микрофон;

преобразование сигнала с удаленным эхом в функцию частотной области;

оценку сигнала шума, включенного в сигнал с удаленным эхом в виде сигнала, сгенерированного путем удаления эха из входного сигнала, для генерации сигнала с оцененным шумом, при этом сигнал с оцененным шумом генерируют для каждой полосы частот на основании сигнала с удаленным эхом, преобразованного преобразователем в функцию частотной области;

подавление сигнала шума, включенного в сигнал с удаленным эхом, на основании сигнала с оцененным шумом для генерации сигнала с подавленным шумом;

генерацию комфортного шума на основании сигнала с оцененным шумом, при этом комфортный шум генерируют для каждой полосы частот на основании сигнала с оцененным шумом для каждой полосы частот;

сравнение величины сигнала с подавленным шумом с пороговым значением, основанным на комфортном шуме, для каждой полосы частот;

наложение комфортного шума на сигнал с подавленным шумом, при этом комфортный шум накладывают на сигнал с подавленным шумом только в полосе частот, в которой величина сигнала с подавленным шумом меньше порогового значения; и

преобразование сигнала, полученного путем наложения комфортного шума на сигнал с подавленным шумом, в функцию временной области.

5. Носитель данных, содержащий сохраненную на нем программу эхоподавления, предусмотренную на пути прохождения сигнала передающей стороны, по которому передают входящий сигнал от микрофона терминала, включающего в себя динамик и микрофон, причем программа эхоподавления инициирует функционирование компьютера в качестве:

блока удаления эха, выполненного с возможностью удаления эха из входного сигнала для генерации сигнала с удаленным эхом;

блока оценки шума, выполненного с возможностью оценки сигнала шума, включенного в сигнал с удаленным эхом, для генерации сигнала с оцененным шумом;

блока подавления шума, выполненного с возможностью подавления сигнала шума, включенного в сигнал с удаленным эхом, на основании сигнала с оцененным шумом для генерации сигнала с подавленным шумом;

блока генерации комфортного шума, выполненного с возможностью генерации комфортного шума на основании сигнала с оцененным шумом;

блока наложения, выполненного с возможностью наложения комфортного шума на сигнал с подавленным шумом;

преобразователя, выполненного с возможностью преобразования сигнала с удаленным эхом в функцию частотной области; и

обратного преобразователя, выполненного с возможностью преобразования сигнала, сгенерированного блоком наложения, в функцию временной области, причем

блок оценки шума выполнен с возможностью генерации сигнала с оцененным шумом для каждой полосы частот на основании сигнала с удаленным эхом, преобразованного преобразователем в функцию частотной области,

блок генерации комфортного шума выполнен с возможностью генерации комфортного шума для каждой полосы частот на основании сигнала с оцененным шумом для каждой полосы частот, а

блок наложения выполнен с возможностью сравнения величины сигнала с подавленным шумом с пороговым значением, основанным на комфортном шуме, для каждой полосы частот, и при этом блок наложения выполнен с возможностью наложения комфортного шума на сигнал с подавленным шумом только в полосе частот, в которой величина сигнала с подавленным шумом меньше порогового значения.