УСТРОЙСТВО ЭХОПОДАВЛЕНИЯ, СПОСОБ ЭХОПОДАВЛЕНИЯ И ПРОГРАММА ЭХОПОДАВЛЕНИЯ Российский патент 2020 года по МПК H04B3/20 H04M1/60 H04R3/02 

Область техники

[0001]

Настоящее изобретение относится к устройству эхоподавления, способу эхоподавления и программе эхоподавления.

Уровень техники

[0002]

В патентном документе 1 описано устройство обработки речевого сигнала, обнаруживающее состояние одновременного разговора, при котором сигнал передается одновременно в тракт принимаемого сигнала, через который принимаемый сигнал передается от речевого терминала, и в тракт передаваемого сигнала, через который передаваемый сигнал передается на речевой терминал, после чего устройство обработки речевого сигнала вычисляет степень ослабления, обеспечиваемую эхоподавителем, на основании результата обнаружения от блока обнаружения одновременного разговора, и уровней сигнала тракта принимаемого сигнала и тракта передаваемого сигнала.

Список ссылок на документы

Патентный документ

[0003]

Патентный документ 1: JP 5923705 B

Краткое описание изобретения

Техническая задача

[0004]

Однако в устройстве обработки речевого сигнала, описанном в патентном документе 1, существует проблема, заключающаяся в том, что определение того, включен ли передаваемый сигнал в остаточное эхо, затруднительно, когда уровень сигнала на передающей стороне низкий. Соответственно, устройство обработки речевого сигнала, описанное в патентном документе 1, не может точно обнаружить состояние одновременного разговора и может не подавить соответствующим образом эхо с помощью эхоподавителя.

[0005]

В свете вышеизложенного цель настоящего изобретения заключается в обеспечении устройства эхоподавления, способа эхоподавления и программы эхоподавления, способных точно обнаруживать состояние одновременного разговора и соответствующим образом подавлять эхо на основании результата обнаружения.

Решение задачи

[0006]

Для достижения этой цели устройство эхоподавления в соответствии с настоящим изобретением представляет собой, например, устройство эхоподавления, предусмотренное в тракте передаваемого сигнала, через который передается входной сигнал от микрофона терминала ближнего конца, содержащего динамик и микрофон, причем устройство эхоподавления содержит блок хранения частотной маски, хранящий частотную маску, генерируемую на основании спектра мощности или амплитудного спектра для обучающего сигнала, переданного через тракт передаваемого сигнала, когда звук выводится из динамика и только выходной звук подается в микрофон; первый блок вычисления спектра, вычисляющий спектр входного сигнала, который представляет собой спектр мощности или амплитудный спектр для входного сигнала из микрофона; блок обнаружения одновременного разговора, обнаруживающий наличие состояния одновременного разговора, в котором сигнал передается одновременно в тракт передаваемого сигнала и в тракт принимаемого сигнала, через который сигнал передается в динамик, на основании результата сравнения между значением спектра входного сигнала и значением частотной маски для каждого из различных диапазонов частот; и эхоподавитель, выполняющий обработку для эхоподавления во входном сигнале, в случае если блок обнаружения одновременного разговора обнаруживает, что сигнал не передается через тракт передаваемого сигнала и что сигнал передается через тракт принимаемого сигнала.

[0007]

В соответствии с устройством эхоподавления в соответствии с настоящим изобретением, когда звук выводится из динамика и на микрофон подается только выходной звук, для каждого диапазона частот проводится сравнение между частотной маской, сгенерированной на основании спектра мощности или амплитудного спектра для обучающего сигнала, передаваемого через тракт передаваемого сигнала, и значением спектра мощности или значением амплитудного спектра для входного сигнала от микрофона для обнаружения наличия состояния одновременного разговора. Таким образом, использование частотных характеристик позволяет точно определять состояние одновременного разговора даже в случае, когда остаточное эхо имеет более высокую мощность, чем голосовой входной сигнал от микрофона (голосовой сигнал на ближнем конце). Кроме того, в соответствии с устройством эхоподавления в соответствии с настоящим изобретением в случае обнаружения того, что сигнал не передается через тракт передаваемого сигнала и что сигнал передается через тракт принимаемого сигнала, устройство эхоподавления применяется для выполнения обработки для эхоподавления во входном сигнале. Это позволяет соответствующим образом подавлять эхо, не нарушая голосовой сигнал на ближнем конце.

[0008]

В данном случае устройство эхоподавления может содержать блок эхокомпенсации, компенсирующий остаточное эхо, и частотная маска может генерироваться на основании спектра мощности или амплитудного спектра для обучающего сигнала, в котором остаточное эхо было компенсировано блоком эхокомпенсации. Первый блок вычисления спектра может вычислять в качестве спектра входного сигнала спектр мощности или амплитудный спектр для входного сигнала, в котором остаточное эхо было компенсировано блоком эхокомпенсации. Это позволяет точно определять состояние одновременного разговора даже в том случае, если входной сигнал невелик.

[0009]

В данном случае первый блок вычисления спектра может вычислять через регулярные промежутки времени спектр мощности или амплитудный спектр для обучающего сигнала для определения множества спектров обучения, и блок хранения частотной маски может получать для каждого диапазона частот максимальное значение из значений множества спектров обучения и назначать максимальное значение в качестве частотной маски. Таким образом, частотные характеристики остаточного эха могут быть точно сохранены.

[0010]

В данном случае блок обнаружения одновременного разговора может сравнивать второй порог с уровнем опорного сигнала, передаваемого через тракт принимаемого сигнала, подсчитывать избыточное количество, которое представляет собой количество диапазонов частот, в которых значение спектра входного сигнала больше значения частотной маски, и обнаруживать, что сигнал не передается через тракт передаваемого сигнала и что сигнал передается через тракт принимаемого сигнала, в случае если избыточное количество меньше или равно первому порогу и уровень опорного сигнала выше или равен второму порогу. Это позволяет точно определить состояние одновременного разговора.

[0011]

В данном случае блок обнаружения одновременного разговора может сравнивать второй порог с уровнем опорного сигнала, передаваемого через тракт принимаемого сигнала, и обнаруживать, что сигнал не передается через тракт передаваемого сигнала и что сигнал передается через тракт принимаемого сигнала, в случае если для диапазонов частот, в которых значение спектра входного сигнала не больше значения частотной маски, уровень опорного сигнала выше или равен второму порогу. Таким образом, состояние одновременного разговора можно точно обнаружить для каждого диапазона частот, и для каждого диапазона частот можно активировать обработку для эхоподавления.

[0012]

В данном случае устройство эхоподавления может содержать второй блок вычисления спектра, вычисляющий спектр опорного сигнала, который представляет собой спектр мощности или амплитудный спектр опорного сигнала, передаваемого через тракт принимаемого сигнала, и блок обнаружения одновременного разговора может сравнивать значение спектра опорного сигнала с третьим порогом, подсчитывать избыточное количество, которое представляет собой количество диапазонов частот, в которых значение спектра входного сигнала больше значения частотной маски, и обнаруживать, что сигнал не передается через тракт передаваемого сигнала и что сигнал передается через тракт принимаемого сигнала, в случае если избыточное количество меньше или равно первому порогу и если имеется диапазон частот, в котором значение спектра опорного сигнала больше третьего порога. Это позволяет точно определить состояние одновременного разговора.

[0013]

В данном случае устройство эхоподавления может содержать второй блок вычисления спектра, вычисляющий спектр опорного сигнала, который представляет собой спектр мощности или амплитудный спектр опорного сигнала, передаваемого через тракт принимаемого сигнала, и блок обнаружения одновременного разговора может сравнивать значение спектра опорного сигнала с третьим порогом, и для диапазона частот, в котором значение спектра входного сигнала меньше значения частотной маски и в котором значение спектра входного сигнала не больше значения частотной маски, обнаруживать, что сигнал не передается через тракт передаваемого сигнала и что сигнал передается через тракт принимаемого сигнала. Таким образом, состояние одновременного разговора можно точно обнаружить для каждого диапазона частот, и для каждого диапазона частот можно активировать обработку для эхоподавления.

[0014]

Для достижения описанной выше цели способ эхоподавления в соответствии с настоящим изобретением представляет собой, например, способ эхоподавления, включающий этапы генерирования частотной маски на основании спектра мощности или амплитудного спектра для обучающего сигнала, передаваемого через тракт передаваемого сигнала, через который передается входной сигнал от микрофона, и сохранения сгенерированной частотной маски, когда звук выводится из динамика терминала ближнего конца и только выходной звук подается на микрофон терминала ближнего конца; вычисления спектра входного сигнала, который представляет собой спектр мощности или амплитудный спектр для входного сигнала от микрофона, сравнения для каждого из различных диапазонов частот значения вычисленного спектра входного сигнала со значением сохраненной частотной маски для обнаружения наличия состояния одновременного разговора, в котором сигнал одновременно передается в тракт передаваемого сигнала, через который передается входной сигнал от микрофона, и в тракт принимаемого сигнала, через который сигнал передается в динамик; и выполнения обработки для эхоподавления в целях эхоподавления во входном сигнале, в случае обнаружения того, что сигнал не передается через тракт передаваемого сигнала и что сигнал передается через тракт принимаемого сигнала.

[0015]

Для достижения описанной выше цели программа эхоподавления в соответствии с настоящим изобретением представляет собой, например, программу эхоподавления, предусмотренную в тракте передаваемого сигнала, через который передается входной сигнал от микрофона терминала ближнего конца, содержащего динамик и микрофон, причем программа заставляет компьютер функционировать как блок хранения частотной маски, хранящий частотную маску, генерируемую на основании спектра мощности или амплитудного спектра для обучающего сигнала, переданного через тракт передаваемого сигнала, когда звук выводится из динамика и только выходной звук подается в микрофон; первый блок вычисления спектра, вычисляющий спектр входного сигнала, который представляет собой спектр мощности или амплитудный спектр для входного сигнала из микрофона; блок обнаружения одновременного разговора, обнаруживающий наличие состояния одновременного разговора, в котором сигнал передается одновременно в тракт передаваемого сигнала и в тракт принимаемого сигнала, через который сигнал передается в динамик, на основании результата сравнения между значением спектр входного сигнала и значением частотной маски для каждого из различных диапазонов частот; и эхоподавитель, выполняющий обработку для эхоподавления во входном сигнале, в случае если блок обнаружения одновременного разговора обнаруживает, что сигнал не передается через тракт передаваемого сигнала и что сигнал передается через тракт принимаемого сигнала.

Преимущественные эффекты изобретения

[0016]

В соответствии с настоящим изобретением состояние одновременного разговора можно точно обнаружить, и на основании результата обнаружения эхо может быть надлежащим образом подавлено.

Краткое описание графических материалов

[0017]

На фиг. 1 представлена схема, схематически изображающая систему 100 голосовой связи, оснащенную устройством 1 эхоподавления в соответствии с первым вариантом осуществления.

На фиг. 2 представлена структурная схема, изображающая общую конфигурацию устройства 1 эхоподавления.

На фиг. 3 представлена схема, изображающая поток сигналов, в случае когда в устройстве 1 эхоподавления генерируется частотная маска.

На фиг. 4 представлен пример спектра обучения в момент времени t1.

На фиг. 5 представлен пример частотной маски при вводе множества спектров обучения, включая спектр обучения, показанный на фиг. 4.

На фиг. 6 представлена схема, схематически изображающая сравнение между значением спектра входного сигнала и значением частотной маски.

На фиг. 7 представлена схема, схематически изображающая сравнение между значением спектра входного сигнала и значением частотной маски.

На фиг. 8 представлена структурная схема, изображающая общую конфигурацию устройства 2 эхоподавления.

На фиг. 9 представлена структурная схема, изображающая общую конфигурацию устройства 3 эхоподавления.

На фиг. 10 представлена схема, схематически изображающая сравнение между значением спектра входного сигнала и значением частотной маски, в случае когда уровень опорного сигнала равен или превышает порог II.

На фиг. 11 представлена структурная схема, изображающая общую конфигурацию устройства 4 эхоподавления.

На фиг. 12 представлена схема, схематически изображающая сравнение между значением спектра входного сигнала и значением частотной маски, и сравнение между спектром опорного сигнала и порогом III.

На фиг. 13 представлена структурная схема, изображающая общую конфигурацию устройства 5 эхоподавления.

На фиг. 14 представлена схема, схематически изображающая сравнение между значением спектра входного сигнала и значением частотной маски; и сравнение между спектром опорного сигнала и порогом III.

Описание вариантов осуществления

[0018]

Варианты осуществления настоящего изобретения будут подробно описаны ниже со ссылкой на прилагаемые графические материалы. Устройство эхоподавления - это устройство, подавляющее эхо, генерируемое во время телефонного вызова в системе голосовой связи.

[0019]

Первый вариант осуществления

На фиг. 1 представлена схема, схематически изображающая систему 100 голосовой связи, оснащенную устройством 1 эхоподавления в соответствии с первым вариантом осуществления. Система 100 голосовой связи в основном содержит терминал 50, содержащий микрофон 51 и динамик 52, два сотовых телефона 53 и 54, усилитель 55 динамика и устройство 1 эхоподавления.

[0020]

Система 100 голосовой связи представляет собой систему, в которой пользователь (пользователь A на стороне ближнего конца), использующий терминал 50 (терминал ближнего конца), находится в голосовой связи с пользователем (пользователем B на стороне дальнего конца), использующим сотовый телефон 54 (терминал дальнего конца). Голосовой входной сигнал посредством сотового телефона 54 усиливается и выводится динамиком 52, причем микрофон 51 принимает голосовой сигнал, испускаемый пользователем на стороне ближнего конца, и передает на мобильный телефон 54. Таким образом, пользователь может совершить усиленный голосовой вызов (вызов по громкой связи) без удержания сотового телефона 53 в руках. Сотовый телефон 53 и сотовый телефон 54 соединены друг с другом общей телефонной линией.

[0021]

Устройство 1 эхоподавления обеспечивается на тракте передаваемого сигнала, через который сигналы, вводимые через микрофон 51, передаются от терминала 50 к сотовому телефону 53.

[0022]

Устройство 1 эхоподавления может быть выполнено в виде специализированной платы, установленной на речевом терминале или т.п.(например, встроенное устройство, система конференц-связи или мобильный терминал) в системе 100 голосовой связи. Кроме того, устройство 1 эхоподавления может содержать, например, компьютерное аппаратное и программное обеспечение (программу эхоподавления). Программа эхоподавления может быть сохранена заранее на HDD (накопитель на жестких дисках) в виде носителя данных, встроенного в такое оборудование, как компьютер, ПЗУ (постоянное запоминающее устройство) в микрокомпьютере, содержащем ЦП (центральный процессор), или т.п., и может быть установлена с носителя данных или т.п.на компьютер. Кроме того, программа эхоподавления может временно или постоянно храниться (находиться в памяти) на съемном носителе данных, таком как полупроводниковое запоминающее устройство, карта памяти, оптический диск, магнитооптический диск, магнитный диск или т.п.

[0023]

На фиг. 2 представлена структурная схема, изображающая общую конфигурацию устройства 1 эхоподавления. Устройство 1 эхоподавления в основном содержит блок 11 эхокомпенсации, анализатор 12 частоты (блок FFT), блок 13 хранения частотной маски, блок 14 обнаружения одновременного разговора, эхоподавитель 15 и блок 16 восстановления (блок IFFT). На фиг. 2 верхний тракт сигнала представляет собой тракт передаваемого сигнала, через который передаются входные сигналы от микрофона 51, а нижний тракт сигнала представляет собой тракт принимаемого сигнала, через который сигналы передаются к динамику 52.

[0024]

Например, в блоке 11 эхокомпенсации для компенсации остаточного эха используется адаптивный фильтр. Блок 11 эхокомпенсации обновляет коэффициент фильтра в соответствии с данной процедурой для генерации псевдоэхосигнала из сигнала, передаваемого через тракт принимаемого сигнала, и вычитает псевдоэхосигнал из сигнала, передаваемого через тракт передаваемого сигнала, для компенсации остаточного эха. Следует отметить, что адаптивные фильтры хорошо известны и, таким образом, описание адаптивного фильтра опущено.

[0025]

Следует отметить, что в настоящем варианте осуществления к блоку 11 эхокомпенсации применяется адаптивный фильтр, но к блоку 11 эхокомпенсации может быть применена любая другая известная методика эхокомпенсации.

[0026]

Анализатор 12 частоты (блок FFT) выполняет быстрое преобразование Фурье (FFT) сигнала, передаваемого через тракт передаваемого сигнала. Блок 12 FFT обрабатывает сигнал, прошедший через блок 11 эхокомпенсации. Блок 12 FFT делит мощность, которая является средней энергией на единицу времени, на мощность в различных диапазонах частот и вычисляет спектр мощности, в котором мощность в каждом диапазоне частот выражается в зависимости от частоты.

[0027]

Спектр мощности представляет собой график, указывающий мощность в каждом диапазоне частот (частотное разрешение Δf), определяемую посредством выполнения анализа FFT в отношении мощности сигнала времени x(t), причем график указывает частоту на горизонтальной оси. В данном случае мощность представляет собой квадрат амплитуды и выражается уравнением (1).

[0028]

[Уравнение 1]

[0029]

Следует отметить, что в настоящем изобретении вместо спектра мощности можно использовать амплитудный спектр, в котором вертикальная ось указывает амплитуду, полученную путем взятия квадратного корня мощности, и в котором горизонтальная ось указывает частоту. Настоящий вариант осуществления будет описан с использованием спектра мощности, но спектр мощности в настоящем варианте осуществления можно заменить на амплитудный спектр.

[0030]

Блок 12 FFT вычисляет спектр мощности для входного сигнала (далее называемый «спектр входного сигнала») в каждый момент времени. Кроме того, вычисляется спектр мощности для обучающего сигнала (подробно описано ниже).

[0031]

Следует отметить, что в настоящем варианте осуществления блок 12 FFT выполняет анализ частоты с применением быстрого преобразования Фурье, но вместо быстрого преобразования Фурье для анализа частоты можно использовать дискретное преобразование Фурье (DFT).

[0032]

Блок 13 хранения частотной маски генерирует частотную маску на основе спектра мощности для обучающего сигнала, вычисленного блоком 12 FFT, и сохраняет сгенерированную частотную маску. Генерирование частотной маски будет подробно описано ниже. Частотная маска генерируется заранее, до того как устройство 1 эхоподавления выполнит обработку для эхоподавления.

[0033]

На фиг. 3 представлена схема, изображающая поток сигналов, в случае когда в устройстве 1 эхоподавления генерируется частотная маска. На фиг. 3 сплошные линии используются для обозначения компонентов, через которые передается сигнал, когда частотная маска сгенерирована, а пунктирные линии применяются к другим компонентам.

[0034]

Сначала, после того как адаптивный фильтр в блоке 11 эхокомпенсации завершает достаточное обучение, повторяется односторонняя речь на стороне дальнего конца (одиночный разговор), в которой звук выводится из динамика 52 и в которой на микрофон 51 подается только выходной звук от динамика 52. Сигнал, передаваемый через тракт передаваемого сигнала во время одиночного разговора, используется в качестве обучающего сигнала. В устройстве 1 эхоподавления обучающий сигнал соответствует сигналу, в котором остаточное эхо было компенсировано блоком 11 эхокомпенсации.

[0035]

Учебный сигнал является входным сигналом для блока 12 FFT. Блок 12 FFT вычисляет через регулярные промежутки времени спектр мощности для обучающего сигнала для определения множества спектров обучения. Здесь регулярные промежутки времени представляют собой предварительно заданные временные области, произвольно определенные и обозначенные как моменты времени t1, t2, t3 и т.д. На фиг. 4 представлен пример спектра обучения в момент времени t1. В дальнейшем значение на вертикальной оси в спектре мощности называют значением спектра мощности.

[0036]

Множество спектров обучения, вычисленных через соответствующие регулярные промежутки времени, вводятся в хранилище 13 частотной маски. В блоке 13 хранения частотной маски хранится входное множество спектров обучения.

[0037]

Блок 13 хранения частотной маски получает для каждого из различных диапазонов частот максимальное значение из значений входного множества спектров обучения и использует максимальное значение в качестве частотной маски. На фиг. 5 представлен пример частотной маски, в случае если введено множество спектров обучения, включая спектр обучения, показанный на фиг. 4. Блок 13 хранения частотной маски хранит частотную маску. Таким образом, частотные характеристики остаточного эха могут быть точно сохранены.

[0038]

Обратимся к фиг. 2. Блок 14 обнаружения одновременного разговора сравнивает для каждого диапазона частот значение спектра входного сигнала от блока 12 FFT со значением частотной маски, хранящейся в блоке 13 хранения частотной маски. Затем блок 14 обнаружения одновременного разговора обнаруживает на основании результатов сравнения наличие состояния одновременного разговора, при котором сигнал передается одновременно в тракт передаваемого сигнала и в тракт принимаемого сигнала. Блок 14 обнаружения одновременного разговора выполняет обработку для обнаружения того наличия состояния одновременного разговора в каждый момент времени, когда вычисляется спектр входного сигнала.

[0039]

В дальнейшем будет подробно описан способ обнаружения наличия одновременного разговора, причем способ, выполняемый блоком 14 обнаружения одновременного разговора, будет подробно описан в настоящем документе. Сначала, блок 14 обнаружения одновременного разговора сравнивает для каждого диапазона частот значение спектра входного сигнала со значением частотной маски и подсчитывает количество диапазонов частот, в которых значение спектра входного сигнала больше значения частотной маски (далее называемое «избыточное количество»). Блок 14 обнаружения одновременного разговора определяет, является ли избыточное число равным или меньшим, чем заданный порог I (соответствующий первому порогу). Следует отметить, что порог I может иметь любое значение.

[0040]

Кроме того, блок 14 обнаружения одновременного разговора получает опорный сигнал, передаваемый от сотового телефона 53 на терминал 50, и определяет уровень опорного сигнала. Опорный сигнал получают из тракта принимаемого сигнала. Блок 14 обнаружения одновременного разговора сравнивает уровень опорного сигнала с заданным порогом II (соответствующим второму порогу). Следует отметить, что порог II может иметь любое значение.

[0041]

На фиг. 6 и 7 представлены схема, схематически изображающие сравнение между значением спектра входного сигнала и значением частотной маски. На фиг. 6 и 7 сплошная линия указывает спектр входного сигнала, а пунктирная линия указывает частотную маску.

[0042]

В случае, показанном на фиг. 6, избыточное количество больше или равно порогу I (например, порогу I=3), и, таким образом, блок 14 обнаружения одновременного разговора обнаруживает, что звук подается из микрофона 51 и что сигнал передается через тракт передаваемого сигнала (имеется речь на ближнем конце).

[0043]

В случае, показанном на фиг. 7, избыточное количество меньше или равно порогу I, и, таким образом, блок 14 обнаружения одновременного разговора обнаруживает отсутствие входного звука от микрофона 51 и отсутствие сигнала, передаваемого посредством передачи (речь на ближнем конце отсутствует).

[0044]

В случае если избыточное количество меньше или равно порогу I, а уровень опорного сигнала больше или равен заданному порогу II (соответствующему второму порогу), блок 14 обнаружения одновременного разговора обнаруживает одиночный разговор, что сигнал не передается через тракт передаваемого сигнала и что сигнал передается через тракт передаваемого сигнала (имеется речь на дальнем конце), и отсутствует состояние одновременного разговора.

[0045]

Обратимся к фиг. 2. Эхоподавитель 15 выполняет обработку для эхоподавления (обработку для существенного эхоподавления) на входном сигнале, проходящем через блок 12 FFT. Эхоподавитель 15 активирует обработку для эхоподавления, в случае когда имеется одиночный разговор только с речью на дальнем конце, и когда отсутствует состояние одновременного разговора и, в противном случае, деактивирует обработку для эхоподавления. Обработка для эхоподавления хорошо известна, и, таким образом, подробное описание обработки опущено.

[0046]

Результатом обнаружения наличия состояния одновременного разговора является ввод от блока 14 обнаружения одновременного разговора на эхоподавитель 15 в каждый момент времени. Таким образом, эхоподавитель 15 переключается между активацией и деактивацией обработки для эхоподавления в каждый момент времени.

[0047]

Блок 16 восстановления (блок IFFT) выполняет обратное быстрое преобразование Фурье (IFFT, обратное FFT) на входном сигнале, проходящем через блок 12 FFT. Следует отметить, что блок 16 восстановления (блок IFFT) может использовать обратное дискретное преобразование Фурье (IDFT) вместо IFFT.

[0048]

В соответствии с настоящим вариантом осуществления делается акцент на разности частотных характеристик между входным сигналом, основанным на речи на ближнем конце, и остаточным эхом, возникающим в результате речи на дальнем конце. Частотные характеристики остаточного эха хранятся в виде частотной маски, а частотные характеристики входного сигнала сравниваются с частотной маской для точного обнаружения состояния одновременного разговора. При отсутствии состояния одновременного разговора обработка для эхоподавления активируется, чтобы обеспечить надежное эхоподавление без ухудшения голосового сигнала на ближнем конце (голосового входного сигнала от микрофона 51).

[0049]

Например, при использовании известного способа для определения того, соответствует ли сигнал голосовому сигналу на ближнем конце или остаточному эху на основе мощности голосового сигнала, существует проблема, заключающаяся в том, что определение наличия одновременного разговора является сложным, в случае когда остаточное эхо имеет более высокую мощность, чем входной сигнал. В отличие от этого, в настоящем варианте осуществления использование частотных характеристик позволяет обнаружить наличие состояния одновременного разговора, даже в случае когда остаточное эхо имеет более высокую мощность, чем входной сигнал.

[0050]

Кроме того, в соответствии с настоящим вариантом осуществления блок 12 FFT использует обучающий сигнал, в котором остаточное эхо было компенсировано блоком 11 эхокомпенсации для генерирования частотной маски, и, таким образом, состояние одновременного разговора можно точно обнаружить даже в тех случаях, когда входной сигнал мал. Блок 11 эхокомпенсации компенсирует остаточное эхо и не воздействует на входной сигнал. Таким образом, генерирование частотной маски с использованием обучающего сигнала, в котором остаточное эхо было компенсировано блоком 11 эхокомпенсации, приводит к уменьшению значения частотной маски. Соответственно, даже при малом входном сигнале, значение спектра входного сигнала, вероятно, будет больше значения частотной маски, что позволяет блоку 14 обнаружения одновременного разговора более точно обнаруживать наличие речи на ближнем конце.

[0051]

Второй вариант осуществления

Первый вариант осуществления настоящего изобретения включает в себя блок 11 эхокомпенсации, но блок 11 эхокомпенсации не является критически необходимым. Второй вариант осуществления имеет конфигурацию, не включающую в себя блок 11 эхокомпенсации. Далее будет описано устройство 2 эхоподавления в соответствии со вторым вариантом осуществления. Следует отметить, что те же компоненты, что и в устройстве 1 эхоподавления в соответствии с первым вариантом осуществления, обозначены одними и теми же номерами позиций, и описание этих компонентов опущено.

[0052]

На фиг. 8 представлена структурная схема, изображающая общую конфигурацию устройства 2 эхоподавления. Устройство 2 эхоподавления в основном содержит блок 12 FFT, блок 13 хранения частотной маски, блок 14 обнаружения одновременного разговора, эхоподавитель 15 и блок 16 IFFT.

[0053]

Устройство 2 эхоподавления не содержит блок 11 эхокомпенсации, и, таким образом, в качестве обучающего сигнала используется сигнал, передаваемый через тракт принимаемого сигнала во время одиночного разговора (сигнал, в котором не было компенсировано остаточное эхо). Блок 12 FFT генерирует частотную маску на основе спектра мощности (или амплитудного спектра) для обучающего сигнала, в котором остаточное эхо не было компенсировано, и хранит частотную маску.

[0054]

Даже при наличии обучающего сигнала, в котором остаточное эхо не было компенсировано, как описано выше, частотные характеристики входного сигнала сравниваются с частотной маской, чтобы обеспечить точное обнаружение состояния одновременного разговора. Однако для точного обнаружения состояния одновременного разговора даже при малом входном сигнале желательно сгенерировать частотную маску с помощью обучающего сигнала, прошедшего через блок 11 эхокомпенсации.

[0055]

Третий вариант осуществления

Третий вариант осуществления имеет конфигурацию, в которой для каждого диапазона частот обнаруживается состояние одновременного разговора. Далее будет описано устройство 3 эхоподавления в соответствии с третьим вариантом осуществления. Следует отметить, что те же компоненты, что и в устройстве 1 эхоподавления в соответствии с первым вариантом осуществления, обозначены одними и теми же номерами позиций, и описание этих компонентов будет опущено. В настоящем варианте осуществления, как и в случае с устройством 1 эхоподавления в соответствии с первым вариантом осуществления, спектр мощности может быть заменен на амплитудный спектр.

[0056]

На фиг. 9 представлена структурная схема, изображающая общую конфигурацию устройства 3 эхоподавления. Устройство 3 эхоподавления в основном содержит блок 11 эхокомпенсации, блок 12 FFT, блок 13 хранения частотной маски, блок 14A обнаружения одновременного разговора, эхоподавитель 15A и блок 16 IFFT. На фиг. 9 верхний тракт сигнала представляет собой тракт передаваемого сигнала, а нижний тракт сигнала представляет собой тракт принимаемого сигнала.

[0057]

Блок 14A обнаружения одновременного разговора обнаруживает для каждого диапазона частот наличие состояния одновременного разговора. Следует отметить, что блок 14A обнаружения одновременного разговора выполняет обработку для обнаружения наличия состояния одновременного разговора в каждый момент времени, когда вычисляется спектр входного сигнала.

[0058]

В дальнейшем будет подробно описан способ обнаружения наличия одновременного разговора, причем способ, выполняемый блоком 14A обнаружения одновременного разговора, будет подробно описан в настоящем документе. Сначала, блок 14A обнаружения одновременного разговора сравнивает для каждого диапазона частот значение спектра входного сигнала от блока 12 FFT со значением частотной маски, хранящейся в блоке 13 хранения частотной маски.

[0059]

Кроме того, блок 14A обнаружения одновременного разговора получает опорный сигнал, передаваемый от сотового телефона 53 на терминал, и определяет уровень опорного сигнала. Блок 14A обнаружения одновременного разговора сравнивает уровень опорного сигнала с порогом II.

[0060]

Затем для диапазонов частот, в которых значение спектра входного сигнала не превышает значение частотной маски, блок 14A обнаружения одновременного разговора обнаруживает, что имеется одиночный разговор только с речью на дальнем конце и что одновременный разговор отсутствует, в случае когда уровень опорного сигнала выше или равен порогу II.

[0061]

На фиг. 10 представлена схема, схематически изображающая сравнение между значением спектра входного сигнала и значением частотной маски, в случае когда уровень опорного сигнала выше или равен порогу II. На фиг. 10 сплошная линия указывает спектр входного сигнала, а пунктирная линия указывает частотную маску.

[0062]

В диапазонах частот, обведенных сплошными линиями на фиг. 10, значение спектра входного сигнала больше значения частотной маски. Таким образом, для данных диапазонов частот блок 14A обнаружения одновременного разговора обнаруживает, что имеется речь на дальнем конце, а также имеется речь на ближнем конце, т.е. имеется состояние одновременного разговора.

[0063]

Напротив, в диапазонах частот, обведенных пунктирными линиями на фиг. 10, значение спектра входного сигнала не превышает значение частотной маски. Таким образом, для этого диапазона частот блок 14A обнаружения одновременного разговора обнаруживает, что имеется речь на дальнем конце, при этом речь на ближнем конце отсутствует, и что имеется одиночный разговор только с речью на дальнем конце и без речи на ближнем конце, т.е. обнаруживает отсутствие состояния одновременного разговора.

[0064]

Обратимся к фиг. 9. Эхоподавитель 15A выполняет обработку для эхоподавления (обработку для существенного эхоподавления) на входном сигнале, проходящем через блок 12 FFT. Эхоподавитель 15A активирует обработку для эхоподавления для диапазонов частот, в которых был обнаружен одиночный разговор только с речью на дальнем конце, и деактивирует обработку для эхоподавления для других диапазонов частот. Эхоподавитель 15A переключается между активацией и деактивацией обработки для эхоподавления в каждую единицу времени.

[0065]

В соответствии с настоящим вариантом осуществления состояние одновременного разговора можно точно обнаружить для каждого диапазона частот, и для каждого диапазона частот можно активировать обработку для эхоподавления.

[0066]

Четвертый вариант осуществления

Четвертый вариант осуществления имеет конфигурацию с использованием частотных характеристик опорного сигнала для обнаружения состояния одновременного разговора. Далее будет описано устройство 4 эхоподавления в соответствии с четвертым вариантом осуществления. Следует отметить, что те же компоненты, что и в устройствах 1-3 эхоподавления в соответствии с вариантами осуществления с первого по третий, обозначены одними и теми же номерами позиций, и описание этих компонентов опущено. В настоящем варианте осуществления, как и в случае с устройством 1 эхоподавления в соответствии с первым вариантом осуществления, спектр мощности может быть заменен на амплитудный спектр.

[0067]

На фиг. 11 представлена структурная схема, изображающая общую конфигурацию устройства 4 эхоподавления. Устройство 4 эхоподавления в основном содержит блок 11 эхокомпенсации, блоки 12 и 17 FFT, блок 13 хранения частотной маски, блок 14B обнаружения одновременного разговора, эхоподавитель 15 и блок 16 IFFT. На фиг. 11 верхний тракт сигнала представляет собой тракт передаваемого сигнала, а нижний тракт сигнала представляет собой тракт принимаемого сигнала.

[0068]

Блок 17 FFT выполняет быстрое преобразование Фурье опорного сигнала, передаваемого через тракт принимаемого сигнала, и вычисляет спектр мощности для опорного сигнала (далее называемый «спектр опорного сигнала») в каждый момент времени.

[0069]

Блок 14B обнаружения одновременного разговора обнаруживает наличие состояния одновременного разговора на основании спектра входного сигнала и частотной маски. Блок 14B обнаружения одновременного разговора выполняет обработку для обнаружения наличия состояния одновременного разговора в каждый момент времени, когда вычисляется спектр входного сигнала и спектр опорного сигнала.

[0070]

В дальнейшем будет подробно описан способ обнаружения наличия одновременного разговора, причем способ, выполняемый блоком 14B обнаружения, будет подробно описан в настоящем документе. Сначала, блок 14B обнаружения одновременного разговора сравнивает для каждого диапазона частот значение спектра входного сигнала от блока 12 FFT со значением частотной маски, хранящейся в блоке 13 хранения частотной маски, и подсчитывает количество (избыточное количество) диапазонов частот, в которых значение спектра входного сигнала больше значения частотной маски.

[0071]

Кроме того, блок 14B обнаружения одновременного разговора сравнивает спектр опорного сигнала, полученный от блока 17 FFT, с заданным порогом III (соответствующим третьему порогу). Следует отметить, что порог III может иметь любое значение.

[0072]

Затем блок 14B обнаружения одновременного разговора обнаруживает, что речь на ближнем конце отсутствует, но имеется одиночный разговор только с речью на дальнем конце, и что отсутствует одновременный разговор, в случае когда избыточное количество меньше или равно порогу I и когда присутствует диапазон частот, в котором значение спектра опорного сигнала больше порога III.

[0073]

На фиг. 12 представлена схема, схематически изображающая сравнение между значением спектра входного сигнала и значением частотной маски, и сравнение между спектром опорного сигнала и порогом III. На фиг. 12 сплошная линия указывает спектр входного сигнала, а пунктирная линия указывает частотную маску. Кроме того, на фиг. 12 толстая сплошная линия указывает спектр опорного сигнала, а толстая пунктирная линия указывает порог III.

[0074]

В случае, показанном на фиг. 12, избыточное количество меньше или равно порогу I (например, 3). Таким образом, блок 14B обнаружения одновременного разговора обнаруживает, что речь на ближнем конце отсутствует. Кроме того, в случае, показанном на фиг. 12, присутствует диапазон частот, в котором значение спектра опорного сигнала больше порога III. Таким образом, блок 14B обнаружения одновременного разговора обнаруживает, что имеется речь на дальнем конце. Другими словами, в случае, показанном на фиг. 12, блок 14B обнаружения одновременного разговора обнаруживает, что имеется одиночный разговор только с речью на дальнем конце.

[0075]

Обратимся к фиг. 11. Эхоподавитель 15 активирует обработку для эхоподавления для всех диапазонов частот входного сигнала, прошедшего через блок 12 FFT, в случае когда имеется одиночный разговор только с речью на дальнем конце, и когда отсутствует состояние одновременного разговора и, в противном случае, деактивирует процесс эхоподавления.

[0076]

В соответствии с настоящим вариантом осуществления за счет обнаружения наличия или отсутствия речи на дальнем конце на основе спектра опорного сигнала, можно более точно обнаружить состояние одновременного разговора.

[0077]

Пятый вариант осуществления

Пятый вариант осуществления имеет конфигурацию, в которой для каждого диапазона частот обнаруживается состояние одновременного разговора. Далее будет описано устройство 5 эхоподавления в соответствии с пятым вариантом осуществления. Следует отметить, что те же компоненты, что и в устройствах 1-4 эхоподавления в соответствии с вариантами осуществления с первого по четвертый, обозначены одними и теми же номерами позиций, и описание этих компонентов опущено. В настоящем варианте осуществления, как и в случае с устройством 1 эхоподавления в соответствии с первым вариантом осуществления, спектр мощности может быть заменен на амплитудный спектр.

[0078]

На фиг. 13 представлена структурная схема, изображающая общую конфигурацию устройства 5 эхоподавления. Устройство 5 эхоподавления в основном содержит блок 11 эхокомпенсации, блоки 12 и 17 FFT, блок 13 хранения частотной маски, блок 14C обнаружения одновременного разговора, эхоподавитель 15A и блок 16 IFFT. На фиг. 13 верхний тракт сигнала представляет собой тракт передаваемого сигнала, а нижний тракт сигнала представляет собой тракт принимаемого сигнала.

[0079]

Блок 14C обнаружения одновременного разговора обнаруживает для каждого диапазона частот наличия состояния одновременного разговора на основании спектра входного сигнала и частотной маски. Блок 14C обнаружения одновременного разговора выполняет обработку для обнаружения наличия состояния одновременного разговора в каждый момент времени, когда вычисляется спектр входного сигнала и спектр опорного сигнала.

[0080]

В дальнейшем будет подробно описан способ обнаружения наличия одновременного разговора, причем способ, выполняемый блоком 14C обнаружения одновременного разговора, будет подробно описан в настоящем документе. Сначала, блок 14C обнаружения одновременного разговора сравнивает для каждого диапазона частот значение спектра входного сигнала от блока 12 FFT со значением частотной маски, хранящейся в блоке 13 хранения частотной маски. Кроме того, блок 14C обнаружения одновременного разговора сравнивает значение спектра входного сигнала, полученного от блока 17 FFT, с порогом III.

[0081]

Затем для диапазонов частот, в которых значение спектра входного сигнала не превышает значение частотной маски, блок 14C обнаружения одновременного разговора обнаруживает, что имеется одиночный разговор только с речью на дальнем конце и что одновременный разговор отсутствует, в случае когда значение спектра опорного сигнала больше или равно порогу III.

[0082]

На фиг. 14 представлена схема, схематически изображающая сравнение между значением спектра входного сигнала и значением частотной маски; и сравнение между спектром опорного сигнала и порогом III. На фиг. 14 сплошная линия указывает спектр входного сигнала, а пунктирная линия указывает частотную маску. На фиг. 14 толстая сплошная линия указывает спектр опорного сигнала, а толстая пунктирная линия указывает порог III.

[0083]

На фиг. 14 в диапазонах частот, обведенных сплошными линиями и заштрихованными, значение спектра входного сигнала больше значения частотной маски. Таким образом, для этих диапазонов частот блок 14A обнаружения одновременного разговора обнаруживает, что речь на ближнем конце отсутствует.

[0084]

На фиг. 14 диапазон частот, окруженный сплошной отметкой в сплошной линии, не превышает значение частотной маски. Однако в этих диапазонах частот значение спектра опорного сигнала не превышает порог III. Таким образом, для этого диапазона частот блок 14A обнаружения одновременного разговора обнаруживает, что отсутствует как речь на ближнем конце, так и речь на дальнем конце.

[0085]

Напротив, в диапазонах частот, обведенных пунктирными линиями на фиг. 14, значение спектра входного сигнала не превышает значение частотной маски, а значение спектра опорного сигнала больше или равно порогу III. Таким образом, блок 14A обнаружения одновременного разговора обнаруживает, что имеется одиночный разговор только с речью на дальнем конце и что состояние одновременного разговора отсутствует.

[0086]

Обратимся к фиг. 13. Эхоподавитель 15A активирует обработку для эхоподавления для диапазонов частот, в которых обнаружен одиночный разговор только с речью на дальнем конце и, в противном случае, деактивирует обработку для эхоподавления.

[0087]

В соответствии с настоящим вариантом осуществления состояние одновременного разговора можно точно обнаружить для каждого диапазона частот, и для каждого диапазона частот можно активировать обработку для эхоподавления.

[0088]

Варианты осуществления настоящего изобретения подробно описаны со ссылкой на прилагаемые графические материалы. Однако конкретные конфигурации не ограничиваются вариантами осуществления, и изменения в конструкции или т.п.также включены в объем, который не отходит от сущности настоящего изобретения.

Список ссылочных позиций

[0089]

1, 2, 3, 4, 5: Устройство эхоподавления

11: Блок эхокомпенсации

12, 17: Анализатор частоты (блок FFT)

13: Блок хранения частотной маски

14, 14A, 14B, 14C: Блок обнаружения одновременного разговора

15, 15A: Эхоподавитель

16: Блок восстановления (блок IFFT)

50: Терминал

51: Микрофон

52: Динамик

53, 54: Сотовый телефон

55: Усилитель динамика

100: Система голосовой связи

Настоящее изобретение относится к устройству эхоподавления, способу эхоподавления и программе эхоподавления. Когда звук выводится из динамика и на микрофон подается только выходной звук, для каждого диапазона частот проводится сравнение для каждого из различных диапазонов частот между частотной маской, сгенерированной на основании спектра мощности или амплитудного спектра для обучающего сигнала, передаваемого через тракт передаваемого сигнала, и значением спектра мощности или амплитудного спектра для входного сигнала от микрофона для обнаружения наличия состояния одновременного разговора. В случае обнаружения того, что сигнал не передается через тракт передаваемого сигнала и что сигнал передается через тракт принимаемого сигнала, эхоподавитель применяется для выполнения обработки для эхоподавления во входном сигнале. Техническим результатом является обеспечение возможности точного обнаружения состояния одновременного разговора и эффективного подавления эха на основании результата обнаружения. 3 н. и 6 з.п. ф-лы, 14 ил.

1. Устройство эхоподавления, предусмотренное в тракте передаваемого сигнала, через который передается входной сигнал от микрофона терминала ближнего конца, содержащего динамик и микрофон, причем устройство эхоподавления содержит:

блок хранения частотной маски, хранящий частотную маску, генерируемую на основании спектра мощности или амплитудного спектра для обучающего сигнала, переданного через тракт передаваемого сигнала, когда звук выводится из динамика, и на микрофон подается только выходной звук;

первый блок вычисления спектра, вычисляющий спектр входного сигнала, который представляет собой спектр мощности или амплитудный спектр для входного сигнала от микрофона;

блок обнаружения одновременного разговора, обнаруживающий наличие состояния одновременного разговора, в котором сигнал передается одновременно в тракт передаваемого сигнала и в тракт принимаемого сигнала, через который сигнал передается в динамик, на основании результата сравнения между значением спектра входного сигнала и значением частотной маски для каждого из различных диапазонов частот; и

эхоподавитель, выполняющий обработку для эхоподавления во входном сигнале, в случае если блок обнаружения одновременного разговора обнаруживает, что сигнал не передается через тракт передаваемого сигнала и что сигнал передается через тракт принимаемого сигнала.

2. Устройство эхоподавления по п. 1, дополнительно содержащее блок эхокомпенсации, компенсирующий остаточное эхо, причем

частотная маска генерируется на основании спектра мощности или амплитудного спектра для обучающего сигнала, в котором остаточное эхо было компенсировано блоком эхокомпенсации, и

первый блок вычисления спектра вычисляет в качестве спектра входного сигнала спектр мощности или амплитудный спектр для входного сигнала, в котором остаточное эхо было компенсировано блоком эхокомпенсации.

3. Устройство эхоподавления по п. 1 или 2, отличающееся тем, что

первый блок вычисления спектра вычисляет через регулярные промежутки времени спектр мощности или амплитудный спектр для обучающего сигнала для определения множества спектров обучения, и

блок хранения частотной маски получает для каждого диапазона частот максимальное значение из значений множества спектров обучения и назначает максимальное значение в качестве частотной маски.

4. Устройство эхоподавления по любому из пп. 1-3, отличающееся тем, что

блок обнаружения одновременного разговора сравнивает второй порог с уровнем опорного сигнала, передаваемого через тракт принимаемого сигнала, подсчитывает избыточное количество, которое представляет собой количество диапазонов частот, в которых значение спектра входного сигнала больше значения частотной маски, и обнаруживает, что сигнал не передается через тракт передаваемого сигнала и что сигнал передается через тракт принимаемого сигнала, в случае если избыточное количество меньше или равно первому порогу и уровень опорного сигнала выше или равен второму порогу.

5. Устройство эхоподавления по любому из пп. 1-3, отличающееся тем, что

блок обнаружения одновременного разговора сравнивает второй порог с уровнем опорного сигнала, передаваемого через тракт принимаемого сигнала, и обнаруживает, что сигнал не передается через тракт передаваемого сигнала и что сигнал передается через тракт принимаемого сигнала, в случае если для диапазонов частот, в которых значение спектра входного сигнала не больше значения частотной маски, уровень опорного сигнала выше или равен второму порогу.

6. Устройство эхоподавления по любому из пп. 1-3, дополнительно содержащее второй блок вычисления спектра, вычисляющий спектр опорного сигнала, который представляет собой спектр мощности или амплитудный спектр опорного сигнала, передаваемого через тракт принимаемого сигнала, причем

блок обнаружения одновременного разговора сравнивает значение спектра опорного сигнала с третьим порогом, подсчитывает избыточное количество, которое представляет собой количество диапазонов частот, в которых значение спектра входного сигнала больше значения частотной маски, и обнаруживает, что сигнал не передается через тракт передаваемого сигнала и что сигнал передается через тракт принимаемого сигнала, в случае если избыточное количество меньше или равно первому порогу и если имеется диапазон частот, в котором значение спектра опорного сигнала больше третьего порога.

7. Устройство эхоподавления по любому из пп. 1-3, дополнительно содержащее второй блок вычисления спектра, вычисляющий спектр опорного сигнала, который представляет собой спектр мощности или амплитудный спектр опорного сигнала, передаваемого через тракт принимаемого сигнала, причем

блок обнаружения одновременного разговора сравнивает значение спектра опорного сигнала с третьим порогом, и для диапазона частот, в котором значение спектра входного сигнала меньше значения частотной маски и в котором значение спектра входного сигнала не больше значения частотной маски, обнаруживает, что сигнал не передается через тракт передаваемого сигнала и что сигнал передается через тракт принимаемого сигнала.

8. Способ эхоподавления, включающий этапы:

генерирования частотной маски на основании спектра мощности или амплитудного спектра для обучающего сигнала, передаваемого через тракт передаваемого сигнала, через который передается входной сигнал от микрофона, и сохранения сгенерированной частотной маски, когда звук выводится из динамика терминала ближнего конца и только выходной звук подается на микрофон терминала ближнего конца;

вычисления спектра входного сигнала, который представляет собой спектр мощности или амплитудный спектр для входного сигнала от микрофона;

сравнения для каждого из различных диапазонов частот значения вычисленного спектра входного сигнала со значением сохраненной частотной маски для обнаружения наличия состояния одновременного разговора, в котором сигнал одновременно передается в тракт передаваемого сигнала, через который передается входной сигнал от микрофона, и в тракт принимаемого сигнала, через который сигнал передается в динамик; и

выполнения обработки для эхоподавления в целях эхоподавления во входном сигнале, в случае обнаружения того, что сигнал не передается через тракт передаваемого сигнала и что сигнал передается через тракт принимаемого сигнала.

9. Носитель данных, содержащий программу эхоподавления, предусмотренную в тракте передаваемого сигнала, через который передается входной сигнал от микрофона терминала ближнего конца, содержащего динамик и микрофон, причем программа заставляет компьютер функционировать как:

блок хранения частотной маски, хранящий частотную маску, генерируемую на основании спектра мощности или амплитудного спектра для обучающего сигнала, переданного через тракт передаваемого сигнала, когда звук выводится из динамика, и на микрофон подается только выходной звук;

первый блок вычисления спектра, вычисляющий спектр входного сигнала, который представляет собой спектр мощности или амплитудный спектр для входного сигнала от микрофона;

блок обнаружения одновременного разговора, обнаруживающий наличие состояния одновременного разговора, в котором сигнал передается одновременно в тракт передаваемого сигнала и в тракт принимаемого сигнала, через который сигнал передается в динамик, на основании результата сравнения между значением спектра входного сигнала и значением частотной маски для каждого из различных диапазонов частот; и

эхоподавитель, выполняющий обработку для эхоподавления во входном сигнале, в случае если блок обнаружения одновременного разговора обнаруживает, что сигнал не передается через тракт передаваемого сигнала и что сигнал передается через тракт принимаемого сигнала.