ЗВУКОЗАПИСЬ С ИСПОЛЬЗОВАНИЕМ ФОРМИРОВАНИЯ ДИАГРАММЫ НАПРАВЛЕННОСТИ Российский патент 2021 года по МПК H04R3/00 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к звукозаписи с использованием формирования диаграммы направленности и, в частности, но не исключительно, к записи речи с использованием формирования диаграммы направленности.

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Звукозапись, и, в частности, запись речи, становилась все более и более важной в последние десятилетия. Действительно, звукозапись стала в большей степени важной применительно к многообразию применений, в том числе, дистанционной связи, телеконференцсвязи, играм, речевым интерфейсам пользователя, и т.д. Однако проблема во многих сценариях и применениях состоит в том, что желательный источник речи типично не является единственным источником звука в окружающей среде. Скорее, в типичных акустических средах, есть много других источников звука/шума, которые захватываются микрофоном. Одна из критических проблем, стоящих перед многими применениями звукозаписи, состоит в том, каким образом лучше всего выделять речь из шумной окружающей среды. Для того чтобы принять меры в ответ на эту проблему, было предложено некоторое количество разных подходов для подавления шумов.

Действительно, исследования в области систем громкой телефонной связи являются предметом обсуждения, который десятилетиями привлекал большой интерес. Первые имеющиеся в распоряжении коммерческие системы сосредотачивались на профессиональных системах (видео) конференцсвязи в средах с низким фоновым шумом и низким временем реверберации. Было обнаружено, что особенно полезным подходом для идентификации и выделения желательных источников звука, например, таких как желательный докладчик, является использование формирования диаграммы направленности на основании сигналов с микрофонной решетки. Изначально часто использовалась микрофонная решетка с фокусированной неподвижной диаграммой направленности, но позже более популярным стало использование адаптивных диаграмм направленности.

Во второй половине 1990–х начали выпускаться системы громкой связи для мобильных телефонов. Подразумевалось, что они должны использоваться в многих разных средах, в том числе, реверберирующих помещениях и при (более) высоких уровнях фонового шума. Такие акустические среды предусматривают существенно более трудные задачи и, в частности, могут осложнять или ухудшать адаптацию сформированной диаграммы направленности.

Сначала исследования в области записи применительно к таким средам сосредотачивались на ослаблении эхо, а позже на подавлении шумов. Пример системы звукозаписи, основанной на формировании диаграммы направленности, проиллюстрирован на фиг. 1. В примере решетка из множества микрофонов 101 подсоединена к формирователю 103 диаграммы направленности, который вырабатывает сигнал z(n) источника звука и один или более шумовых опорных сигналов x(n).

Микрофонная решетка 101 в некоторых вариантах осуществления может содержать только два микрофона, но типично будет содержать большее количество.

Формирователь 103 диаграммы направленности, более точно, может быть адаптивным формирователем диаграммы направленности, в котором одна диаграмма направленности может быть направлена на источник речи с использованием пригодного алгоритма адаптации.

Например, US 7146012 и US 7602926 раскрывает примеры адаптивных формирователей диаграммы направленности, которые фокусируются на речи, но также выдает опорный сигнал, который (почти) не содержит в себе речь.

Формирователь диаграммы направленности создает улучшенный выходной сигнал, z(n), когерентно добавляя желательную часть сигналов с микрофонов посредством фильтрации принятых сигналов в прямых согласующих фильтрах и добавления отфильтрованных выходных сигналов. К тому же, выходной сигнал фильтруется в обратных адаптивных фильтрах, имеющих характеристики фильтра, сопряженные с прямыми фильтрами (в частотной области, соответствующей обращенным по времени импульсным характеристикам во временной области). Сигналы ошибки вырабатываются в качестве разности между входными сигналами и выходными сигналами обратных адаптивных фильтров, и коэффициенты фильтров адаптируются, чтобы минимизировать сигналы ошибки, тем самым давая в результате звуковую диаграмму направленности, управляемую в направлении преобладающего сигнала. Сформированные сигналы x(n) ошибки могут рассматриваться в качестве шумовых опорных сигналов, которые особенно пригодны для выполнения дополнительного ослабления шума над улучшенным выходным сигналом z(n).

Первичный сигнал z(n) и опорный сигнал x(n) типично оба загрязнены шумом. В том случае, если шум в двух сигналах когерентен (например, когда есть создающий помехи точечный источник шума), адаптивный фильтр 105 может использоваться для ослабления когерентного шума.

С этой целью, шумовой опорный сигнал x(n) привязан ко входу адаптивного фильтра 105 с выходом, вычитаемым из сигнала z(n) источника звука для формирования компенсированного сигнала r(n). Адаптивный фильтр 105 приспособлен минимизировать мощность компенсированного сигнала r(n), типично, когда желательный источник звука не активен (например, когда нет речи), и это дает в результате подавление когерентного шума.

Компенсированный сигнал подается в постпроцессор 107, который выполняет ослабление шума над компенсированным сигналом r(n) на основании шумового опорного сигнала x(n). Более точно, постпроцессор 107 преобразует компенсированный сигнал r(n) и шумовой опорный сигнал x(n) в частотную область с использованием оконного преобразования Фурье. Затем, он, применительно к каждому элементу разрешения по частоте, модифицирует амплитуду R(ω), вычитая масштабированный вариант амплитудного спектра X(ω). Получающийся в результате комплексный спектр преобразуется обратно во временную область, чтобы давать выходной сигнал q(n), в котором был подавлен шум. Эта технология спектрального вычитания впервые была описана в S.F. Boll, «Suppression of Acoustic Noise in Speech using Spectral Subtraction» («Подавление акустического шума в речи с использованием спектрального вычитания»), IEEE Trans. Acoustics, Speech and Signal Processing, vol. 27, pp. 113–120, Apr. 1979.

Конкретный пример подавления шума на основании относительных энергий сигнала источника звука и шумового опорного сигнала на отдельных время–частотных элементах разбиения описан в WO 2015139938 A.

В многих сценариях и применениях желательно быть способным выявлять наличие точечного источника звука в сигнале, захваченном формирователем диаграммы направленности. Например, в системе речевого управления, может быть желательно пытаться выявлять речевые команды только в течение моментов времени, когда фактически захватывается докладчик. В качестве еще одного примера, может быть желательно определять оценку шума, измеряя записываемый сигнал в течение моментов времени, когда речь отсутствует.

Таким образом, был бы крайне желателен надежный детектор точечного источника звука для формирователя диаграммы направленности. Различные алгоритмы выявления точечного источника звука были предложены в прошлом, но таковые имеют тенденцию быть разработанными для ситуаций, где точечный источник звука близок к микрофонной решетке, и где отношение сигнал/шум является высоким. В частности, они имеют тенденцию быть направленными на сценарии, в которых прямой тракт (и возможно ранние отражения) преобладают как над поздними отражениями, так и над шлейфом сигнала реверберации, и, в самом деле, над шумом из других источников (в том числе, рассеянным фоновым шумом).

Как следствие, такие подходы к выявлению точечного источника звука имеют тенденцию быть субоптимальными в средах, где эти допущения не удовлетворены, и действительно имеют тенденцию давать субоптимальные рабочие характеристики для многих применениях в реально жизни.

Действительно, звукозапись вообще и процессы, такие как повышение разборчивости речи (формирование диаграммы направленности, подавление реверберации, подавление шума) применительно к источникам за пределами радиуса реверберации, в частности, трудно выполнять удовлетворительно вследствие малости энергии прямого поля из источника в устройство по сравнению с энергией отраженной речи и акустического фонового шума.

Во многих системах звукозаписи, может применяться множество формирователей диаграммы направленности, которые могут независимо адаптироваться под источники звука. Например, для того чтобы отслеживать двух разных докладчиков в акустической среде, устройство звукозаписи может включать в себя два независимо адаптивных формирователя диаграммы направленности.

Действительно, хотя система по фиг. 1 обеспечивает очень эффективное функционирование и полезное действие в многих сценариях, она оптимальна не во всех сценариях. Действительно, тогда как многие традиционные системы, в том числе, пример по фиг. 1, обеспечивают очень хорошие рабочие характеристики, когда желательный источник звука/докладчик находится в пределах радиуса реверберации микрофонной решетки, то есть, для применений, где энергия прямой волны желательного источника звука (предпочтительно значительно) мощнее энергии отражений желательного источника звука, они имеют тенденцию давать менее оптимальные результаты, когда это не так. В типичных средах, было обнаружено, что докладчик типично должен находиться в пределах 1–1,5 метра от микрофонной решетки.

Однако есть сильное стремление к основанным на звукозаписи решениям, приложениям и системам громкой связи, где пользователь может находиться на больших расстояниях от микрофонной решетки. Это, например, желательно как для многих систем и приложений связи, так и для многих систем и приложений речевого управления. Системы, обеспечивающие улучшение речи, в том числе, подавление реверберации и подавление шума для таких ситуаций, находятся в области техники, упоминаемой как суперсистемы громкой связи.

Подробнее, когда дело касается дополнительного рассеянного шума и желательного докладчика вне радиуса реверберации, могут возникать следующие проблемы.

• Формирователь диаграммы направленности часто может иметь проблемы с проведением различия между эхом желательной речи и рассеянным фоновым шумом, давая в результате искажение речи.

• Адаптивный формирователь диаграммы направленности может медленнее сходиться по направлению к желательному докладчику. В течение времени, когда адаптивная диаграмма направленности еще не сошлась, будет потеря речи в опорном сигнале, давая в результате искажение речи в том случае, если этот опорный сигнал используется для нестационарного подавления и нейтрализации шума. Проблема возрастает, когда есть большее количество желательных источников, которые говорят один за другим.

Решение для обращения с более медленно сходящимися адаптивными фильтрами (вследствие фонового шума) состоит в том, чтобы дополнять их некоторым количеством неподвижных диаграмм направленности, нацеливаемых в разных направлениях, как проиллюстрировано на фиг. 2. Однако этот подход особенно развит применительно к сценариям, в которых желательный источник звука присутствует в пределах радиуса реверберации. Он может быть менее эффективным для источников звука за пределами радиуса реверберации и часто может приводить к ненадежным решениям в таких случаях, особенно если также есть акустический рассеянный фоновый шум.

Использование многочисленных взаимодействующих формирователей диаграммы направленности для улучшения рабочих характеристик применительно к не преобладающим источникам в зашумленных реверберирующих средах может улучшать рабочие характеристики в многих сценариях и системах. Однако, во многих системах, взаимодействие между формирователями диаграммы направленности включает в себя выявление, присутствуют ли точечные источники звука в отдельных диаграммах направленности. Как упомянуто ранее, это является очень сложной проблемой в многих реальных системах.

Например, типичные выявления предшествующего уровня техники основаны на сравнениях мощности выходных сигналов соответственных формирователей диаграммы направленности. Однако, этот подход обычно претерпевает неудачу применительно к источникам, которые находятся вне радиуса реверберации, и/или в тех случаях, когда отношение сигнал/шум является слишком низким.

Более точно, что касается систем с многочисленными формами диаграммы направленности, предложенный подход должен реализовать контроллер, который пользуется оценками мощностей выходных сигналов соответственных диаграмм направленности, чтобы выбирать одну диаграмму направленности для использования. Более точно, выбирается диаграмма направленности с наибольшей выходной мощностью.

Если желательный докладчик находится в пределах радиуса реверберации микрофонной решетки, то разность выходной мощности разных диаграмм направленности (нацеленных в разных направлениях) будет иметь тенденцию иметь большее значение и, соответственно, могут быть реализованы надежные детекторы, которые к тому же проводят различие ситуаций с действующими докладчиками от ситуации только с шумом. Например, максимальная мощность может сравниваться с усредненной мощностью выходных сигналов всех формирователей диаграммы направленности, и речь может считаться выявленной, если эта разность является достаточно высокой.

Однако, если желательный докладчик находится а большем расстоянии и, в особенности, вне радиуса реверберации, начинают возникать проблемы.

Например, поскольку энергии (поздних) отражений становятся преобладающими, мощности выходных сигналов всех формирователей диаграммы направленности будут начинать приближаться друг к другу, а отношение максимальной мощности и усредненной мощности приближается к единице. Это будет делать выявление, основанное на таком параметре, менее надежным и, конечно, будет делать его непрактичным во многих ситуациях.

К тому же, поскольку желательный докладчик находится на большем расстоянии от решетки, отношение сигнал/шум (SNR) убывает, и это будет дополнительно обострять проблемы, описанные выше. Что касается рассеянного шума, ожидаемое значение мощностей на микрофонах будет равным. Однако, мгновенно, будут различия. Это затрудняет реализацию устойчивого к ошибками и быстрого блока оценки речи.

Отсюда, был бы полезен улучшенный подход звукозаписи и, в частности, был бы полезен подход, обеспечивающий улучшенные выявление/оценку точечного источника звука. В частности, был бы полезен подход, предоставляющий возможность пониженной сложности, повышенной гибкости, облегченной реализации, уменьшенной стоимости, улучшенной звукозаписи, улучшенной пригодности для звукозаписи за пределами радиуса реверберации, пониженной чувствительности к шуму, улучшенной записи речи, улучшенной надежности выявления/оценки точечного источника звука, улучшенного управления и/или улучшенных рабочих характеристик.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Соответственно, изобретение стремится предпочтительно смягчить, облегчить или устранить один или более из вышеупомянутых недостатков поодиночке или в любом сочетании.

Согласно аспекту изобретения, предоставлено устройство звукозаписи, содержащее: микрофонную решетку; по меньшей мере первый формирователь диаграммы направленности, выполненный с возможностью формировать звуковой выходной сигнал со сформированной диаграммой направленности и по меньшей мере один шумовой опорный сигнал; первый преобразователь для формирования первого сигнала в частотной области из частотного преобразования звукового выходного сигнала со сформированной диаграммой направленности, первый сигнал в частотной области представляется значениями время–частотных элементов разбиения; второй преобразователь для формирования второго сигнала в частотной области из частотного преобразования по меньшей мере одного шумового опорного сигнала, второй сигнал в частотной области представляется значениями время–частотных элементов разбиения; разностный процессор, выполненный с возможностью формировать показатели разности время–частотных элементов разбиения, показатель разности время–частотного элемента разбиения для первой частоты указывает разность между первой монотонной функцией нормы значения время–частотного элемента разбиения первого сигнала в частотной области для первой частоты и второй монотонной функцией нормы значения время–частотного элемента разбиения второго сигнала в частотой области для первой частоты; блок оценки точечного источника звука для формирования оценки точечного источника звука, указывающую, содержит ли звуковой выходной сигнал со сформированной диаграммой направленности точечный источник звука, блок оценки точечного источника звука выполнен с возможностью формировать оценку точечного источника звука в ответ на объединенное значение разности применительно к показателям разности время–частотного элемента разбиения для частот выше порогового значения частоты.

Изобретение во многих сценариях и применениях может давать улучшенные оценку/выявление точечного источника звука. В частности, улучшенная оценка зачастую может быть обеспечена в сценариях, в которых прямой тракт от источников звука, под который адаптируются формирователи диаграммы направленности, не является преобладающим. Часто могут достигаться улучшенные рабочие характеристики для сценариев, содержащих высокую степень рассеянного шума, отражающих сигналов и/или поздних отражений. Зачастую может достигаться улучшенное выявление для точечного источника звука на больших расстояниях и, в особенности, вне радиуса реверберации.

Устройство звукозаписи во многих вариантах осуществления может содержать блок вывода для выработки звукового выходного сигнала в ответ на звуковой выходной сигнал со сформированной диаграммой направленности и оценку точечного источника звука. Например, блок вывода может содержать функцию приглушения, которая приглушает выходной сигнал, когда точечный источник звука не выявлен.

Формирователь диаграммы направленности может быть адаптивным формирователем диаграммы направленности, содержащим функциональные возможности адаптации для адаптации адаптивных импульсных характеристик фильтров формы диаграммы направленности (тем самым адаптируя эффективную направленность микрофонной решетки).

Формирователь диаграммы направленности может быть фильтрующим и объединяющим формирователем диаграммы направленности. Фильтрующий и объединяющий формирователь диаграммы направленности может содержать фильтр формы диаграммы направленности для каждого микрофона и объединитель для объединения выходных сигналов фильтров формы диаграммы направленности для выработки звуковых выходных сигналов со сформированной диаграммой направленности. Фильтрующий и объединяющий формирователь диаграммы направленности, более точно, может содержать фильтры формы диаграммы направленности в виде фильтров с конечной импульсной характеристикой (КИХ, FIR), имеющих множество коэффициентов.

Первая и вторая монотонные функции типично обе могут быть монотонно возрастающими функциями, но, в некоторых вариантах осуществления, обе могут быть монотонно убывающими функциями.

Нормы типично могут быть нормами L1 или L2, то есть, более точно, нормы могут соответствовать показателю модуля или мощности для значений время–частотных элементов разбиения.

Время–частотный элемент разбиения, более точно может соответствовать одному элементу дискретизации частотного преобразования в одном временном отрезке/кадре. Более точно, первый и второй преобразователи могут использовать обработку блоков для преобразования следующих друг за другом сегментов первого и второго сигнала. Время–частотный элемент разбиения может соответствовать набору элементов дискретизации преобразования (типично одному) в одном отрезке/кадре.

По меньшей мере один формирователь диаграммы направленности может содержать два формирователя диаграммы направленности, где один формирует звуковой выходной сигнал со сформированной диаграммой направленности, а другой формирует шумовой опорный сигнал. Два формирователя диаграммы направленности могут быть подсоединены к разным и возможно не пересекающимся наборам микрофонов из микрофонной решетки. Конечно, в некоторых вариантах осуществления, микрофонная решетка может содержать две отдельных подрешетки, подсоединенных к разным формирователям диаграммы направленности. Подрешетки (и, возможно, формирователи диаграммы направленности) могут находиться в разных положениях, возможно удаленных друг от друга. Более точно, подрешетки (и, возможно, формирователи диаграммы направленности) могут находиться в разных устройствах.

В некоторых вариантах осуществления изобретения, всего лишь подмножество из множества микрофонов в решетке может быть подсоединено к формирователю диаграммы направленности.

В соответствии с необязательным признаком изобретения, блок оценки точечного источника звука выполнен с возможностью выявлять наличие точечного источника звука в звуковом выходном сигнале со сформированной диаграммой направленности в ответ на объединенное значение разности, превышающее пороговое значение.

Подход типично может давать улучшенное выявление точечного источника звука для формирователей диаграммы направленности и, более того, применительно к выявлению точечных источников звука вне радиуса реверберации, где прямое поле не является преобладающим.

В соответствии с необязательным признаком изобретения, пороговое значение частоты находится не ниже 500 Гц.

Это может дополнительно улучшать рабочие характеристики и, например, во многих вариантах осуществления и сценариях, может гарантировать, что достигается достаточная или улучшенная декорреляция между значениями звуковых выходных сигналов со сформированной диаграммой направленности и значениями шумового опорного сигнала, используемых при определении оценки точечного источника звука. В некоторых вариантах осуществления, пороговое значение частоты преимущественно находится не ниже 1 кГц, 1,5 кГц, 2 кГц, 3 кГц или даже 4 кГц.

В соответствии с необязательным признаком изобретения, разностный процессор выполнен с возможностью формировать оценку когерентности шума, указывающую корреляцию между амплитудой звукового выходного сигнала со сформированной диаграммой направленности и амплитудой по меньшей мере одного шумового опорного сигнала; и по меньшей мере одна из первой монотонной функции и второй монотонной функции зависит от оценки когерентности шума.

Это может дополнительно улучшать рабочие характеристики и, более того, во многих вариантах осуществления, в частности, может давать улучшенные рабочие характеристики для микрофонных решеток с меньшими расстояниями между микрофонами.

Оценка когерентности шума, более точно, может быть оценкой корреляции между амплитудами звукового выходного сигнала со сформированной диаграммой направленности и амплитудами шумового опорного сигнала, когда нет действующего точечного источника звука (например, в течение периодов времени без речи, то есть, когда источник речи является недействующим). Оценка когерентности шума, в некоторых вариантах осуществления, может определяться на основании звукового выходного сигнала со сформированной диаграммой направленности и шумового опорного сигнала и/или первого и второго сигналов в частотной области. В некоторых вариантах осуществления, оценка когерентности шума может формироваться на основании отдельного процесса калибровки или измерения.

В соответствии с необязательным признаком изобретения, разностный процессор выполнен с возможностью масштабировать норму значения время–частотного элемента разбиения первого сигнала в частотной области для первой частоты относительно нормы значения время–частотного элемента разбиения второго сигнала в частотной области для первой частоты в ответ на оценку когерентности шума.

Это может дополнительно улучшать рабочие характеристики и, более того, в многих вариантах осуществления может давать улучшенную точность оценки точечного источника звука. Это может дополнительно предоставлять возможность реализации с низкой сложностью.

В соответствии с необязательным признаком изобретения, разностный процессор выполнен с возможностью формировать показатель разности время–частотного элемента разбиения, применительно к моменту t_k времени на частоте ω_l, по существу как:

,

где – значение время–частотного элемента разбиения для звукового выходного сигнала со сформированной диаграммой направленности в моменте t_k времени на частоте ω_l; – значение время–частотного элемента разбиения для по меньшей мере одного шумового опорного сигнала в моменте t_k времени на частоте ω_l; – оценка когерентности шума в моменте t_k времени на частоте ω_l; и – расчетный параметр.

Это может улучшать особенно полезную оценку точечного источника звука во многих сценариях и вариантах осуществления.

В соответствии с необязательным признаком изобретения, разностный процессор выполнен с возможностью фильтровать по меньшей мере одно из значений время–частотного элемента разбиения звукового выходного сигнала со сформированной диаграммой направленности и значений время–частотного элемента разбиения по меньшей мере одного шумового опорного сигнала.

Это может обеспечивать улучшенную оценку точечного источника звука. Фильтрация может быть фильтрацией нижних частот, например, такой как усреднение.

В соответствии с необязательным признаком изобретения, фильтр функционирует как в направлении по частоте, так и в направлении по времени.

Это может обеспечивать улучшенную оценку точечного источника звука. Разностный процессор может быть выполнен с возможностью фильтровать значения время–частотного элемента разбиения на множестве время–частотных элементов разбиения, фильтрация включает в себя время–частотные элементы разбиения, отличающиеся как по времени, так и по частоте.

В соответствии с необязательным признаком изобретения, устройство звукозаписи дополнительно содержит: множество формирователей диаграммы направленности, включающих в себя формирователь диаграммы направленности; и блок оценки точечного источника звука, который выполнен с возможностью формировать оценку точечного источника звука для каждого формирователя диаграммы направленности из множества формирователей диаграммы направленности; и устройство звукозаписи дополнительно содержит адаптер для адаптации по меньшей мере одного из множества формирователей диаграммы направленности в ответ на оценки точечного источника звука.

Это может дополнительно улучшать рабочие характеристики и, более того, во многих вариантах осуществления может давать улучшенные рабочие характеристики для систем, использующих множество формирователей диаграммы направленности. В частности, это может предоставлять общим рабочим характеристикам системы возможность обеспечивать как точную, так и надежную адаптацию под текущий сценарий звукозаписи, наряду с одновременным обеспечением быстрой адаптации к его изменениям (например, когда появляется новый источник звука).

В соответствии с необязательным признаком изобретения, множество формирователей диаграммы направленности содержит: первый формирователь диаграммы направленности, выполненный с возможностью формировать звуковой выходной сигнал со сформированной диаграммой направленности и по меньшей мере один шумовой опорный сигнал; и множество ограниченных формирователей диаграммы направленности, подсоединенных к микрофонной решетке, и каждый из которых выполнен с возможностью формировать звуковой выходной сигнал со сформированной ограниченной диаграммой направленности и по меньшей мере один ограниченный шумовой опорный сигнал; устройство звукозаписи дополнительно содержит: разностный процессор диаграмм направленности для определения показателя разности для по меньшей мере одного из множества ограниченных формирователей диаграммы направленности, показатель разности указывает разность между диаграммами направленности, сформированными первым формирователем диаграммы направленности и по меньшей мере одним из множества ограниченных формирователей диаграммы направленности; при этом адаптер выполнен с возможностью адаптировать параметры ограниченной формы диаграммы направленности с ограничением, что параметры ограниченной формы диаграммы направленности адаптируются только применительно к ограниченным формирователям диаграммы направленности из множества ограниченных формирователей диаграммы направленности, для которых был определен показатель разности, который удовлетворяет критерию подобия.

Изобретение может обеспечивать улучшенную звукозапись в многих вариантах осуществления. В частности, часто могут достигаться улучшенные рабочие характеристики в реверберирующих средах и/или для источников звука. Подход, в частности, может обеспечивать улучшенную запись речи во многих представляющих дополнительную сложность акустических средах. Во многих вариантах осуществления, подход может давать надежное и точное формирование диаграммы направленности, тем временем одновременно обеспечивая быструю адаптацию под новые желательные источники звука. Подход может предусматривать устройство звукозаписи, имеющее пониженную чувствительность, например, к шуму, реверберации и отражениям. В частности, часто может достигаться улучшенная запись источников звука за пределами радиуса реверберации.

В некоторых вариантах осуществления, выходной звуковой сигнал из устройства звукозаписи может формироваться в ответ на первый звуковой выходной сигнал со сформированной диаграммой направленности и/или звуковой выходной сигнал со сформированной ограниченной диаграммой направленности. В некоторых вариантах осуществления, выходной звуковой сигнал может формироваться в виде объединения звуковых выходных сигналов со сформированной ограниченной диаграммой направленности, а более точно, может использоваться выборочное объединение, например, выбор одиночного звукового выходного сигнала со сформированной ограниченной диаграммой направленности.

Показатель разности может отражать разность между сформированными диаграммами направленности первого формирователя диаграммы направленности и ограниченного формирователя диаграммы направленности, для которых формируется показатель разности, например, измеряемый в качестве разности между направлениями диаграмм направленности. В многих вариантах осуществления, показатель разности может быть указывающим разность между звуковыми выходными сигналами со сформированной диаграммой направленности из первого формирователя диаграммы направленности и ограниченного формирователя диаграммы направленности. В некоторых вариантах осуществления, показатель разности может быть указывающим разность между фильтрами формы диаграммы направленности первого формирователя диаграммы направленности и ограниченного формирователя диаграммы направленности. Показатель разности может быть показателем расстояния, например, таким как показатель, определяемый в виде расстояния между векторами коэффициентов фильтров формы диаграммы направленности первого формирователя диаграммы направленности и ограниченного формирователя диаграммы направленности.

Будет принято во внимание, что показатель подобия может быть эквивалентным показателю разности по той причине, что показатель подобия, предоставляющий информацию, относящуюся к подобию между двумя признаками, по сути также дает информацию, относящуюся к различию между ними, и наоборот.

Критерий подобия, например, может содержать требование, чтобы показатель разности был указывающим разность, находящуюся ниже заданного показателя, например, может требоваться, чтобы показатель разности, имеющий возрастающие значения для возрастающей разность, был ниже порогового значения.

Адаптация формирователей диаграммы направленности может происходить посредством адаптации параметров фильтра у фильтров формы диаграммы направленности формирователей диаграммы направленности, к примеру, более точно, посредством адаптации коэффициентов фильтра. Адаптация может стремиться оптимизировать (довести до максимума или минимизировать) заданный параметр адаптации, например, такая как доведение до максимума уровня выходного сигнала, когда выявлен источник звука, или минимизация его, когда выявляется только шум. Адаптация может стремиться модифицировать фильтры формы диаграммы направленности, чтобы оптимизировать измеренный параметр.

В соответствии с необязательным признаком изобретения, адаптер выполнен с возможностью адаптировать параметры ограниченной формы диаграммы направленности только для ограниченных формирователей диаграммы направленности, применительно к которым оценка точечного источника звука указывает наличие точечного источника звука в звуковом выходном сигнале со сформированной ограниченной диаграммой направленности.

Это может дополнительно улучшать рабочие характеристики и, например, может обеспечивать более надежные рабочие характеристики, дающие в результате улучшенную звукозапись.

В соответствии с необязательным признаком изобретения, адаптер выполнен с возможностью адаптировать параметры ограниченной формы диаграммы направленности только для ограниченного формирователя диаграммы направленности, применительно к которому оценка точечного источника звука указывает наивысшую вероятность, что звуковой выходной сигнал со сформированной диаграммой направленности содержит точечный источник звука.

Это может обеспечивать улучшенные рабочие характеристики в многих сценариях.

В соответствии с необязательным признаком изобретения, адаптер выполнен с возможностью адаптировать параметры ограниченной формы диаграммы направленности только для ограниченного формирователя диаграммы направленности, применительно к которому оценка точечного источника звука указывает наивысшую вероятность, что звуковой выходной сигнал со сформированной диаграммой направленности содержит точечный источник звука.

Это может обеспечивать улучшенные рабочие характеристики в многих сценариях.

Согласно аспекту изобретения, предоставлен способ осуществления звукозаписи с использованием микрофонной решетки, способ состоит в том, что: по меньшей мере первый формирователь диаграммы направленности формирует звуковой выходной сигнал со сформированной диаграммой направленности и по меньшей мере один шумовой опорный сигнал; первый преобразователь формирует первый сигнал в частотной области из частотного преобразования звукового выходного сигнала со сформированной диаграммой направленности, первый сигнал в частотной области представляется значениями время–частотных элементов разбиения; второй преобразователь формирует второй сигнал в частотной области из частотного преобразования по меньшей мере одного шумового опорного сигнала, второй сигнал в частотной области представляется значениями время–частотных элементов разбиения; разностный процессор формирует показатели разности время–частотных элементов разбиения, показатель разности время–частотного элемента разбиения для первой частоты указывает разность между первой монотонной функцией нормы значения время–частотного элемента разбиения первого сигнала в частотной области для первой частоты и второй монотонной функцией нормы значения время–частотного элемента разбиения второго сигнала в частотой области для первой частоты; блок оценки точечного источника звука формирует оценку точечного источника звука, указывающую, содержит ли звуковой выходной сигнал со сформированной диаграммой направленности точечный источник звука, блок оценки точечного источника звука выполнен с возможностью формировать оценку точечного источника звука в ответ на объединенное значение разности применительно к показателям разности время–частотного элемента разбиения для частот выше порогового значения частоты.

Эти и другие аспекты, признаки и преимущества изобретения будут очевидны из и разъяснены со ссылкой на вариант(ы) осуществления, описанный ниже.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Варианты осуществления изобретения будут описаны, только в качестве примера, со ссылкой на чертежи, из которых:

фиг. 1 иллюстрирует пример элементов формирующей диаграмму направленности системы звукозаписи;

фиг. 2 иллюстрирует пример множества диаграмм направленности, сформированных системой звукозаписи;

фиг. 3 иллюстрирует пример элементов устройства звукозаписи в соответствии с некоторыми вариантами осуществления изобретения;

фиг. 4 иллюстрирует пример элементов фильтрующего и суммирующего формирователя диаграммы направленности;

фиг. 5 иллюстрирует пример преобразователя в частотную область;

фиг. 6 иллюстрирует пример элементов разностного процессора для устройства звукозаписи в соответствии с некоторыми вариантами осуществления изобретения;

фиг. 7 иллюстрирует пример элементов устройства звукозаписи в соответствии с некоторыми вариантами осуществления изобретения;

фиг. 8 иллюстрирует пример элементов устройства звукозаписи в соответствии с некоторыми вариантами осуществления изобретения;

фиг. 9 иллюстрирует пример блок–схемы последовательности операций способа для подхода адаптации ограниченных формирователей диаграммы направленности устройства звукозаписи в соответствии с некоторыми вариантами осуществления изобретения.

ПРОДРОБНОЕ ОПИСАНИЕ НЕКОТОРЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯ

Нижеследующее описание ставит в центре внимания варианты осуществления изобретения, применимые к системе звукозаписи речи, основанной на формировании диаграммы направленности, но будет принято во внимание, что подход применим к многим другим системам с сценариям для звукозаписи.

Фиг. 3 иллюстрирует пример некоторых элементов устройства звукозаписи в соответствии с некоторыми вариантами осуществления изобретения.

Устройство звукозаписи содержит микрофонную решетку 301, которая содержит множество микрофонов, выполненных с возможностью захватывать звук в окружающей среде.

микрофонная решетка 301 подсоединена к формирователю 303 диаграммы направленности (типично непосредственно или через эхокомпенсатор, усилители, цифроаналоговые преобразователи, и т.д., как будет хорошо известно специалисту в данной области техники).

Формирователь 303 диаграммы направленности выполнен с возможностью объединять сигналы с микрофонной решетки 301, так чтобы формировалась эффективная направленная звуковая чувствительность микрофонной решетки 301. Формирователь 303 диаграммы направленности, таким образом, вырабатывает выходной сигнал, упоминаемый как звуковой выходной сигнал со сформированной диаграммой направленности, который соответствует избирательной записи звука в окружающей среде. Формирователь 303 диаграммы направленности является адаптивным формирователем диаграммы направленности, и направленность может управляться посредством установления параметров, упоминаемых как параметры формы диаграммы направленности, действия формы диаграммы направленности формирователя 303 диаграммы направленности, а более точно, посредством установления параметров (типично, коэффициентов) фильтров формы диаграммы направленности.

Формирователь 303 диаграммы направленности соответственно является адаптивными формирователем диаграммы направленности, где направленность может управляться посредством адаптации параметров действия формы диаграммы направленности.

Формирователь 303 диаграммы направленности более точно является фильтрующим и объединяющим (или, более точно, в большинстве вариантов осуществления, фильтрующим и суммирующим) формирователем диаграммы направленности. Фильтр формы диаграммы направленности может применяться к каждому из сигналов с микрофона, и фильтрованные выходные сигналы могут объединяться, типично посредством простого сложения друг с другом.

Фиг. 4 иллюстрирует упрощенный пример фильтрующего и суммирующего формирователя диаграммы направленности, основанного на микрофонной решетке, содержащей всего лишь два микрофона 401. В примере, каждый микрофон подсоединен к фильтру 403, 405 формы диаграммы направленности, выходные сигналы которых суммируются в сумматоре 407 для формирования звукового выходного сигнала со сформированной диаграммой направленности. Фильтры 403, 405 формы диаграммы направленности имеют импульсные характеристики f1 и f2, которые адаптированы для формирования диаграммы направленности в заданном направлении. Будет принято во внимание, что, типично, микрофонная решетка будет содержать более чем два микрофона, и что принцип по фиг. 4 легко распространяется на большее количество микрофонов посредством дополнительного включения в состав фильтра формы диаграммы направленности для каждого микрофона.

Формирователи 303 диаграммы направленности может включать в себя такую фильтрующую и суммирующую архитектуру для формирования диаграммы направленности (например, как у формирователей диаграммы направленности из US 7 146 012 и US 7 602 926). Будет принято во внимание, что, во многих вариантах осуществления, микрофонная решетка 301, однако может содержать более чем два микрофона. Кроме того, будет принято во внимание, что формирователь 303 диаграммы направленности включают в себя функциональные возможности для адаптации фильтров формы диаграммы направленности, как описано ранее. К тому же, в конкретном примере, формирователь 303 диаграммы направленности формирует не только звуковой выходной сигнал со сформированной диаграммой направленности, но также шумовой опорный сигнал.

В большинстве вариантов осуществления, каждый из фильтров формы диаграммы направленности имеет импульсную характеристику во временной области, которая не является простым импульсом Дирака (соответствующим простой задержке, и таким образом, коэффициенту передачи и сдвигу фазы в частотной области), но скорее имеет импульсную характеристику, которая типично продолжается в течение временного интервала, не меньшего чем 2, 5, 10 или даже 30 миллисекунд.

Импульсная характеристика часто может быть реализована фильтрами формы диаграммы направленности, являющимися (с конечной импульсной характеристикой) КИХ–фильтрами с множеством коэффициентов. Формирователь 303 диаграммы направленности в таком варианте осуществления может адаптировать формирование диаграммы направленности, адаптируя коэффициенты фильтра. В многих вариантах осуществления, КИХ–фильтры могут иметь коэффициенты, соответствующие постоянным сдвигам по времени (типично сдвигам по времени выборки отсчетов), причем, адаптация достигается посредством адаптации значений коэффициентов. В других вариантах осуществления, фильтры формы диаграммы направленности типично могут иметь существенно меньшее количество коэффициентов (например, только два или три), но с временными характеристиками таковых, (также) являющимися адаптируемыми.

Конкретное преимущество фильтров формы диаграммы направленности, имеющих расширенные импульсные характеристики вместо простой переменной задержки (или простой настройки коэффициента передачи/фазы в частотной области), состоит в том, что они предоставляют формирователю 303 диаграммы направленности возможность адаптироваться не просто под самую сильную, типично направленную составляющую сигнала. Скорее, они предоставляют формирователю 303 диаграммы направленности возможность адаптироваться, чтобы учитывать дополнительные пути прохождения сигнала, типично соответствующие отражениям. Соответственно, подход предоставляет возможность для улучшенных рабочих характеристик в большинстве реальных сред, а более точно, предоставляет возможность улучшенных рабочих характеристик в отражающих и/или реверберирующих средах, и/или применительно к источникам звука, находящихся дальше от микрофонной решетки 301.

Будет принято внимание, что разные алгоритмы адаптации могут использоваться в разных вариантах осуществления, и что различные параметры оптимизации будут известны специалистам. Например, формирователь 303 диаграммы направленности может адаптировать параметры формы диаграммы направленности для доведения до максимума значения выходного сигнала формирователя 303 диаграммы направленности. В качестве конкретного примера, рассмотрим формирователь диаграммы направленности, где принимаемые сигналы с микрофона фильтруются прямыми согласующими фильтрами, и где фильтрованные выходные сигналы суммируются. Выходной сигнал фильтруется обратными адаптивными фильтрами, имеющими характеристики фильтра, сопряженные с прямыми фильтрами (в частотной области, соответствующей обращенным по времени импульсным характеристикам во временной области). Сигналы ошибки вырабатываются в качестве разности между входными сигналами и выходными сигналами обратных адаптивных фильтров, и коэффициенты фильтров адаптируются, чтобы минимизировать сигналы ошибки, тем самым давая в результате максимальную выходную мощность. Это, по сути, может дополнительно формировать шумовой опорный сигнал из сигнала ошибки. Дополнительные подробности такого подхода могут быть найдены в US 7 146 012 и US 7 602 926.

Отмечено, что, подходы, такие как в US 7 146 012 и US 7 602 926 основаны на адаптации, основанной как на сигнале z(n) источника звука, так и на шумовом опорном сигнале(ах) x(n) с формирователей диаграммы направленности, и будет принято во внимание, что тот же самый подход может использоваться для формирователя диаграммы направленности по фиг. 3.

Действительно, формирователь 303 диаграммы направленности, более точно, может быть формирователем диаграммы направленности, соответствующим проиллюстрированному на фиг. 1 и раскрытому в US 7 146 012 и US 7 602 926.

Формирователь 303 диаграммы направленности выполнен с возможностью формировать как звуковой выходной сигнал со сформированной диаграммой направленности, так и шумовой опорный сигнал.

Формирователь 303 диаграммы направленности может быть выполнен с возможностью адаптировать формирование диаграммы направленности, чтобы захватывало желательный источник звука и представляло его в звуковом выходном сигнале со сформированной диаграммой направленности. Он может дополнительно формировать шумовой опорный сигнал для предоставления оценки остаточного захваченного звукового сигнала, то есть, он указывает шум, который записывался бы в отсутствие желательного источника звука.

В примере, где формирователем 303 диаграммы направленности является формирователь диаграммы направленности, как раскрытый в US 7 146 012 и US 7 602 926, шумовой опорный сигнал может формироваться, как описано ранее, например, с непосредственным использованием сигнала ошибки. Однако, будет принято во внимание, что другие подходы могут использоваться в других вариантах осуществления. Например, в некоторых вариантах осуществления, шумовой опорный сигнал может формироваться в виде сигнала с микрофона из (например, всенаправленного) микрофона минус сформированный звуковой выходной сигнал со сформированной диаграммой направленности, или даже самого сигнала с микрофона в случае, если этот микрофон шумового опорного сигнала находится далеко от других микрофонов и не содержит в себе желательную речь. В еще одном примере, формирователь 303 диаграммы направленности может быть выполнен с возможностью формировать вторую диаграмму направленности, имеющую нуль в направлении максимума диаграммы направленности, формирующей звуковой выходной сигнал со сформированной диаграммой направленности, и шумовой опорный сигнал может формироваться в виде звукового сигнала, захваченного этой добавочной диаграммой направленности.

В некоторых вариантах осуществления, формирователь 303 диаграммы направленности может содержать два подформирователя диаграммы направленности, которые могут формировать разные диаграммы направленности по отдельности. В таком примере, один из подформирователей диаграммы направленности может быть выполнен с возможностью формировать звуковой выходной сигнал со сформированной диаграммой направленности, тогда как другой подформирователь диаграммы направленности может быть выполнен с возможностью формировать шумовой опорный сигнал. Например, первый подформирователь диаграммы направленности может быть выполнен с возможностью доводить до максимума выходной сигнал, давая в результате захват преобладающего источника, тогда как второй подформирователь диаграммы направленности может быть выполнен с возможностью минимизировать уровень выходного сигнала, тем самым, типично давая в результате формирование нуля в направлении преобладающего источника. Таким образом, последний сигнал со сформированной диаграммой направленности может использоваться в качестве шумового опорного сигнала.

В некоторых вариантах осуществления, два подформирователя диаграммы направленности могут быть подсоединены и использовать разные микрофоны микрофонной решетки 301. Таким образом, в некоторых вариантах осуществления, микрофонная решетка 301 может быть сформирована из двух (или более) микрофонных подрешеток, каждая из которых подсоединена к разному подформирователю диаграммы направленности и выполнена с возможностью формировать диаграмму направленности по отдельности. Конечно, в некоторых вариантах осуществления, подрешетки могут быть расположены даже удаленно друг от друга и могут захватывать звуковую среду из разных положений. Таким образом, звуковой выходной сигнал со сформированной диаграммой направленности может формироваться из микрофонной подрешетки в одном положении, тогда как шумовой опорный сигнал формируется из микрофонной подрешетки в другом положении (и, типично, в другом устройстве).

В некоторых вариантах осуществления, постобработка, такая как подавление шума по фиг. 1, может применяться процессором 305 вывода к выходному сигналу устройства звукозаписи. Это может улучшать рабочие характеристики, например, применительно к речевой связи. В такую последующую обработку могут быть включены нелинейные операции, хотя, например, что касается некоторых распознавателей речи, может быть полезно ограничивать обработку включением в состав только линейной обработки.

В многих вариантах осуществления, может быть желательно оценивать, присутствует ли точечный источник звука в звуковом выходном сигнале со сформированной диаграммой направленности, сформированном формирователем 303 диаграммы направленности, то есть, может быть желательно оценивать, адаптировался ли формирователь 303 диаграммы направленности к источнику звука, так чтобы звуковой выходной сигнал со сформированной диаграммой направленности содержал точечный источник звука.

Точечный источник звука по акустике может считаться источником звука, который возникает из точки в пространстве. Во многих применениях желательно выявлять и захватывать точечный источник звука, например, такой как человек–докладчик. В некоторых сценариях, такой точечный источник звука может быть преобладающим источником звука в акустической среде, но, в других вариантах осуществления, это может не иметь места, то есть, рассеянный фоновый шум может преобладать над желательным точечным источником звука.

Точечный источник звука обладает свойством, что звук прямого тракта будет иметь тенденцию приходить на разные микрофоны с сильной корреляцией и, конечно, типично один и тот же сигнал будет фиксироваться с задержкой (линейным изменением фазы в частотной области), соответствующей разности длин трактов. Таким образом, при рассмотрении корреляции между сигналами, захваченными посредством микрофонов, высокая корреляция указывает преобладающий точечный источник, тогда как низкая корреляция указывает, что захваченный звуковой сигнал принимается из многих некоррелированных источников. Конечно, точечным источником звука в звуковой среде мог бы считаться источник, для которого составляющая прямого сигнала дает в результате высокую корреляцию применительно к сигналам с микрофона, и конечно, точечный источник звука мог бы считаться соответствующим пространственно коррелированному источнику звука.

Однако, несмотря на то, что может быть допустимо пытаться выявлять наличие точечного источника звука, определяя корреляции применительно к сигналам с микрофона, это имеет тенденцию быть неточным и не давать оптимальных рабочих характеристик. Например, если точечный источник звука (и, конечно, составляющая прямого тракта) является преобладающим, выявление будет иметь тенденцию быть неточным. Таким образом, подход, например, не пригоден для точечных источников звука, которые находятся далеко от микрофонной решетки (более точно, вне радиуса реверберации), или в тех случаях, когда есть высокие уровни, например рассеянного шума. К тому же, такой подход всего лишь указывал бы, присутствует ли точечный источник звука, но не отражает то, адаптирован ли формирователь диаграммы направленности к такому точечному источнику звука.

Устройство звукозаписи по фиг. 3 содержит детектор 307 точечного источника звука, который выполнен с возможностью формировать оценку точечного источника звука, указывающую, содержит или нет звуковой выходной сигнал со сформированной диаграммой направленности точечный источник звука. Детектор 307 точечного источника звука не определяет корреляции для сигналов с микрофона, но, взамен, определяет оценку точечного источника звука на основании звукового выходного сигнала со сформированной диаграммой направленности и шумового опорного сигнала, сформированных формирователем 303 диаграммы направленности.

Детектор 307 точечного источника звука содержит первый преобразователь 309, выполненный с возможностью формировать первый сигнал в частотной области, применяя частотное преобразование к звуковому выходному сигналу со сформированной диаграммой направленности. Более точно, звуковой выходной сигнал со сформированной диаграммой направленности разделен на временные отрезки/интервалы. Каждый временной отрезок/интервал содержит группу отсчетов, которые преобразуются, например, посредством БПФ (быстрого преобразования Фурье, FFT) в группу отсчетов в частотной области. Таким образом, первый сигнал в частотной области представлен отсчетами в частотной области, где каждый отсчет в частотной области соответствует конкретному временному интервалу (соответствующему кадру обработки) и конкретному частотному интервалу. Каждый такой частотный интервал и временной интервал в данной области типично известен как время–частотный элемент разбиения. Таким образом, первый сигнал в частотной области представлен значением для каждого из множества время–частотных элементов разбиения, то есть, значениями время–частотного элемента разбиения.

Детектор 307 точечного источника звука дополнительно содержит второй преобразователь 311, который принимает шумовой опорный сигнал. Второй преобразователь 311 выполнен с возможностью формировать второй сигнал в частотной области, применяя частотное преобразование к шумовому опорному сигналу. Более точно, шумовой опорный сигнал разделен на временные отрезки/интервалы. Каждый временной отрезок/интервал содержит группу отсчетов, которые преобразуются, например, посредством БПФ (быстрого преобразования Фурье, FFT) в группу отсчетов в частотной области. Таким образом, второй сигнал в частотной области представлен значением для каждого из множества время–частотных элементов разбиения, то есть, значениями время–частотного элемента разбиения.

Фиг. 5 иллюстрирует отдельный пример функциональных элементов возможных реализаций первого и второго блоков 309, 311 преобразования. В примере, последовательно–параллельный преобразователь формирует перекрывающиеся блоки (кадры) из 2B отсчетов, которые затем обрабатываются окном Хенинга и преобразуются в частотную область посредством быстрого преобразования Фурье (БПФ).

Звуковой выходной сигнал со сформированной диаграммой направленности и шумовой опорный сигнал в последующем обозначаются как z(n) и x(n), соответственно, а первый и второй сигналы в частотной области указаны векторами и (каждый вектор содержит все M значений частотного элемента разбиения для данного временного отрезка/кадра обработки/преобразования).

Когда в употреблении, предполагается, что z(n) будет содержать шум и речь, тогда как x(n) предполагается в идеале содержащим только шум. Боле того, шумовые составляющие z(n) и x(n) предполагаются некоррелированными (Составляющие предполагаются некоррелированными по времени. Однако, предполагается, что типично есть зависимость между средними амплитудами, и эта зависимость может быть представлена членом когерентности, как описано позже). Такие допущения склонны иметь силу в некоторых сценариях; и более точно, во многих вариантах осуществления, формирователь 303 диаграммы направленности, как в примере по фиг. 1, содержит адаптивный фильтр, который ослабляет или удаляет шум из звукового выходного сигнала со сформированной диаграммой направленности, который коррелирован с шумовым опорным сигналом.

Вслед за преобразованием в частотную область, предполагается, что вещественная и мнимая составляющие время–частотных значений являются нормально распределенными. Это предположение типично является правильным, например, для сценариев с шумом, происходящим из рассеянного акустического поля, что касается шума датчиков и что касается некоторого количества других источников шума, испытываемых в многих практических сценариях.

Первый преобразователь 309 и второй преобразователь 311 подсоединены к разностному процессору 313, который выполнен с возможностью формировать показатель разности время–частотного элемента разбиения для отдельных частот элемента разбиения. Более точно, он может, применительно к текущему кадру для каждого элемента разрешения по частоте, являющегося результатом из БПФ, формировать показатель разности. Показатель разности формируется из соответствующих значений время–частотного элемента разбиения звукового выходного сигнала со сформированной диаграммой направленности и шумовых опорных сигналов, то есть, первого и второго сигналов в частотной области.

В частности, показатель разности для данного время–частотного элемента разбиения формируется, чтобы отражать разность между первой монотонной функцией нормы значения время–частотного элемента–разбиения первого сигнала в частотной области (то есть, звукового выходного сигнала со сформированной диаграммой направленности) и второй монотонной функцией нормы значения время–частотного элемента разбиения второго сигнала в частотной области (шумового опорного сигнала). Первая и вторая монотонные функции могут быть одинаковыми или могут быть разными.

Нормы типично могут быть нормой L1 или нормой L2. Это, в большинстве вариантов осуществления, показатель разности время–частотного элемента разбиения может быть определен в виде указания разности, отражающего разность между монотонной функцией модуля или мощности значения первого сигнала в частотной области и монотонной функцией модуля или мощности значения второго сигнала в частотной области.

Монотонные функции типично обе могут быть монотонно возрастающими, но, в некоторых вариантах осуществления, обе могут быть монотонно убывающими.

Будет принято во внимание, что разные показатели разности могут использоваться в разных вариантах осуществления. Например, в некоторых вариантах осуществления, показатель разности может определяться просто вычитанием результатов первой и второй функций друг из друга. В других вариантах осуществления, они могут быть поделены друг на друга для формирования отношения, указывающего разность, и т.д.

Разностный процессор 313 соответственно формирует показатель разности время–частотного элемента разбиения для каждого элемента время–частотного разбиения, причем, показатель разности указывает относительный уровень, соответственно, звукового выходного сигнала со сформированной диаграммой направленности и шумового опорного сигнала на такой частоте.

Разностный процессор 313 подсоединен к блоку 315 оценки точечного источника звука, который формирует оценку точечного источника звука в ответ на объединенное значение разности для показателей разности время–частотного элемента разбиения применительно к частотам выше порогового значения частоты. Таким образом, блок 315 оценки точечного источника звука формирует оценку точечного источника звука, объединяя показатели разности частотного элемента разбиения для частот выше заданной частоты. Объединение, более точно, может быть суммой или, например, взвешенным объединением, которая включает в себя частотно зависимое взвешивание, показателей разности всех время–частотных элементов разбиения выше заданной пороговой частоты.

Оценка точечного источника звука, таким образом, формируется, чтобы отражать относительную специфичную частоте разность между уровнями звукового выходного сигнала со сформированной диаграммой направленности и шумового опорного сигнала выше заданной частоты. Пороговая частота типично может быть выше 500 Гц.

Изобретатели поняли, что такой показатель дает явный признак того, содержится или нет точечный источник звука в звуковом выходном сигнале со сформированной диаграммой направленности. В самом деле, они поняли, что специфичное частоте сравнение, совместно с ограничением верхними частотами, на практике дает улучшенный признак наличия точечного источника звука. Кроме того, они поняли, что оценка пригодна для применения в акустических средах и сценариях, где традиционные подходы не дают точных результатов. Более точно, описанный подход может обеспечивать полезное и точное выявление точечных источников звука для непреобладающего точечного источника звука, которые находятся далеко от микрофонной решетки 301 (и за пределами радиуса реверберации) и при наличии мощного рассеянного шума.

В многих вариантах осуществления, блок 315 оценки точечного источника звука может быть выполнен с возможностью формировать оценку точечного источника звука, чтобы точно указывать, был или нет выявлен точечный источник звука. Более точно, блок 315 оценки точечного источника звука может быть выполнен с возможностью указывать, что наличие точечного источника звука в звуковом выходном сигнале со сформированной диаграммой направленности было выявлено, если объединенное значение разности превышает пороговое значение. Таким образом, если сформированное объединенное значение разности указывает, что разность является большим, чем заданное пороговое значение, то считается, что точечный источник звука был выявлен в звуковом выходном сигнале со сформированной диаграммой направленности. Если объединенное значение разности находится ниже порогового значения, то считается, что точечный источник звука не был выявлен в звуковом выходном сигнале со сформированной диаграммой направленности.

Описанный подход, таким образом, может обеспечивать выявление с низкой сложностью того, включает ли в себя сформированный звуковой выходной сигнал со сформированной диаграммой направленности точечный источник или нет.

Будет приниматься во внимание, что такое выявление может использоваться для многих разных применений и сценариев и, более того, может использоваться многими разными способами.

Например, как упомянуто ранее, оценка/выявление точечного источника звука может использоваться процессором 305 вывода при адаптации выходного звукового сигнала. В качестве простого примера, выходной сигнал может приглушаться, если точечный источник звука не выявлен в звуковом выходном сигнале со сформированной диаграммой направленности. В качестве еще одного примера, функционирование процессора 305 вывода может адаптироваться в ответ на оценку точечного источника звука. Например, подавление шума может адаптироваться в зависимости от вероятности наличия точечного источника звука.

В некоторых вариантах осуществления, оценка точечного источника звука может выдаваться просто в виде выходного сигнала вместе со звуковым выходным сигналом. Например, в системе звукозаписи, точечный источник звука может считаться оценкой наличия речи, и она может выдаваться вместе со звуковым сигналом. Распознаватель речи может снабжаться звуковым выходным сигналом и, например, может быть выполнен с возможностью выполнять распознавание речи, для того чтобы выявлять речевые команды. Распознаватель речи может быть выполнен с возможностью выполнять распознавание речи, только когда оценка точечного источника звука указывает, что присутствует точечный источник.

В примере по фиг. 3 устройство звукозаписи содержит контроллер 317 адаптации, в который подается оценка точечного источника звука, и который может быть выполнен с возможностью управлять выполнением адаптации формирователя 303 диаграммы направленности в зависимости от оценки точечного источника звука. Например, в некоторых вариантах осуществления, адаптация формирователя 303 диаграммы направленности может быть ограничена моментами времени, в которых оценка точечного источника звука указывает, что точечный источник звука присутствует. Это может содействовать адаптации формирователя 303 диаграммы направленности к желательному точечному источнику звука и уменьшать влияние шума, и т.д. Будет приниматься во внимание, что, как будет описано позже, оценка точечного источника звука преимущественно может использоваться для более сложного управления адаптацией.

В нижеследующем будет описан отдельный пример крайне полезного определения оценки точечного источника звука.

В примере формирователь 303 диаграммы направленности, как описано ранее, может адаптироваться, чтобы фокусироваться на желательном источнике звука и, более точно, чтобы фокусироваться на источнике речи. Он может выдавать звуковой выходной сигнал со сформированной диаграммой направленности, который сфокусирован на источнике, а также шумовой опорный сигнал, который указывает звук из других источников. Звуковой выходной сигнал со сформированной диаграммой направленности обозначен как z(n), а шумовой опорный сигнал – как x(n). Как z(n), так и x(n) типично могут быть загрязнены шумом, в особенности таким, как рассеянный шум. Несмотря на то что нижеследующее описание будет сосредотачиваться на выявлении речи, будет приниматься во внимание, что оно применяется к точечным источника звука вообще.

Пусть Z(t_k, ω_l) будет (комплексным) первым сигналом в частотной области, соответствующим звуковому выходному сигналу со сформированной диаграммой направленности. Этот сигнал состоит из желательного речевого сигнала Zs(t_k, ω_l) и шумового сигнала Z_n(t_k,ω_l):

Если амплитуда была бы известна, было бы можно вывести переменную d следующим образом:

который представляет амплитуду речевого сигнала.

Второй сигнал в частотной области, то есть представление в частотной области шумового опорного сигнала x(n), может быть обозначено .

Может быть допущено, что z_n(n) и x(n) будут иметь равные дисперсии, так как они оба представляют собой рассеянный шум и получены посредством сложения (z_n) или вычитания (x_n) сигналов с равными дисперсиями, отсюда следует, что вещественные и мнимые части и также имеют равные дисперсии. Поэтому, может быть заменено на в вышеприведенном уравнении.

В случае, когда речь отсутствует (и, таким образом, ), это приводит к:

где и распределены с распределением Релея, поскольку вещественные и мнимые части являются нормально распределенными и независимы.

Среднее значение разности двух стохастических переменных равно разности средних значений и, таким образом, среднее значение показателя разности время–частотного элемента разбиения, приведенного выше, будет нулевым:

Дисперсия разности двух стохастических сигналов равно сумме отдельных дисперсий и, таким образом:

Далее, дисперсия может быть уменьшена посредством усреднения и на L независимых значениях в плоскости , давая

Сглаживание (фильтрация нижних частот) не меняет среднее значение, значит, мы получаем:

Дисперсия разности двух стохастических сигналов равно сумме отдельных дисперсий:

Таким образом, усреднение уменьшает дисперсию шума.

Таким образом, среднее значение разности время–частотного элемент разбиения, измеренное когда речь отсутствует, имеет значение ноль. Однако, при наличии речи, среднее значение будет возрастать. Более точно, усреднение по L значениям речевой составляющей будет обладать гораздо меньшим эффектом, поскольку все элементы будут положительными, и

Таким образом, когда речь присутствует, среднее значение показателя разности время–частотного элемента разбиения, приведенного выше, будет выше нуля:

Показатель разности время–частотного элемента разбиения может быть модифицирован посредством применения расчетного параметра в виде коэффициента избыточного вычитания, который больше 1:

В этом случае среднее значение будет ниже нуля, когда отсутствует речь. Однако коэффициент избыточного вычитания может выбираться так, что среднее значение при наличии речи будет иметь тенденцию находиться выше нуля.

Для того чтобы формировать оценку точечного источника звука, показатели разности время–частотного элемента разбиения для множества время–частотных элементов разбиения могут объединяться, например, посредством простого суммирования. Кроме того, объединение может быть приспособлено включать в себя время–частотные элементы разбиения только для частот выше первого порогового значения и, возможно, только для время–частотных элементов разбиения ниже второго порогового значения.

Более точно, оценка точечного источника звука может быть сформирована в виде:

Эта оценка точечного источника звука может быть указывающей количество энергии в звуковом выходном сигнале со сформированной диаграммой направленности из желательного источника речи относительно количества энергии в шумовом опорном сигнале. Таким образом, она может давать особенно полезный показатель для проведения различия речи от рассеянного шума. Более точно, может считаться, что источник речи найден присутствующим, только если положительно. Если отрицательно, считается, что желательный источник речи не обнаружен.

Следует принимать во внимание, что определенная оценка точечного источника звука указывает не только на то, присутствует ли точечный источник звука, или, более точно, источник речи, в среде записи, но, в особенности, предоставляет признак того, действительно ли он присутствует в звуковом выходном сигнале со сформированной диаграммой направленности, то есть, она также дает указание того, адаптирован ли формирователь 303 диаграммы направленности под этот источник.

Конечно, если формирователь 303 диаграммы направленности не полностью сфокусирован на желательном докладчике, часть речевого сигнала будет присутствовать в шумовом опорном сигнале x(n). Что касается адаптивных формирователей диаграммы направленности по US 7 146 012 и US 7 602 926, можно показать, что сумма энергий желательного источника в сигналах с микрофона равна сумме энергий в звуковом выходном сигнале со сформированной диаграммой направленности и энергий в шумовом опорном сигнале(ах). В случае, если диаграмма направленности сфокусирована не полностью, энергия в звуковом выходном сигнале со сформированной диаграммой направленности будет убывать, а энергия в шумовом опорном сигнале(ах) будет возрастать. Это будет давать в результате значительно более низкое значение для по сравнению с формирователем диаграммы направленности, который сфокусирован полностью. Таким образом может быть осуществлен устойчивый к ошибкам дискриминатор.

Будет принято во внимание, что, тогда как вышеприведенное описание иллюстрирует уровень техники и преимущества подхода системы по фиг. 3, многие изменения и модификации могут применяться, не умаляя подхода.

Будет принято во внимание, что разные функции и подходы для определения показателя разности, отражающего разность, например, между модулями звукового выходного сигнала со сформированной диаграммой направленности и шумового опорного сигнала, могут использоваться в разных вариантах осуществления. Более того, использование разных норм или применение разных функций к нормам может давать разные оценки с разными свойствами, но по–прежнему может давать в результате показатели разности, которые указывают лежащие в основе разности между звуковым выходным сигналом со сформированной диаграммой направленности и шумовым опорным сигналом в данном время–частотном элементе разбиения.

Таким образом, несмотря на то, что описанные ранее отдельные подходы могут давать особенно полезные рабочие характеристики в многих вариантах осуществления, многие другие функции и подходы могут использоваться в других вариантах осуществления в зависимости от конкретных характеристик применения.

В более общем смысле, показатель разности может рассчитываться в виде:

где f₁(x) и f₂(x) могут выбираться, чтобы быть какими–нибудь монотонными функциями, соответствующими конкретным предпочтениям и требованиям отдельного варианта осуществления. Типично, функции f₁(x) и f₂(x) будут монотонно возрастающими или убывающими функциями. Также будет приниматься во внимание, что, вместо использования просто модуля, могут использоваться другие нормы (например, норма L₂).

Показатель разности время–частотного элемента разбиения, в вышеприведенном примере, указывает разность между первой монотонной функцией f₁(x) модуля (или другой нормы) значения время–частотного элемента разбиения первого сигнала в частотной области и второй монотонной функцией f₂(x) модуля (или другой нормы) значения время–частотного элемента разбиения второго сигнала в частотной области. В некоторых вариантах осуществления, первая и вторая монотонные функции могут быть разными функциями. Однако, в большинстве вариантов осуществления, две функции будут идентичны.

Более того, одна или обе из функций f₁(x) и f₂(x) могут быть зависящими от различных других параметров и показателей, например, таких как общий усредненный уровень мощности сигналов с микрофона, частота и т.д.

Во многих вариантах осуществления, одна или обе функции f₁(x) и f₂(x) могут быть зависящими от значений сигналов для других частотных элементов разбиения, например, посредством усреднения одного или более из , , , , или на других элементах разбиения в частотном и/или временном измерении (то есть усреднения значений для меняющихся индексов k и/или l). Во многих вариантах осуществления, может выполняться усреднение в окрестности, продолжающейся как во временном, так и в частотном измерениях. Отдельные примеры, основанные на конкретных уравнениях показателя разности, приведенных ранее, будут описаны позже, но будет принято во внимание, что соответствующие подходы также могут быть применены к другим алгоритмам или функциям, определяющим показатель разности.

Примеры возможных функций для определения показателя разности, например, включают в себя:

где α и β – расчетные параметры, причем, типично, α=β, например, такие как в:

;

где – пригодная функция усреднения, используемая для обеспечения желательных спектральных характеристик показателя разности и оценки точечного источника звука.

Будет приниматься во внимание, что эти функции являются всего лишь примерными, и что могут быть предусмотрены многие другие уравнения и алгоритмы для расчета показателя разности.

В вышеприведенных уравнениях, коэффициент представляет собой коэффициент, который привносится для смещения показателя разности в направлении отрицательных значений. Будет принято во внимание, что, несмотря на то, что отдельные примеры привносят это смещение простым масштабным коэффициентом, применяемым к время–частотному элементу разбиения шумового опорного сигнала, возможны многие другие подходы.

Конечно, может использоваться любой пригодный способ усреднения первой и второй функций f₁(x) и f₂(x), для того чтобы обеспечивать смещение в направлении отрицательных значений. Смещение, более точно, как в предыдущих примерах, является смещением, которое будет формировать ожидаемые значения показателя разности, которые отрицательны, если нет речи. Конечно, если как звуковой выходной сигнал со сформированной диаграммой направленности, так и шумовой опорный сигнал содержат в себе только случайный шум (например, значения отсчетов могут быть симметрично и случайно распределены вокруг среднего значения), ожидаемое значение показателя разности скорее будет отрицательным, чем нулевым. В предыдущем отдельном примере, это достигалось посредством коэффициента избыточного вычитания , который давал в результате отрицательные значения, когда нет речи.

Пример детектора 307 точечного источника звука, основанного на описанных соображениях, приведен на фиг. 6. В примере, звуковой выходной сигнал со сформированной диаграммой направленности и шумовой опорный сигнал выдаются в первый формирователь 309 диаграммы направленности и второй формирователь 311 диаграммы направленности, которые формируют соответствующие первый и второй сигналы в частотной области.

Сигналы в частотной области, например, формируются посредством вычисления оконного преобразования Фурье (STFT), например, перекрывающихся обработанных окном Хенинга блоков сигнала во временной области. STFT, вообще, является функцией как времени, так и частоты, и выражается двумя аргументами t_k и ω_l, причем, t_k = k_B является дискретным временем, и где k – индекс кадра, B – сдвиг кадра, а ω_l=l ω₀ – (дискретная) частота, причем, l – индекс частоты, а ω₀ обозначает элементарное разнесение по частоте.

После этого, преобразования в частотной области, таким образом, выдаются сигналы в частотной области, представленные, соответственно, векторами и расстояния.

Преобразование в частотную область, в конкретном примере, подается в блоки 601, 603 модуля, которые определяют и выдают модули двух сигналов, то есть они формируют значения

и .

В других вариантах осуществления могут использоваться другие нормы, и обработка может включать в себя применение монотонных функций.

Блоки 601, 603 модуля подсоединены к фильтру 605 нижних частот, который может сглаживать значения модуля. Фильтрация/сглаживание могут происходить во временной области, частотной области или, зачастую, преимущественно там и там, то есть, фильтрация может распространять влияние как во временном, так и в частотном измерениях.

Фильтрованные сигналы модуля/векторы и также будут упоминаться как и .

Фильтр 605 подсоединен к разностному процессору 313, который выполнен с возможностью определять показатели разности время–частотных элементов разбиения. В качестве отдельного примера, разностный процессор 313 может формировать показатели разности время–частотных элементов разбиения в виде:

.

Расчетный параметр типично может находиться в диапазоне 1..2.

Разностный процессор 313 подсоединен к блоку 315 оценки точечного источника звука, в который подаются показатели разности время–частотного элемента разбиения, и который в ответ продолжает определять оценку точечного источника звука, объединяя их.

Более точно, сумма показателей разности время–частотных элементов разбиения для значений частоты между и может быть определена в виде:

В некоторых вариантах осуществления, это значение может быть выходным сигналом из детектора 307 точечного источника звука. В других вариантах осуществления, определенное значение может сравниваться с пороговым значением и использоваться, например, для формирования двоичного значения, указывающего, считается или нет точечный источник звука выявленным. Более точно, значение e(tk) может сравниваться с пороговым значением ноль, то есть, если значение отрицательно, считается, что точечный источник звука не был выявлен, а если оно положительно, считается, что точечный источник звука был выявлен в звуковом выходном сигнале со сформированной диаграммой направленности.

В примере, детектор 307 точечного источника звука включает в себя фильтрацию нижних частот/усреднение для амплитудных значений время–частотного элемента разбиения звукового выходного сигнала со сформированной диаграммой направленности и для амплитудных значений время–частотных элементов разбиения шумового опорного сигнала.

Сглаживание, более точно, может выполняться посредством выполнения усреднения над соседними значениями. Например, нижеследующая фильтрация нижних частот может применяться к первому сигналу в частотной области:

*W(m,n),

где (при N=1) W является матрицей 3х3 с весами 1/9. Будет принято во внимание, что, конечно, могут использоваться другие значения N и, аналогично, в других вариантах осуществления, могут использоваться разные временные интервалы. Действительно, размер, на котором выполняется фильтрация/сглаживание, может меняться, например, в зависимости от частоты (например, большее ядро применяется для более высоких частот, чем для более низких частот).

Конечно, будет принято во внимание, что фильтрация может достигаться посредством применения ядра, имеющего подходящую протяженность как в направлении по времени (по количеству рассматриваемых соседних временных кадров), так и в направлении по частоте (по количеству рассматриваемых соседних элементов разрешения по частоте) и, более того, что размер такого ядра может меняться, например, для разных частот или для разных свойств сигнала.

К тому же разные ядра, как представлено посредством W(m,n) в приведенном выше уравнении, могут меняться, и это, подобным образом, могут быть динамические изменения, например, для разных частот или в ответ на свойства сигнала.

Фильтрация не только уменьшает шум и, таким образом обеспечивает более точную оценку, но, в частности, она усиливает разграничение между речью и шумом. Конечно, фильтрация будет оказывать существенно большее влияние на шум, чем на точечный источник звука, давая в результате формирование большей разности для показателей разности время–частотного элемента разбиения.

Было обнаружено, что корреляция между звуковым выходным сигналом со сформированной диаграммой направленности и шумовым опорным сигналом(ами) для формирователей диаграммы направленности, таких как по фиг. 1, будет уменьшаться для повышающихся частот. Соответственно, оценка точечного источника звука формируется в ответ на показатели разности время–частотных элементов разбиения только для частот выше порогового значения. Это дает в результате повышенную декорреляцию и, соответственно, большую разность между звуковым выходным сигналом со сформированной диаграммой направленности и шумовым опорным сигналом, когда присутствует речь. Это дает в результате более точное выявление точечных источников звука в звуковом выходном сигнале со сформированной диаграммой направленности.

В многих вариантах осуществления, полезные рабочие характеристики были обнаружены при ограничении оценки точечного источника звука, чтобы была основана на показателях разности время–частотных элементов разбиения только для частот не ниже 500 Гц, или, в некоторых вариантах осуществления, преимущественно не ниже 1 кГц или даже 2 кГц.

Однако, в некоторых применениях или сценариях, значительная корреляция между звуковым выходным сигналом со сформированной диаграммой направленности и шумовым опорным сигналом может оставаться даже для относительно высоких звуковых частот и, более того, в некоторых сценариях для всего диапазона звуковых частот.

Конечно, в идеальном поле сферически изотропного рассеянного шума, звуковой выходной сигнал со сформированной диаграммой направленности и шумовой опорный сигнал будет частично коррелированы с тем следствием, что ожидаемые значения и не будут равны, а потому не может быть без труда замещено посредством .

Это может быть осознано, глядя на характеристики идеального поля сферически изотропного рассеянного шума. Когда два микрофона размещены в таком поле порознь на расстоянии d и имеют сигналы и с микрофона соответственно, мы имеем:

и

причем волновое число (c – скорость звука) и – отклонение вещественной и мнимой частей и , которые являются нормально распределенными.

Предположим, что формирователь диаграммы направленности является простым двухмикрофонным задерживающим и суммирующим формирователем диаграммы направленности и формирует крупноформатную диаграмму направленности (то есть, задержки имеют значение ноль).

Можем записать:

а для шумового опорного сигнала:

Применительно к ожидаемым значениям, которые получаем, предположим, что присутствует только шум:

= 4+4

= 4( 1 + ).

Аналогично, для получаем:

Таким образом, что касается низких частот, и не будут равными.

В некоторых вариантах осуществления, детектор 307 точечного источника звука может быть выполнен с возможностью компенсировать такую корреляцию. В частности, детектор 307 точечного источник звука может быть выполнен с возможностью определять оценку когерентности шума, которая указывает корреляцию между амплитудой шумового опорного сигнала и амплитудой шумовой составляющей звукового выходного сигнала со сформированной диаграммой направленности. Определение показателей разности время–частотных элементов разбиения, в таком случае, может быть в виде функции этой оценки когерентности.

В самом деле, в многих вариантах осуществления, детектор 307 точечного источника звука может быть выполнен с возможностью определять когерентность для звукового выходного сигнала со сформированной диаграммой направленности и шумового опорного сигнала из формирователя диаграммы направленности на основании соотношения между ожидаемыми амплитудами.

где – оператор математического ожидания. Член когерентности является признаком средней корреляции между амплитудами шумовой составляющей в звуковом выходном сигнале со сформированной диаграммой направленности и амплитудами шумового опорного сигнала.

Поскольку не зависит от мгновенного звукового сигнала на микрофонах, но, взамен, зависит от пространственных характеристик звукового поля шума, изменение в виде функции времени является гораздо меньшим, чем временные колебания Z_n и X_n.

Как результат, может относительно точно оцениваться посредством усреднения и по времени в течение периодов, где речь отсутствует. Поход для действия таким образом раскрыт в US 7602926, который, более точно, описывает способ, где выявление речи в прямой форме не нужно для определения .

Будет принято во внимание, что может использоваться любой пригодный подход для определения оценки когерентности шума. Например, калибровка может выполняться в тех случаях, когда докладчику дается команда не говорить, причем, сравниваются первый и второй сигнал в частотной области, и причем, оценка корреляции шума для каждого время–частотного элемента разбиения определяется просто в виде среднего отношения значений время–частотных элементов разбиения первого сигнала в частотной области и второго сигнала в частотной области. Что касается идеального поля сферически изотропного рассеянного шума, функция когерентности также может определяться аналитически, придерживаясь подхода, описанного выше.

На основании этой оценки, скорее может быть заменено на , нежели просто на . Это может давать в результате показатели разности время–частотных элементов разбиения, заданные посредством:

Таким образом, предыдущий показатель разности время–частотного элемента разбиения может считаться конкретным примером приведенного выше показателя разности с функцией когерентности, установленной в постоянное значение 1.

Использование функции когерентности может предоставлять подходу возможность использоваться на нижних частотах, в том числе, на частотах, где есть относительно мощная корреляция между звуковым выходным сигналом со сформированной диаграммой направленности и шумовым опорным сигналом.

Будет принято во внимание, что подход, кроме того, преимущественно во многих вариантах осуществления может включать в себя адаптивный подавитель, который выполнен с возможностью нейтрализовать составляющую сигнала звукового выходного сигнала со сформированной диаграммой направленности, которая коррелирована с по меньшей мере одним шумовым опорным сигналом. Например, аналогично примеру по фиг. 1, адаптивный фильтр может иметь шумовой опорный сигнал в качестве входного сигнала, причем, выходной сигнал вычитается из звукового выходного сигнала со сформированной диаграммой направленности. Адаптивный фильтр, например, может быть выполнен с возможностью минимизировать уровень результирующего сигнала в течение временных интервалов, когда речь отсутствует.

В нижеследующем будет описано устройство звукозаписи, в котором детектор 307 оценки точечного источника звука и точечного источника звука взаимодействует с другими описанными элементами, чтобы давать особенно полезную систему звукозаписи. В частности, подход крайне пригоден для записи источников звука в зашумленных и реверберирующих средах. Он дает особенно полезные рабочие характеристики для применений, в которых желательный источник звука может находиться за пределами радиуса реверберации, и звук, захваченный микрофонами, может находиться под преобладанием рассеянного шума и поздних отражений или ревербераций.

Фиг. 7 иллюстрирует пример элементов такого устройства звукозаписи в соответствии с некоторыми вариантами осуществления изобретения. Элементы и подход системы по фиг. 3 могут соответствовать системе по фиг. 7, как оговорено в нижеследующем.

Устройство звукозаписи содержит микрофонную решетку 701, которая может прямо соответствовать микрофонной решетке по фиг. 3. В примере, микрофонная решетка 701 подсоединена к необязательному эхокомпенсатору 703, который может нейтрализовать эхо, которое происходит из акустических источников (для которых имеется в распоряжении опорный сигнал), которые линейно связаны с эхо в сигнале(ах) с микрофона. Этим источником, например, может быть громкоговоритель. Адаптивный фильтр может применяться с опорным сигналом в качестве входного сигнала, и с выходным сигналом, вычитаемым из сигнала с микрофона для создания эхокомпенсированного сигнала. Это может быть повторено для каждого отдельного микрофона.

Будет принято во внимание, что эхокомпенсатор 703 необязателен и может быть просто не включен в состав в многих вариантах осуществления.

Микрофонная решетка 701 подсоединена к первому формирователю 705 диаграммы направленности, типично непосредственно или через эхокомпенсатор 703 (а также возможно через усилители, цифроаналоговые преобразователи, и т.д., как будет хорошо известно специалисту в данной области техники). Первый формирователь 705 диаграммы направленности может прямо соответствовать формирователю 303 диаграммы направленности по фиг. 3.

Первый формирователь 705 диаграммы направленности выполнен с возможностью объединять сигналы с микрофонной решетки 701, так чтобы формировалась эффективная направленная звуковая чувствительность микрофонной решетки 701. Первый формирователь 705 диаграммы направленности, таким образом, вырабатывает выходной сигнал, упоминаемый как первый звуковой выходной сигнал со сформированной диаграммой направленности, который соответствует избирательной записи звука в окружающей среде. Первый формирователь 705 диаграммы направленности является адаптивным формирователем диаграммы направленности, и направленность может управляться посредством установления параметров, упоминаемых как первые параметры формы диаграммы направленности, действия формы диаграммы направленности первого формирователя 705 диаграммы направленности.

Первый формирователь 705 диаграммы направленности подсоединен к первому адаптеру 707, который выполнен с возможностью адаптировать параметры первой формы диаграммы направленности. Таким образом, первый адаптер 707 выполнен с возможностью адаптировать параметры первого формирователя 705 диаграммы направленности, так чтобы диаграмма направленности могла управляться по направлению.

В дополнение, устройство звукозаписи содержит множество ограниченных формирователей 709, 711 диаграммы направленности, каждый из которых выполнен с возможностью объединять сигналы с микрофонной решетки 701, так чтобы формировалась эффективная направленная звуковая чувствительность микрофонной решетки 701. Каждый из ограниченных формирователей 709, 711 диаграммы направленности, таким образом, выполнен с возможностью формировать звуковой выходной сигнал, упоминаемый как звуковой выходной сигнал со сформированной ограниченной диаграммой направленности, который соответствует избирательной записи звука в окружающей среде. Аналогично первому формирователю 705 диаграммы направленности, ограниченные формирователи 709, 711 диаграммы направленности являются адаптивными формирователями диаграммы направленности, где направленность каждого ограниченного формирователя 709, 711 диаграммы направленности может управляться параметрами настройки, упоминаемыми как параметры ограниченной формы диаграммы направленности, ограниченных формирователей 709, 711 диаграммы направленности.

Устройство звукозаписи соответственно содержит второй адаптер 713, который выполнен с возможностью адаптировать параметры ограниченной формы диаграммы направленности множества ограниченных формирователей диаграммы направленности, тем самым, адаптируя диаграммы направленности, сформированные таковыми.

Формирователь 303 диаграммы направленности по фиг. 3 может прямо соответствовать первому ограниченному формирователю 709 диаграммы направленности по фиг. 7. Также будет принято во внимание, что остальные ограниченные формирователи 711 диаграммы направленности могут соответствовать первому формирователю 709 диаграммы направленности и могли бы считаться его экземплярами.

Как первый формирователь 705 диаграммы направленности, так и ограниченные формирователи 709, 711 диаграммы направленности соответственно являются адаптивными формирователями диаграммы направленности, для которых действующая сформированная диаграмма направленности может динамически адаптироваться. Более точно, формирователи 705, 709, 711 диаграммы направленности являются фильтрующими и объединяющими (или, более точно, в большинстве вариантов осуществления фильтрующими и суммирующими) формирователями диаграммы направленности. Фильтр формы диаграммы направленности может применяться к каждому из сигналов с микрофона, и фильтрованные выходные сигналы могут объединяться, типично посредством простого сложения друг с другом.

Будет принято во внимание, что формирователь 303 диаграммы направленности по фиг. 3 может соответствовать любому из формирователей 705, 709, 711 диаграммы направленности, и что, примечания, приведенные в отношении формирователя 303 диаграммы направленности по фиг. 3, равным образом применяются к любому из первого формирователя 705 диаграммы направленности и ограниченных формирователей 709, 711 диаграммы направленности по фиг. 7.

Во многих вариантах осуществления конструкция и реализация первого формирователя 705 диаграммы направленности и ограниченных формирователей 709, 711 диаграммы направленности могут быть одинаковыми, например, фильтры формы диаграммы направленности могут иметь идентичные конструкции КИХ–фильтра с одинаковым количеством коэффициентов, и т.д.

Однако функционирование и параметры первого формирователя 705 диаграммы направленности и ограниченных формирователей 709, 711 диаграммы направленности будут разными и, в частности, ограниченные формирователи 709, 711 диаграммы направленности в своем роде ограничены, а первый формирователь 705 диаграммы направленности нет. Более точно, адаптация ограниченных формирователей 709, 711 диаграммы направленности будет иной, чем адаптация первого формирователя 705 диаграммы направленности и, более точно, будет подвержена некоторым ограничениям.

Более точно, ограниченные формирователи 709, 711 диаграммы направленности подвергаются ограничению, что адаптация (обновление параметров фильтра формы диаграммы направленности) ограничена ситуациями, когда удовлетворен критерий, тогда как первому формирователю 705 диаграммы направленности будет предоставлена возможность адаптироваться, даже когда такой критерий не удовлетворен. Действительно, во многих вариантах осуществления, первому адаптеру 707 может быть предоставлена возможность всегда адаптировать фильтр формы диаграммы направленности, причем это не ограничивается никакими свойствами звука, захватываемого первым формирователем 705 диаграммы направленности (или каким–нибудь из ограниченных формирователей 709, 711 диаграммы направленности).

Критерий для адаптации ограниченных формирователей 709, 711 диаграммы направленности позже будет описан подробнее.

Во многих вариантах осуществления, скорость адаптации для первого формирователя 705 диаграммы направленности выше, чем для ограниченных формирователей 709, 711 диаграммы направленности. Таким образом, во многих вариантах осуществления, первый адаптер 707 может быть выполнен с возможностью адаптироваться к изменениям быстрее, чем второй адаптер 713, и таким образом, первый формирователь 705 диаграммы направленности может обновляться быстрее, чем ограниченные формирователи 709, 711 диаграммы направленности. Это, например, может достигаться посредством фильтрации нижних частот доводимого до максимума или минимизируемого значения (например, уровня сигнала у выходного сигнала или модуля сигнала ошибки), имеющей более высокую частоту среза для первого формирователя 705 диаграммы направленности, чем для ограниченных формирователей 709, 711 диаграммы направленности. В качестве еще одного примера, максимальное изменение на обновление параметров формы диаграммы направленности (более точно, коэффициентов фильтра формы диаграммы направленности) может быть большим для первого формирователя 705 диаграммы направленности, чем для ограниченных формирователей 709, 711 диаграммы направленности.

Соответственно, в системе, множество сфокусированных (ограниченных адаптацией) формирователей диаграммы направленности, которые адаптируются медленно, и только когда удовлетворен определенный критерий, дополнены автономно функционирующим быстрее адаптирующимся формирователем диаграммы направленности, который не подвергается этому ограничению. Более медленные и сфокусированные формирователи диаграммы направленности типично будут давать более медленную, но более точную и надежную адаптацию под конкретную звуковую среду, чем автономно функционирующий формирователь диаграммы направленности, который, однако, типично будет способен быстро адаптироваться на большем интервале параметров.

В системе по фиг. 7 эти формирователи диаграммы направленности используются синергетически совместно, чтобы давать улучшенные рабочие характеристики, как будет подробнее описано позже.

Первый формирователь 705 диаграммы направленности и ограниченные формирователи 709, 711 диаграммы направленности подсоединены к процессору 715 вывода, который принимает звуковые выходные сигналы со сформированной диаграммой направленности из формирователей 705, 709, 711 диаграммы направленности. Точный выходной сигнал, сформированный из устройства звукозаписи, будет зависеть от конкретных предпочтений и требований отдельного варианта осуществления. Действительно, в некоторых вариантах осуществления, выходной сигнал из устройства звукозаписи может просто состоять из звуковых выходных сигналов из формирователей 705, 709, 711 диаграммы направленности.

Во многих вариантах осуществления, выходной сигнал из процессора 715 вывода формируется в виде объединения звуковых выходных сигналов из формирователей 705, 709, 711 диаграммы направленности. Действительно, в некоторых вариантах осуществления, может выполняться простое выборочное объединение, например, выбор звуковых выходных сигналов, для которых является наивысшим отношение сигнал/шум или просто уровень сигнала.

Таким образом, выбор и последующая обработка выходного сигнала процессора 715 вывода может быть специализированной и/или разной в разных реализациях/вариантах осуществления. Например, могут выдаваться все возможные выходные сигналы сфокусированной диаграммы направленности, выбор может делаться на основании критерия, определенного пользователем (например, выбирается наиболее мощный докладчик), и т.д.

Что касается применения речевого управления, например, все выходные сигналы могут пересылаться в распознаватель речевых пусковых сигналов, который выполнен с возможностью выявлять конкретное слово или фразу для инициализации речевого управления. В таком примере, звуковой выходной сигнал, в котором выявлено пусковое слово или фраза, может сопровождать пусковую фразу, подлежащую использованию распознавателем речи для выявления специальных команд.

Что касается применений связи, например, может быть полезно выбирать звуковой выходной сигнал, который имеет наибольшую мощность, например, применительно к которому было обнаружено наличие конкретного точечного источника звука.

В некоторых вариантах осуществления, последующая обработка, такая как подавление шума по фиг. 1, может применяться к выходному сигналу устройства звукозаписи (например, процессором 715 вывода). Это может улучшать рабочие характеристики, например, применительно к речевой связи. В такую последующую обработку могут быть включены нелинейные операции, хотя, например, что касается некоторых распознавателей речи, может быть полезно ограничивать обработку включением в состав только линейной обработки.

В системе по фиг. 7 особенно полезный подход принимается для захвата звукового сигнала на основании синергетического взаимодействия и взаимосвязи между первым формирователем 705 диаграммы направленности и ограниченными формирователями 709, 711 диаграммы направленности.

С этой целью, устройство звукозаписи содержит разностный процессор 717 диаграмм направленности, который выполнен с возможностью определять показатель разности между одним или более ограниченных формирователей 709, 711 диаграммы направленности и первым формирователем 705 диаграммы направленности. Показатель разности указывает разность между диаграммами направленности, сформированными соответственно первым формирователем 705 диаграммы направленности и ограниченным формирователем 709, 711 диаграммы направленности. Таким образом, показатель разности для первого ограниченного формирователя 709 диаграммы направленности может указывать разность между диаграммами направленности, которые сформированы первым формирователем 705 диаграммы направленности и первым ограниченным формирователем 709 диаграммы направленности. Таким образом, показатель разности может быть указывающим, насколько близко два формирователя 705, 709 диаграммы направленности адаптированы под один и тот же источник звука.

Разные показатели разности могут использоваться в разных вариантах осуществления и применениях.

В некоторых вариантах осуществления, показатель разности может определяться на основании сформированного звукового выходного сигнала со сформированной диаграммой направленности из разных формирователей 705, 709, 711 диаграммы направленности. В качестве примера, простой показатель разности может формироваться просто посредством измерения уровней сигнала выходного сигнала первого формирователя 705 диаграммы направленности и первого ограниченного формирователя 709 диаграммы направленности и сравнения их друг с другом. Чем ближе уровни сигналов друг к другу, тем меньше показатель разности (типично показатель разности также будет возрастать в виде функции действующего уровня сигнала, например, первого формирователя 705 диаграммы направленности).

В большей степени подходящий показатель разности, в многих вариантах осуществления, может формироваться посредством определения корреляции между звуковым выходным сигналом со сформированной диаграммой направленности из первого формирователя 705 диаграммы направленности и первым ограниченным формирователем 709 диаграммы направленности. Чем выше значение корреляции, тем ниже показатель разности.

В качестве альтернативы или дополнительно, показатель разности может определяться на основе сравнения параметров формы диаграммы направленности первого формирователя 705 диаграммы направленности и первого ограниченного формирователя 709 диаграммы направленности. Например, коэффициенты фильтра формы диаграммы направленности первого формирователя 705 диаграммы направленности и фильтра формы диаграммы направленности первого ограниченного формирователя 709 диаграммы направленности для данного микрофона могут быть представлены двумя векторами. Может рассчитываться модуль вектора разности этих двух векторов. Процесс может повторяться для всех микрофонов, и объединенное или среднее значение модуля может определяться и использоваться в качестве показателя разности. Таким образом, сформированный показатель разности отражает, насколько различны коэффициенты фильтров формы диаграммы направленности для первого формирователя 705 диаграммы направленности и первого ограниченного формирователя 709 диаграммы направленности, и это используется в качестве показателя разности применительно к диаграммам направленности.

Таким образом, в системе по фиг. 7, показатель разности формируется, чтобы отражать разность между параметрами формы диаграммы направленности первого формирователя 705 диаграммы направленности и первого ограниченного формирователя 709 диаграммы направленности, и/или разность между звуковыми выходными сигналами со сформированной диаграммой направленности таковых.

Будет принято во внимание, что формирование, определение и/или использование показателя разности прямо эквивалентно формированию, определению и/или использованию показателя подобия. Действительно, один типично может считаться монотонно убывающей функцией другого и, таким образом, показатель разности также является показателем подобия (и наоборот), причем, один просто указывает возрастающие разности возрастающими значениями, а другой делает это убывающими значениями.

Разностный процессор 717 диаграмм направленности подсоединен к второму адаптеру 713 и выдает показатель разности в него. Второй адаптер 713 выполнен с возможностью адаптировать ограниченные формирователи 709, 711 диаграммы направленности в ответ на показатель разности. Более точно, второй адаптер 713 выполнен с возможностью адаптировать параметры ограниченной формы диаграммы направленности только для ограниченных формирователей диаграммы направленности, для которых был определен показатель разности, который удовлетворяет критерию подобия. Таким образом, если показатель разности не был определен для данных ограниченных формирователей 709, 711 диаграммы направленности, или если определенный показатель разности для данного формирователя 709, 711 диаграммы направленности указывает, что диаграммы направленности первого формирователя 705 диаграммы направленности и данного ограниченного формирователя 709, 711 диаграммы направленности не подобны в достаточной мере, то адаптация не выполняется.

Таким образом, в устройстве звукозаписи по фиг. 7, ограниченные формирователи 709, 711 диаграммы направленности ограничены адаптацией диаграмм направленности. Более точно, они ограничены, чтобы адаптироваться, только если текущая диаграмма направленности, сформированная ограниченным формирователем 709, 711 диаграммы направленности находится близко к диаграмме направленности, которую формирует автономно функционирующий первый формирователь 705 диаграммы направленности, то есть отдельный ограниченный формирователь 709, 711 диаграммы направленности адаптируется, только если первый формирователь 705 диаграммы направленности адаптирован на данный момент, чтобы находиться достаточно близко к отдельному формирователю 709, 711 диаграммы направленности.

Результат этого состоит в том, что адаптация ограниченных формирователей 709, 711 диаграммы направленности управляется функционированием первого формирователя 705 диаграммы направленности, так чтобы, фактически, диаграмма направленности, сформированная первым формирователем 705 диаграммы направленности, управляла тем, какие из ограниченных формирователей 709, 711 диаграммы направленности оптимизируются/адаптируются. Этот подход, более точно, может давать в результате ограниченные формирователи 709, 711 диаграммы направленности, имеющие тенденцию адаптироваться, только когда желательный источник звука близок к текущей адаптации ограниченного формирователя 709, 711 диаграммы направленности.

Подход с требованием подобия между диаграммами направленности, для того чтобы предоставлять адаптации, обнаруживаемой на практике, давать в результате существенно улучшенные рабочие характеристики, когда желательный источник звука, желательный докладчик в данном случае, находится за пределами радиуса реверберации. Действительно, было обнаружено, что это будет давать крайне желательные рабочие характеристики, в частности, для слабых источников звука в реверберирующих средах с непреобладающей звуковой составляющей прямого тракта.

Во многих вариантах осуществления, ограничение адаптации может подвергаться дополнительным требованиям.

Например, в многих вариантах осуществления, адаптация может быть требованием, чтобы отношение сигнал/шум для звукового выходного сигнала со сформированной диаграммой направленности превышало пороговое значение. Таким образом, адаптация для отдельного ограниченного формирователя 709, 711 диаграммы направленности может быть ограничена сценариями, в которых он адаптирован в достаточной мере, и сигнал, на базе которого основана адаптация, отражает желательный звуковой сигнал.

Будет принято во внимание, что разные подходы для определения отношения сигнал/шум могут использоваться в разных вариантах осуществления. Например, уровень собственных шумов сигналов с микрофона может определяться отслеживанием минимума сглаженной оценки мощности и, применительно к каждому кадру или временному интервалу, мгновенная мощность сравнивается с этим минимумом. В качестве еще одного примера, уровень собственных шумов выходного сигнала формирователя диаграммы направленности может определяться и сравниваться с мгновенной выходной мощностью выходного сигнала со сформированной диаграммой направленности.

В некоторых вариантах осуществления, адаптация ограниченного формирователя 709, 711 диаграммы направленности ограничена тем, когда речевая составляющая была выявлена в выходном сигнале ограниченного формирователя 709, 711 диаграммы направленности. Это будет давать улучшенные рабочие характеристики для применений записи речи. Будет принято во внимание, что может использоваться любой подходящий алгоритм или подход для выявления речи в звуковом сигнале. В частности, может применяться описанный ранее подход детектора 307 точечного источника звука.

Будет принято во внимание, что система по фиг. 3–7 типично действует с использованием обработки кадров или блоков. Таким образом, определены следующие друг за другом временные интервалы или кадры, и описанная обработка может выполняться в пределах каждого временного интервала. Например, сигналы с микрофона могут быть поделены на временные интервалы обработки и, применительно к каждому временному интервалу обработки, формирователи 705, 709, 711 диаграммы направленности могут формировать звуковой выходной сигнал со сформированной диаграммой направленности для временного интервала, определять показатель разности, выбирать ограниченные формирователи 709, 711 диаграммы направленности и обновлять/адаптировать этот ограниченный формирователь 709, 711 диаграммы направленности, и т.д. Временные интервалы обработки в многих вариантах осуществления могут иметь длительность между 7 мс и 70 мс.

Будет принято во внимание, что, в некоторых вариантах осуществления, разные временные интервалы обработки могут использоваться для разных аспектов и функций устройства звукозаписи. Например, показатель разности и выбор ограниченного формирователя 709, 711 диаграммы направленности для адаптации могут выполняться с более низкой частотой, чем, например, временной интервал обработки для формирования диаграммы направленности.

В системе, адаптация дополнительно находится в зависимости от выявления точечных источников звука в звуковых выходных сигналах со сформированной диаграммой направленности. Соответственно, устройство звукозаписи дополнительно может содержать детектор 307 точечного источника звука, уже описанный в отношении фиг. 3.

Детектор 307 точечного источника звука, более точно, в многих вариантах осуществления может быть выполнен с возможностью выявлять точечные источники звука во вторых звуковых сигналах со сформированной диаграммой направленности и, соответственно, детектор 307 точечного источника звука подсоединен к ограниченным формирователям 709, 711 диаграммы направленности, и он принимает из них звуковые выходные сигналы со сформированной диаграммой направленности. В дополнение, он принимает шумовые опорные сигналы из них (ради ясности, фиг. 7 иллюстрирует звуковой выходной сигнал со сформированной диаграммой направленности и шумовой опорный сигнал одиночными линиями, то есть линии по фиг. 7 могут считаться представляющими собой шину, содержащую как звуковой выходной сигнал со сформированной диаграммой направленности, так и шумовой опорный сигнал(ы), а также параметры формы диаграммы направленности).

Таким образом, функционирование системы по фиг. 7 зависит от оценки точечного источника звука, выполняемой детектором 307 точечного источника звука в соответствии с описанными ранее принципами. Детектор 307 точечного источника звука, более точно, может быть выполнен с возможностью формировать оценку точечного источника звука для всех формирователей 705, 709 диаграммы направленности.

Результат выявления пересылается из детектора 307 точечного источника звука во второй адаптер 713, который выполнен с возможностью применять адаптацию в ответ на это. Более точно, второй адаптер 713 может быть выполнен с возможностью адаптировать только ограниченные формирователи 709, 711 диаграммы направленности, для которых детектор 307 точечного источника звука указывает, что был выявлен точечный источник звука.

Таким образом, устройство звукозаписи выполнено с возможностью ограничивать адаптацию ограниченных формирователей 709, 711 диаграммы направленности, так чтобы адаптировались только формирователи 709, 711 диаграммы направленности, в которых точечный источник звука присутствует в сформированной диаграмме направленности, и сформированная диаграмма направленности близка к таковой, сформированной первым формирователем 705 диаграммы направленности. Таким образом, адаптация типично ограничена ограниченными формирователями 709, 711 диаграммы направленности, которые уже близки к (желательному) точечному источнику звука. Подход предоставляет возможность для очень устойчивого и точного формирования диаграммы направленности, которое исключительно хорошо функционирует в окружающих средах, где желательный источник звука может находиться вне радиуса реверберации. Кроме того, посредством приведения в действие и избирательного обновления множества ограниченных формирователей 709, 711 диаграммы направленности, эти устойчивость и точность могут быть дополнены относительно быстрым временем реакции, предоставляющим возможность быстрой адаптации системы в целом к быстро движущимся или вновь возникающим источникам звука.

В многих вариантах осуществления, устройство звукозаписи может быть выполнено с возможностью адаптировать только один ограниченный формирователь 709, 711 диаграммы направленности за раз. Таким образом, второй адаптер 713 в каждом временном интервале адаптации может выбирать один и ограниченных формирователей 709, 711 диаграммы направленности и адаптировать только его, обновляя параметры формы диаграммы направленности.

Выбор одиночных ограниченных формирователей 709, 711 диаграммы направленности типично будет происходить автоматически при выборе ограниченного формирователя 709, 711 диаграммы направленности для адаптации, только если текущая формируемая диаграмма направленности находится близко от формируемой первым формирователем 705 диаграммы направленности, и если точечный источник звука выявлен в диаграмме направленности.

Однако, в некоторых вариантах осуществления, может быть возможным, чтобы множество ограниченных формирователей 709, 711 диаграммы направленности одновременно удовлетворяли критериям. Например, если точечный источник звука расположен рядом с областями, охватываемыми двумя разными ограниченными формирователями 709, 711 диаграммы направленности (или, например, он находится в зоне перекрытия областей), точечный источник звука может выявляться в обеих диаграммах направленности, и таковые обе могли быть адаптированы, чтобы находится близко друг к другу, та и другая будучи подгоняемыми под направление на точечный источник звука.

Таким образом, в таких вариантах осуществления, второй адаптер 713 может выбирать один из ограниченных формирователей 709, 711 диаграммы направленности, удовлетворяющих двум критериям, и адаптировать только этот один. Это будет снижать риск, что две диаграммы направленности адаптируются в направлении одного и того же точечного источника звука, и, таким образом, снижать риск операций с таковыми, мешающими друг другу.

В действительности, адаптация ограниченных формирователей 709, 711 диаграммы направленности под ограничением, что соответствующий показатель разности должен быть достаточно низок, и выбор только одного из ограниченных формирователей 709, 711 диаграммы направленности для адаптации (например, в каждом временном интервале/кадре обработки) будет приводить к адаптации, различающейся между разными ограниченными формирователями 709, 711 диаграммы направленности. Это будет иметь тенденцию давать в результате ограниченные формирователи 709, 711 диаграммы направленности, адаптируемые, чтобы охватывать разные области ближайшим ограниченным формирователем 709, 711 диаграммы направленности, автоматически, будучи выбранными для адаптации/следования за источником звука, выявленным первым формирователем 705 диаграммы направленности. Однако, например, в противоположность подходу по фиг. 2, области не стационарны и не предопределены, но скорее формируются динамически и автоматически.

Следует отметить, что области могут быть зависящими от формирования диаграммы направленности для множества путей и типично не ограничены угловым направлением областей прихода. Например, области могут различаться на основании расстояния до микрофонной решетки. Таким образом, термин область может рассматриваться относящийся к положениям в пространстве, в которых источник звука будет давать в результате адаптацию, которая удовлетворяет требованию подобия применительно к показателю разности. Таким образом, это включает в себя рассмотрение не только прямого тракта, но, например, также отражений, если они рассматриваются в параметрах формы диаграммы направленности, и, в частности, определяются на основании как пространственного, так и временного аспекта (а более точно, зависят от полных импульсных характеристик фильтров формы диаграммы направленности).

Выбор одиночного ограниченного формирователя 709, 711 диаграммы направленности, более точно, может происходить в ответ на зафиксированный уровень звука. Например, детектор 307 точечного источника звука может определять уровень звука каждого из звуковых выходных сигналов со сформированной диаграммой направленности из ограниченных формирователей 709, 711 диаграммы направленности, которые удовлетворяют критериям, и второй адаптер 713 может выбирать ограниченный формирователь 709, 711 диаграммы направленности, дающий в результате наивысший уровень. В некоторых вариантах осуществления, второй адаптер 713 может выбирать ограниченный формирователь 709, 711 диаграммы направленности, для которого точечный источник звука, выявленный в звуковом выходном сигнале со сформированной диаграммой направленности, имеет наивысшее значение. Например, детектор 307 точечного источника звука может выявлять речевую составляющую в звуковых выходных сигналах со сформированной диаграммой направленности из двух ограниченных формирователей 709, 711 диаграммы направленности и второго адаптера 713 и приступать к выбору имеющего наивысший уровень речевой составляющей.

В многих вариантах осуществления, второй адаптер 713 может выбирать формирователь 705, 711 диаграммы направленности на основании оценки точечного источника звука, а более точно, может выбирать формирователь 709, 711 диаграммы направленности, для которой оценка точечного источника звука дает наивысшую вероятность наличия точечного источника звука. В качестве отдельного примера, он может выбирать формирователь 709, 711 диаграммы направленности, имеющий наибольшее объединенное значение:

В подходе, в высшей степени избирательная адаптация ограниченных формирователей 709, 711, таким образом, выполняется, приводя к таковым, адаптирующимся только в определенных обстоятельствах. Это дает очень надежное формирование диаграммы направленности ограниченными формирователями 709, 711 диаграммы направленности, давая в результате улучшенный захват желательного источника звука. Однако, в многих сценариях, ограничения формирования диаграммы направленности также могут давать в результате более медленную адаптируемость и, в действительности, в многих ситуациях, могут давать в результате новые источники звука (например, докладчиков), не выявляемых или всего лишь очень медленно подвергаемых адаптации.

Фиг. 8 иллюстрирует устройство звукозаписи по фиг. 7, но с добавлением контроллера 801 формирователей диаграммы направленности, который подсоединен ко второму адаптеру 713 и детектору 307 точечного источника звука. Контроллер 801 формирователей диаграммы направленности выполнен с возможностью инициализировать ограниченный формирователь 709, 711 диаграммы направленности в определенных ситуациях. Более точно, контроллер 801 формирователей диаграммы направленности может инициализировать ограниченный формирователь 709, 711 диаграммы направленности в ответ на первый формирователь 705 диаграммы направленности, а более точно, может инициализировать ограниченные формирователи 709, 711 диаграммы направленности для формирования диаграммы направленности, соответствующей таковой у первого формирователя 705 диаграммы направленности.

Контроллер 801 формирователя диаграммы направленности, более точно, устанавливает параметры формы диаграммы направленности одного из ограниченных формирователей 709, 711 диаграммы направленности в ответ на параметры формы диаграммы направленности первого формирователя 705 диаграммы направленности, впредь упоминаемые как первые параметры формы диаграммы направленности. В некоторых вариантах осуществления, фильтры ограниченных формирователей 709, 711 диаграммы направленности и первого формирователя 705 диаграммы направленности могут быть идентичными, например, они могут иметь одинаковую архитектуру. В качестве конкретного примера, оба фильтра ограниченных формирователей 709, 711 диаграммы направленности и первого формирователя 705 диаграммы направленности могут быть КИХ–фильтрами с одинаковой длиной (то есть, заданным количеством коэффициентов), и текущие адаптированные значения коэффициентов из фильтров первого формирователя 705 диаграммы направленности могут быть просто скопированы в ограниченный формирователь 709, 711 диаграммы направленности, то есть, коэффициенты ограниченного формирователя 709, 711 диаграммы направленности могут быть установлены в значения из первого формирователя 705 диаграммы направленности. Таким образом, ограниченный формирователь 709, 711 диаграммы направленности будет инициализироваться теми же самыми свойствами диаграммы направленности, что и адаптируемые на данный момент первым формирователем 705 диаграммы направленности.

В некоторых вариантах осуществления, настройка фильтров ограниченных формирователей 709, 711 диаграммы направленности может определяться из параметров фильтра первого формирователя 705 диаграммы направленности, но вместо того, чтобы использовать их сразу, они могут адаптироваться до применения. Например, в некоторых вариантах осуществления, коэффициенты КИХ–фильтров могут модифицироваться для инициализации диаграммы направленности ограниченного формирователя 709, 711 диаграммы направленности, чтобы была более широкой, чем диаграмма направленности первого формирователя 705 диаграммы направленности (например, формируемой в том же самом направлении).

Контроллер 801 формирователей диаграммы направленности, в многих вариантах осуществления, в некоторых обстоятельствах, соответственно может инициализировать один из ограниченных формирователей 709, 711 диаграммы направленности начальной диаграммой направленности, соответствующей таковой у первого формирователя 705 диаграммы направленности. Система затем может приступать к обработке ограниченного формирователя 709, 711 диаграммы направленности, как описано ранее, а более точно, может переходить к адаптации ограниченного формирователя 709, 711 диаграммы направленности, когда он удовлетворяет описанным ранее критериям.

Критерии для инициализации ограниченного формирователя 709, 711 диаграммы направленности могут быть разными в разных вариантах осуществления.

Во многих вариантах осуществления, контроллер 801 диаграммы направленности может быть выполнен с возможностью инициализировать ограниченный формирователь 709, 711 диаграммы направленности, если наличие точечного источника звука выявлено в первом звуковом выходном сигнале со сформированной диаграммой направленности, но не в каком–нибудь из звуковых выходных сигналах со сформированной ограниченной диаграммой направленности.

Таким образом, детектор 307 точечного источника звука может определять, присутствует ли точечный источник звука в каком–нибудь из звуковых выходных сигналов со сформированной диаграммой направленности из ограниченных формирователей 709, 711 диаграммы направленности или первого формирователя 705 диаграммы направленности. Результаты выявления/оценки для каждого звукового выходного сигнала со сформированной диаграммой направленности могут пересылаться в контроллер 801 формирователей диаграммы направленности, которые могут их оценивать. Если точечный источник звука выявлен только применительно к первому формирователю 705 диаграммы направленности, но ни для какого из ограниченных формирователей 709, 711 диаграммы направленности, это может отражать ситуацию, в которой точечный источник звука, такой как докладчик, присутствует и выявляется первым формирователем 705 диаграммы направленности, но ни один из ограниченных формирователей 709, 711 диаграммы направленности не был выявлен и не был адаптирован под точечный источник звука. В этом случае, ограниченные формирователи 709, 711 диаграммы направленности могут никогда не (или всего лишь очень медленно) адаптироваться под точечный источник звука. Поэтому, один из ограниченных формирователей 709, 711 диаграммы направленности инициализируется для формирования диаграммы направленности, соответствующей точечному источнику звука. По существу, эта диаграмма направленности вероятно должна быть близка к точечному источнику звука, и она будет (типично медленно но верно) адаптироваться к этому новому точечному источнику звука.

Таким образом, подход может объединять и обеспечивать полезные результаты как быстрого первого формирователя 705 диаграммы направленности, так и надежных ограниченных формирователей 709, 711 диаграммы направленности.

В некоторых вариантах осуществления, контроллер 801 формирователей диаграммы направленности может быть выполнен с возможностью инициализировать ограниченный формирователь 709, 711 диаграммы направленности, только если показатель разности для ограниченного формирователя 709, 711 диаграммы направленности превышает пороговое значение. Более точно, если наименьший определенный показатель разности для ограниченных формирователей 709, 711 диаграммы направленности находится ниже порогового значения, инициализация не выполняется. В такой ситуации, может быть возможным, что адаптация ограниченного формирователя 709, 711 диаграммы направленности находится ближе к желательной ситуации, тогда как менее надежная адаптация первого формирователя 705 диаграммы направленности менее точна и может адаптироваться, чтобы находиться ближе к первому формирователю 705 диаграммы направленности. Таким образом, в тех сценариях, где показатель разности достаточно низок, может быть полезно предоставлять системе возможность попытаться адаптироваться автоматически.

В некоторых вариантах осуществления, контроллер 801 формирователей диаграммы направленности, более точно, может быть выполнен с возможностью инициализировать ограниченный формирователь 709, 711 диаграммы направленности, когда точечный источник звука выявлен как для первого формирователя 705 диаграммы направленности, так и для одного из ограниченных формирователей 709, 711 диаграммы направленности, но показателю разности для них не удается удовлетворить критерий подобия. Более точно, контроллер 801 формирователей диаграммы направленности может быть выполнен с возможностью устанавливать параметры формы диаграммы направленности для первого ограниченного формирователя 709, 711 диаграммы направленности в ответ на параметры формы диаграммы направленности первого формирователя 705 диаграммы направленности, если точечный источник звука выявлен как в повергнутом формированию диаграммы направленности звуковом выходном сигнале из первого формирователя 705 диаграммы направленности, так и в звуковом выходном сигнале со сформированной диаграммой направленности из ограниченного формирователя 709, 711 диаграммы направленности, и показатель разности таковых превышает пороговое значение.

Такой сценарий может отражать ситуацию, в которой ограниченный формирователь 709, 711 диаграммы направленности возможно мог адаптироваться под и захватить точечный источник звука, который, однако, отличен от точечного источника звука, захваченного первым формирователем 705 диаграммы направленности. Таким образом, более точно, он может отражать то, что ограниченный формирователь 709, 711 мог захватить «ошибочный» точечный источник звука. Соответственно, ограниченный формирователь 709, 711 диаграммы направленности может быть повторно инициализирован для формирования диаграммы направленности в направлении желательного точечного источника звука.

В некоторых вариантах осуществления, количество ограниченных формирователей 709, 711 диаграммы направленности, которые являются действующими, может меняться. Например, устройство звукозаписи может содержать функциональные возможности для формирования потенциально относительно высокого количества ограниченных формирователей 709, 711 диаграммы направленности. Например, оно может реализовывать, скажем, до восьми одновременных ограниченных формирователей 709, 711 диаграммы направленности. Однако, например, для того чтобы понизить потребляемую мощность и вычислительную нагрузку, не все из них могут быть действующими одновременно.

Таким образом, в некоторых вариантах осуществления, набор действующих ограниченных формирователей 709, 711 диаграммы направленности выбирается из большей совокупности формирователей диаграммы направленности. Это, более точно может выполняться, когда инициализируется формирователь 709, 711 диаграммы направленности. Таким образом, в примерах, приведенных выше, инициализация ограниченного формирователя 709, 711 диаграммы направленности (например, если точечный источник звука не выявлен ни в каком из действующих ограниченных формирователей 709, 711 диаграммы направленности) может достигаться посредством инициализации бездействующего ограниченного формирователя 709, 711 диаграммы направленности из совокупности, тем самым, увеличивая количество действующих ограниченных формирователей 709, 711 диаграммы направленности.

Если все ограниченные формирователи 709, 711 диаграммы направленности в совокупности являются действующими на данный момент, инициализация ограниченного формирователя 709, 711 диаграммы направленности может выполняться посредством инициализации действующего на данный момент формирователя 709, 711 диаграммы направленности. Ограниченный формирователь 709, 711 диаграммы направленности, подлежащий инициализации, может выбираться в соответствии с каким–нибудь подходящим критерием. Например, могут выбираться ограниченные формирователи 709, 711 диаграммы направленности, имеющие наибольший показатель разности или самый низкий уровень сигнала.

В некоторых вариантах осуществления, ограниченный формирователь 709, 711 диаграммы направленности может выводиться из работы в ответ на удовлетворение подходящего критерия. Например, ограниченные формирователи 709, 711 диаграммы направленности могут выводиться из работы, если показатель разности возрастает выше заданного порогового значения.

Конкретный подход для управления адаптацией и настройки ограниченных формирователей 709, 711 диаграммы направленности в соответствии со многими из примеров, описанных выше, проиллюстрирован блок–схемой последовательности операций способа по фиг. 9.

Способ начинается на этапе 901 инициализацией следующего временного интервала обработки (например, ожиданием начала следующего временного интервала обработки, сбором набора параметров для временного интервала обработки, и т.д.).

Этап 901 сопровождается этапом 903, при этом, определяется, есть ли точечный источник звука, выявленный в какой–нибудь из диаграмм направленности ограниченных формирователей 709, 711 диаграммы направленности.

Если так, способ продолжается на этапе 905, на котором определяется, удовлетворяет ли показатель разности критерию подобия, а более точно, находится ли показатель разности ниже порогового значения.

Если так, способ продолжается на этапе 907, на котором ограниченный формирователь 709, 711 диаграммы направленности, в котором был выявлен точечный источник звука (или который имеет наибольший уровень сигнала в случае, если точечный источник звука был выявлен в более чем одном ограниченном формирователе 709, 711 диаграммы направленности), адаптируется, то есть обновляются параметры формы диаграммы направленности (фильтра).

Если нет, способ продолжается на этапе 909, на котором ограниченный формирователь 709, 711 диаграммы направленности инициализируется, параметры формы диаграммы направленности ограниченного формирователя 709, 711 диаграммы направленности устанавливаются независимо от параметров формы диаграммы направленности первого формирователя 705 диаграммы направленности. Ограниченный формирователь 709, 711 диаграммы направленности, являющийся инициализируемым, может быть новым ограниченным формирователем 709, 711 диаграммы направленности (то есть формирователем диаграммы направленности из совокупности бездействующих формирователей диаграммы направленности) или может быть уже действующим ограниченным формирователем 709, 711 диаграммы направленности, для которого предусмотрены новые параметры формы диаграммы направленности.

Вслед за этапами 907 и 909, способ возвращается на этап 901 и ожидает следующего временного интервала обработки.

Если на этапе 903 выявлено, что точечный источник звука не выявлен в звуковом выходном сигнале со сформированной диаграммой направленности какого–нибудь из ограниченных формирователей 709, 711 диаграммы направленности, способ переходит на этап 911, на котором определяется, выявлен ли точечный источник звука в первом формирователе 705 диаграммы направленности, то есть, соответствует ли текущий сценария захвату точечного источника звука первым формирователем 705 диаграммы направленности, но ни одним из ограниченных формирователей 709, 711 диаграммы направленности.

Если нет, точечный источник звука вовсе не был выявлен, и способ возвращается на этап 901, чтобы ожидать следующего временного интервала обработки.

Иначе, способ переходит на этап 913, на котором определяется, удовлетворяет ли показатель разности критерию подобия, а более точно, находится ли показатель разности ниже порогового значения (который может быть таким же или может быть отличным пороговым значением/критерием, чем используемый на этапе 905).

Если так, способ переходит на этап 915, на котором адаптируется ограниченный формирователь 709, 711 диаграммы направленности, для которого показатель разности находится ниже порогового значения (или если более чем один ограниченный формирователь 709, 711 диаграммы направленности удовлетворяет критерию, может выбираться один, например, с низшим показателем разности).

Иначе, способ переходит на этап 917, на котором ограниченный формирователь 709, 711 диаграммы направленности инициализируется, параметры формы диаграммы направленности ограниченного формирователя 709, 711 диаграммы направленности устанавливаются независимо от параметров формы диаграммы направленности первого формирователя 705 диаграммы направленности. Ограниченный формирователь 709, 711 диаграммы направленности, являющийся инициализируемым, может быть новым ограниченным формирователем 709, 711 диаграммы направленности (то есть, формирователем диаграммы направленности из совокупности бездействующих формирователей диаграммы направленности) или может быть уже действующим ограниченным формирователем 709, 711 диаграммы направленности, для которого предусмотрены новые параметры формы диаграммы направленности.

Вслед за этапами 915 и 917, способ возвращается на этап 901 и ожидает следующего временного интервала обработки.

Описанный подход устройства звукозаписи по фиг. 7–9 может давать полезные рабочие характеристики в многих сценариях и, в частности, может иметь тенденцию предоставлять устройству звукозаписи возможность динамически формировать сфокусированные, устойчивые и точные диаграммы направленности для захвата источников звука. Диаграммы направленности будут иметь тенденцию адаптироваться, чтобы охватывать разные области, и подход, например, автоматически может выбирать и адаптировать ближайший ограниченный формирователь 709, 711 диаграммы направленности.

Таким образом, в противоположность подходу, например, по фиг. 2, не нужно непосредственно накладывать никакие специальные ограничения на направления диаграммы направленности или на коэффициенты фильтра. Скорее, отдельные области могут автоматически вырабатываться/формироваться, посредством предоставления ограниченным формирователям 709, 711 диаграммы направленности (условно) адаптироваться только тогда, когда есть одиночный преобладающий источник звука, и когда он достаточно близок к диаграмме направленности ограниченного формирователя 709, 711 диаграммы направленности. Это, более точно, определяется посредством рассмотрения коэффициентов фильтра, которые учитывают как прямое поле, так и (первые) отражения.

Следует отметить, что использование фильтров с расширенной импульсной характеристикой (в противоположность использованию простых фильтров с задержкой, то есть, фильтров с одним коэффициентом) также учитывает, что отражения приходят через некоторое (конкретное) время после прямого поля. Соответственно, диаграмма направленности определена не только пространственными характеристиками (с каких направлений приходит поле прямой волны и отражения), но также определена временными характеристиками (в какие моменты времени после поля прямой волны приходят отражения). Таким образом, ссылки на диаграммы направленности не только ограничены пространственными соображениями, но также отражают временную составляющую фильтров формы диаграммы направленности. Подобным образом, ссылки на области включают в себя как чисто пространственные, так и временные эффекты фильтров формы диаграммы направленности.

Подход, таким образом, может рассматриваться формирующим области, которые определены разностью показателя разности между автономно функционирующей диаграммы направленности первого формирователя 705 диаграммы направленности и диаграммой направленности ограниченного формирователя 709, 711 диаграммы направленности. Например, предположим, что ограниченный формирователь 709, 711 диаграммы направленности имеете диаграмму направленности, сфокусированную на источнике (как с пространственными, так и временными характеристиками). Предположим, что источник молчит, и новый источник становится действующим, причем, первый формирователь 705 диаграммы направленности адаптируется, чтобы сфокусироваться на нем. В таком случае, каждый источник с пространственно–временными характеристиками, такими, что расстояние между диаграммой направленности первого формирователя 705 диаграммы направленности и диаграммой направленности ограниченного формирователя 709, 711 диаграммы направленности не превышало пороговое значение, может считаться находящимся в области ограниченного формирователя 709, 711 диаграммы направленности. Таким образом, ограничение на первый ограниченный формирователь 709 диаграммы направленности может рассматриваться для перевода в ограничение в пространстве.

Критерий расстояния для адаптации ограниченного формирователя диаграммы направленности вместе с подходом инициализации диаграмм направленности (например, копирования коэффициентов фильтра формы диаграммы направленности) типично предусматривает, чтобы ограниченные формирователи 709, 711 диаграммы направленности формировали диаграммы направленности в разных областях.

Подход типично дает в результате автоматическое формирование областей, отражающих наличие источников звука в окружающей среде вместо предопределенной стационарной системы, как система по фиг. 2. Этот гибкий подход предоставляет системе возможность основываться на пространственно–временных характеристиках, таких как вызванные отражениями, которые было бы очень трудно и сложно учитывать применительно к предопределенной и стационарной системе (так как эти характеристики зависят от многих параметров, таких как характеристики размера, формы и реверберации помещения, и т.д.).

Будет приниматься во внимание, что вышеприведенное описание, для ясности, описывало варианты осуществления изобретения со ссылкой на разные функциональный схемы, блоки и процессоры. Однако, будет очевидно, что может использоваться любое подходящее распределение функциональных возможностей между разными функциональными схемами, блоками или процессорами, не умаляя изобретения. Например, функциональные возможности, проиллюстрированные выполняемыми отдельными процессорами или контроллерами, могут выполняться одним и тем же процессором или контроллерами. Отсюда, ссылки на определенные функциональные блоки или схемы должны рассматриваться скорее только в качестве ссылок на пригодное средство для обеспечения описанных функциональных возможностей, нежели указывающими на строгую логическую или физическую структуру или организацию.

Изобретение может быть реализовано в любом пригодном виде, включая аппаратные средства, программное обеспечение, зашитые программы или сочетание таковых. Изобретение, по выбору, может быть реализовано, по меньшей мере частично, в качестве компьютерного программного обеспечения, функционирующего на одном или более процессоров данных и/или цифровых сигнальных процессоров. Элементы и компоненты варианта осуществления изобретения могут быть реализованы физически, функционально и логически любым подходящим образом. Действительно, функциональные возможности могут быть реализованы в одиночном блоке, множестве блоков или в качестве части других функциональных блоков. По существу, изобретение может быть реализовано в одиночном блоке, или может быть физически или функционально распределено между разными схемами, блоками и процессорами.

Хотя настоящее изобретение было описано в связи с некоторыми вариантами осуществления, оно не подразумевается ограниченным отдельными формами, изложенными в материалах настоящей заявки. Вернее, объем настоящего изобретения ограничен только прилагаемой формулой изобретения. Дополнительно, хотя признак может фигурировать описанным в связи с конкретными вариантами осуществления, специалист в данной области техники будет осознавать, что различные признаки описанных вариантов осуществления могут объединяться в соответствии с изобретением. В формуле изобретения, термин содержит не исключают присутствия других элементов или этапов.

Более того, хотя и перечислены по отдельности, множество средств, элементов, схем или этапов способа могут быть реализованы, например, одиночной схемой, блоком или процессором. Дополнительно, хотя отдельные признаки могут быть включены в разные пункты формулы изобретения, таковые могут объединяться преимущественным образом, как только возможно, а включение в разные пункты формулы изобретения не подразумевает, что объединение признаков не является выполнимой и/или полезной. К тому же, включение признака в одну категорию формулы изобретения не предполагает ограничения этой категорией, а скорее указывает, что признак равным образом применим к категориям другого пункта формулы изобретения надлежащим образом. Более того, очередность признаков в формуле изобретения не подразумевает никакого определенного порядка, в которой признаки должны обрабатываться, и, в частности, очередность отдельных этапов в пункте формулы изобретения о способе не подразумевает, что этапы должны выполняться в этой очередности. Вернее, этапы могут выполняться в любом подходящем порядке. В дополнение, упоминания в единственном числе не исключают множественности. Выражения единственного числа, «первый», «второй» и т.п., не устраняют множественности. Символы ссылок в пунктах формулы изобретения предусмотрены только в качестве проясняющих примеров, которые не должны трактоваться в качестве ограничивающие объем, определяемый формулой изобретения, каким бы то ни было образом.

Изобретение относится к акустике. Устройство звукозаписи содержит микрофонную решетку и средство формирования диаграммы направленности, выполненное с возможностью формировать звуковой выходной сигнал со сформированной диаграммой направленности и шумовой опорный сигнал. Первый и второй формирователь диаграммы направленности формирует первый и второй сигнал в частотной области соответственно из частотного преобразования звукового выходного сигнала со сформированной диаграммой направленности и шумового опорного сигнала. Разностный процессор формирует показатели разности время–частотных элементов разбиения, которые, применительно к данной частоте, указывают разность между монотонной функцией нормы (модуля) значения время–частотного элемента разбиения первого сигнала в частотной области и монотонной функцией нормы значения время–частотного элемента разбиения второго сигнала в частотной области для первой частоты. Блок оценки формирует оценку, указывающую, содержит ли звуковой выходной сигнал точечный источник звука, в ответ на объединенное значение разности для показателей разности время–частотного элемента разбиения применительно к частотам выше порогового значения частоты. Технический результат – повышение качества звучания. 2 н. и 12 з.п. ф-лы, 9 ил.

1. Устройство звукозаписи, содержащее:

микрофонную решетку (301);

по меньшей мере первый формирователь (303) диаграммы направленности, выполненный с возможностью формировать звуковой выходной сигнал со сформированной диаграммой направленности и по меньшей мере один шумовой опорный сигнал;

первый преобразователь (309) для формирования первого сигнала в частотной области из частотного преобразования звукового выходного сигнала со сформированной диаграммой направленности, при этом первый сигнал в частотной области представляется значениями время–частотных элементов разбиения;

второй преобразователь (311) для формирования второго сигнала в частотной области из частотного преобразования упомянутого по меньшей мере одного шумового опорного сигнала, при этом второй сигнал в частотной области представляется значениями время–частотных элементов разбиения;

разностный процессор (313), выполненный с возможностью формировать показатели разности время–частотных элементов разбиения, при этом показатель разности время–частотного элемента разбиения для первой частоты указывает разность между первой монотонной функцией нормы значения время–частотного элемента разбиения первого сигнала в частотной области для первой частоты и второй монотонной функцией нормы значения время–частотного элемента разбиения второго сигнала в частотой области для первой частоты;

блок (315) оценки точечного источника звука для формирования оценки точечного источника звука, указывающей, содержит ли звуковой выходной сигнал со сформированной диаграммой направленности точечный источник звука, при этом блок (315) оценки точечного источника звука выполнен с возможностью формировать оценку точечного источника звука в ответ на объединенное значение разности применительно к показателям разности время–частотного элемента разбиения для частот выше порогового значения частоты.

2. Устройство звукозаписи по п.1, в котором блок (315) оценки точечного источника звука выполнен с возможностью выявлять наличие точечного источника звука в звуковом выходном сигнале со сформированной диаграммой направленности в ответ на превышение объединенным значением разности порогового значения.

3. Устройство звукозаписи по п.2, при этом пороговое значение частоты находится не ниже 500 Гц.

4. Устройство звукозаписи по п.1, в котором разностный процессор (313) выполнен с возможностью формировать оценку когерентности шума, указывающую корреляцию между амплитудой звукового выходного сигнала со сформированной диаграммой направленности и амплитудой упомянутого по меньшей мере одного шумового опорного сигнала; и по меньшей мере одна из первой монотонной функции и второй монотонной функции зависит от оценки когерентности шума.

5. Устройство звукозаписи по п.1, в котором разностный процессор (313) выполнен с возможностью масштабировать норму значения время–частотного элемента разбиения первого сигнала в частотной области для первой частоты относительно нормы значения время–частотного элемента разбиения второго сигнала в частотной области для первой частоты в ответ на оценку когерентности шума.

6. Устройство звукозаписи по п.1, в котором разностный процессор (313) выполнен с возможностью формировать показатель разности время–частотного элемента разбиения для момента t_k времени на частоте _l, по существу, в виде:

,

где – значение время–частотного элемента разбиения для звукового выходного сигнала со сформированной диаграммой направленности в момент t_k времени на частоте _l; – значение время–частотного элемента разбиения для упомянутого по меньшей мере одного шумового опорного сигнала в момент t_k времени на частоте _l; – оценка когерентности шума в момент t_k времени на частоте _l; и – расчетный параметр.

7. Устройство звукозаписи по п.1, в котором разностный процессор (313) выполнен с возможностью фильтровать по меньшей мере одно из значений время–частотного элемента разбиения звукового выходного сигнала со сформированной диаграммой направленности и значений время–частотного элемента разбиения упомянутого по меньшей мере одного шумового опорного сигнала.

8. Устройство звукозаписи по п.7, в котором фильтр функционирует как в направлении по частоте, так и в направлении по времени.

9. Устройство звукозаписи по п.1, содержащее множество формирователей (705, 709, 711) диаграммы направленности, включающих в себя упомянутый формирователь (705) диаграммы направленности; при этом блок (315) оценки точечного источника звука выполнен с возможностью формировать оценку точечного источника звука для каждого формирователя диаграммы направленности из множества формирователей (705, 709, 711) диаграммы направленности; и дополнительно содержащее адаптер (713) для адаптации по меньшей мере одного из множества формирователей (705, 709, 711) диаграммы направленности в ответ на оценки точечного источника звука.

10. Устройство звукозаписи по п.9, в котором множество формирователей (705, 709, 711) диаграммы направленности содержит первый формирователь (705) диаграммы направленности, выполненный с возможностью формировать звуковой выходной сигнал со сформированной диаграммой направленности и по меньшей мере один шумовой опорный сигнал; и множество ограниченных формирователей (709, 711) диаграммы направленности, которые подсоединены к микрофонной решетке (701) и каждый из которых выполнен с возможностью формировать звуковой выходной сигнал со сформированной ограниченной диаграммой направленности и по меньшей мере один ограниченный шумовой опорный сигнал; при этом устройство звукозаписи дополнительно содержит:

разностный процессор (717) диаграмм направленности для определения показателя разности для по меньшей мере одного из множества ограниченных формирователей (709, 711) диаграммы направленности, при этом показатель разности указывает разность между диаграммами направленности, сформированными первым формирователем (705) диаграммы направленности и по меньшей мере одним из множества ограниченных формирователей (709, 711) диаграммы направленности;

при этом адаптер (713) выполнен с возможностью адаптировать параметры ограниченной формы диаграммы направленности с ограничением, что параметры ограниченной формы диаграммы направленности адаптируются только применительно к ограниченным формирователям диаграммы направленности из множества ограниченных формирователей (709, 711) диаграммы направленности, для которых был определен показатель разности, который удовлетворяет критерию подобия.

11. Устройство по п.10, в котором адаптер (713) выполнен с возможностью адаптировать параметры ограниченной формы диаграммы направленности только для ограниченных формирователей (709, 711) диаграммы направленности, применительно к которым оценка точечного источника звука указывает наличие точечного источника звука в звуковом выходном сигнале со сформированной ограниченной диаграммой направленности.

12. Устройство по п.10, в котором адаптер (713) выполнен с возможностью адаптировать параметры ограниченной формы диаграммы направленности только для ограниченного формирователя (709, 711) диаграммы направленности, применительно к которому оценка точечного источника звука указывает наивысшую вероятность того, что звуковой выходной сигнал со сформированной диаграммой направленности содержит точечный источник звука.

13. Устройство по п.10, в котором адаптер (713) выполнен с возможностью адаптировать параметры ограниченной формы диаграммы направленности только для ограниченного формирователя (709, 711) диаграммы направленности, имеющего наибольшее значение оценки точечного источника звука.

14. Способ осуществления звукозаписи с использованием микрофонной решетки (301), содержащий этапы, на которых:

посредством, по меньшей мере, первого формирователя (303) диаграммы направленности формируют звуковой выходной сигнал со сформированной диаграммой направленности и по меньшей мере один шумовой опорный сигнал;

посредством первого преобразователя (309) формируют первый сигнал в частотной области из частотного преобразования звукового выходного сигнала со сформированной диаграммой направленности, при этом первый сигнал в частотной области представляется значениями время–частотных элементов разбиения;

посредством второго преобразователя (311) формируют второй сигнал в частотной области из частотного преобразования упомянутого по меньшей мере одного шумового опорного сигнала, при этом второй сигнал в частотной области представляется значениями время–частотных элементов разбиения;

посредством разностного процессора (313) формируют показатели разности время–частотных элементов разбиения, при этом показатель разности время–частотного элемента разбиения для первой частоты указывает разность между первой монотонной функцией нормы значения время–частотного элемента разбиения первого сигнала в частотной области для первой частоты и второй монотонной функцией нормы значения время–частотного элемента разбиения второго сигнала в частотой области для первой частоты;

посредством блока (315) оценки точечного источника звука формируют оценку точечного источника звука, указывающую, содержит ли звуковой выходной сигнал со сформированной диаграммой направленности точечный источник звука, при этом блок (315) оценки точечного источника звука выполнен с возможностью формировать оценку точечного источника звука в ответ на объединенное значение разности применительно к показателям разности время–частотного элемента разбиения для частот выше порогового значения частоты.