МИКРОФОННЫЙ МОДУЛЬ, СИСТЕМА МИКРОФОННОЙ РЕШЕТКИ, СОДЕРЖАЩАЯ МИКРОФОННЫЕ МОДУЛИ, И СПОСОБ СБОРА И ОБРАБОТКИ ЗВУКОВЫХ ДАННЫХ Российский патент 2023 года по МПК G01S3/808 

Настоящее изобретение относится к системам, осуществляющим сбор, обработку и мониторинг объектов или областей пространства, излучающих звуковые колебания, с использованием систем микрофонных решеток, построенных на основе MEMS (от Micro-electromechanical systems, или микроэлектромеханические системы) микрофонов, которые выполняют преобразование инфразвуковых, звуковых или ультразвуковых колебаний в электрический сигнал для дистанционной локализации источников звука и определения их параметров.

Известна система микрофонной решетки EVAL-MICCANVASZ компании Analog Devices (см., например, по ссылке в сети Интернет https://www.analog.com/media/en/technical-documentation/user-guides/EVAL-MICCANVASZ-UG-1296.pdf), которая в своем составе содержит 15 MEMS микрофонов, или микрофонных модулей, которые несъемно размещены на печатной плате (микрофонной решетке). Также на печатной плате размещены элементы синхронизации и управления. По аналогичной схеме построена и другая известная система микрофонной решетки той же компании-производителя, содержащая на печатной плате 16 микрофонных модулей модели ADMP411 (см., например, по ссылке в сети Интернет https://www.analog.com/media/en/technical-documentation/application-notes/AN-1328.pdf), но для синхронизации и управления используется отдельная плата.

Недостатком указанных известных решений является то, что расположение микрофонных модулей жестко фиксировано, и поэтому данные системы микрофонной решетки предназначены для решения узкоспециализированных задач.

Аналогичный подход был использован при разработке 32-х элементной системы фазированной микрофонной решетки для приема ультразвуковых колебаний, описанной в статье Robin Kerstens, Dennis Laurijssen, Jan Steckel. Low-cost One-bit MEMS Microphone Arrays for In-air Acoustic Imaging Using FPGA’s. Conference 2017 IEEE SENSORS. В данной системе микрофонной решетки также применено фиксированное расположение микрофонных модулей, следствием чего является формирование узконаправленной диаграммы направленности только в ограниченном рабочем диапазоне частот.

Из патента US5838284 известна система микрофонной решетки в виде жесткой структуры (микрофонной решетки), в которой по спиральной логарифмической кривой размещены чувствительные приемные элементы (микрофонные модули). Микрофонные модули посредством сигнальных кабелей подключены к банку аналого-цифровых преобразователей (АЦП), которые своими выходами подключены к компьютеру, осуществляющему вычислительные операции по формированию диаграммы направленности системы микрофонной решетки. Отмечается, что при таком расположении микрофонных модулей уменьшается уровень нежелательных боковых лепестков диаграммы направленности в широком диапазоне звуковых частот по сравнению с их обычным планарным расположением в узлах 90º сетки. Недостатком известной системы микрофонной решетки является фиксированное положение в ней микрофонных модулей, следствием чего является ограниченный рабочий частотный диапазон, в котором возможно формирование диаграммы направленности нужной ширины. Для расширения рабочего частотного диапазона необходимо изменять расстояние между микрофонными модулями, которое зависит от длины волны звуковых колебаний: при работе на низких частотах оптимальным будет одно расположение микрофонных модулей, а при работе на высоких частотах – другое. Возникает необходимость изменять расположение микрофонных модулей для сохранения одной и той же ширины диаграммы направленности и точности определения пеленга на источник звуковых колебаний, что для предложенной конструкции системы микрофонной решетки невозможно.

Решению задачи по оптимальному расположению микрофонных модулей посвящена статья Ennes Sarradj. A generic approach to synthesize optimal array microphone arrangements. 6th Berlin Beamforming Conference 2016. В статье приводятся разнообразные варианты расположения микрофонных модулей на поле микрофонной решетки в зависимости от требований по уровню боковых лепестков диаграммы направленности, ее ширины, используемого частотного диапазона. Результаты исследований, приведенные в статье, доказывают необходимость иметь микрофонную решетку с возможностью изменения (реконфигурирования) расположения на ней микрофонных модулей в зависимости от решаемых задач, причем не только для планарных решеток, но и решеток, использующих криволинейные поверхности.

Так, из патента US10880644 известна система микрофонной решетки, в которой микрофонные модули расположены на куполообразной поверхности. Недостатком такой конструкции является необходимость пересматривать ее размеры при изменении требований к функциональной зависимости, описывающей кривую, по которой должны располагаться микрофонные модули, т.е. по сути изготавливать новую микрофонную решетку.

Использование фазированных микрофонных решеток, обладающих свойствами реконфигурирования, является актуальным и для так называемых систем разреженных фазированных микрофонных решеток, в которых микрофонные модули размещаются на регулярной сетке узлов микрофонной решетки, обеспечивая сохранение основных свойств фазированной решетки по разрешающей способности и уровню боковых лепестков, но при этом характеризуясь пониженной плотностью заполнения. Способ построения такой системы микрофонной решетки приведен в патенте RU2502162. Сокращение количества используемых микрофонных модулей позволяет уменьшить стоимость системы и снизить нагрузку на вычислительное устройство, производящее пеленгационные расчеты.

Известна система микрофонной решетки, описанная в Dmitry N. Zotkin, Ross Adelman, Adam E. O'Donovan, and Ramani Duraiswami. Chain architecture: An efficient hardware solution for a large microphone array system. Proceedings of Meetings on Acoustics, Vol. 19, 055048 (2013), а также в патенте US9326064. В известной системе предложен микрофонный модуль с электретным микрофоном, подключенным через буферные усилители к специализированному АЦП AD7767, который спроектирован для использования в цепочечных конфигурациях. В таких конфигурациях множество аналоговых сигналов после аналого-цифрового преобразования собирается в высокоскоростную последовательность, которая затем обрабатывается в FPGA (от Field Programmable Gate Array, или программируемая пользователем вентильная матрица). Недостатком такого построения системы микрофонной решетки является использование двух типов кабелей – ленточного и коаксиального – для тактовой синхронизации АЦП и нарастающая временная задержка между обрабатываемыми сигналами, что ограничивает их количество до 32-х в одном сегменте. Также имеет место более низкая, по сравнению со звездными топологиями, надежность, присущая цепочечным структурам.

Аналогичный подход в построении системы сбора цифровых данных для акустических решеток был использован в коммуникационной системе микрофонной решетки согласно патенту US9417944, в которой микрофонный модуль содержит MEMS микрофон, подключенный к A2B Slave Chip (A2B – Automotive Audio Bus). Несколько A2B Slave Chip включены последовательно в виде цепочки с использованием витой пары. Недостатком такого решения является использование специального чипа, а также их последовательное включение, поскольку при обрыве витой пары происходит полный отказ всех микрофонов от точки обрыва.

Наиболее близким аналогом заявляемого в настоящем изобретении микрофонного модуля является микрофонный модуль MEMS Microphone Flex Module компании Fyber Labs Inc. (см., например, по ссылке в сети Интернет https://www.tindie.com/products/fyberlabs/mems-microphone-flex-module). Известный микрофонный модуль в своем составе содержит печатную плату с установленном на ней MEMS микрофоном, контакты на печатной плате для подключения внешних тактовых сигналов и выходных сигналов данных в формате I2S, SMD джампер в виде печатных проводников для переключения режимов L/R (левый/правый канал). Недостатком известного микрофонного модуля является подверженность электромагнитным помехам при использовании его в крупных системах микрофонной решетки, где расстояния от процессора сигнальной обработки могут измеряться метрами, а также отсутствие возможности оперативной фиксации микрофонного модуля в нужном месте микрофонной решетки.

Кроме сбора цифровых данных, поступающих от микрофонных модулей, важным этапом является обработка получаемых данных с целью их практического использования, или способ работы системы микрофонной решетки. В связи с тем, что известные системы микрофонной решетки жестко спроектированы для решения только узкопрофильных задач, применяемые в них способы обработки носят, как правило, ограниченный характер. Поэтому еще одним объектом настоящего изобретения является способ работы системы микрофонной решетки с использованием заявляемых микрофонных модулей, включающий обнаружение, локализацию и структурный анализ звуковых сигналов, поступающих с системы фазированной микрофонной решетки.

Известен способ локализации источника звука, описанный в патенте RU2642157 и предназначенный для пространственной локализации источника звука в режиме реального времени с помощью применения известного базового метода SRP-PHAT (от Steered Response Power Phase Transform) при сокращении вычислительных затрат. Это достигается рядом ограничений для массива точек пространства путем введения предопределенной метрики (пороговых значений) для временных значений рассчитываемых функций взаимной корреляции, а также пороговых значений для фильтрации отдельных спектральных составляющих. Недостатком известного способа является необходимость каким-либо образом устанавливать пороговые значения. Как отмечается в указанном патенте, задание пороговых значений представляет собой настройку известного способа и осуществляется экспериментально. Это требует дополнительных временных затрат, присутствия оператора и, как следствие, увеличения вероятности возникновения ошибок при установке пороговых значений и пропуске маломощных сигналов (снижение вероятности правильного обнаружения).

Наиболее близким аналогом заявляемого в настоящем изобретении способа работы системы микрофонной решетки является способ обработки звуковых сигналов, раскрытый в заявке US20210243522, описывающей систему для проведения аудио конференций. Здесь также решается узкопрофильная задача – локализация звуковых источников (голосов участников аудио конференции) с помощью микрофонной решетки с фиксированным расположением на ней микрофонных модулей (микрофонных капсул). В этом известном решении для уменьшения вычислительных затрат поисковая координатная сетка формируется путем определения секторального угла полусферической трехмерной поисковой сетки, в котором располагается исследуемый объект, как изображено на Фиг.7B указанной заявки. Тем самым исключаются точки пространства, которые могут являться источниками нежелательных шумов и помех и остаются только те точки, которые потенциально могут быть источниками полезных сигналов. Недостатком известного способа является фиксированная и статичная область поисковой координатной сетки. В случае перемещения участника аудио конференции за пределы полусферической поисковой сетки возможны ситуации, когда система не сможет осуществлять захват и сопровождение объекта (выступающего участника аудио конференции).

Задачей настоящего изобретения является устранение недостатков известных микрофонных модулей и построенных на их основе систем микрофонной решетки, а также способов работы систем микрофонной решетки, в частности, обеспечение возможности свободного конфигурирования систем микрофонной решетки под конкретные задачи и конкретные частотные диапазоны исследуемых источников звука с сохранением чувствительности и точности измерений параметров исследуемых звуковых сигналов.

Техническим результатом, достигаемым с помощью предлагаемого изобретения, является расширение эксплуатационных возможностей системы микрофонной решетки путем создания такой конструкции микрофонного модуля, которая обеспечивает его размещение в любой точке микрофонной решетки без увеличения чувствительности к электромагнитным помехам при сохранении неограниченного масштабирования, возможности оперативной адаптации системы микрофонной решетки для работы с разными источниками звуковых сигналов, например, от инфразвуковых до ультразвуковых. Это дает возможность формировать диаграмму направленности системы микрофонной решетки с оптимальными параметрами по ширине и уровню боковых лепестков. Следствием этого является поддержание требуемых точностных характеристик для звуковых частот с разной длиной волны. Микрофонные модули одного типа могут меняться при необходимости на микрофонные модули другого типа, в которых использованы MEMS микрофоны с нужными частотными параметрами. Также возможен вариант, когда на одной и той же микрофонной решетке располагаются несколько микрофонных подрешеток с MEMS микрофонами, расположение которых и частотные характеристики оптимальны для работы в необходимом частотном диапазоне.

Еще одним важным техническим результатом, вытекающим из указанного выше и достигаемым с помощью настоящего изобретения, является возможность осуществления многоканальной независимой обработки отдельных звуковых областей на звуковом портрете исследуемого объекта с минимальными вычислительными затратами.

Указанная задача решается, а заявленные технические результаты достигаются за счет того, что для построения системы микрофонной решетки известный микрофонный модуль содержит корпус с размещенными в нем первой печатной платой с установленным на ней микрофоном и второй печатной платой с установленными на ней буферными дифференциальными преобразователями, а также электрический разъем, при этом первая печатная плата и вторая печатная плата расположены по существу одна за другой и соединены посредством стоек, электрический разъем соединен со второй печатной платой, и корпус снабжен защелками для его закрепления во внешнем устройстве.

Предложенная конструкция микрофонного модуля характеризуется одновременно малыми размерами, высокой защитой от наводок и возможностью сменного размещения в микрофонной решетке, что позволяет по сути собирать системы микрофонной решетки с минимальными затратами под любые задачи, обеспечивая при этом требуемые параметры измерения сигналов, в частности, параметры диаграммы направленности.

Также указанная задача решается, а заявленный технический результат достигается в предлагаемых частных вариантах исполнения микрофонного модуля. Так, по меньшей мере часть стоек микрофонного модуля может быть выполнена электропроводящей. Является предпочтительным, если микрофонный модуль дополнительно содержит переключатель режима работы. Кроме того, микрофонный модуль может дополнительно содержать по меньшей мере один световой индикатор режима работы.

Система микрофонной решетки согласно настоящему изобретению содержит по меньшей мере два указанных микрофонных модуля и микрофонную решетку с ячейками, в которых закреплен своими защелками указанные по меньшей мере два микрофонных модуля.

Кроме того, для целей точного определения расстояния до объекта исследования и его использования для дальнейшей обработки получаемых сигналов система микрофонной решетки может дополнительно содержать средство трехмерного сканирования, в частности, лидар.

Способ работы указанной выше системы микрофонной решетки, а именно, способ сбора и обработки звуковых данных с использованием указанной системы микрофонной решетки, заключается в том, что выполняют локализацию звуковых источников, причем для этого используют средства визуализации звукового портрета звуковых источников, определяют среднее расстояние до источника звука и далее анализируют выбранные области на звуковом портрете карты мощностей.

Далее варианты осуществления заявленного изобретения более подробно раскрываются со ссылками на фигуры.

На фиг. 1 представлена общая сборочная конструкция микрофонного модуля.

На фиг. 2 представлен вид микрофонного модуля со стороны электрического разъема.

На фиг. 3 приведены виды варианта исполнения микрофонной решетки.

На фиг. 4 представлена структурная схема системы микрофонной решетки.

На фиг. 5 представлен функциональный состав и структурное взаимодействие программных модулей цифровой обработки звуковых сигналов.

Фиг. 6 иллюстрирует процесс трехмерного лазерного сканирования, локализации звуковых источников и создание звукового портрета исследуемого объекта или области пространства.

На фиг. 7 представлен пример визуализации звукового портрета исследуемого объекта до цифровой обработки.

На фиг. 8 представлен пример визуализации звукового портрета исследуемого объекта после цифровой обработки.

Фиг. 9 поясняет процесс измерения усредненной дальности D до исследуемого объекта с помощью лидара.

Позициями на фигурах показаны следующие элементы:

1 – корпус;

2 – микрофонное отверстие;

3 – паз;

4 – защелка;

5 – стойки с гайками крепления;

6 – первая печатная плата;

7 – MEMS микрофон;

8 – вторая печатная плата;

9 – электрический разъем;

10 – светодиод индикации режима работы L (левый канал);

11 – светодиод индикации режима работы R (правый канал);

12 – джампер переключения режима работы L/R;

13 – микрофонная решетка;

14 – штырь;

15 – втулка;

16 – защелка;

17 – контакты (в частности, контактные стойки 5);

18 – буферный дифференциальный преобразователь сигнала WS протокола I2S;

19 – буферный дифференциальный преобразователь сигнала CLK протокола I2S;

20 – буферный дифференциальный преобразователь сигнала DATA протокола I2S;

21 – резистор смещения;

22, 23 – токоограничивающие резисторы;

24 – 4-х парный кабель;

25 – буферный дифференциальный преобразователь сигнала WS протокола I2S;

26 – буферный дифференциальный преобразователь сигнала CLK протокола I2S;

27 – буферный дифференциальный преобразователь сигнала DATA протокола I2S;

28 – логическая схема 2И-НЕ;

29 – схема объединения сигналов DATA L и DATA R в стандартный сигнал I2S;

30 – программируемый тактовый генератор;

31 – скоростной периферийный USB контроллер;

32 – хост процессор;

33 – средство определения среднего расстояния до источника звука, в частности, лидар;

34 – регистр памяти хост процессора для данных, поступающих от лидара;

35 – регистр памяти хост процессора для данных, поступающих от микрофонных модулей;

36 – SRP-PHAT модуль;

37 – модуль координатной сетки XYZ;

38 – DASt модуль;

39 – модуль визуализации;

40 – зональный модуль обработки данных;

41 – канал формирования и визуализации;

42 – канал (подканалы) прецизионного анализа данных выбранных зон на карте мощностей;

43 – сканирующий по углу места и азимуту луч лидара;

44 – микрофонный модуль;

45 – исследуемый объект;

46 – координатная сетка XYZ;

47 – точечный портрет геометрического профиля.

Основными элементами системы микрофонной решетки являются микрофонная решетка и установленные на ней микрофонные модули, а также средство определения среднего расстояния до источника звука. Характеристики и расположение микрофонных модулей на поверхности микрофонного поля, то есть в микрофонной решетке, определяют технические характеристики системы микрофонной решетки как измерительной системы.

Конструкция микрофонного модуля для реконфигурируемых микрофонных фазированных решеток и его работа в составе системы микрофонной решетки поясняется фиг. 1–4.

Микрофонный модуль (44) согласно настоящему изобретению содержит корпус 1, в котором может быть выполнено микрофонное отверстие 2 и в котором размещаются первая печатная плата 6 с установленным на ней микрофоном 7, в частности MEMS микрофоном 7, и вторая печатная плата 8 с установленными на ней буферными дифференциальными преобразователями 18, 19, 20 и электрическим разъемом 9 (см. фиг. 1, 4).

Корпус 1 предпочтительно выполнен из пластика (пластмассы) и может содержать одну или несколько защелок 4 для надежной фиксации всего микрофонного модуля (44) в ячейках микрофонной решетки 13 (фиг. 3).

Первая печатная плата 6 и вторая печатная плата 8 расположены в корпусе 1 по существу одна за другой и соединены друг с другом посредством стоек 5. Является предпочтительным, если одна или несколько стоек 5 выполнены электропроводящими, что обеспечивает как механическое соединение печатных плат 6, 8 друг с другом, так и электрическое соединение микрофона 7 с буферными дифференциальными преобразователями 18, 19, 20 без использования дополнительных проводников.

Фиксация «сэндвича» из первой печатной платы 6 и второй печатной платы 8 в корпусе 1 осуществляется с помощью одного или нескольких пазов 3, в которых фиксируются один или несколько выступов второй печатной платы 8.

Для подключения собранного микрофонного модуля 44 к процессору обработки сигналов служит электрический разъем 9. Как вариант, электрическим разъемом 9 может являться стандартный разъем RJ45, широко используемый при построении компьютерных сетей.

Со стороны электрического разъема 9 (фиг. 2) контактные стойки 5 крепятся к второй печатной плате 8 винтами с потайной головкой. На этой же стороне второй печатной платы 8 могут быть размещены разноцветные светодиод 10 индикации режима работы левого канала (далее также режим работы L) и светодиод 11 индикации режима работы правого канала (далее также режим работы R), а также джампер 12 переключения режима работы L/R. С помощью светодиодов 10, 11 осуществляется индикация подачи питания и индикация режима работы микрофона 7, в частности, трансляция данных левого канала (канала L) или правого канала (канала R). Для переключения режима работы L/R данного микрофонного модуля 44 используется джампер 12. Установка джампера 12 в нужное положение может осуществляться перед монтажом микрофонного модуля 44 в микрофонную решетку 13.

Буферный дифференциальный преобразователь 18 осуществляет преобразование поступающего балансного сигнала WS протокола I2S в небалансный сигнал WS. Буферный дифференциальный преобразователь 19 осуществляет преобразование поступающего балансного сигнала CLK протокола I2S в небалансный сигнал CLK. Буферный дифференциальный преобразователь 20 осуществляет преобразование поступающего небалансного сигнала DATA протокола I2S, поступающего от микрофона 7, в балансный сигнал.

Микрофонная решетка 13 (фиг. 3) может представлять собой пластмассовую сетчатую решетку, в ячейки которой вставляются микрофонные модули 44. На смежных сторонах микрофонной решетки 13 могут располагаться штыри 14 с одной стороны и втулки 15, и для объединения нескольких микрофонных решеток 13 штыри 14 вставляются во втулки 15. Окончательная фиксация нескольких микрофонных решеток 13 друг с другом может осуществляется с помощью дополнительных защелок 16, располагаемых на внешних сторонах микрофонных решеток 13.

Объединяя нужное количество микрофонных решеток 13 можно создавать микрофонное поле для установки любого количества микрофонных модулей 44. Согласно изобретению, в микрофонной решетке 13 устанавливают по меньшей мере два микрофонных модуля 44 для обеспечения измерения звуковых сигналов по азимуту или углу места. В случае трехкоординатного измерения потребуется не менее трех микрофонных модулей 44.

Так как места установки микрофонных модулей 44 на микрофонном поле могут выбираться произвольным образом, появляется возможность аппроксимировать любые функциональные зависимости размещения микрофонов 7, такие как, например, спиральные, эквидистантные и т.д., с дискретностью, равной апертурному размеру микрофонного модуля 7. Стремлением максимально уменьшить апертурный размер микрофонного модуля 7 и обусловлено использование «сэндвича» из первой печатной платы 6 и второй печатной платы 8, расположенных в корпусе 1 по существу одна за другой и соединенных друг с другом посредством стоек 5. При таком исполнении микрофонного модуля 44 его апертурный размер определяется главным образом размером используемого электрического разъема 9, поскольку размеры современных MEMS микрофонов 7 весьма незначительны.

Работа микрофонных модулей 44 в составе системы микрофонной решетки, включающей микрофонную решетку 13 с установленными на ней микрофонными модулями 44, а также работу системы микрофонной решетки по сбору звуковых данных поясняется со ссылкой на фиг. 4, на которой в качестве примера представлена схема с двумя идентичными микрофонными модулями 44, каждый из которых состоит из первой печатной платы 6 с MEMS микрофоном 7, второй печатной платы 8 с буферными дифференциальными преобразователями 18, 19, 20, светодиодами 10, 11 индикации режима работы L или R, электрическим разъемом 9 и контактами 17, в качестве которых для примера используются стойки 5, выполненные электроповодящими.

С помощью кабеля 24 (4-х парный кабель, например, стандартный патч-кабель витая пара категории Cat.5, оконцованный восемью контактными разъемами RJ45) микрофонные модули 44 подключаются к схеме 29 объединения сигналов DATA L (данные левого канала) и DATA R (данные правого канала) в стандартный сигнал I2S, с которой поступают для каждого микрофонного модуля 44 тактовые сигналы синхронизации CLK и WS, вырабатываемые программируемым тактовым генератором 30. Для повышения помехозащищенности используется балансная передача тактовых сигналов синхронизации CLK, WS и данных DATA. С этой целью небалансные тактовые сигналы синхронизации CLK и WS поступают соответственно на дифференциальные преобразователи 26 и 25. Полученные симметричные тактовые сигналы синхронизации CLK и WS с выходов дифференциальных преобразователей 26 и 25 поступают через 4-х парный кабель 24 на балансные входы соответственно дифференциальных преобразователей 19 и 18, где преобразуются обратно в небалансный вид и поступают через контакты 17 (в частности, через стойки 5, выполненные электроповодящими) на микрофон 7.

Буферный дифференциальный преобразователь 25 осуществляет преобразование небалансного сигнала WS протокола I2S, поступающего от программируемого тактового генератора 30, в балансный сигнал WS для витой пары. Буферный дифференциальный преобразователь 26 сигнала CLK осуществляет преобразование небалансного сигнала CLK протокола I2S, поступающего от программируемого тактового генератора 30, в балансный сигнал CLK для витой пары. Буферный дифференциальный преобразователь 27 сигнала DATA осуществляет преобразование балансного сигнала DATA протокола I2S, поступающего от витой пары, в небалансный сигнал.

Программируемый тактовый генератор 30 может программироваться по шине I2C или SPI скоростным периферийным USB контроллером 31. Он формирует необходимые тактовые сигналы для работы микрофонов 7.

Частота выборок fws обычно выбирается из ряда 8, 16, 24 и 48 кГц. Поскольку протокол I2S предусматривает использование 32-х разрядного кодирования, для двух каналов тактовая частота fclk определяется как fclk = fws·2·32. Например, fclk составляет 3072 кГц при fws = 48 кГц и использовании 24-х разрядного кодирования аудио сигналов (из 32–х разрядов 8 младших разрядов не используются), т.е. при частоте выборок в 48 кГц при 32-х разрядном кодировании получается два кодовых слова по 32 разряда (соответственно для левого и правого каналов). Протокол I2S осуществляет последовательную передачу битов; следовательно, для передачи всех 64-ти разрядов необходимая тактовая частота fclk составит 48 кГц·2·32 = 3072 кГц.

Скоростной периферийный USB контроллер 31 предназначен для синхронного объединения N потоков данных I2S в асинхронный поток формата USB или Ethernet от 2N микрофонных модулей. Он может быть реализован в виде IC FIFO, FPGA или xCore.

Звуковые сигналы, поступающие на микрофон 7, с помощью аналого-цифрового преобразователя, входящего в состав микрофона 7, преобразуются в цифровой небалансный сигнал DATA формата I2S или TDM. Сигнал DATA через соответствующий контакт 17 поступает на вход дифференциального преобразователя 20, где преобразуется в балансный вид, и через электрический разъем 9 и 4-х парный кабель 24 поступает на вход дифференциального преобразователя 27, с помощью которого опять преобразуется в небалансный вид.

Временное положение данных DATA в кадре протокола I2S регулируется логическим состоянием цепи L/R (левый/правый) микрофона 7 с помощью джампера 12 (на фиг. 4 позиции джампера 12 для двух микрофонных модулей 24 показаны в разных положениях). При подаче посредством резистора 21 смещения и токоограничивающего резистора 22 логического нуля на вход L/R микрофон 7 транслирует данные, расположенные во временной области правого канала (верхний на фиг. 4 джампер 12, активен светодиод 10). При подаче посредством резистора 21 смещения и токоограничивающего резистора 23 логической единицы на вход L/R микрофон 7 транслирует данные, расположенные во временной области левого канала (нижний на фиг. 4 джампер 24, активен светодиод 11). Получение потока I2S с объединенными данными левого и правого каналов DATA(L+R) обеспечивают логические схемы 28 2И-НЕ, которые стробируются тактовым сигналом WS.

Согласно изобретению, объединение данных левого и правого каналов происходит на стороне хост процессора 32. Поэтому отпадает необходимость попарного объединения микрофонных модулей 44 непосредственно на микрофонной решетке 13 (микрофонном поле), как это предусмотрено руководством по применению (см., например, руководство Analog and Digital MEMS Microphone Design Consideration. By Jerad Lewis. Page 6, Figure 8, www.invensense.com). Это дает возможность располагать микрофонные модули 44 независимого друг от друга в любом месте микрофонной решетки 13.

Хост процессор 32 может быть реализован в виде высокопроизводительного сервера или мини компьютера, который использует для сигнальной обработки многоядерную графическую процессорную карту. Хост процессор 32, в частности, решает следующие задачи:

- осуществляет прием асинхронных данных через порт USB и восстанавливает их синхронное состояние путем декодирования с помощью матричных алгоритмов;

- осуществляет генерацию координатной сетки, покрывающей исследуемый объект, на основе данных, получаемых от средства 33 определения среднего расстояния до источника звука, например, от лидара 33;

- осуществляет генерацию и отображение звукового портрета исследуемого объекта на основе использования алгоритма фазовой локализации источников звуковых сигналов с управляемым откликом (метод SRP-PHAT, от Steered Response Power Phase Transform, или производные этого метода);

- осуществляет многоканальную обработку отдельных фрагментов звукового портрета, например, аудио, визуальную, спектральную и т.д., в зависимости от характера исследовательских или производственных задач;

- управляет работой лидара 33, обеспечивая его эпизодическое включение в моменты времени, когда решетка не активна. Это предотвращает влияния акустических помех, создаваемых лидаром на работу решетки.

Обработка звуковых данных, полученных от микрофонных модулей 44, осуществляется хост-процессором 32 и поясняется фиг. 5. Оцифрованные звуковые сигналы DATA M1, DATA M2N от микрофонных модулей 7 поступают на буферный регистр 35 памяти, с которого распараллеливаются и поступают на канал 41 формирования и визуализации звукового портрета исследуемого объекта и на канал (подканалы) 42 прецизионного анализа данных выбранных зон на карте мощностей.

Одновременно на регистр памяти 34 поступают данные от средства определения среднего расстояния до источника звука, в частности, данные DATA LiDAR с лидара 33, в виде дальности Di от лидара 33 до точки i на поверхности исследуемого объекта, а также углов в горизонтальной плоскости φi и вертикальной плоскости Θi, как показано на фиг. 9. По результатам сканирования с помощью лидара 33 формируется точечный портрет 47 геометрического профиля исследуемого объекта в координатах XZ.

На основе данных Di, ϕi, Θi, поступающих с регистра 34 памяти, модуль 37 координатной сетки XYZ оценивает габаритные размеры исследуемого объекта (области пространства), вычисляет среднее расстояние точек сканирования i до каждого микрофонного модуля 7. Используя предварительно задаваемое значение шага координатной сетки, модуль 37 определяет область, необходимую для покрытия исследуемого объекта (области пространства) координатной сеткой и рассчитывает массив временных задержек прибытия звуковых сигналов от узловых точек координатной сетки XYZ 46 до каждого микрофонного модуля 7. Полученный массив временных задержек рассчитывается заранее, сохраняется в памяти и в дальнейшем используется для расчета карты мощностей звуковых источников, привязанных к узловым точкам координатной сетки XYZ 46, SRP-PHAT модулем 36 и для детального расчета характеристик выбранной области – зональным модулем 40.

SRP-PHAT модуль 36 осуществляет поиск по координатной сетке XYZ 46 узловых точек, в которых отмечается всплеск значений, получаемых методом DAS (от Delay-and-Sum) в частотной области, где координатная сетка XYZ 46 – это виртуальная трехкоординатная сетка, накладываемая на исследуемый объект для вычисления координат узловых точек. Для вычисления относительного уровня мощности звука в каждой точке заданных координат используется алгоритм задержки и суммирования SRP-PHAT, вычисления по которому исполняются SRP-PHAT модулем 36 и содержат в общем случае следующие стадии:

- умножение звуковых данных, поступающих с регистра 35 памяти на оконную функцию, например, Хэмминга;

- быстрое дискретное преобразование Фурье и представление звуковых сигналов в частотной области в виде массива комплексных величин, состоящих из фазовых и амплитудных составляющих;

- нормирование комплексных составляющих по амплитуде с последующим умножением их на взвешивающие коэффициенты, корректирующие значения фаз в соответствии с вычисленными ранее временными задержками, которые хранятся в памяти и соответствуют узлам координатной сетки;

- суммирование взвешенных комплексных составляющих для каждого спектрального отчета и вычисление его мощности;

- суммирование мощностей всех спектральных составляющих для заданных координат.

В результате формируется массив данных, представляющих мощность звуковых сигналов, излучаемых участками поверхности исследуемого объекта, с привязкой к узлам координатной сетки XYZ 46.

Модуль 37 координатной сетки XYZ осуществляет расчет параметров координатной сетки (расположение относительно исследуемого объекта, шаг сетки) и временных задержек прибытия звуковых сигналов от узловых точек координатной сетки XYZ 46 до каждого микрофонного модуля 44.

Зональный модуль 40 обработки данных осуществляет обработку данных только в зонах (участках), предварительно выбранных на карте мощностей.

Следствием такого структурного построения является автоматический синтез координатной сетки XYZ 46 и исключение из анализа неактуальных областей пространства, что приводит к уменьшению объема вычислений.

Модуль 39 визуализации звукового портрета исследуемого объекта отображает полученные данные в виде карты мощностей звуковых источников. Для этого он выполняет расчет исходных данных для процессора изображения, который формирует на экране звуковой портрет исследуемого объекта в виде карты мощностей звуковых сигналов, привязанной к поверхности исследуемого объекта или выбранной области пространства. Дополнительно модуль 39 визуализации может отображать результаты прецизионного анализа, получаемые в канале (подканалах) 42 анализа выбранных источников.

Фиг. 6 иллюстрирует процесс трехмерного лазерного сканирования, локализации звуковых источников и создание звукового портрета исследуемого объекта или области пространства. Здесь в качестве средства визуализации звукового портрета звуковых источников использован лидар 33, входящий в состав системы микрофонной решетки, формирующий сканирующий по углу места и азимуту луч 43 лидара для определения среднего расстояния до исследуемого объекта 45.

На фиг. 7 и 8 в качестве примера приведены скриншоты звукового портрета, полученные в режиме реального времени от исследуемого объекта 45, имеющего три зоны возбуждения звуковых сигналов, соответственно до и после цифровой обработки.

Детальное исследование обнаруженных зон возбуждения звуковых сигналов на карте мощностей осуществляют канал (подканалы) 42 прецизионного анализа с помощью зонального модуля 40 и DASt модуля 38.

DASt модуль 38 проводит вычисления во временной области, осуществляет временную задержку и суммирование сигналов, поступающих от микрофонных модулей 44. Временные задержки рассчитываются таким образом, чтобы обеспечить временное совмещение сигналов микрофонных модулей 44 для определенного выбранного направления. Варьирование временных задержек позволяет формировать направленный луч, который фокусируется на конкретной точке исследуемого объекта. Этот метод известен как алгоритм Барлетта (Barlett beamformer algorithm) и описан в статье J. Grythe. Beamforming algorithms-beamformers, https://web2.norsonic.com/wp-content/uploads/2016/10/TN-beamformers.pdf. Другой задачей, решаемой DASt модулем 38, кроме пространственной селекции звуковых данных для выбранных зон, является прецизионный анализ параметров выбранных звуковых сигналов. В зависимости от решаемых задач могут иметь место различные типы прецизионного анализа, которые реализуются либо одним, либо несколькими подканалами.

Известно, что алгоритм SRP-PHAT, используемый в канале 41, дает очень хорошие результаты для обнаружения и локализации источников звуковых сигналов в условиях посторонних шумов и реверберации, что подтверждается фиг. 7, 8. Однако при этом допускается потеря информации о тонкой структуре самих сигналов в случае обратного преобразования Фурье. С целью исключения этого недостатка используются канал (подканалы) 42 прецизионного анализа. Для этого координаты зон интереса, обнаруженные с помощью канала 41 в автоматическом или ручном режиме, поступают на зональный модуль 40, который из всего множества ранее вычисленных временных задержек, содержащихся в памяти, выбирает только те, которые принадлежат выбранным зонам интереса. Затем, с помощью DASt модуля 38, формируется массив звуковых данных, принадлежащих только выбранным зонам. Вследствие этого уменьшается и объем необходимых вычислений.

Так как DASt модуль 38 работает не в частотной, как SRP-PHAT модуль 36, а во временной области, не происходит нарушения структурной целостности исследуемых звуковых сигналов.

Указанные выше модули 36, 37, 38, 39, 40 могут быть программными модулями или аппаратно-программными модулями.

Отличительным свойством предлагаемой системы микрофонной решетки и способа ее работы является также то, что система ведет обработку целевого пространство с высоким разрешением по азимуту и по углу места (оси X и Y) и меньшим разрешением по глубине (ось Z). Это также значительно уменьшает объем вычислений.

В зависимости от характера решаемых задач, канал (подканалы) 42 может осуществлять прецизионный анализ и обработку для следующих применений, но не ограничиваясь только ими:

- озвучивание звуковых сигналов выбранных зон, при создании, например, систем для голосовых конференций;

- коррекция амплитудно-частотных характеристик исследуемых сигналов;

- спектральный анализ с использованием вейвлет или Фурье преобразований для целей ранней диагностики в здравоохранении, промышленности, транспорте;

- формирование звуковых сигнатур для распознавания и идентификации звуков, например, в системах обеспечения орнитологической безопасности, и т.д.

Данные, получаемые в результате прецизионного анализа, могут быть представлены в графическом виде, для чего они с выхода DASt модуля 38 поступают на второй вход модуля визуализации 39.

Заявляемая система микрофонной решетки, а по сути – система сбора и обработки звуковых данных с реконфигурируемой микрофонной фазированной решеткой, дает возможность создавать универсальные системы приема и обработки звуковых колебаний, которые путем реконфигурирования могут быть оптимизированы для применения в разных частотных диапазонах с возможностью аппроксимировать любые функциональные зависимости размещения микрофонов на микрофонном поле. Другим полезным конструктивным качеством заявляемой системы является возможность построения систем микрофонных решеток различных типоразмеров, используя только базовые конструктивные элементы – блоки сетчатых микрофонных решеток и микрофонные модули. Использование стандартных компонентов компьютерных сетей (патч-корды, розетки RJ45) снижает производственную себестоимость изделия в целом. Примененная «звездная» топология подключения микрофонных модулей к процессору обработки сигналов с единой синхронизацией гарантирует равнозначность временных задержек по всем каналам, что является определяющим для получения высоких точностных характеристик фазированных микрофонных решеток.

Использование двухканальной структуры обработки данных позволяет совместить преимущества частотных и временных методов в одном решении при снижении объема вычислительных операций с возможностью расширения круга решаемых задач, в частности программными методами, в том числе производить обнаружение и измерение параметров источников звуковых сигналов с заранее неизвестными параметрами.

Изобретение относится к акустике, в частности, к микрофонным решеткам. Система микрофонной решетки содержит микрофонные модули 44, микрофонную решетку 13 и средство 33 определения среднего расстояния до источника звука. Микрофонный модуль 44 содержит корпус 1, размещенные в нем первую печатную плату 6 с микрофоном 7 и вторую печатную плату 8 с буферными дифференциальными преобразователями 18, 19, 20, и электрический разъем 9, соединенный со второй печатной платой 8. Печатные платы 6 и 8 расположены одна за другой и соединены посредством стоек 5. Корпус 1 снабжен защелками 4 для закрепления в ячейках микрофонной решетки 13. Способ сбора и обработки звуковых данных с использованием системы микрофонной решетки включает локализацию звуковых источников средствами визуализации звукового портрета звуковых источников, определение среднего расстояния до источника звука и анализ выбранных областей на звуковом портрете карты мощностей. Технический результат – возможность оперативной адаптации системы для работы с разными источниками звуковых сигналов, поддержание требуемых точностных характеристик для звуковых частот с разной длиной волны, возможность осуществления многоканальной независимой обработки отдельных звуковых областей на звуковом портрете исследуемого объекта с минимальными вычислительными затратами. 2 н. и 1 з.п. ф-лы, 9 ил.

1. Система микрофонной решетки, содержащая: микрофонную решетку с ячейками; по меньшей мере два микрофонных модуля, каждый из которых содержит корпус с размещенными в нем первой печатной платой с установленным на ней микрофоном и второй печатной платой с установленными на ней буферными дифференциальными преобразователями, а также электрический разъем, при этом первая печатная плата и вторая печатная плата расположены по существу одна за другой и соединены посредством стоек, электрический разъем соединен со второй печатной платой, и корпус снабжен защелками для его закрепления в ячейках указанной микрофонной решетки; и средства определения среднего расстояния до источника звука.

2. Система микрофонной решетки по п. 1, в которой средством определения среднего расстояния до источника звука является лидар.

3. Способ сбора и обработки звуковых данных с использованием системы микрофонной решетки по п. 1 или 2, включающий: локализацию звуковых источников, причем для локализации звуковых источников используют средства визуализации звукового портрета звуковых источников; определение среднего расстояния до источника звука; и анализ выбранных областей на звуковом портрете карты мощностей.