Способ приема речевых сигналов Российский патент 2020 года по МПК G10L21/00 H04R29/00 G10L17/22 

Изобретение относится к области обработки звука, а именно к обработке и преобразованию акустических сигналов в электрические в роботе. Позволяет выделять источники звука и определять направление их расположения, а также позволяет минимизировать помехи от внешних динамиков.

Известно изобретение по патенту США US 2003139851 «Акустическое устройство и акустическая система робота» G10L 21/02, 2003. Изобретение представляет собой роботизированный слуховой аппарат и систему, которые сделаны для достижения активного восприятия при сборе звука от внешнего источника звука без влияния, получаемого от шумов, создаваемых внутри робота, таких как излучаемые из элементов движения робота. Устройство и система предназначены для робота, имеющего источник генерации шума в своей внутренней части, и включают в себя: звукоизолирующую оболочку, которой покрыта часть робота; внешние микрофоны, расположенные вне оболочки для сбора внешнего звука в первую очередь; внутренний микрофон, расположенный внутри оболочки для первичного сбора шумов от источника генерации шума во внутренней части робота; секцию обработки, реагирующую на сигналы от внешнего и внутреннего микрофонов для отделения звуковых сигналов принимаемых внешними микрофонами от сигналов шумов от источника генерации внутреннего шума и затем выдача левого и правого звукового сигнала; секцию выделения направленной информации, реагирующую на левый и правый звуковые сигналы от обрабатывающей секции для определения направления, из которого испускается внешний звук. Блок обработки выполнен с возможностью обнаружения всплесков из-за источника генерации шума из сигнала внутреннего микрофона для удаления участков сигнала из звуковых сигналов для полос, содержащих всплески. Недостатком является невозможность минимизировать помехи от внешних динамиков.

Наиболее близким аналогом заявляемого изобретения является изобретение по патенту Китая CN 105825862 «Система эхоподавления в диалоге человек-машина» G10L 21/02, 2016. Система эхоподавления в диалоге человек-робот, содержащая: основной модуль управления, модуль эхоподавления, модуль деления голосового напряжения, микрофон и динамик, второй модуль деления голосового напряжения, сконфигурированный для установки отношения деления напряжения потенциометра и эхо-сигнала. Интенсивность передается модулю эхоподавления; динамик используется для воспроизведения тестового звука, испускаемого роботом; микрофон используется для сбора звукового сигнала; модуль эхоподавления подключается к модулю разделения голосового давления для устранения эхо-сигнала; основной модуль управления используется для регулировки коэффициента делителя напряжения потенциометра для управления процессом устранения эха. Недостатком является сложность снижения помех, так как перед каждым диалогом необходимо настраивать/регулировать коэффициент делителя напряжения потенциометра в ручном режиме.

Техническим результатом заявляемого изобретения является снижение помех и уменьшение уровня звукового сигнала от громкоговорителей робота.

Технический результат достигается за счет того, что в способе приема речевых сигналов, включающем прием микрофонами робота внешних речевых сигналов и звуковых сигналов робота, корректировку величин внешних речевых сигналов с учетом величин звуковых сигналов робота, передачу полученных значений речевых сигналов на управляющее устройство, согласно изобретению, внешние речевые сигналы принимают рабочими микрофонами робота, а звуковые сигналы робота принимают калибровочными микрофонами, проводят калибровку рабочих микрофонов робота в два этапа, на первом этапе подают импульсный звуковой сигнал, который транслируют динамиками робота и принимают рабочими микрофонами, определяют временную задержку прохождения импульсного звукового сигнала от каждого динамика робота до каждого рабочего микрофона, передают полученные значения временных задержек в память управляющего устройства, на втором этапе калибровки подают звуковой сигнал последовательно в разных диапазонах частот, транслируют его динамиками робота, определяют величину уровня звука на каждой частоте для каждого рабочего микрофона, вычисляют коэффициент затухания звукового сигнала для каждого рабочего микрофона как отношение принятого уровня сигнала каждого рабочего микрофона к уровню сигнала калибровочного микрофона, передают полученные значения коэффициентов затухания в память управляющего устройства, далее в рабочем режиме при одновременном приеме звуковых сигналов робота и приеме внешних речевых сигналов, звуковые сигналы робота задерживают в буфере, величину внешнего речевого сигнала каждого рабочего микрофона корректируют путем вычитания значения временной задержки, определенной на первом этапе калибровки, с учетом коэффициента затухания, определенного на втором этапе калибровки, полученные значения речевых сигналов передают на управляющее устройство».

Технический результат обеспечивается за счет того, что работа микрофонного массива совмещена с алгоритмом подавления местного эффекта - АЕС. Сигнал от динамиков робота, принимаемый двумя калибровочными микрофонами, расположенными близко от динамиков робота, задерживается в буфере и вычитается из входного сигнала каждого микрофонного массива в соответствии с временной задержкой, измеренной на первом этапе калибровки и с учетом коэффициента затухания, определенного на втором этапе калибровки. Калибровка происходит единожды при включении питания. Вырабатываются сигналы, которые транслируются через динамики робота. Эти сигналы позволяют определить временные задержки с помощью импульсного сигнала и частотные коэффициенты затухания для правильной работы алгоритмов. После калибровки массив работает автоматически. Встроенный алгоритм АЕС позволяет минимизировать помехи от внешних динамиков робота.

На фигуре 1 изображена структурная схема комплекса микрофонного массива.

На фигуре 2 представлен вид спереди печатной платы MCU.

На фигуре 3 представлен вид спереди печатной платы рабочего микрофона и калибровочного микрофона АЕС.

Комплекс микрофонного массива состоит из платы MCU 1, восьми плат рабочих микрофонов 2, двух плат калибровочных микрофонов АЕС 2.1, встроенного программного обеспечения. Плата калибровочного микрофона 2.1 отличается от платы рабочего микрофона 2 заниженным коэффициентом усиления. Плата MCU 1 включает в себя микроконтроллер 3. В микроконтроллере используются десять каналов 4 для оцифровки звука, стэк USB 5 для передачи данных в персональный компьютер PC 6 или другое управляющее устройство. Питание платы осуществляется от USB шины. Плата рабочего микрофона 2 содержит рабочий микрофон 7, который является аналоговым и выполнен по Mems технологии, дифференциальный микрофонный усилитель 8 и буферный выходной усилитель 9. Плата калибровочного микрофона 2.1 содержит калибровочный микрофон 11. Для трансляции звукового сигнала используют динамики робота 10. Уровень выходного сигнала при номинальном звуковом давлении ~500 мВ. Питание микрофонов 7 и 11 (3.3 вольта) осуществляется от платы MCU 1. Встроенное программное обеспечение обеспечивает поддержку USB стэка 5, обработку оцифрованных аудиоданных и реализацию алгоритма подавления местного эффекта АЕС. Платы микрофонов расположены на роботе в соответствии с заданной в HARK конфигурацией. Точность расположения микрофонов - 5 мм. Со стороны персонального компьютера PC 6, устройство определяется, как стандартный акустический массив. Дополнительные драйверы для работы устройств не нужны.

В способе приема речевых сигналов в качестве микроконтроллера 3 используют микроконтроллер STM32H7. В качестве каналов для оцифровки звука используются 10 каналов ADC 16 бит.

Способ приема речевых сигналов осуществляют следующим образом. Сначала, с помощью платы MCU 1 вырабатывают кратковременный импульсный сигнал. Этот сигнал усиливают и транслируют через динамики робота 10. Рабочие микрофоны 7 принимают этот сигнал с разной временной задержкой, определяемой конкретным положением каждого рабочего микрофона 7 относительно каждого динамика 10. Данные временных задержек записывают в память MCU 1, которая является внутренней памятью чипа stm32H7, и потом используют совместно с буфером задержек, являющимся частью внутренней памяти чипа, для вычитания сигнала от динамика 10 из всех принятых звуковых сигналов. Вторым этапом производят калибровку уровня звука в четырех частотных диапазонах: 250 Гц, 500 Гц, 1000 Гц, 2000 Гц. С помощью платы MCU 1 вырабатывают последовательно набор четырех частот, через динамики робота 10 транслируют их, затем каждым рабочим микрофоном 7 измеряют уровень звука на каждой частоте и с помощью платы MCU 1 сохраняют значения в памяти управляющего устройства. При втором включении этого же калибровочного сигнала измеренные уровни звука используют для проверки работы компенсатора местного эффекта и вычисляют коэффициенты затухания сигнала для каждого рабочего микрофона 7, как отношение принятого уровня сигнала каждого рабочего микрофона к уровню сигнала калибровочного микрофона. После калибровки система работает автоматически, принимая акустические сигналы с восьми рабочих микрофонов 7 и пересылая данные в персональный компьютер PC 6 через USB порт. После того как определены временные задержки и частотные коэффициенты затухания система готова к работе. Звуковой сигнал от динамиков робота 10, принимают двумя калибровочными микрофонами 11, расположенными близко от динамиков робота 10, задерживают в буфере и вычитают из входного сигнала каждого рабочего микрофона 7 в соответствии с временной задержкой, измеренной на первом этапе калибровке и с учетом коэффициента затухания, определенного на втором этапе калибровки. Основная задача способа приема речевых сигналов - уменьшить уровень звукового сигнала от динамиков робота 10. В способе приема речевых сигналов человек может задавать вопросы роботу, прерывая его речь. Это приводит к комфортному общению человек-робот.

Таким образом, предлагаемый способ приема речевых сигналов позволяет снизить помехи и уменьшить уровень звукового сигнала от внешних динамиков робота.

Изобретение относится к области обработки и преобразования акустических сигналов в электрические в роботе. Техническим результатом является снижение помех и уменьшение уровня звукового сигнала от громкоговорителей робота. Технический результат заявляемого технического решения достигается тем, что проводят калибровку рабочих микрофонов робота в два этапа, на первом этапе подают импульсный звуковой сигнал, который транслируют динамиками робота и принимают рабочими микрофонами, определяют временную задержку прохождения импульсного звукового сигнала, передают полученные значения временных задержек в память управляющего устройства, на втором этапе калибровки подают звуковой сигнал последовательно в разных диапазонах частот, транслируют его динамиками робота, определяют величину уровня звука на каждой частоте для каждого рабочего микрофона, вычисляют коэффициент затухания звукового сигнала для каждого рабочего микрофона, передают полученные значения коэффициентов затухания в память управляющего устройства, после чего звуковые сигналы робота задерживают в буфере, величину внешнего речевого сигнала каждого рабочего микрофона корректируют путем вычитания значения временной задержки. 3 ил.

Способ приема речевых сигналов, включающий прием микрофонами робота внешних речевых сигналов и звуковых сигналов робота, корректировку величин внешних речевых сигналов с учетом величин звуковых сигналов робота, передачу полученных значений речевых сигналов на управляющее устройство, отличающийся тем, что внешние речевые сигналы принимают рабочими микрофонами робота, а звуковые сигналы робота принимают калибровочными микрофонами, проводят калибровку рабочих микрофонов робота в два этапа, на первом этапе подают импульсный звуковой сигнал, который транслируют динамиками робота и принимают рабочими микрофонами, определяют временную задержку прохождения импульсного звукового сигнала от каждого динамика робота до каждого рабочего микрофона, передают полученные значения временных задержек в память управляющего устройства, на втором этапе калибровки подают звуковой сигнал последовательно в разных диапазонах частот, транслируют его динамиками робота, определяют величину уровня звука на каждой частоте для каждого рабочего микрофона, вычисляют коэффициент затухания звукового сигнала для каждого рабочего микрофона как отношение принятого уровня сигнала каждого рабочего микрофона к уровню сигнала калибровочного микрофона, передают полученные значения коэффициентов затухания в память управляющего устройства, далее в рабочем режиме при одновременном приеме звуковых сигналов робота и приеме внешних речевых сигналов, звуковые сигналы робота задерживают в буфере, величину внешнего речевого сигнала каждого рабочего микрофона корректируют путем вычитания значения временной задержки, определенной на первом этапе калибровки, с учетом коэффициента затухания, определенного на втором этапе калибровки, полученные значения речевых сигналов передают на управляющее устройство.