СПОСОБ ОПРЕДЕЛЕНИЯ ПАРАМЕТРОВ ЛИНЕЙЧАТЫХ СПЕКТРОВ ВОКАЛИЗОВАННЫХ ЗВУКОВ И СИСТЕМА ДЛЯ ЕГО РЕАЛИЗАЦИИ Российский патент 2009 года по МПК G10L15/00 G08G1/17 

Группа изобретений относится к техническим решениям, используемым применительно к «черным ящикам» транспортных средств для выделения спектральных характеристик звуков речи, в частности для обнаружения речи на фоне стохастических шумов, распознавания речи, а также идентификации дикторов и языков речевых сообщений.

Известны способ и система для выделения частоты основного тона с преобразованием речевых колебаний в импульсную последовательность (RU 2007763 С1, 15.02.1994). Принимают, что каждый импульс соответствует переходу через ноль речевого колебания (берется однополярный переход). Используют свойство, заключающееся в том, что на периоде основного тона последовательности межимпульсных интервалов повторяются. В схеме устройства имеются два селектора, ключ, формирователь сигнала равенства чисел, ключ и аналоговый сумматор (RU 2007763 С1, 15.02.1994).

Недостаток известных способа и системы проявляется в пропуске интервалов, обладающих основным тоном, при смене одной фонемы другой. Это происходит благодаря тому, что при смене одной звучащей фонемы другой между двумя соседними периодами основного тона изменения межимпульсных интервалов становятся значительными.

Известны способ и система для выделения частоты основного тона с помощью узкополосного фильтра (Вокодерная телефония. Под ред. А.А.Пирогова. М.: Связь, 1974). Указанным фильтром осуществляют слежение за изменением частоты первой гармоники речевого сигнала. При этом ширину полосы итерационно подстраивают под среднюю частоту основного тона, рассчитываемую на основании выходной функции этого фильтра и передаваемую на фильтр благодаря органу обратной связи. Это предопределяет высокое качество выделения частоты основного тона при условии, что фильтр подстраивается под диктора в течение нескольких минут.

Недостатком известных способа и системы является их непригодность для выявления частоты основного тона в коротких сообщениях, длительность которых составляет несколько секунд.

Известны способ и система для выделения основного тона с предварительной записью речевого сигнала и его последующей обработкой. Предусмотрены три канала обработки речевого сигнала. В первом канале проводят амплитудную селекцию по схеме Голда, во втором канале используют аппроксимацию первой гармоники основного тона экспоненциальной функцией, а в третьем канале проводят вычисление корреляционной функции по схеме Медана. В том случае, если разность между полученными значениями оценок частоты основного тона для различных каналов не превышает заданную величину, считают, что частота основного тона найдена (М.Е.Hernandez-Diaz Huici and J.V.Lorenzo. Ginori Combined algorithm for pitch detection of speech signals // Electronics Letters 5-th January 1995 Vol.31, No. 1, pp.15-16).

Недостаток известных способа и системы связан с низкой точностью, обусловленной сильной зависимостью от точности реализации каждого из определяющих способ алгоритмов.

Известны различные способы и системы, позволяющие в условиях присутствия шумовой составляющей в акустическом сигнале выделять речевую составляющую сигнала (RU 231830 С2, 27.06.2004; RU 296376 С2, 27.03.2007; RU 2271578 С2, 10.03.2006; RU 2263358 С2, 27.10.2005; RU 2103753 C1, 27.01.1998; RU 2161826 С2, 10.01.2001 и др.).

Недостатком известных технических решений является то, что они не позволяют проводить обнаружение речи на фоне стационарных и нестационарных шумов, обладающих сплошным спектром, без априорных знаний о статистических свойствах шума.

Известны способ и система для выделения признаков речевого сигнала MFCC (Mel Frequency Cepstral Coefficients) с разбиением сигнала на окна. При этом разбиение сигнала осуществляют на окна с длительностью 25 мс со смещением на 10 мс начала отсчета каждого последующего окна относительно начала каждого предыдущего окна. С помощью органов преобразования и вычисления над фрагментами сигнала в каждом окне выполняют преобразования Фурье, вычисляют спектр Фурье и параметры амплитудно-частотных характеристик множества интегрирующих фильтров, полосы пропускания которых изменяются в соответствии с известной из психоакустики мел-шкалой. Посредством интеграторов спектр Фурье интегрируют в соответствии с найденными параметрами интегрирующих фильтров. Дополнительными вычислительными органами осуществляют логарифмирование результатов интегрирования и выполнение косинус-преобразования над результатами логарифмирования (Fang Zheng, Guoliang Zhang and Zhanjiang Song, Comparison of Different Implementations of MFCC, J. Computer Science & Technology, 16(6): p.582-589, Sept. 2001).

Недостаток известных способа и системы определяется неустойчивостью к изменению статистических свойств шума, на фоне которого проводится распознавание речи или идентификация диктора.

Отметим, что известны также различные приложения вейвлет-анализа в задачах приближения функций, сигналов и изображений вследствие обеспечения возможности эффективного сжатия сигналов и их восстановления с малыми потерями информации, а также решения задач фильтрации сигналов (Д.С.Потехин, И.Е.Тарасов. Разработка систем цифровой обработки сигналов на базе ПЛИС, М., 2007, p.85-94). Однако область их распространения не охватывает выделение частоты основного тона вокализованных звуков.

Наиболее близкими к заявленным являются способ и система для выделения частоты основного тона из речевого сигнала, представленные в RU 2184399 С1, 27.06.2002.

Известный способ основан на разложении речевого сигнала в последовательность спектров Фурье, нахождении абсолютного максимума, вычислении среднего значения аргумента последовательности полученных максимумов, оценке средней частоты основного тона исследуемого речевого сигнала, амплитудной селекции сигналов, вычислении значений определителя автокорреляционной матрицы и фильтрации этих значений.

В состав известной системы входят последовательно соединенные блок вычисления спектра Фурье, интегратор, вычислитель значений определителя автокорреляционной матрицы, блок проверки синхронности и блок аппроксимации подпоследовательностей квадратичной функцией, а также выделитель основного тона по схеме Голда и блок выделения основного тона с полосовым фильтром, включенные между выходом указанного вычислителя и соответствующими входами блока проверки синхронности.

Недостатком известных способа и системы является невозможность обнаружения речи на фоне стационарных и нестационарных шумов, обладающих сплошным спектром, без априорных знаний о статистических свойствах шума, а также невозможность формирования вектора признаков сигналов для систем распознавания речи, идентификации дикторов и идентификации языка, устойчивого к изменению статистических свойств шума, на фоне которого проводится распознавание или идентификация.

Техническим результатом, который достигается при использовании заявленных способа и системы для определения параметров линейчатых спектров вокализованных звуков, является повышение точности определения параметров линейчатых спектров, которое достигается обеспечением в предложенном способе:

- обнаружения речи на фоне стационарных и нестационарных шумов, обладающих сплошным спектром, без априорных знаний о статистических свойствах шума;

- формирования вектора признаков сигналов для систем распознавания речи, идентификации дикторов и идентификации языка, устойчивого к изменению статистических свойств шума, на фоне которого проводится распознавание или идентификация,

а в предложенной системе:

- использования динамических параметров спектра информационного сигнала и вейвлет-функций в качестве опорных базисных сигналов;

- разделения (квантования) диапазона частот основного тона речевого сигнала на неперекрывающиеся области, которые не обладают кратными частотами.

Технический результат достигается предложенным способом определения параметров линейчатых спектров вокализованных звуков, заключающимся в том, что регистрируют акустический сигнал, осуществляют преобразование его в цифровой вид, разбивают оцифрованный сигнал на перекрывающиеся окна со смещением начала отсчета каждого последующего окна относительно начала каждого предыдущего окна, над фрагментами сигнала в каждом окне выполняют дискретное преобразование Фурье и формируют банк полученных реальных и мнимых частей, вычисляют и нормируют спектр Фурье, формируют базисные сигналы в виде вейвлет-функций и получают их свертки с окружением каждой компоненты нормированного спектра Фурье, объединяют полученные свертки с образованием результирующей матрицы сверток, формируют граничные условия для разбиения частотного диапазона основного тона голоса, в соответствии с которыми разбивают его на поддиапазоны, для частотного диапазона основного тона голоса выделяют компоненты результирующей матрицы сверток, имеющие индексы, кратные частоте основного тона, и суммируют их, для каждого из поддиапазонов частот основного тона голоса определяют максимальное значение матрицы сверток и соответствующий максимальному значению аргумент, формируют вектор информативных признаков, представляющий собой множество пар значений максимумов и соответствующих им аргументов, формируют меры схожести пар, с использованием множества векторов информативных признаков и мер схожести пар формируют меры веса последовательности информативных признаков, характеризующие наличие линейчатого спектра в сигнале, с помощью сформированных мер веса последовательности информативных признаков перебирают последовательности компонент информативных признаков и выделяют спектры, обладающие линейчатостью и гладкостью динамики частоты основного тона, выбирают реальные и мнимые части выделенных спектров из банка реальных и мнимых частей преобразования Фурье и регистрируют их в виде амплитудно-частотных характеристик вокализованных звуков.

При этом базисные сигналы формируют в виде

где τ - период вейвлет-функции,

j - номер отсчета вейвлет-функции,

π=3,14,

частотный диапазон основного тона голоса разбивают на три неперекрывающихся диапазона, при этом верхнюю границу первого диапазона выбирают из условия G₁=2G_min, где G_min - известное минимальное значение частоты основного тона мужского голоса, верхнюю границу второго диапазона - из условия

G₂=4G_min, а верхнюю границу третьего диапазона принимают равной известному максимальному значению частоты G_max основного тона женского голоса.

Технический результат достигается также предложенной системой определения параметров линейчатых спектров вокализованных звуков, содержащей последовательно соединенные цифровое записывающее устройство, блок дискретизации, блок дискретного преобразования Фурье, блок нормирования спектра Фурье, формирователь результирующей матрицы сверток, сумматор, регистратор максимальных значений, формирователь вектора признаков, блок линий задержки, блок формирования мер веса последовательности информативных признаков, блок перебора последовательности компонент информативных признаков и выделения спектров, обладающих линейчатостью и гладкостью динамики частоты основного тона, компаратор, селектор компонентов преобразования Фурье и блок регистрации информативных признаков, а также блок питания, подключенный к питающим входам составных блоков системы, блок памяти, вход которого подключен к выходу блока дискретного преобразования Фурье, а выход соединен с параметрическим входом селектора компонентов преобразования Фурье, генератор базисных сигналов, выход которого подключен к управляющему входу формирователя матрицы сверток, формирователь параметров разбиения диапазона частот основного тона голоса, выход которого соединен с входом задания диапазонов частот регистратора максимальных значений, формирователь мер схожести, выход которого соединен с одним из задающих входов блока формирования мер веса последовательности информативных признаков, и формирователь порогового уровня, выход которого подключен к задающему входу компаратора.

На фиг.1 представлена функциональная схема предложенной системы определения параметров линейчатых спектров вокализованных звуков, реализующей предложенный способ.

На фиг.2 показан график вейвлет-функции, используемой при проведении анализа спектра звука.

На фиг.3 приведен пример наложения вейвлет-функции в выбранном отсчете спектра Фурье.

На фиг.4 изображен граф формирования мер веса последовательности информативных признаков.

Система определения параметров линейчатых спектров вокализованных звуков (фиг.1) содержит последовательно соединенные цифровое записывающее устройство 1, блок 2 дискретизации, блок 3 дискретного преобразования Фурье, блок 4 нормирования спектра Фурье, формирователь 5 результирующей матрицы сверток, сумматор 6, регистратор 7 максимальных значений, формирователь 8 вектора признаков, блок 9 линий задержки, блок 10 формирования мер веса последовательности информативных признаков, блок 11 перебора последовательности компонент информативных признаков и выделения спектров, обладающих линейчатостью и гладкостью динамики частоты основного тона, компаратор 12, селектор 13 компонентов преобразования Фурье и блок 14 регистрации информативных признаков. Кроме того, система содержит блок 15 питания, подключенный к питающим входам составных блоков системы, блок 16 памяти, вход которого подключен к выходу блока дискретного преобразования Фурье, а выход соединен с параметрическим входом селектора 13 компонентов преобразования Фурье, генератор 17 базисных сигналов, выход которого подключен к управляющему входу формирователя 5 матрицы сверток, формирователь 18 параметров разбиения диапазона частот основного тона речевого сигнала, выход которого соединен с входом задания диапазонов частот регистратора 7 максимальных значений, формирователь 19 мер схожести, выход которого соединен одним из задающих входов блока 10 формирования мер веса последовательности информативных признаков, и формирователь 20 порогового уровня, выход которого подключен к задающему входу компаратора 12.

При реализации способа система определения параметров линейчатых спектров вокализованных звуков функционирует следующим образом.

Акустический сигнал поступает на вход цифрового записывающего устройства 1, на выходе которого формируется записанный оцифрованный сигнал. В блоке 2 дискретизации осуществляется его оконное преобразование (дискретизация), при этом не перекрывающиеся интервалы окон имеют длительность не менее 0,032 с и следуют друг за другом со смещением, длительность которого не превышает 0,010 с. Для получения сигнала, соответствующего каждому окну, в блоке 3 происходит вычисление дискретного преобразования Фурье с сохранением реальной и мнимой частей преобразования в блоке 16 памяти. Блок 4 определяет спектр Фурье и осуществляет его последующее нормирование в соответствии с зависимостью

где - компоненты нормированного спектра Фурье,

φ_i - компоненты исходного спектра Фурье,

n - количество компонент спектра Фурье.

Генератор 17 базисных сигналов формирует управляющие сигналы, структура которых определяется параметрами вейвлет-функции (фиг.2), имеющей вид

где τ - период вейвлет-функции,

j - номер отсчета вейвлет-функции,

π=3,14.

Управляющие базисные сигналы с выхода блока 17 поступают на вход формирователя 5 матрицы сверток, в котором для каждой i-ой компоненты полученного нормированного спектра Фурье производится свертка окружения этой компоненты с вейвлет-функциями, а именно

где k - величина четвертьпериода вейвлет-функции, выраженная в единицах отсчетов спектра,

τ - период вейвлет-функции.

Свертка осуществляется с вейвлет-функциями всех возможных масштабов, при этом суммы свертки вычисляются отдельно для каждой полуволны вейвлет-функции. После этого в формирователе 5 формируется результирующая матрица сверток, каждая i-ая компонента которой определяется зависимостью

Частотный диапазон основного тона голоса разбивают на три неперекрывающихся диапазона, при этом верхнюю границу первого диапазона выбирают из условия

G₁=2G_min, где G_min - известное минимальное значение частоты основного тона мужского голоса, верхнюю границу второго диапазона - из условия G₂=4G_min, а верхнюю границу третьего диапазона принимают равной известному максимальному значению частоты G_max основного тона женского голоса. Границы диапазонов заданы формирователем 18 параметров разбиения диапазона частот основного тона голоса.

В сумматоре 6 для частотного диапазона основного тона голоса суммируются компоненты полученной матрицы сверток, имеющие индексы, кратные частоте основного тона, т.е. определяется сумма вида

ω - частота основного тона, выраженная в единицах спектральных отсчетов.

Для каждого диапазона частот основного тона голоса, границы которых заданы формирователем 18, в блоке 7 вычисляется значение максимума матрицы S_τω

и соответствующий этому максимуму аргумент

после чего блок 8 формирует множества пар этих значений, т.е. вектор информативных признаков В={(I₁, g₁), (I₂, g₂), (I₃, g₃)}.

С использованием векторов информативных признаков и мер схожести пар (I_i, g_i)

где σ - дисперсия частоты основного тона,

t - дискретное время,

, - компоненты вектора информативных признаков, взятые в дискретные моменты времени t; t=1, 2, … и i, j=1, …, 3,

которые создаются на выходе формирователя 19 мер схожести пар, в блоке 10 формирования мер веса последовательности информативных признаков на основе подпоследовательности Q размером М, не менее четырех в последовательности множеств В, которая реализуется М-1 последовательными линиями задержки блока 9 задержки, формируются меры веса последовательности информативных признаков

характеризующие наличие линейчатого спектра в сигнале. С помощью этих мер веса последовательности информативных признаков выделяются все спектры, обладающие линейчатостью и гладкостью динамики частоты основного тона.

С выхода блока 10 формирования мер веса последовательности информативных признаков сигналы поступают в блок 11 перебора последовательности компонент информативных признаков и выделения спектров, обладающих линейчатостью и гладкостью динамики частоты основного тона, где определяется траектория последовательности пар (I_i, g_i)^(t), обладающая максимальным весом D на подпоследовательности Q.

В графе осуществляемого блоком 11 перебора последовательности компонент информативных признаков и выделения спектров, обладающих линейчатостью и гладкостью динамики частоты основного тона, на последовательности множеств пар максимумов и их аргументов (фиг.4) каждое ребро соответствует вычислению меры схожести этих пар. Соответствующий информационный сигнал о выбранной траектории поступает на задающий вход компаратора 12 для сравнения с пороговыми сигналами, поступившими из формирователя 20 пороговых уровней. В компараторе 12 проводится сравнение порогового значения и значения максимального веса D. В том случае, если максимальный вес D траектории превышает пороговое значение, то принимается решение о том, что эта последовательность пар (I_i, g_i)^(t) подпоследовательности Q порождена речевым сигналом, обладающим линейчатым спектром и гладкостью динамики частоты основного тона. На основании этого селектором 13 из последовательности сохраненных в блоке 16 реальных и мнимых частей преобразования Фурье выбирают лишь те компоненты, которые соответствуют участкам, обладающим линейчатым спектром и гладкостью динамики частоты основного тона, и регистрируют их блоком 14 регистрации информативных признаков.

Предложенные способ и система обеспечивают высокую точность при определении параметров линейчатых спектров вокализованных звуков. Так, например, сравнение результатов, полученных при использовании технического решения MFCC, позволяющего проводить выделение признаков речевого сигнала, с результатами, обеспечиваемыми предложенной группой изобретений, показывает, что на вокализованном участке речи при уменьшении отношения сигнал шум с 20 до 15 дБ относительный рост дисперсии компонент вектора MFCC составляет 42,1%, а относительный рост дисперсии компонент при реализации предложенной группы изобретений - 7,4%. Это позволяет говорить о достигаемой устойчивости определения параметров линейчатого спектра вокализованных звуков к зашумлению речи.

Изобретение относится к техническим решениям, используемым применительно к «черным ящикам» транспортных средств для выделения спектральных характеристик звуков речи. Согласно способу регистрируют акустический сигнал, осуществляют преобразование его в цифровой вид, разбивают оцифрованный сигнал на перекрывающиеся окна со смещением начала отсчета каждого последующего окна относительно начала каждого предыдущего окна. Над фрагментами сигнала в каждом окне выполняют дискретное преобразование Фурье и формируют банк полученных реальных и мнимых частей. Вычисляют и нормируют спектр Фурье, формируют базисные сигналы в виде вейвлет-функций и получают их свертки с окружением каждой компоненты нормированного спектра Фурье, объединяют полученные свертки, образуя результирующую матрицу сверток. Формируют граничные условия для разбиения частотного диапазона основного тона голоса, в соответствии с которыми разбивают его на поддиапазоны. Для частотного диапазона основного тона голоса выделяют компоненты результирующей матрицы сверток, имеющие индексы, кратные частоте основного тона, и суммируют их. Для каждого из поддиапазонов частот основного тона голоса определяют максимальное значение матрицы сверток и соответствующий максимальному значению аргумент, формируют вектор информативных признаков, представляющий собой множество пар значений максимумов и соответствующих им аргументов. Формируют меры схожести пар, с использованием множества векторов информативных признаков и мер схожести пар формируют меры веса последовательности информативных признаков, характеризующие наличие линейчатого спектра в сигнале. С помощью сформированных мер веса последовательности информативных признаков перебирают последовательности компонент информативных признаков и выделяют спектры, обладающие линейчатостью и гладкостью динамики частоты основного тона, выбирают реальные и мнимые части выделенных спектров из банка реальных и мнимых частей преобразования Фурье и регистрируют их в виде амплитудно-частотных характеристик вокализованных звуков. Способ реализуется системой, содержащей последовательно соединенные цифровое записывающее устройство, блок дискретизации, блок дискретного преобразования Фурье, блок нормирования спектра Фурье, формирователь результирующей матрицы сверток, сумматор, регистратор максимальных значений, формирователь вектора признаков, блок линий задержки, блок формирования мер веса последовательности информативных признаков, блок перебора последовательности компонент информативных признаков и выделения спектров, обладающих линейчатостью и гладкостью динамики частоты основного тона, компаратор, селектор компонентов преобразования Фурье и блок регистрации информативных признаков. Также в систему входят блок питания, блок памяти, генератор базисных сигналов, формирователь параметров разбиения диапазона частот основного тона голоса, формирователь мер схожести и формирователь порогового уровня. Технический результат - повышение точности определения параметров линейчатых спектров вокализованных звуков. 2 н. и 2 з.п. ф-лы. 4 ил.

1. Способ определения параметров линейчатых спектров вокализованных звуков, заключающийся в том, что регистрируют акустический сигнал, осуществляют преобразование его в цифровой вид, разбивают оцифрованный сигнал на перекрывающиеся окна со смещением начала отсчета каждого последующего окна относительно начала каждого предыдущего окна, над фрагментами сигнала в каждом окне выполняют дискретное преобразование Фурье и формируют банк полученных реальных и мнимых частей, вычисляют и нормируют спектр Фурье, формируют базисные сигналы в виде вейвлет-функций и получают их свертки с окружением каждой компоненты нормированного спектра Фурье, объединяют полученные свертки с образованием результирующей матрицы сверток, формируют граничные условия для разбиения частотного диапазона основного тона голоса, в соответствии с которыми разбивают его на поддиапазоны, для частотного диапазона основного тона голоса выделяют компоненты результирующей матрицы сверток, имеющие индексы, кратные частоте основного тона, и суммируют их, для каждого из поддиапазонов частот основного тона голоса определяют максимальное значение матрицы сверток и соответствующий максимальному значению аргумент, формируют вектор информативных признаков, представляющий собой множество пар значений максимумов и соответствующих им аргументов, формируют меры схожести пар, с использованием множества векторов информативных признаков и мер схожести пар формируют меры веса последовательности информативных признаков, характеризующие наличие линейчатого спектра в сигнале, с помощью сформированных мер веса последовательности информативных признаков перебирают последовательности компонент информативных признаков и выделяют спектры, обладающие линейчатостью и гладкостью динамики частоты основного тона, выбирают реальные и мнимые части выделенных спектров из банка реальных и мнимых частей преобразования Фурье и регистрируют их в виде амплитудно-частотных характеристик вокализованных звуков.

2. Способ по п.1, в котором базисные сигналы формируют в виде

где τ - период вейвлет-функции,
j - номер отсчета вейвлет-функции,
π=3,14.

3. Способ по п.1, в котором частотный диапазон основного тона голоса разбивают на три неперекрывающихся диапазона, при этом верхнюю границу первого диапазона выбирают из условия G₁=2G_min, где G_min - известное минимальное значение частоты основного тона мужского голоса, верхнюю границу второго диапазона - из условия G₂=4G_min, a верхнюю границу третьего диапазона принимают равной известному максимальному значению частоты G_max основного тона женского голоса.

4. Система для определения параметров линейчатых спектров вокализованных звуков, содержащая последовательно соединенные цифровое записывающее устройство, блок дискретизации, блок дискретного преобразования Фурье, блок нормирования спектра Фурье, формирователь результирующей матрицы сверток, сумматор, регистратор максимальных значений, формирователь вектора признаков, блок линий задержки, блок формирования мер веса последовательности информативных признаков, блок перебора последовательности компонент информативных признаков и выделения спектров, обладающих линейчатостью и гладкостью динамики частоты основного тона, компаратор, селектор компонентов преобразования Фурье и блок регистрации информативных признаков, а также блок питания, подключенный к питающим входам составных блоков системы, блок памяти, вход которого подключен к выходу блока дискретного преобразования Фурье, а выход соединен с параметрическим входом селектора компонентов преобразования Фурье, генератор базисных сигналов, выход которого подключен к управляющему входу формирователя матрицы сверток, формирователь параметров разбиения диапазона частот основного тона голоса, выход которого соединен с входом задания диапазонов частот регистратора максимальных значений, формирователь мер схожести, выход которого соединен с одним из задающих входов блока формирования мер веса последовательности информативных признаков, и формирователь порогового уровня, выход которого подключен к задающему входу компаратора.