Устройство распознавания речевых сигналов Советский патент 1991 года по МПК G10L19/02 G06F7/08 

Изобретение относится к обработке речевых сигналов оптическими методами и может быть использовано для решения задач распознавания сигналов с целью сокращения избыточности речевого потока при его вводе в вычислительную систему, работающую в режиме обмена с оператором на естественном языке.

Устройство позволяет осуществить формирование частотного среза спектрограммы исследуемого сигнала, параллельное

вычисление различных корреляционных мер близости между частотными срезами текущего эталона и текущим частотным срезом исследуемого сигнала и рекурсивное накопление с оптимизацией нормализованной меры близости с рассматриваемым параметрическим эталоном. .

Целью изобретения является повышение точности распознавания исследуемых сигналов при одновременном повышении производительности устройства.

На фиг. 1-4 приведены структурные схемы устройства и его отдельных блоков; на фиг, 5-6 - алгоритмы работы контроллера и блока управления.

Устройство содержит (фиг. 1) источник 1 света, коллимирующую систему 2, модулятор 3 света, блок 4 формирования мгновенных спектров, оптический коррелятор 5, первый блок 6 волоконно-оптических раз- ветвителей, блок 7 волоконно-оптических управляемых затворов, второй блок 8 волоконно-оптических разветвителей, блок 9 матрицы, фотоприемников интегрирующего типа, первый блок 10 схем поиска экстремального значения, первый блок 11 устройств промежуточной выборки-хранения, второй блок 12 схем поиска экстремального значения, второй блок 12 устройств промежуточной выборки-хранения, блок 14 временного сжатия и балансной модуляции исследуемого сигнала, блок 15 хранения эталонов, блок 16 управления. При этом источник 1 через коллимирующую систему 2 оптически связан с модулятором 3, блоком 4 формирования мгновенных спектров и оптическим коррелятором 5, оптический вход первого блока волоконно-оптических разветвителей 6 является оптическим входом оптического коррелятора 5, оптические выходы первого блока волоконно-оптических разветвителей 6 связаны с оптическими входами блока 7 волоконно-оптических управляемых затворов следующим образом. Оптический вход оптического коррелятора номера mvi где

, N - база частотного среза отрезка

исследуемого сигнала в формируемой спектрограмме, соединен с оптическим входом gnm блока волоконно-оптических управляемыхзатворов при всех , оптические

выходы блока волоконно-оптических управляемых затворов связаны с соответствующими входами hnm второго блока волоконно-оптических разветвителей так, что оптический выход gnm блока волоконно- оптически управляемых затворов через . второй блок волоконно-оптических разветвителей соединен с оптическим выходом Uki оптического коррелятора следующим образом: для и для всех ,...,N соединен с hnm, оптические выходы Uki оптического коррелятора соединены с оптическими входами fki блока матрицы 9 фотоприемников интегрирующего типа, электрические входы блока 7 волоконно- оптических управляемых затворов, являющиеся электрическими входами оптического коррелятора 5, связаны с. выходами блока 15 хранения эталонов, электрические

выходы блока 9 матрицы фотоприемников интегрирующего типа связаны с электрическими входами первого блока 10 схем поиска экстремального значения, электрические выходы первого блока 10 схем поиска экстремального значения связаны с электрическими входами первого блока 11 устройств промежуточной выборки-хранения, выходы которого связаны с электриче0 скими входами второго блока 12 схем поиска экстремального значения, электрические выходы которого связаны с соответствующими входами второго блока 13 устройств промежуточной выборки-хране5 ния, электрические выходы которого связаны с соответствующими входами матрицы 9 фотоприемников интегрирующего типа, первый управляющий выход блока 16 управления связан с соответствующим входом уп0 равления источника 1 света, вход-выход управления связан с соответствующим выходом-входом управления блока 14 временного сжатия и балансной модуляции исследуемого сигнала, второй выход управ5 ления блока 16 управления связан с соответствующим входом управления блока 15 хранения эталонов, третий выход управления блока 16 управления связан с соответствующим входом управления блока 7

0 волоконно-оптических управляемых затворов, являющимся входом управления оптического коррелятора, четвертый выход блока 16 управления связан с соответствующим входом управления блока 9 матрицы

5 фотоприемников интегрирующего типа, пятый выход управления блока 16 связан с соответствующим входом управления первого блока 10 схем поиска экстремального значения, шестой выход управления блока

0 16 связан с соответствующим входом управления первого блока 11 устройств промежуточной выборки-хранения, седьмой выход управления блока 16 связан с соответствующим входом управления второго блока 12

5 схем поиска экстремального значения, восьмой выход управления блока 16 связан с соответствующим входом управления второго блока 13 устройств промежуточной выборки-хранения. Информационный вход

0 блока 16 соединен с информационным выходом второго блока 13 устройств промежуточной выборки-хранения.

Устройство работает следующим образом.

5 Исследуемый сигнал поступает на вход блока 14, где осуществляется его сжатие во временной области и балансная модуляция гармоническим сигналом с частотой, определяемой центральной частотой полосы рабочих частот акустооптического модулятора

3. С выхода блока 14 преобразованный сигнал поступает на электрический вход аку- стооптического модулятора 3, возбуждая в волноводе модулятора ультразвуковую акустическую волну, модулированную в соот- ветствии с законом изменения исследуемого речевого сигнала. Световой пучок от источника 1 поступает через колли- ми рующую систему 2 на оптический вход акустооптического модулятора 3, на выходе которого формируется световой пучок, пространственно промодулированный по амплитуде (интенсивности) в соответствии с законом изменения исследуемого сигнала. Указанный световой пучок, проходя через блок 4, формируется в частотной плоскости блока 4 в световое распределение, интенсивность света в котором пропорциональна мгновенному спектру исследуемого сигнала. Далее сформированное световое рас- пределение вводится в первый блок 6 волоконно-оптических разветвителей, че- рез который поступает на блок 7 волоконно- оптических управляемых затворов. Ввод светового распределения в блок 7 осущест- вляется как и собственно формирование светового распределения, не непрерывно, а лишь в определенные моменты времени, задаваемые сигналами блока 16 управления, управляющими излучением источника 1. Уп- равление блоком 7 осуществляется с использованием блока 15 хранения эталонов таким образом, что в расположенных в пространстве оптических волокнах в плоскости затворов создается распределение оптиче- ской плотности, соответствующее текущей маске-эталону.

Таким образом, на-все частотные срезы рассматриваемой маски-эталона оказывается спроецированным световой поток, рас- пределение интенсивности света в котором соответствует одному и тому же частотному срезу спектрограммы исследуемого сигнала. Тем самым параллельно формируются всевозможные произведения частотного среза исследуемого сигнала на частотные срезы маски-эталона. С выхода блока 7 через второй блок 8 осуществляется вывод сформированных световых распределений на блок 7 матрицы фотоприемников таким образом, чтобы на каждом фотоприемнике оказалось спроецированным путем разводки соответствующих оптических волокон второго блока 8,. сумматорное световое распределение, соответствующее корреляционному интервалу от текущего частотного среза спектрограммы исследуемого сигнала и определенного частотного среза спектрограммы маски-эталона. Указанная разводка осуществляется таким образом, чтобы оптические выходы блока волоконно-оптических управляемых затворов оказались связанными с соответствующими входами второго блока волоконно-оптических разветвителей.

Таким образом, на каждом фотоприемнике накапливается заряд, описываемый совокупностью выражений вида

DIJ+ di+j.

где DIJ - заряд, соответствующий накопленному значению промежуточной меры близости, при деформации, соответствующей переходу на текущем шагу в узел графа с координатами (I, J);

di+j - сформированное значение корреляционного интеграла последующего возможного шага-деформации.

Для организации вычисления нормализованной меры близости, что и осуществляется совместной работой первого и второго блоков 10,12 и первого и второго блоков 11, 13, блока управления 16. Именно к сформированным на предыдущем шаге итерации промежуточным значениям накапливаемого электрического заряда, пропорционального нормализуемой мере близости исследуемого сигнала с параметрическим эталоном, добавляется накапливаемый фотоприемниками заряд, пропорциональный корреляционным-йнтегралам текущего частотного среза исследуемого сигнала и частотным срезам эталона при различных деформациях его по оси времени. Эти электрические заряды считываются параллельно по строкам с матрицы фотоприемников и передаются на первый блок 10, в котором осуществляется выбор лучшего пути перехода между двумя фиксированными узлами графа нормализации. Практически это соответствует поиску экстремального значения в строке матрицы зарядов. Найденные первым блоком 10 промежуточные экстремальные значения электрических зарядов запоминаются в аналоговом виде первым блоком 11. Затем вторым блоком 12 осуществляется поиск оптимального пути, приводящего в J-ый узел графа нормализации, как это и требуется в соответствии с общей формулой динамического программирования:

Dj в р t (Dj-i+dij)

Здесь Dj - накапливаемые нормализуемые меры близости с параметрическим эталоном, соответствующие j-тому узлу графа нормализации, 0pt(...)- символ поиска экс- тремального значения, dij - текущий корреляционный интеграл.

Практически это означает, что осуществляется поиск экстремального значения по вектору значений электрических зарядов,

запоминаемом в аналоговом виде первым блоком 11 среди зарядов с номерами, не -превосходящими номера узла графа нормализации. Найденные промежуточные значе- ния нормализуемой меры близости запоминаются в аналоговом виде вторым блоком 13. По окончании поиска найденные значения зарядов записываются соответственно порядковым номером по строкам матрицы фотоприемников и на этом управляемая блоком 16 итерация формирования нормализованной меры близости заканчивается и осуществляется формирование следующего частотного среза исследуемого сигнала.

По окончании процесса вычисления нормализованной меры близости для данного эталона ее значение передается в блок 16. По окончании просмотра всех эталонов потребителю выдается информация о наиболее близком эталоне в смысле минимальной корреляционной меры близости.

В качестве первого блока 10 схем поиска экстремального значения может быть использовано устройство, структурная схема которого представлена на фиг. 2.

Первый блок 10 схем поиска экстремального значения (фиг. 1) работает следующим образом.

На компаратор 17 (фиг. 2) подаются напряжения непосредственно с выхода строки блока 9 матрицы фотоприемников и с выхода схемы 18 выборки-хранения (фиг. 2). На компараторе -17 производится сравнение указанных напряжений, по результатам которого и в соответствии с поступающими от блока матрицы фотоприемников синхросигналами ТИ осуществляется при наличии сигнала управления от блока 16 (фиг. 1) на схеме совпадения 19 (фиг. 2), соединенной своим выходом с входом управление схемы 18 выборки-хранения (фиг. 2), либо запоминание нового напряжения схемой выборки-хранения, либо сохранение ранее сформированного напряжения. В результате по окончании считывания строки зарядов, из блока 9 в схеме выборки-хранения будет зафиксировано напряжение, соответствующее оптимальному заряду по строке зарядов из блока 9 матрицы фотоприемников.

В качестве второго блока 12 схем поиска экстремального значения 12 может быть использовано устройство, структурная схема типового блока которого представлена на фиг. 3.

Работает второй блок 8 схем поиска экстремального значения следующим образом.

С выходов схем выборки-хранения первого блока 11 устройств промежуточной вы- борки-хранечия, подключенных попарно к

входам первого каскада схем компараторов 20 (фиг. 3) и параллельно к соответствующим входам схемы коммутаторов 21 (фиг. 3), по результатам сравнения напряжений оказываются на выходе каскада коммутаторов подключенными лишь те каналы, которые соответствуют экстремальным значениям из попарно сравнивавшихся в первом каскаде напряжений, Аналогичные сравнения и

0 коммутация производятся и в других каскадах схем компараторов и коммутаторов, образующих структуру бинарных деревьев. Для выбора экстремальных значений напряжений среди упорядоченных значений, хра5 нимых в первом блоке 11 устройств промежуточной выборки-хранения, и осуществляются описанные коммутации, в результате которых в корень дерева передается искомое экстремальное значе0 ние напряжения, которое передается на выход блока второго 12 схем поиска экстремального значения, соответствующий найденному экстремальному значению среда значений напряжений, подаваемых

5 на входы блока 13 схем поиска экстремального значения с номерами, не превосходящими номера данного выхода, что осуществляется соответствующим подключением типовых блоков 22 (фиг. 3).

0 Для начального обнуления матрицы фотоприемников выходы схем выборки-хранения второго блока 13 устройств промежуточной выборки-хранения соединены с выходами второго блока 13 уст5 ройств промежуточной выборки-хранения через коммутаторы.

В качестве блока 14 временного сжатия и балансной модуляции исследуемого сигнала 14 (фиг. 1) может быть использовано

0 устройство, собранное в соответствии со структурной схемой, приведенной на фиг. 4. ( При использовании в качестве контроллера блока временного сжатия и балансной модуляции исследуемого сигнала универсально5 го программируемого контроллера К1-20. схема включения которого описывается ниже, а структурная схема и импульсные диаграммы приведены на фиг. 5, 6, могут быть достаточно просто реализованы все связи

0 управления. Именно, в качестве промежуточного ЗУ блока временного сжатия и балансной модуляции исследуемого сигнала может быть использовано ОЗУ контроллера К1-20 в стандартной схеме включения. Это

5 ОЗУ при необходимости может быть расширено как указано в техническом описании универсального программируемого контроллера К2-20. Выходы двоичных разрядов преобразованного в цифровую форму отсче- ута сигнала 2°, 21, С212 соединены с

контактами разъема ХСЗ контроллера К1- 20, соответственно с В31-ВЗЗ, С27-СЗЗ, В35-В37, В39-В41. Вход Запуск АЦП Ф70661/1 соединены с контактом С39, а выход АЦП Ф7077/1 Завершено с контак- том С41 разъема ХСЗ контроллера К1-20. Вход управление схемы выборки-хранения соединяется с контактом С43 разъема ХСЗ контроллера К1-20; а выход VBHX схемы соединяется с входом АЦП Ф7077/1.

Аналоговый вход схемы соединяется с выходом входного блока, В качестве входного блока может быть использован фильтр нижних частот с цифровым управлением, входы управления которого соединены с контактами А27-АЗЗ, А39-А45. С43-С49. Вход фильтра является входом блока временного сжатия и балансной модуляции исследуемого сигнала 14 (фиг. 1) а значит, и входом устройства.

Вход управления блока временного сжатия и балансной модуляции исследуемого сигнала 14 (фиг. 1) соединен с контактом В43-В45 разъема ХСЗ контроллера К1-20.

Блок 16 управления 16 (фиг. 1), орга- низованный на основе контроллера программируемого универсального Элект- роника-К1-20 соединен с другими блоками устройства следующим образом. Блок 14 (фиг. 1) соединен с контактами В11-В13 разъема ХСЗ контроллера программируемого универсального Электроника К1-20, на основе которого организован блок управления 16 (фиг. 1), блок 7 (фиг 1) соединен с контактами В15-В17, С11-С17.

Блок 15 (фиг. 1) может быть выполнен на основе ППЗУ контроллера программируемого универсального Электроника К1-20. Его разряды подключаются к блоку 7 через контакты В27-ВЗЗ, С29-СЗЗ, разъема ХСЗ контроллера.

Вход управления блока 9 (фиг. 1) соединен с контактом В35 разъема ХСЗ контроллера. Вход управления блока 10 (фиг. 1) соединен с контактом В37 разъема ХСЗ контроллера. Вход управления блока 12 (фиг. 1) соединен с контактом С37 разъема ХСЗ контроллера. Вход управления блока 11 (фиг. 1) соединен с контактом В41 разъема ХСЗ кон- троллера. Вход управления блока 13 (фиг. 1) соединен с контактом С41 разъема ХСЗ контроллера. Вход управления блока 15 (фиг. 1) соединен с контактами А27-АЗЗ, А39-А45, разъема ХСЗ контроллера, программирую мого универсального Электроника К1-20.

Выходы устройства соединены с контактами В43-В45, С43-С45 разъема ХСЗ контроллера программируемого универсального Электроника К1-20, на основе

которого организован блок 16 управления (фиг 1).

Импульсные диаграммы и алгоритм работы блока 16 управления (фиг 1) приведены на фиг. 6.

Устройство, рассматриваемое в качестве прототипа, не позволяет осуществлять накопление нормализованной меры близости с параметрическим эталоном, поскольку не обеспечивает возможности поиска в ин- теративном режиме нелинейной деформации спектрограммы, обеспечивающей наилучшее совпадение с каждым из эталонов, что существенно снижает точность распознавания спектрограмм. Предлагаемое устройство позволяет осуществить обработку исследуемого сигнала посредством последовательного формирования частотных срезов его спектрограммы, параллельного вычисления возможных значений нормализуемой корреляционной меры близости, параллельной частичной оптимизации возможных деформаций временной оси на текущем шаге итерации и параллельное накопление возможных значений нормализуемой меры близости для следующего шага итерации. При этом устройство позволяет в режиме реального времени просматривать и распознавать словарь,более 10000 слов. Все это в конечном итоге позволяет значительно повысить точность обработки исследуемых сигналов при одновременном повышении и производительности (пропускной способности) устройства распознавания, иными словами, позволяет повысить эффективность работы устройства.

Формула изобретения 1. Устройство распознавания речевых сигналов, содержащее оптически связанные источник света, коллимирующую систему, модулятор света, блок формирования мгновенных спектров, оптический коррелятор, а также блок управления, отличающееся тем, что, с целью повышения точности распознавания исследуемых сигналов при одновременном повышении производительности устройства, в него введены блок временного сжатия и балансной модуляции исследуемого сигнала, первый и второй блоки схем поиска экстремального значения, первый и второй блоки устройств промежуточной выборки- хранения, блок хранения эталонов, блок матрицы фотоприемников, где М -число частотных срезов спектрограммы эталона, модулятор света выполнен в виде акустооптического модулятора, при этом оптический выход Ukf оптического коррелятора, где М,...,М,,...,М, соединен с

оптическим входом номера (К, 1) блока матрицы фотоприемников, электрические входы fkf оптического коррелятора связаны с выходами блока хранения эталонов, электрические выходы блока матрицы фо- топриемников связаны с электрическими входами первого блока схем поиска экстремального значения, электрические выходы которого связаны с электрическими входами первого блока устройств промежуточной выборки-хранения, выходы которого связаны с электрическими входами второго блока схем поиска экстремального значения, электрические выходы которого связаны с соответствующими входами второго блока устройств промежуточной выборки-хранения, соответствующие выходы которого связаны с соответствующими электрическими входами блока матрицы фотоприемников, первый вход блока управления связан с соответствующим входом управления источника света, вход-выход управления связан с соответствующим выходом-входом управления блока временного сжатия и балансной модуляции исследуемого сигнала, второй выход блока управления связан с соответствующим входом блока хранения эталонов, третий выход блока управления связан с сответствующим входом управления оптического коррелятора, четвертый выход блока управления связан с соответствующим входом управления блока матрицы фотоприемников, пятый выход управления блока управления связан с соответствующим входом управления первого блока схем поиска экстремального значения, шестой выход управления блока управления связан с соответствующим входом управления первого блока устройств промежуточной выборки-хранения, седьмой выход управления блока управления связан с соответствующим входом управления второго блока схем поиска экстремального значения, восьмой выход управления блока управления связан с соответствующим входом управления второго блока устройств промежуточной выборки-хранения, информационный вход блока управления связан с информационным выходом второго блока устройств промежуточной выборки-хранения, а выходом устройства является соответствующий выход блока управления.

2. Устройство по п. 1, отличающее- с я тем, что оптический коррелятор выполнен в виде первого, и второго блоков волоконно-оптических разветвителей и блока волоконно-оптических управляемых затворов, при этом оптические входы первого блока волоконно-оптических разветвителей являются оптическими входами оптического коррелятора, оптический вход Ve номера п оптического коррелятора, где пш1, N, N - база частотного среза отрезка исследуемого сигнала в формируемой спектрограмме, соединен с оптическим входом gnm блока волоконно-оптических управляемых затворов при всех ,...,М, оптические выходы блока волоконно-оптических управляемых затворов связаны с соответствующими входами hnm второго блока волоконно-оптических разветвителей, оптический выход gnm блока волоконно-оптических разветвителей соединен с оптическим выходом Ukf оптического коррелятора для m-k+1 и для всех ,...,N, входом управления оптического коррелятора является вход управления блока волоконно-оптических управляемых затворов.

Изобретение относится к обработке речевых сигналов оптическими методами и может быть использовано для решения задач распознавания сигналов с целью сокращения избыточности речевого потока при его вводе в вычислительную систему, работающую в режиме обмена с оператором на естественном языке. Целью изобретения является повышение производительности устройства. Указанная цель достигается введением в устройство блока 14, который позволяет организовать сжатие исследуемого сигнала во временной области и его балансную модуляцию гармоническим сигналом с частотой, равной центральной частоте акустооптического модулятора света, первого и второго блока 10, 12 схем поиска экстремального значения, первого и второго блоков 11, 13 устройств промежуточной выборки - хранения, блока 15 хранения эталонов и блока 9 матрицы фотоприемников интегрирующего типа, где М - число частотных срезов спектрограммы эталона, которые обеспечивают рекурсивное вычисление нормализованной меры близости, получаемой после сжатия и балансной модуляции исследуемого сигнала и его преобразование в частотный срез спектрограммы с параметрическими эталонами в соответствии с алгоритмом динамического программирования параллельным накоплением всех промежуточных значений нормализуемой меры близости, присутствующих в графе допустимых нелинейных деформаций. 1 з.п. ф-лы, 6 ил. О ю со 00

О

X--4--Jp--fe /Фиг.1

Выход

v

ur.

22

П-J

22

,., Выход на

($llS.1)

ЬодупраЬле- ния от 5л. /6 (Фиг 1)