Способ смысловой интерпретации слитно произносимых слов Советский патент 1988 года по МПК G10L15/06 

;- szg i:;g; ajga:afgiiH-4yaiL-.

(21)3882й73/2 -Ш

(22)08,04,85

(46) 07,07,88. Бьдп„ N 25

(71)Ниститут кибепнетики и м., Г ;- V :i i к о в с:

(72)К.М.Биатоа и Т.К.Внн-пок (53) 534.781 (088,8)

(56) Патент Gi lA к 432610U кл. 179-К 1984,

Виктдок ллътернат р;; IS- решения- проблемь; рас; гой иава:ч - см 1словой интерпретации c.nH ; ;s чи для устного диалога Чйловс 3BMs 3 Кн, Латок тяческое р-;-: вание слуховьлх Образцов (APCG Киев, 1982, с- 3-12,

(54) СПОСОг, СМЫСЬО ЮЙ H -SPj;;/

СЛИТНО пр. ;мз:к;. слог

(57)- Я::;оО:,.ет ;-ил: :-пос,;.--, : ; икфор;- атк;,« UeJ V; Ti3o5pe VT :,, иеНКа С чО: ОС Г Chi iJCjajHofi г-5Н7 :

|- ечевой сьггнзл днскретиз рзп- т 5 obf Т, Пыцеляют из спгншгз ия4 Ор зиме и в результате поют ггсслед;;5ррл ельность. отсч:;7Т Е ого снгизлаг Ka siTbiu отс - :ет чгге г- ПС кя . этяг1С ИМЯ рзспо и5 аняя пг ;т чкк1 ; эталоны с. предстакл т ощие ецовятельчость этплогп ьп; ЗJIe jeп-Пауза рз тлштрираетс) как слс- Е эт;;лон чоторого БКОДПТ элемент эталонны элглаз Зь;, Б результате обучения ;еля:от оргакииекия на покторяе ь каждогс этзло -того SKSMR -T г- слск - Способ pvr.--T-s3

orirTBOK, j котором цел:- дес7 К :

O - t j C S КЗИ Дл- ч ТО ; ;; Г; I:

;,х )Пьам сигнал, f-j слое ... .

Изобретение относится к речевой Информатике, в частности к распозна- Ван и интерпретации слитной речи, и может быть использовано для управ- ления приборами и устройствами различного назначения голосом.

Целью изобретения является повы- фенйе скорости c fыcлoвoй интерпрета- ии,путем отбора в каждый момент вре заданного числа допустимых по- ёлёдовательностей слов, соответствую- |(их эталонным сигналам слов речи. J На фиг. 1 изображен граф порож,ает лкя эталонных сигналов речи, состав- ленной из словаря объемом К слов} 4ta фиг, 2 - фрагмент графа распозна- ;зания слитной речи-, на фиг. 3 - блок рхема npHiiepa устройства, реализукнце- о П1 едлагаемый способ..

Способ смысловой интерпретации слитно произносимых слов состоит в следующем. Речевой сигнал дискрети-зи руют с шагом Т. Из дискретизирован- ного речевого сигнала вьщеляют инфор мативные признаки и в результате по- (пучают последовательность Xg отсчетов Xj речевого сигнала: X g (л.., Х,,«, X,,..., Xg). Каждый отсчет (злемент) Xj представлен как тп-мерный вектор. На этапе обучения распознавания получают исходные эталоны слов Е, где k - 1,2,. .. ,1,. .. ,k, причем каждый; эталон Е. представляется последовательностью эталонных элементов е|.:

(е

SK

Тяпомд, Ппм - iTonjr

iE

длина эталона. При этом пауза пас сматривается как слово (k 0), в Эталон которого входит один эталонный злемент - эталонный элемент пау- зы. В результате обучения также определяют ограничения н-а повторяемость каждого эталонного элемента е в эталоне слова k, О k k, где k - объем словаря. Например, каждый эталонный элемент может повторяться 1, 2 или 3 раза.

Пусть одно общее для всех слов главное состояние (фиг,1). Для каждого слова имеется 3 qц состояний Выход в начальный момент времени из главного состояния и возврат в него в некоторый заключительный момент времени порождают эталонный сигнал слитной речи, составленный из слов данного словаря при условии свободного порядка слов. Переход по тонкой стрелке на графе означает однократное повторение эталонного элемен

1-

та. Переход по толстой стрелке означает переход в начальное состояние без повторения эталонных элементов

Для нелинейного сравнения эталонных сигналов слитной речи с реализацией слитной речи используют граф распознавания .слитной речи (фиг.2), Так как в рассматриваемом примере эталонный элемент может Повторяться 1,2 или 3 раза, каждому эталонному элементу соответствуют три состояний на графе распознавания. В первое из трех состояний {закрашенные кружки) входят три стрелки. Во второе и .третье состояния (незакрашенные кружки) входит по одной стрелке. Слово k может закончиться, когда трйекто- рия на графе попадает в состояния, соответствующие последнему эталонному элементу эталона слова k, В первое состояние на графе каждого слова можно перейти из главного состояния . В главное состояние можно перейти из состояний соответствующих последнему эталонному элементу слова k (для каждого k). Кажддя стрелка на графе соответствует сравнению эталонного элемента с элементом реализации.

Пусть для каждого момента времени j i (для всех состояний графов слов и состояния S 0) найдены N наиболее похожих (имеклцих наибольшую интегральную меру сходства) на соответствующие отрезки речевог о сигНЭЛЗ. Л( ) Л0у«« Л«Д

эталонных сигналов слитной речи с мерой сходства F, ij 1,2,,.. ,N. Соответствующие им последовательности номеров слов обозначим через К., V 1,2,...,N. Этим последовательностям номеров слов соответствуют некоторые последовательности кодов под- словарей. Каждой паре (Fj , к1), А « 1,2,...,N соответствует адрес записи множества кодов пЬдсловарей, слова из которых могут продолжать после довательность К и, таким образом, могут непосредственно следовать за последним словом последовательности К, 1,2,... ,N. Массив допустимых последовательностей слов Задается следующим образом:

«{массив допустимых последовательностей слой S «i список в подсловарей конец списка | массив допустимых последовательностей слов ;

3

список подсловарей ; - код подч.лопаря адрес записи в. массиве до густи п-№ иоследоватсль гюстей cj;;. ; списка спрги а кодов подсловарей j

;код подсловаря ; - список слов соответствующих подсловарю ,, Таким образом, в каждый отечет времени j i известно N наиболее похожих на речевой сигнал X ; (X, j .,,5 X;) эталонных сигналов слитной речи лпоследовательностей номеров слов (F, К, AJ) где А - адрес записи

V 1

где А - - адрес записи в массиьзе допустимых последовательностей слов списка подсловарей, слова из которых являются смежньп ги спрапа и пос- ледн ему слову последовательности К|

Если задана предметная область, то для генерации допустимых в этой предметной области последо}згтельнос- тей слов учитывают знания о языке диалога Знания о языке диалога могут задаваться в виде семаити еской сети, экономно задающей accиn допустимых: в языке диалога последовательностей слов. Двигаясь по этой сети из начального массива подслова- рей в конечный массив подсловарей и выбирая из соответст ву1ощи7 подсловарей по одному слову, можно получить все допустимгле :: диалоге пос.; йдова- тельности слов,. При таком c:ujco6e задания предметной облагт:.; :ол. ри могут пересекаться (со;:8ржать одни и те же слова или г};уппь: :лов) ,

При одновременном дв шеннь )Ю семантической сети и по графу СЛРГГНОЙ речи:порождаются эталонные сигнальг слитной речи для допустимых в диалоге последоватепьностей слов с

Пусть Б каящом состоянии S слова k, а также в главном состоянии для каждого отсчета речевого скгна.па в момент j хранится массив троек чисел, который запишем в виде

(F (k, S), К (k, S) ,

A (k , S)), / b,..,N.

J Тогда с ПР1ГХОДОМ в текущий момент

времени i очередного распозкаваемого элемента X. одновременно для всех состояний графов слов и S О вычисляют тройки чисел для момента времени i На основании троек чис ,::Л5 получен нь&; в MOf-seHT ().

0

0

Вычисление троек для первьпс состоя- J эталонных элементов (закрашенны.е кр -ткки) .например для 1-го состояния г-го arsj oHHoro элемента слова k (Е kijS iifj - еь кроме состояния S t, осуществляют следующим об- разом Определяют всезозьгожные мия kP l. (k, S-u), .,(k, S-u), n l,(k, ), u t,2,3j u) 1:w ( J 3 соответствует самой длинной стрелке, u 2 - средней по длине, U 1 - самой короткой стрелке на фиг. 2). Лля состояния S в момент i выбирают такую тройку чисел из мно- жеств а (p f (k, S-u) , Kf,i(k. S-u) , . (k, )), u 1,2,3, (л t;N, чтоёы F,i (k, S-u) были максимальны- ми, a (k, S-u) - разными. Ранжировав также N троек чисел в порядке убывания величиной F и просуммировав с отобранными значениями F величину сходства g (К , Bj ) элемента реали зации Х с r-KbfM эталонньи элементом слова k; новую тройку чисел для состояния S слова k и момента времени i: (pf (k, S) , К (k S), A ; (kj S)). t:N, Для состояний графов слов, не являюшяхся первыми (иезакрашенргые кружки на фнг,2)5 где Г -го эталонного элемента слова kj W-ки в NsoMeHT зремени i вьгчисля от следующим образомг

,-t)

0

0

5

: i .(k to К ., (k,, s-o,

л. (k, S) A; (k, S-n J - tlf

Для гларного состояния S О ры- чнслент{е троек чисел вьшолняют по особым , так как д зт5м со- CTOHFiHH проь сходит допи.сьгаанне слов Б массив. Пусть V-снмвол дописыванил сарава глова k к последовательности слов К: (k, S,,.), Среди всех троек чи оел (F fCk, s;;), , S) .) w -- 1:1 S ,,e Tt где Я - множество состояний на графе k--ro слова, в которых может закончиться слово k , выбирают N максимальных с;: одстз Г| (k, S|,) от отрезков X j и TaKifXj. что последовательности К (k,. SK) V,, - разные (слово пауза k 0. к последовательности К, (kj S|) не дописываем ) ,

ранжировав пол енi

ные тройки по убыванию сходств, прлучим новую тройку для состояния S о и момента времени i:

10

15

20

25

(pV (k, 0), ку (k , 0),

(k, 0, 0« UN.

Далее .находятся адреса AT, по которым записаны подсловарей, ело- ва иа которызс могут следовать непо- с| едственно за последним словом по- следовательности К.

Особый случай представляет собой вичисление N-OK в состоянии S « 1 для каждого {:лова k. Последовательности слов, о.тобранные в состоянии S О, могут быть продолжены словами, составляющими допустимые продолжения этих последовательностей слов в соответствии с семантической се- Т.Юв Допустимые продолжения последовательностей слов K|.,(R, 0) определяют кодами подсловарей, записаннь1ми ПС адресам Aj(k, 0) в семантический сети. В этом состоянии к значению уклонений Fj., (k, 0) последова- т«1льностей слов K.| (k, 0), которые быть продолжены словом k (для К 1ждого k) , прибавляют сходство пер- Btiro эталонного элемента е., слова k с распоэнаваемь М элементом X . и, рг1нжировав полученные тройки по убы- сходств, получают тройку чисел для момента времени i дгл состояния S « 1 ,слова k:

I (vi (k, 1), Kt(k, 1), ; A) (k, D), 0 1:N.

Аналогичную процедуру проводят «аждого слова k..

Устройство, реализующее предлагаемый способ, содержит спектр-анапиза- Tcip 1, вход 2 которого является вхо- ддм устройства, блок 3 управления, буфер 4 входно го сигнала, блок 5 па- мЯти эталонов, измеритель 6 сходст- в4, блок 7 памяти- кодов подсловарей, бЯок 8 памяти семантической сети, бдок 9 памяти элементарных сходств, бЛок 10 прогнозирования, блок 11 выделения максимального сходства, блок 12 памяти текущих значений интеграль- ньК параметров, блок 13 принятия решения.

30

35

40

45

50

Речевой сигнал поступает на вход 2 спектра-анализатора 1, где формируются спектральные векторы (отсчеты речевого сигнала), представляющие спектр текущего (15 мс) отрезка речевого сигнала с выхода 14 спектра-ана- лнзатора 1. Эти векторы поступает в буфер 4 входного сигнала. С выхода

5

0

5

0

5

0

5

0

g

ТЬ спектра-анализатора t в управления поступает сигнал, сопровождающий формирование очередного спектрального вектора После поступления уп авляющего сигнала от спектра-анализатора о вводе очередного отсчета речевого сигнала и управляющего сигнала с выхода 17 блока 13 принятия решения об окончании обработки оч|ередного отсчета с выхода 16 блока 3 управления, в измеритель 6 сходства и блок 10 прогнозирования поступает управляющий сигнал, по которому в измеритель 6 сходства из буфера 4 входного сигнала прлнимается очередной отсчет речевого сигнала и измеряется мера сходства этого отсчета со всеми эталонными элементами всех слов, записанными в блоке 5 памяти эталонов, а затем результаты измерения поступают в блок 9 памяти элементарных .сходств. Одновременно в блоке 10 прогнозирования для заданного числа текущих накопленных начальных последовательностей.слов (эталонных сигналов слитной речи), начинаницихся .словами из начальных , подсловарей и окончившихся в предыдущий отсчет времени, определяются слова, которые могут продолжить эти накопленные начальные последовательности слов и эти слова дописываются к накопленным начальным последовательностям слов. При этом каждой вновь полученной начальной последовательности слов приписывают адрес подсловарей, слова и которых могут составить допустимые продолжения вновь полученной начальной последова- тельности СЛОВ. Для прогнозирования того, какие начальные последовательности слов, какими словами могут быть продолжены, в блок 10 прогнозирования считывает из блока 7 памяти кодов подсловарей информацию о том, в какие подсловари входит каждое слово из словаря, а из блока 8 памя ти семантической сети - информацию о допустимьк в диалоге последовательностях слов. С заданной задержкой после приема управляющего сигнала из блока 13 принятия решения блдк 3 управления формирует на выходе 17 сигнал управления, поступамций в делитель П максимального сходствами В соответствии с этим управляющим сигналом вьщелитель 11 максимального сходства последовательно для каждого

слова считывает с выхода блока 13 прогнозирования текущие начальные последовательности слов, которые могут быть продолжены этим словом с выхода блока 9 памяти элементарных, сходств - элементарные меры сходства текущего отсчета речевого сигнала со всеми эталонными элементами, а с выхода блока 12 памяти текущих эна- чений интегральнь х параметров - текущие значения интегральных параметров, т.е. заданное число эталонных сигналов слитной речи (последовательностей слов), заканчивающихся каждым эталонным элементом слова в предшествующий отсчет времени, интегральные сходства этих эталонных сигналов и адреса подсловарей, слова

из KOTOpbDC могут составить допустимые го сигнала, сравнение речевого сигнала

продолжения этих эталонньпх сигналов (последовательностей слов). В выде- лителе 11 максимального сходства для- каждого эталонного элемента каждого эталрна слова определяется заданное число эталонных сигналов слитной речи, заканчивающихся в текущих отсчетах речевого сигнала этим эталонным элементом, а также соответствующие этим эталонным сигналам интегральные сходства и адреса подсловарей, слова из которых могут составить допустимые продолжения этих эталонных сигналов слитной речи (последователь- ностей слов). Полученные интегральные текущие параметры записываются в -блок 12 памяти текущих значений интегральных параметров.. В блоке 13 принятия решений среди всех эталонных сигналов слитной речи, заканчивающихся последними эталонными элементами (для каждого эталона слова) и наиболее похожих на отрезок речевого сигнала от первого отсчета до текущего, выбирается заданное число

- эталонных сигналов (последовательностей слов), имеющих максимальное интегральное сходство.

Если на выходе 18 блока 3-упразления появляется сигнал, указывающий на окончание речевого сигнала, первая из заданного числа последовательностей слов, полученных в текущий отсчет времени в блоке 13 принятия решения, интерпретируется к на выходе 19 этого блока появляется ответ интерпретации. Если речевой сигнал не закончился, последовательности слов, отобранные блоком 13 приня25

30

35

40

45

50

55

с эталонными сигналами слитной речи и формирование для каждого текущего отсчета параметров речевого сигнала массива из заданного количества по следовательностей номеров слов,, расположенных по убыванию величины сход |Ства эталонного сигнала с отрезком речевого сигнала от первого отсчета до текущего, отличающийся тем, что с целЬ;Ю Сокращения времени принятия решения при смысловой интерпретации, для каждого текущего отсчета параметров речевого снгкала рекуррентно накапливают кнтегральныг, меры сходства между последовательнос тью отсчетов текущж параметров от первого отсчета до тек тцего отсчета и зта/юнньп-ги сигналами слитной речк начинаюа имися згалоиньЕ-.п сигналами слов из начальных подсловарей и за™ канчивающимися всеми возможными эталонными элементами только тех слов, номера которых принадлежат под словарям, адреса которых приписаны текущим последовательностям номеров слов и слова которьос могут составить допустимые продолжения последовательностей номеров слов из текущих массивов, накопленных для нескольких предшествующих отсчетов текущих па раметров, а в текущие массисы из заданного количества последовательностей номеров слов записывают те ранжированные по убь ваиию сходства полученные путем дописывания допустимого слова новые последовательности номеров слов, которым соответствуют наибольшие интегральные йеры сходства, причем каждой вновь полученной

а

, 8

тия решения, с его выхода 20 передаются в блок 10 прогнозирования, а с выхода 17 3 блок 3 управления передается управляющий сигнал об окончании обработки очередного отсчета речевого сигнала.

Использование предлагаемого изобретения позволит при достаточно высокой 1гадежности интерпретации сократить время реакции в системах, ис-- пользующих речевое управление.

Формула изобретения

Способ смысловой интерпретации слитно произносимых слов, включающий вьщеление текущих параметров речевого

сигнала, сравнение речевого сигнала

5

0

5

0

5

0

5

с эталонными сигналами слитной речи и формирование для каждого текущего отсчета параметров речевого сигнала массива из заданного количества по следовательностей номеров слов,, расположенных по убыванию величины сход- |Ства эталонного сигнала с отрезком речевого сигнала от первого отсчета до текущего, отличающийся тем, что с целЬ;Ю Сокращения времени принятия решения при смысловой интерпретации, для каждого текущего отсчета параметров речевого снгкала рекуррентно накапливают кнтегральныг, меры сходства между последовательностью отсчетов текущж параметров от первого отсчета до тек тцего отсчета и зта/юнньп-ги сигналами слитной речк начинаюа имися згалоиньЕ-.п сигналами слов из начальных подсловарей и за™ i канчивающимися всеми возможными эталонными элементами только тех слов, номера которых принадлежат под-; словарям, адреса которых приписаны текущим последовательностям номеров слов и слова которьос могут составить допустимые продолжения последовательностей номеров слов из текущих массивов, накопленных для нескольких предшествующих отсчетов текущих па раметров, а в текущие массисы из заданного количества последовательностей номеров слов записывают те ранжированные по убь ваиию сходства полученные путем дописывания допустимого слова новые последовательности номеров слов, которым соответствуют наибольшие интегральные йеры сходства, причем каждой вновь полученной

9140844910

последов тельности номеров слов при- ретации определяют по последователь- писывагот адрес подсловарей, слова из ности слов с наибольшей интегральной которых могут составить допустимые мерой сходства, найденной для послед- продолжеийя вновь полученной после- его отсчета параметров речевого сиг5 нала.

довательности слов, а ответ интерпе«

««

влз 7

блчг

е«

i 1

014 t.i

KS

вк

€if Зак-2 l.9 -tSgK

,2

:с:лжК1 1Е,Ч

ФШ.З.