СПОСОБ ФОНОСТЕНОГРАФИРОВАНИЯ Российский патент 1999 года по МПК G10L7/10 G10L9/18 G06F17/20 

Изобретение относится к способам регистрации речевых сообщений и может найти преимущественное применение везде, где оправдано применение фоностенографии.

Существующие способы записи звуковой информации (речи) не позволяют оперативно использовать запись, т.к. при записи речи, например на магнитофон, невозможно звуковую информацию оперативно перевести в ее видимое изображение. Это требует дополнительных затрат труда, времени и средств.

Поэтому независимо от записи речи на магнитофон используют как обычную стенографию, так и фоностенографию, которая широко распространена в настоящее время, как наиболее оперативная. Одна страница фоностенографического текста заменяет 10 страниц печатного текста, что существенно сокращает процесс передачи информации, например, при использовании космической связи.

Однако процесс стенографии и фоностенографии не автоматизиров и, следовательно, недостаточно эффективен.

Предлагается способ фоностенографирования, позволяющий автоматизировать этот процесс. Способ реализуется с использованием методики фоностенографии, описанной в книге О.Г.Александровой "Фоностенография", изд. "Картя молдовеняскэ", Кишинев, 1968 г. и усовершенствованной одним из авторов, Л.Я.Король, с применением новейших достижений техники.

Изобретение позволяет автоматически преобразовать звуковые сообщения на различных языках в фоностенограммы, что может быть весьма полезно при проведении международных конференций, встреч, записи бесед деловых людей и т.д.

Изобретение может быть полезно при его использовании в издательствах, делопроизводстве (лаконичность записи, уменьшение объема документации), при этом сокращается штат фоностенографистов, сокращается количество лиц, допускаемых к конфиденциальной информации, обеспечивается централизованный сбор репортерской информации с применением стационарной аппаратуры и т.д. При использовании известных устройств записи (например, магнитофонов) в режиме предварительного накопления звуковой информации изобретение позволяет существенно ускорить процесс получения фоностенограммы при считывании информации с этим устройств на повышенной скорости.

В настоящее время известны различные способы записи звука и пригодные для записи речевых сообщений, также как: запись рекордерами на диск и даже с использованием лазера, звукозапись на магнитную ленту, но они по технической сущности далеки от предлагаемого способа и проблемы автоматической фоностенографии не решают (см. "Техника магнитной записи" ИЛ, М., 1962 г. под редакцией М.А. Розенблат).

Известен способ цифровой магнитной записи звуковых сигналов, описанной в патенте N 1103809 от 07.08.81 г. , кл. C 11 B 5/09, "Сони корпорейшн" (Япония).

Этот способ реализует сохранение информации, но он не содержит обработки информации с дискриминацией простых звуков, не обнаруживает сочетаний звуков и не реализует автоматической фоностенографической записи в реальном времени.

В настоящее время интенсивно ведутся работы по общению человека с ЭВМ. Описан способ общения с ЭВМ при помощи речи, включающий преобразование речи в сигнал звуков обработку сигнала при помощи ЭВМ, с его вводом, разбивкой на интервалы, вычислением спектра слов, (цифр), сравнением полученных спектров с записанными спектрами отдельных слов и фиксацией их совпадений (см. Цифровая обработка речевых сигналов. Л.Г. Рабинер, Р.В. Шафер. М.: Радио и связь, 1981 г. , с. 456, рис. 9.22). В книге описаны новейшие достижения в США, СССР, Японии, приведены исследования, приведен большой библиографический материал. Описанный способ не различает отдельных звуков и не может использоваться для автоматизации фоностенографии речевых сообщений.

Прототипом заявленного способа является способ фоностенографирования, включающий выделение звуковых последовательностей, имеющих свои символы, контроль обнаруживаемых звуков, пауз, ударных звуков, выполнение построения слов и фраз обнаруженных звуков и их сочетаний с приоритетом последних по правилам стенографического письма, который описан в книге "Фоностенография" О.Г. Александровой, Кишинев, 1968, с. 12-38.

Недостатком известного способа-прототипа является отсутствие преобразования звука в электрический сигнал, обнаружения простых звуков с применением быстрого кратковременного Фурье-преобразования, процессорной обработки спектров с предварительной записью в запоминающие устройства для длительного хранения графических символов простых звуков, их спектров и символов для сочетаний от 2 до 6 звуков и правил стенографического письма. Кроме того, способ не содержит операций по построению слов, фраз и их регистрации что затрудняет его применимость для автоматизации процесса фоностенографирования.

Общими признаками способа-прототипа и предлагаемого способа являются:
способ фоностенографирования, включающий выделение звуковых последовательностей, имеющих свои символы, контроль обнаруживаемых звуков, пауз, ударных звуков, выполнение построения слов и фраз обнаруженных звуков и их сочетаний с приоритетом последних по правилам стенографического письма.

При осуществлении предлагаемого способа достигается технический результат - автоматизация фоностенографии. Указанный технический результат при осуществлении предлагаемого способа достигается тем, что в известном способе фоностенографирования, включающем выделение звуковых последовательностей, имеющих свои символы, контроль обнаруживаемых звуков, пауз, ударных звуков, выполнение построения слов и фраз обнаруженных звуков и их сочетаний с приоритетом последних по правилам стенографического письма, причем звук преобразуют в сигнал, обнаруживают в сигнале простые звуки с использованием кратковременного быстрого преобразования Фурье и процессорной обработки спектров, при этом предварительно в запоминающие устройства длительного хранения вводят графические символы простых звуков, их спектры и символы сочетаний простых звуков и правила стенографического письма, а при фоностенографировании речи дополнительно формируют код запроса правил, обнаруженные звуки и их сочетания с приоритетом последних кодами выводят из запоминающих устройств длительного хранения без разрушения информации в виде соответствующих им символов и с запросом правил стенографического письма выполняют построение слов и фраз, а запись уже построенного в кодах изображения выполняют в два пера, одним из которых изображают основную линию нотного стана, а другим наносят символы слов, фраз и интервалов между ними, смещенные соответственно правилам относительно основной линии нотного стана в согласованном с ним масштабе, при этом сочетание простых звуков имеет от 2 до 6 звуков.

Обнаружение в речевом сигнале простых звуков с выделением звукосочетаний, имеющих символы, обеспечивают использование всех введенных графических обозначений звуков, контроль звуков по мере их обнаружения с синхронным учетом правил, обеспечивают построение слов и фраз из отдельных символов, что обеспечивает автоматическое преобразование речевого сообщения в стенографический текст фоностенограммы. Это преобразование может выполняться без вмешательств в процесс преобразования и регистрации, то есть автоматически в режиме, близком к его выполнению в реальном масштабе времени. Что обеспечивает эффективность использования предлагаемого способа.

Изложенное выше и то, что при анализе технической и патентной литературы не обнаружено сочетаний существенных признаков, аналогичных сочетаниям существенных признаков заявленного способа, позволяет сделать вывод о том, что предлагаемый способ является новым, имеет изобретательский уровень и является промышленно применим, т.е. обладает критериями патентоспособности.

Структура операций способа приведена на фиг. 1, где:
1. Преобразование звуков речи в сигнал.

2. Обнаружение простых звуков и их кодирование.

3. Выделение звукосочетаний, имеющих символы.

4. Ввод и хранение символов.

5. Построение слов и фраз.

6. Контроль звуков.

7. Ввод и хранение правил.

8. Запись.

Схема реализующего способ устройства аналогична схеме, представленной на фиг. 1. Выход преобразователя звуков речи в сигнал связан со входом устройства обнаружения простых звуков и их кодирования, выход кода обнаруженных звуков которого связан с входом устройства выделения звукосочетаний, имеющих символы, другой выход обнаружителя простых звуков подан на вход блока контроля звуков, выход кодов обнаруженных звуков и их сочетаний устройства выделения звукосочетаний связан с адресным входом устройства ввода и хранения символов, выход которого связан с первым входом построителя слов и фраз, выход блока контроля звуков связан со вторым входом построителя слов и фраз, второй выход блока контроля звуков связан с входом адреса устройства ввода и хранения правил, выход которого связан с третьим входом построителя слов и фраз, выход, которого связан с входом устройства записи.

На фиг. 2 приведены характерные виды спектров.

По координатным осям отложены: амплитуда колебаний - A, и частота - f (кГц) с подъемами F1, F2, F3 соответствующих формантных частот приведен спектр вокализованного (гласного) звука, а с пиком спектральной плотности B приведен спектр фрикативного звука. Форманты вокализованного звука F1 = 300 Гц, F2 = 870 Гц, F3 = 2240 Гц. Звук "Y" (воск) B - полюс спектральной плотности фрикативного звука, который характеризуется тремя значениями частот f1, f2, f3; f2 - соответствует пику спектральной плотности, а два других значения f1 и f3 взяты дополнительно на спадах пика, например, на уровне 0,2 от уровня пика.

На фиг. 3 приведены длительности речевых звуков:
C - безударный гласный звук, D - гласный звук под ударением, E - согласный звук.

На фиг. 4 поясняется построение слова или фразы в стенографических символах с использованием правил:
1 - фраза в виде временной последовательности звуков, обозначенных буквами;
2 - обнаруженные речевые простые звуки в виде последовательности символов;
3 - замена символов простых звуков на символы групповых последовательностей или групп звуков;
4 - построение слов и фраз с учетом правил.

Способ включает следующие операции. Преобразование звуков речи в сигнал производится при помощи микрофона с усилителем, полосу пропускания частот в усилителе ограничивают в пределах от 200 Гц до 3 кГц, например, применением фильтров.

Обнаружение простых звуков и их кодирование выполняется с предварительной обработкой сигнала звука речи в виде кратковременного быстрого преобразования Фурье, которое выполняют с дискетным занесением информации, например, с частотой тактов от 7 до 8 кГц, с ограниченной разрядностью АЦП преобразования, с нахождением спектра средних энергий в виде частотной гребенки, например, имеющей 30 градаций по частоте. Полученный в реальном масштабе времени спектр средних энергий дополнительно обрабатывают с определением формантных частот для определения гласных звуков и определением частот нулей и полюсов спектральной плотности энергий для согласных звуков, по совпадениям формантных частот и значений частот полюсов спектральной плотности нулей, характерным частотам звуков, обнаруживают отдельные простые звуки и представляют их кодами (номера звука, то есть адреса ячейки ЗУ, в которой хранится вид его символа). Эту обработку выполняют процессором. Одновременно обнаруживают смену звуков и паузы между словами, фразами, которые представляют импульсами.

Выделение звукосочетаний, имеющих символы. В фоностенографии свои символы отображения имеют не только отдельные простые звуки, но и двойные звуки-дифтонги и вообще часто употребляемые в речи сочетания звуков, объединяющие последовательности, например, 4 и даже 5 отдельных звуков. Их обнаружение является важным и сложно выполнимым, так как звуки в речи идут последовательно. Это затрудняет оперирование с обнаруженными простыми звуками. Выделение таких звукосочетаний выполняют с использованием числового регистра. Число разрядов регистра выбирают соответственно максимальному числу звукообъединяемых общим символом. Код обнаруживаемых простых звуков подают на кодовый вход регистра, а на его вход занесения и сдвига в качестве тактовых импульсов подают импульсы смены звуков. Если выделяют последовательности звуков с максимальным числом до 5-ти звуков на 5 тактов, вся контролируемая последовательность займет весь регистр и первый звук расположится в последней его ячейке. По его коду выбирают все последовательности звуков, включающие этот звук первым. Сортируют выбранные последовательности, сравнивая коды их второго звука с кодом звука в предпоследней ячейке регистра и так далее, кончая сравнением кодов первой ячейки регистра и кодами последних звуков сочетаний, определяют обнаруженное сочетание звуков и по кодам их простых звуков отбирают код символа, общего для выделяемой группы звуков. Если не обнаруживают сочетаний звуков, имеющих групповой символ, то составляют коды символов простых звуков.

Построение слов и фраз выполняют с последовательным выводом фоностенографических символов, обнаруживаемых в речевом сигнале простых звуков и их сочетаний. По их кодам запрашивают ячейки памяти, в которых хранят виды символов. Построение слов и фраз выполняют с учетом правил. При этом учет правил выполняют в виде поправок положения выводимых символов при обнаружении отдельных звуков, при обнаружении ударного звука.

Контроль звуков выполняют с обнаружением гласных звуков "О" и "У", "И" и "Ы", обнаружением ударного звука, кодируемыми правилом. Контроль указанных гласных звуков обеспечивают путем дешифровки кодов обнаруживаемых в речи простых звуков. Обнаружение ударных звуков выполняют путем измерения интервалов смены звуков и сравнения их с некоторой величиной "T". Величину времени "T" находят экспериментально с анализом длительности речевых сигналов, например, с выбором ее величины равной 1/2 от длительности ударного звука. На фиг. 3 приведены измеренные длительности речевых звуков. Длительность ударного звука при изменении составила 0,3 с и величина "T" может быть равной 0,15 с.

Ввод и хранение символов. Символы простых звуков и их сочетание используют в том виде, в котором они используются при фоностенографировании речевых сообщений с ручной записью звуков. Вид символов фоностенографии представлен на таблице 1. На начальной стадии, в период обучения аппаратуры, вид графических символов вводят в запоминающие устройства длительного хранения последовательностью координатных точек X1, Y1, X2, Y2, X3, Y3... при помощи устройства ввода ЭВМ, например, используемой для быстрого преобразования Фурье. Символы сначала изображают на полупрозрачной пленочной маске, прилагаемой к экрану дисплея ЭВМ, устройством ввода воспроизводят виды символов перемещением луча на экране дисплея, фиксируя в запоминающем устройстве указанные выше координатные точки, для каждого простого звука и их сочетаний, ячейку адреса запоминающего устройства при этом находят по коду звука, который произносят.

Ввод и хранение правил. В фоностенографии запись звуков выполняют по определенным правилам, позволяющим прочесть стенограмму. Это выделение гласных О, У; И, Ы; выделение ударного звука, опускание на письмо в слове звуков, идущих после ударного. Эти правила предполагают смещение символов при их записи. Правила заносят в запоминающее устройство на той же начальной стадии, когда выполняется ввод символов. Указанные правила могут быть дополнены.

Запись выполняют уже построенного в символах с учетом правил изображения стенограммы преимущественно одним "пером" регистратора, а вторым "пером", например, другого цвета наносят основную линию (вторую) пятилинейчатого нотного стана, в масштабе которого отображают текст фоностенограммы на носителе информации, например, синхронно с произносимой речью.

Поясним осуществление способа на конкретном примере. Пусть в речи произносится слово СЛОВО. В запоминающие устройства для хранения предварительно занесены символы звуков и правила. Звуки микрофоном образуются в речевой сигнал. Как показано на фиг. 2, спектры звуков в достаточной мере различаются с обнаружением формант F1, F2, F3 или полюса спектральной плотности в виде пика на определенной звуком частоте, пусть это частота f1. Два дополнительных значения частот f2, и f3 могут быть взяты на спадах пика, например, на уровне 0,2 от энергии пика. При этом дополнительные частоты f2 и f3 характеризуют наклоны пика и также характеризуют звук. По обнаруживаемым тройкам значений частот, которые определяют для каждого звука, предварительно определяют звуки и с присвоением им кода находят их символы простых звуков. Пусть на фиг. 4 изображены эти символы. Сочетание "СЛ" имеет свой символ, поэтому мы не используем символы простых звуков "С" и "Л", а запрашиваем из памяти объединяющий эти звуки их общий символ по мере обнаружения этого сочетания. Главный звук "О" - ударный. Ударение обнаруживают при контроле звуков путем измерения интервалов смены звуков и сравнения их с постоянной величиной T = 1/2 T макс., где T_макс. - длительность ударного звука. Главный звук "О" распознан дешифровкой его кода. Согласно правилу Терне изображение ударного звука отражается на письме подъемом его символа. Для этого обнаружение ударного звука кодируется адресом запрашиваемого правила, которое выводится в виде поправки положения символа при его записи. Величина поправки ΔY составляет два нотных тона, то есть смещение на интервал, равный расстоянию между линиями нот. Звуки, расположенные после ударного звука в слове до его окончания, смещаются вниз - ΔY, что отражено на фиг. 4. Безударный звук в окончании слова по правилам стенографии отпускается. При обнаружении звуков "СЛ" выводится общий символ, а импульсы смены звуков, используемые для сдвига, подавляют. Для сравнения фиг. 4 (справа) изображено слово "СЛАВА", в обоих случаях изображение одно и то же, и различается лишь смещением относительно основной линии в соответствии с правилами.

Обнаружение простых звуков - известный признак. Оно выполнено на основе кратковременного быстрого преобразования Фурье. Спектры каждого простого звука находятся в период обучения аппаратуры при помощи того же преобразователя Фурье, с которым будет использоваться способ (либо эта информация может быть взята из литературы). Затем сопоставлением частот, характерных для звуков со спектром речевого сигнала, выявляют эти звуки. При повторном осуществлении способа информации о виде символов, правила и характерные частоты звуков могут вводиться при помощи дискет.

Введение выделения звукосочетаний, ввод и хранение символов, ввод и хранение правил, контроль звуков и построение слов и фраз с учетом правил фоностенографической записи и ее символах обеспечивает возможность автоматической записи речи в виде фоностенограммы.

Изобретение относится к способам регистрации речевых сообщений и может найти применение при фоностенографировании. Сущность изобретения заключается в том, что дополнительно формируют код запроса правил, обнаруженные звуки и их сочетания с приоритетом последних кодами выводит из запоминающих устройств длительного хранения без разрушения информации в виде соответствующих им символов и с запросом правил стенографического письма выполняют построение слов и фраз, а запись уже построенных в кодах изображений выполняют в два пера, одним из которых изображают основную линию нотного стана, а другим наносят символы слов, фраз и интервалов между ними, смещенные соответственно правилам относительно основной линии нотного стана в согласованном с ним масштабе. Технический результат, достигаемый при использовании изобретения, заключается в обеспечении возможности автоматизации процесса фоностенографии речевых сообщений. 1 з.п.ф-лы, 4 ил., 1 табл.

1. Способ фоностенографирования, включающий выделение звуковых последовательностей, имеющих свои символы, контроль обнаруживаемых звуков, пауз, ударных звуков, выполнение построения слов и фраз обнаруженных звуков и их сочетаний с приоритетом последних по правилам стенографического письма, отличающийся тем, что преобразуют звук в сигнал, обнаруживают в сигнале простые звуки с использованием кратковременного быстрого преобразования Фурье и процессорной обработки спектров, при этом предварительно в запоминающие устройства длительного хранения вводят графические символы простых звуков, их спектры и символы сочетаний простых звуков, и правила стенографического письма, а при фоностенографировании речи дополнительно формируют код запроса правил, обнаруженные звуки и их сочетания с приоритетом последних кодами выводят из запоминающих устройств длительного хранения без разрушения информации в виде соответствующих им символов и с запросом правил стенографического письма выполняют построение слов и фраз, а запись уже построенного в кодах изображения выполняют в два пера, одним из которых изображают основную линию нотного стана, а другим наносят символы слов, фраз и интервалов между ними, смещенные соответственно правилам относительно основной линии нотного стана в согласованном с ним масштабе. 2. Способ по п.1, отличающийся тем, что сочетание простых звуков имеет от 2 до 6 звуков.