СПОСОБ ДОВРАЧЕБНОЙ ОЦЕНКИ КАЧЕСТВА РАСПОЗНАВАНИЯ РЕЧИ, СКРИНИНГОВОЙ АУДИОМЕТРИИ И ПРОГРАММНО-АППАРАТНЫЙ КОМПЛЕКС, ЕГО РЕАЛИЗУЮЩИЙ Российский патент 2021 года по МПК G10L15/01 G10L15/30 H04R25/00 

ОБЛАСТЬ ТЕХНИКИ

Настоящее техническое решение относится к средствам и методам, обеспечивающим автоматизированное выполнение диагностических процедур в части выполнения доврачебной оценки качества распознавания речи и скрининговой аудиометрии с помощью алгоритмов на базе машинного обучения.

УРОВЕНЬ ТЕХНИКИ

Основной характеристикой любого канала передачи речи, включая слуховой тракт восприятия речи человека, является понятность речи. Для определения этой характеристики в технических системах связи применяют статистический метод с участием большого числа слушателей и дикторов.

Под разборчивостью речи понимают относительное или процентное количество принятых (понятых) элементов речи из общего числа, переданных по каналу связи. Элементы речи составляют слоги, звуки, слова, фразы, числа. В соответствии им поставлены слоговая, звуковая, словесная, смысловая и числовая разборчивость. Для измерения разборчивости разработаны артикуляционные таблицы слогов, звукосочетаний и слов с учетом встречаемости их в русской речи.

Термином «социальная адекватность слуха» обозначают способность человека воспринимать звуковые стимулы различной сложности (включая речевые) и участвовать в диалоге. У людей с уровнем слуха ниже «социально адекватного» возникают сложности в общении с окружающими, появляются проблемы на работе, в быту. Так называемая стигма тугоухости заставляет людей скрывать свою коммуникативную проблему десятилетиями!

Исследования слуховой функции осуществляется посредством двух групп методов:

Субъективных (психоакустических):

- исследование слуха речью с шумом;

- исследование слуха при помощи камертонов;

- субъективная аудиометрия.

Объективных:

- объективная (компьютерная) аудиометрия;

- акустическая рефлексометрия;

- тимпанометрия;

- отоакустическая эмиссия;

- безусловные рефлекторные реакции;

- условные реакции на звук.

При всех субъективных методах исследования слуха сам испытуемый оценивает: слышит он звук или нет и каким-либо иным способом и сообщает об этом специалисту.

При объективных методах обследования полученные результаты не зависят от желания пациента, регистрация их в большинстве случаев происходит при помощи специальной аппаратуры.

К сожалению, результаты практически всех видов диагностики слуха, кроме прямой оценки разборчивости слуха речью, описывают результаты обследования в специфических терминах (децибелы, аудиограммы, номера пиков кривых и т.д.) и не дают пациенту объективной информации о его «реальной степени социальной адекватности». Все это множество научных терминов не дает человеку прямого ответа: как хорошо, или как плохо, он слышит и понимает «обычную» речь собеседника в реальном шуме, окружающем его ежедневно. Многочисленные результаты современных высокоточных обследований нужны специалистам; человеку с нарушениями слуха нужно знать только одно - насколько хорошо он понимает речь собеседника в обычных условиях. Для такой бытовой комплексной оценки хорошо подходит методика оценки удовлетворенности по шкале Ликерта.

Самым простым и доступным методом является исследование слуха речью в шумовом сигнале. Достоинства этого метода заключаются в его соответствии основной роли слуховой функции у человека - служить средством речевого общения.

При исследовании слуха речью применяется шепотная и громкая речь. Конечно, оба эти понятия не включают точной дозировки силы и высоты звука, однако некоторые показатели, определяющие динамическую (силовую) и частотную характеристику шепотной и громкой речи, все же имеются.

При исследовании слуха речью весь речевой материал произносится на резервном воздухе (вдох-выдох-речь). Это способствует уравниванию громкости при предъявлении всего речевого материала у разных лиц.

Важным обстоятельством при исследовании слуха является "заглушение" неисследуемго уха. Есть несколько способов заглушения: вложить в ушной проход ватку с вазелином, ввести в ушной проход палец, смоченный водой, вдавить в слуховой проход козелок уха, потирать тыльную сторону ладони, закрывающей ухо, другой рукой.

Основным преимуществом исследования слуха речью является его «физиологическая понятность» для испытуемого. Основными проблемными препятствиями для широкого применения являются:

- невозможность обеспечения воспроизводимости результатов для разных испытателей, так и для одного испытателя в разное время;

- относительную длительность и трудоемкость испытаний;

- необходимость выполнения исследования специально обученным медицинским персоналом.

Из существующего уровня техники известны различные подходы по оценке распознаваемости речи. Известно программное обеспечение DIRAC (http://asm-tm.ru/7841-izmerenie-razborchivosti-rechi-v-po-dirac.html), которое позволяет оценить акустическую обстановку помещения на предмет распознаваемости речи внутри него. Однако данный подход не применим для тестирования слуховых возможностей пациентов.

Известен способ диагностики уровня слуха (патент RU 2467691 С1, 27.11.2012), в котором используют речевую таблицу В. Воячека, которую записывают в память цифрового устройства в звуковом формате mp3. После повторения пациентом слов определяют процент правильно повторяемых от общего числа слов таблицы. При этом используют клавиатуру устройства для регистрации ответа пациента при громкостях звукового сигнала 10, 20 и 30% от максимальной мощности наушников соответственно. Затем выявляют снижение процента разборчивости речи. При снижении процента разборчивости речи менее 95% по любому размеру мощности наушников судят о наличии тугоухости.

Недостатком данного решения является недостаточная точность оценки разборчивости речи пациентом, которая заключается в отсутствии автоматизации процесса распознавания ответов пациента, с помощью перевода ответов пациента из голосового формата в текстовый для анализа правильности услышанных слов с помощью искусственного интеллекта.

С развитием уровня техники в области технологий, применяемых для диагностических целей различного профиля, в том числе и для проверки качества слуха, речевого распознавания и аудиометрии, все более насущной проблемой становится необходимость автоматизации всех ключевых функций, которые могут быть доступны конечному пользователю без необходимости прибегания к услугам профильных специалистов, а также упрощающих получение первичной картины состояния органов слуха, что позволяет решить проблему получения помощи населению в регионах, в которых отсутствует возможность обращения к профильному специалисту, как к таковому.

Авторами настоящего технического решения ранее был предложен метод на основании искусственного интеллекта для автоматической многофакторной оценки качества распознавания речи пациентом, за счет преобразования голосовых ответов пациента в текстовый формат и сравнения результатов с тестовой последовательностью слов, которая воспроизводилась с учетом шумовых сигналов, для повышения качества тестирования и моделирования бытовых ситуаций, критичных для пользователя с теми или иными нарушениями слуха (патент РФ №2729147, 05.08.2020).

Но эта разработка, хоть и снизила существенно трудоемкость выполнения процедуры оценки разборчивости речи в шуме, но не устранила основную ключевую проблему работоспособности всего первичного звена сурдологии - практического отсутствия в необходимых количествах подготовленных медицинских специалистов. При проведении оценки разборчивости фразовой речи требуются «человеческие способности» для перевода сгенерированного программой тестового предложения в голосовое сообщение, которое будет воспринято испытуемым человеком, как часть речи «живого» собеседника. Только полностью решив эту проблему можно было разработать полностью автоматический многофункциональный диагностический фронтэнд терминал, обеспечивший выполнение этой рутинной хорошо проработанной процедуры без участия специально подготовленного медперсонала. С помощью реализации заявленного технического решения миллионы людей смогу самостоятельно и достоверно оценить свои возможности к речевой коммуникации и принять обоснованное решение о срочности и необходимости дальнейшего обращения к специалисту.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Заявленное решение направлено на решение технической проблемы, заключающейся в создании многофункционального, простого и эффективного способа на базе стандартного вычислительного устройства для обеспечения доврачебной многофакторной оценки качества распознавания речи и скрининговой аудиометрии.

Техническим результатом является обеспечение доврачебной оценки качества распознавания речи в шуме и скрининговой аудиометрии на базе единого вычислительного устройства и формирование детального протокола для последующего использования.

Дополнительным техническим результатом является повышение эффективности и точности оценки качества распознавания речи и скрининговой аудиометрии за счет применения синтезированной речи с помощью модели машинного обучения и применении в тестировании откалиброванных устройства звукового воспроизведения в виде наушников воздушного типа и с костной звукопроводимостью.

Заявленный технический результат достигается с помощью интерактивного программно-аппаратного комплекса (ПАК) для доврачебной многофакторной оценки качества распознавания речи и скрининговой аудиометрии, содержащий связанные каналом передачи данных вычислительное устройство, устройства звукового воспроизведения, и устройство ввода речевой информации, при этом

вычислительное устройство выполнено с возможностью

- формирования тестовой речевой последовательности в виде слов и/или фраз с заданным уровнем громкости и на заданном языке на основании матричного теста, поддерживающего выбранный язык, причем воспроизведение тестовой речевой последовательности осуществляется с помощью имитации речи на базе модели глубокого машинного обучения;

- выбора шумового конкурирующего звука для упомянутой тестовой речевой последовательности слов;

- управления отдельно уровнями полезного сигнала тестовой речевой последовательности и шума;

- получения устного ответа пользователя с помощью устройства ввода речевой информации и автоматическое преобразование его в текст;

- автоматического анализа устного ответа пользователя по распознаванию каждого слова и/или фразы тестовой последовательности слов с отображением правильности ответа пользователя;

- автоматического расчета на основании устных ответов пользователя:

показателя качества распознавания речи;

наличия отклонения от нормы при распознавании речи, на основании анализа типа слов в тестовой последовательности;

- формирования последовательности тоновых сигналов и осуществления процедуры оценочной скрининговой аудиометрии на основании формируемой последовательности тоновых сигналов и построением скрининговой аудиограммы;

- формирования протокола оценки качества распознавания речи пользователем и данных скрининговой аудиограммы;

устройства звукового воспроизведения, выполненные в виде наушников воздушного и костного звукопроведения, обеспечивают:

- селективную двухканальную подачу звукового сигнала в левый и правый каналы, или в оба канала одновременно;

- воспроизведение тестовой речевой последовательности в виде фраз из матричного теста или отдельных слов в сопровождении конкурирующего шумового сигнала;

- воспроизведение тестовой последовательности однотонных сигналов в расширенном диапазоне частот для построения скрининговой аудиограммы.

В одном из частных примеров реализации интерактивного ПАК устройства звукового воспроизведения представляет собой стереофонические наушники воздушного и костного звукопроведения, работающие в расширенном диапазоне частот.

В другом частном примере реализации интерактивного ПАК вычислительное устройство представляет собой планшет или смартфон.

В другом частном примере реализации интерактивного ПАК звуковой тракт вычислительного устройства проходит предварительную процедуру метрологической калибровки и тарификации шкалы громкости в дБ.

В другом частном примере реализации интерактивного ПАК скрининговая аудиометрия осуществляется при помощи подачи в полуавтоматическом режиме последовательности тоновых сигналов стандартного набора частот отдельно в каждый из каналов устройства воспроизведения, с фиксацией ответа пользователя по распознаванию тоновых сигналов.

В другом частном примере реализации интерактивного ПАК на каждой частоте выполняется дихотомический поиск порогового значения уровня слышимости тоновых звуков в интервале 20-95 дБ.

В другом частном примере реализации интерактивного ПАК начальный уровень громкости на каждой частоте устанавливается в зависимости от порогового значения на предыдущей частоте.

В другом частном примере реализации интерактивного ПАК устройство ввода речевой информации представляет собой встроенный или внешний микрофон.

В другом частном примере реализации интерактивного ПАК устройства звукового воспроизведения соединены с вычислительным устройством посредством проводного и/или беспроводного канала передачи данных.

В другом частном примере реализации интерактивного ПАК внешний микрофон соединен с вычислительным устройством посредством проводного или беспроводного канала передачи данных.

Заявленный технический результат также достигается с помощью способа доврачебной оценки качества распознавания речи и скрининговой аудиометрии с помощью вышеуказанного интерактивного ПАК, при котором

с помощью вычислительного устройства

- формируют тестовую речевую последовательность в виде слов и/или фраз с заданным уровнем громкости и на заданном языке на основании матричного теста, поддерживающего выбранный язык, причем воспроизведение тестовой речевой последовательности осуществляется с помощью имитации речи на базе модели глубокого машинного обучения;

- осуществляют выбор шумового конкурирующего звука для упомянутой тестовой речевой последовательности слов;

- осуществляют управление отдельно уровнями полезного сигнала тестовой речевой последовательности и шума;

- получают устный ответ пользователя с помощью устройства ввода речевой информации;

- в автоматизированном режиме осуществляют

автоматическое преобразование устного ответа пользователя в текстовый вид;

анализ устного ответа пользователя по распознаванию каждого слова и/или фразы тестовой последовательности слов с отображением правильности ответа пользователя;

расчет на основании устных ответов пользователя показателя качества распознавания речи и наличия отклонения от нормы при распознавании речи, на основании анализа типа слов в тестовой последовательности;

- формируют последовательность тоновых сигналов, с помощью которой выполняют процедуру оценочной скрининговой аудиометрии с формированием скрининговой аудиограммы;

- формируют протокол оценки качества распознавания речи пользователем и данных скрининговой аудиограммы;

с помощью устройств звукового воспроизведения, выполненных в виде наушников воздушного и костного звукопроведения, осуществляют:

- селективную подачу звукового сигнала в левый и правый каналы;

- воспроизведение тестовой речевой последовательности в виде фраз из матричного теста или отдельных слов в сопровождении конкурирующего шумового сигнала;

- воспроизведение тестовой последовательности однотонных сигналов в расширенном диапазоне частот для построения скрининговой аудиограммы.

В одном из частных примеров осуществления способа вычислительное устройство представляет собой планшет или смартфон.

В другом частном примере осуществления способа звуковой тракт вычислительного устройства проходит предварительную процедуру метрологической калибровки и тарификации шкалы громкости в дБ.

В другом частном примере осуществления способа скрининговая аудиометрия осуществляется при помощи подачи в полуавтоматическом режиме последовательности тоновых сигналов стандартного набора частот отдельно в каждый из каналов устройства воспроизведения, с фиксацией ответа пользователя по распознаванию тоновых сигналов.

В другом частном примере осуществления способа на каждой частоте выполняется дихотомический поиск порогового значения уровня слышимости тоновых звуков в интервале 20-95 дБ.

В другом частном примере осуществления способа начальный уровень громкости на каждой частоте устанавливается в зависимости от порогового значения на предыдущей частоте.

В другом частном примере осуществления способа устройство ввода речевой информации представляет собой встроенный или внешний микрофон.

В другом частном примере осуществления способа устройства звукового воспроизведения соединены с вычислительным устройством посредством проводного и/или беспроводного канала передачи данных.

В другом частном примере осуществления способа внешний микрофон соединен с вычислительным устройством посредством проводного или беспроводного канала передачи данных.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Фиг. 1 иллюстрирует общую схему интерактивного ПАК.

Фиг. 2 иллюстрирует блок-схему заявленного способа.

Фиг. 3-4 иллюстрируют пример интерфейса установки настроек для воспроизведения речевой последовательности.

Фиг. 5 иллюстрирует пример интерфейса с индикацией ответа пользователя.

Фиг. 6 иллюстрирует пример страницы протокола тестирования разборчивости речи.

Фиг. 7 иллюстрирует пример графического интерфейса выполнения скрининговой аудиометрии.

Фиг. 8 иллюстрирует пример аудиограммы.

Фиг. 9 иллюстрирует общий вид вычислительного устройства.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

На Фиг. 1 представлена общая схема интерактивного ПАК (100). В его состав входит вычислительное устройство (110), представляющее собой планшет или смартфон, под управлением операционной системы iOS, Android или Windows. Устройство (110) осуществляется весь необходимый функционал, обеспечивающий взаимодействие с пользователем (10) для проведения оценки качества распознавания речи и скрининговой аудиометрии.

Вычислительное устройство (110) изготавливается на базе стандартных аппаратных средств, с тем отличием, что его звуковой тракт проходит предварительную процедуру метрологической калибровки и тарификации шкалы громкости в дБ, для его соответствия существующим аудиометрическим стандартам, например, для обеспечения его функционирования в соответствие с ГОСТ Р ИСО 8253-3-2014 «Акустика. Методы аудиометрических испытаний».

Вычислительное устройство (110) содержит подключаемые к нему посредством канала передачи данных, устройство ввода речевой информации (111) и устройства звукового воспроизведения (112, 113).

Устройство ввода речевой информации (111) может выполняться в виде встроенного или внешнего микрофона. Внешнее исполнение устройства (111) может подключаться с помощью любого пригодного принципа связи, например, USB кабель, Lightning разъем, Bluetooth связь и т.п.

Устройства звукового воспроизведения (112, 113) представляют собой два типа наушников - воздушной (например, Sennheiser hd 400s) и костной проводимости (например, Aftershock trekz titanium), которые обеспечивают возможность селективной двухканальной передачи звука пользователю (101), формируемого вычислительным устройством (110). Наушники (112, 113) калибруются с проверкой, например, с помощью приложения Tester, для соответствия выходных параметров изделия (громкость, частота) аудиометрическому оборудованию. Калибровочные параметры должны соответствовать международным и/или национальным стандартам, например, ГОСТ Р МЭК 60645-1-2017. Калибровка устройств звукового воспроизведения (112, 113) осуществляется с помощью искусственного уха, например, например производства фирмы В&K.

Вычислительное устройство (110) также может быть связано посредством сети передачи данных (120), например, сети «Интернет», с удаленным сервером (130), на котором может храниться различная информация, в том числе, настройки, данные пользователей, пакеты для обновления данных, параметры и информация для осуществления тестов и т.п.

Вычислительное устройство (110) обеспечивает формирование всех необходимых сигналов, звуков и графической информации для осуществления процесса тестирования пользователя (101) на предмет оценки распознавания речи и получения данных скрининговой аудиометрии.

На Фиг. 2 представлено описание процесса осуществления способа (200) оценки качества распознавания речи и скрининговой аудиометрии с помощью ПАК (100). Применение заявленного ПАК позволяет осуществить доврачебную объективированную и конкретизированную оценку возможности конкретного человека к речевой коммуникации, при этом, данный ПАК и применяемые в нем алгоритмы полностью автоматизированы и просты в использовании.

На первом этапе (201) осуществляется формирование с помощью устройства (110) тестовой речевой последовательности для чего пользователь (101) осуществляется вход в специализированное программное приложение на устройстве (110). Пользователь (101) осуществляет выбор языка тестовой последовательности, например, с помощью графического интерфейса приложения, или автоматически с помощью произнесения фразы, предложенной приложением для автоматического распознавания языка пользователя (101). Приложение, применяемое для тестирования с помощью устройства (110), основано на базе искусственного интеллекта, в частности, одной или нескольких моделях машинного обучения, например, с применением искусственной нейронной сети, обученной на распознавание речи пользователя (101).

После распознавания требуемого языка для осуществления формирования тестовой речевой последовательности, выполняется выбор соответствующего матричного теста для заданного языка. Такие типы тестов являются стандартизованными и позволяют определить степень возможности распознавания речи в шумовом сигнале (см, например, Nuesse et al. Measuring Speech Recognition With a Matrix Test Using Synthetic Speech // Trends Hear. 2019 Jan-Dec; 23: 2331216519862982. Published online 2019 Jul 19. doi: 10.1177/2331216519862982). Тестовая речевая последовательность включает в себя как отдельные слова, так и фразы, которые в рамках выбранного матричного теста будут воспроизводиться в случайном или заданном порядке.

Далее на этапе (202) выполняется установка конкурирующего шумового звука, который будет воспроизводиться одновременно с тестовой речевой последовательностью матричного теста. Перед запуском теста можно установить громкость речевого сигнала и громкость шума, количество слов в тесте, отключить левый или правый канал. При тестировании распознавания речи в шуме конкретный тестовый файл и файл шума можно выбрать в любой момент, используя меню настроек, представленный на Фиг. 3.

Пример первоначальных настроек тестирования:

По умолчанию установлены значения:

1. Выполнение фразового теста

- тип шума - шум толпы

- выполняемый тест - полная матрица;

- уровень громкости полезного речевого сигнала - «нормальная речь» (45 дБ);

- уровень шума - например, на 7 дб ниже уровня речевого сигнала;

- количество тестовых предложений - 10.

2. Выполнение словесного теста:

- выполняемый тест таблицы разносложных слов, содержащих все фонемы русского языка (Гринберг Г.И., Зиндер Л.Р.);

- количество тестовых слов - 20;

- уровень громкости полезного речевого сигнала - «нормальная речь» (45 дБ);

- тип шума - шум толпы;

- уровень шума - например, на 7 дБ ниже уровня речевого сигнала.

Речевая последовательность использует уникальные звуковые (речевые и шумовые) файлы собственной разработки. Перечень этих файлов может изменяться и дополняться в зависимости от конкретных целей исследования слуха.

Сформированная последовательность слов и фраз матричного теста на этапе (203) воспроизводится с помощью синтезатора речи, построенного на базе моделей машинного обучения. При этом, для более точного тестирования для каждого пользователя (101) может выбираться соответствующий тип голоса (женский, мужской, детский и т.п.), а также одновременно проведения тестирования на нескольких языках, с возможностью их переключения, что важно для людей, живущих в стране с несколькими официальными языками (например, Швейцария).

Перед запуском теста можно установить некоторые режимы проведения теста, представленные интерфейсом на Фиг. 4:

выбрать проверяемое ухо (оба, правое или левое);

установить счетчик тестовых фраз;

выбрать голос;

установить соотношение громкости полезного сигнала и шума одним из типичных значений или вручную.

Важной особенностью заявленного решения является его реализация в части воспроизведения речи с помощью программного синтезатора с заданными параметрами (мужской, женский, детский, хриплый, шепотом и т.п.), с заданным уровнем громкости, скорости, разборчивости произношения фонем, слов, предложений с соблюдением интонационных особенностей данного национального языка.

Важной отличительной чертой ПАК (100) является возможность впервые проводить оценку разборчивости речи по костной проводимости с использованием наушников соответствующего типа, в частности, стереофонических наушников (113) костной проводимости с расширенным частотным диапазоном, прошедшим метрологическую калибровку на соответствие требованиям ГОСТ. Это впервые дает возможность проведения оценки разборчивости речи у людей с заболеваниями системы звукопроведения (отиты различной формы), подавая речевые сигналы через костную проводимость непосредственно к улитковой системе.

В ПАК (100) предусмотрена подсистема вычислительного устройства (110) калибровки звукового оборудования. Звуковые тракты применяемых устройств (110) разного вида, различных моделей, различные воздушные и костные наушники обладают разными характеристиками. Кроме того, устройство (110) обеспечивает возможность регулировки громкость выходного сигнала только в условных единицах от 0.0 до 1.0.

В сурдологии принято измерять уровень звукового сигнала в децибелах (дБ). Этот уровень зависит от уровня звукового давления логарифмически. Для преобразования условных единиц громкости выходного сигнала устройства (110) в дБ была разработана методика калибровки звукового оборудования, которую необходимо проводить для каждой конкретной модели применяемого устройства (110), воздушных (112) и костных наушников (113).

Предусмотрена автоматическая система защиты слуховой системы пользователя (101) от акустической перегрузки. Максимальный прослушиваемый уровень ограничен значением в 95 дБ на частоте 1000-3000 Гц, с возможностью срочного отключения звука с помощью графического интерфейса приложения для выполнения теста, запущенного на устройстве (110).

Сама по себе необходимость подавать уровни громкости прослушивания, превышающие значение 95 дБ, означает наличие у человека тяжелой потери слуха, требующего только срочного профессионального обследования профильным специалистом. Эта сигнальная информация формируется автоматически.

Применяемые для реализации программного синтезатора речи алгоритмы машинного обучения, могут представлять собой, например, Google Cloud AI & Machine Learning Products Speech-to-Text (https://cloud.google.com/speech-to-text), Google Cloud AI & Machine Learning Products Text-to-Speech (https://cloud.google.com/text-to-speech), или любые другие алгоритмы, которые могут быть обучены для целей реализации настоящего технического решения в составе интерактивного ПАК.

Обучение модели для синтезатора речи может осуществляться следующим образом. Устройство (110) случайным образом формирует одно за другим 40 тестовых фраз, выбирая случайным образом из каждой строки матрицы по одному слову в заданной последовательности. Диктор, голос которого копируется, зачитывает в вынесенный микрофон (111) устройства (110) каждое предложение. Длительность процесса может составлять от 25 до 35 минут. Полученный звуковой файл пересылается в обучающий сервер, например, удаленный сервер (130), который вырабатывает рабочую модель синтезатора голоса заданного конкретного человека, используемую программами перевода «текст - речь» или «речь - текст».

Замена голоса «живого» диктора или специалиста на синтезированный программами искусственного интеллекта (ИИ) точный акустический аналог с заданными характеристиками позволяет решить специфическую, но социально очень важную проблему. Ухудшение слуха у некоторой категории людей (пожилые люди с признаками деменции, дети с аутизмом и другими ментальными расстройствами) приводит к проблемам с речевой коммуникацией, поскольку они воспринимают голоса только очень близких людей. Ряд современных ИИ систем уже предоставляют возможность воспроизводить заданный произвольный текст голосом «очень похожим» на требуемый голос. Для диагностики уровня разборчивости речи у детей с синдромом дауна, как правило, все тесты должны воспроизводиться голосом матери или другого близкого человека, с которым ребенок идет на контакт. Таким образом, применение обученного синтезатора речи в составе ПАК (100) позволяет расширить его применение для различного рода ситуаций и более точного выявления тех или иных нарушений слуха у пациентов.

На этапе (203) приложение на устройстве (110) генерирует и воспроизводит слова и фразы соответствующего матричного теста с помощью наушников с воздушной проводимостью (112). По факту произнесения слов и фраз с помощью синтезатора речи, пользователь дает отклик (этап 204) с помощью взаимодействия интерфейсом устройства (110) или с помощью произнесения каждого слова и/или фразы теста. Голосовой ответ пользователя фиксируется с помощью микрофона (111) и преобразуется в текстовый формат для его анализа на правильность произнесенной фразы. В ходе теста в нижней части экрана устройства (110) указывается перечень всех вариантов ответа как его поняла система распознавания.

Отклик пользователя (101) оценивается устройством (110) с помощью программного модуля на базе модели машинного обучения, который переводит ответ пользователя (101) в текст и сравнивает его с воспроизведенным словом или фразой в тестовой речевой последовательности.

Речевая последовательность воспроизводится параллельно с конкурирующим шумовым звуком, чтобы более точно оценить степень разборчивости речи пользователем (101) в эмулируемой ситуации. Речевые звуковые файлы и соответствующие им текстовые файлы могут хранится на вычислительном устройстве (110), что обеспечивает формирование произвольной комбинации любого речевого звукового файла с любым шумовым, не изменяя программу тестирования, а также дополнять список файлов произвольными сигналами и шумами.

При тестировании распознавания речи в шуме конкретный тестовый файл и файл шума можно выбрать в любой момент, используя меню настроек с помощью графического интерфейса устройства (110), представленного на Фиг. 4.

После озвучивания одного синтезированного предложения пользователь (101) повторяет услышанное предложение так, как он его услышал и понял, после чего на этапе (205) выполняется автоматическое обнаружение начала речевого ответа и производится его пословное сравнение с тестовым вариантом, в ходе которого подсчитывается количество неправильно произнесенных или пропущенных слов. На Фиг. 5 представлен пример индикации правиьлности ответа пользователя (101).

Предусмотрена несколько тестов разной степени сложности на все возрастные группы:

1. скрининговая оценка разборчивости слуха у детей:

- возрастная группа от 7 до 14 лет.

2. Сбалансированные тесты (двухзначные числа)

3. Таблицы разносложных слов, содержащие все фонемы русского языка (Гринберг Г.И. 6 Зиндер Л.Р.)

4. Таблицы фонемосбалансированных слов (Нейман)

При проведении теста разборчивости речи в шуме обычно рекомендуется использовать в качесте помехи белый или розовый шумы, имитирующие речевой спектр голосов большой группы людей, стоящих на больших открытых пространствах. При этом, шумовой звук может быть смоделирован, выбором из большого диапазона различных ситуаций, наиболее подходящих для ситуации тестируемого пользователя, например, совещание, шумы цеха, стройка, шум толпы в закрытом помещении и т.п.

ПАК (100) обеспечивает возможность пользователю (101) самому выбрать тот режим проверки, в котором в его повседневной жизни он испытывает наибольший дискомфорт, в частности, тип голоса (мужской, женский, детский и т.п.), уровень громкости беседы в общепринятых терминах: шепотная речь, нормальный уровень громкости разговора, громкий разговор в группе. При этом устройство (110) автоматически заменит выбранный «словесный» уровень описания громкости на соответсвующий метрологически подтвержденный уровень интенсивности прослушивания в дБ (шепотная речь - 35 дБ, нормальная речь - 50 дБ и т.д.).

По окончании теста на этапе (205), устройство (110) с помощью соответствующей программной логики оценивает результат распознавания фраз по международной шкале STI. Тест распознавания речи в шуме можно повторить несколько раз с разными тестовыми файлами, уровнями громкости сигнала и шума и каналами. Обобщенные результаты тестирования распознавания случайных фраз и отдельных слов в шуме можно посмотреть на странице «Протоколы» (Фиг. 6).

Далее на этап (206) выполняется скрининговая аудиометрия с помощью применения наушников с костной проводимостью (113). В ходе данной проверки устрйоство (110) формирует тоновые сигналы для оценки порогов их восприятия пользователем (101).

Процедура скрининговой аудиометрии заключается в последовательном воспроизведении однотонных сигналов со следующими частотами:

- для воздушных наушников (112): 1, 1.5, 2, 3, 4, 6, 8, 12, 16 и 20 кГц и затем с частотами 750, 500, 250 и 125 Гц;

- для костных наушников (113): 1, 1.5, 2, 3, 4, 6, 8, 12, 16 и 20 кГц и затем с частотами 750, 500 и 250 Гц.

Сигналы воспроизводятся через наушники (112, 113) сначала в правое, а затем в левое ухо. Длительность звукового сигнала устанавливается в 2 секунды, но может быть изменена. Полный тест проводится для левого и правого уха с использованием воздушных (112) и костных наушников (113). Программа на устройстве (110) последовательно проверит все частоты из списка, но можно выбрать проверяемую частоту для повторной проверки. На Фиг. 7 приведен пример отображения интерфейса пользователя при выполнении процесса скрининговой аудиометрии.

При запуске теста последовательно воспроизводится однотонный звук заданной частоты в диапазоне от 125 Гц до 20 кГц указанной длительности. На каждой частоте выполняется дихотомический (бинарный) поиск порогового значения уровня слышимости в интервале 20-95 дБ, что позволяет найти порог за 6-7 шагов с точностью 1 дБ. На каждом шаге пользователю (101) воспроизводится звук определенной интенсивности, на который он реагирует нажатием кнопок графического интерфейса устройства (110) «Слышу» или «Не слышу». Стартовый уровень громкости на каждой частоте устанавливается в зависимости от значения порога на предыдущей частоте, что позволяет уменьшить количество шагов. По результатам проверки строится аудиограмма, представленная на Фиг. 8. Все результаты регистрации и тестирования сохраняются первично на устройстве (110) в файле Protocol.txt. Директория и файл создаются автоматически. При распознавании речи в шуме указываются все варианты, возвращенные программным распознавателем речи. На этапе (207) по итогам проведенной оценки распознавания речи и скрининговой аудиометрии формироуется итоговый детальный протокол, пример которого представлен ниже. Протокол может использоваться в дальнейшем при обращении пользователя (101) к профильному специалисту, например, врачу, с предоставлением настоящего протокола, или посредством средств телемедицины, направляя протокол врачу в цифровом виде.

***** Вход в Регистрацию *****

Иванов Иван Иванович 1987

* 09.08.2020 13:39

* Распознавание фраз в шуме

* Лена ищет восемь главных комнат > Лена ищет восемь главных комнат

* Лена делает семь нужных рядов > Лена делает семь нужных рядов

* Павел ищет шесть чужих рядов > Павел ищет шесть чужих рядов

* Результат: 3/3 -> ОТЛИЧНО

* Распознавание слов в шуме

* Все тесты Гринберга (3/80) 95 дБ, Толпа людей 15 дБ, ухо Оба

* Жалоба > Жалоба

* Пьяный > Пьяный

* Искать > Искать

* Результат: 3/3 -> ОТЛИЧНО

* Аудиометрия, правое ухо

** Правое ухо, воздушные наушники

* 125 Гц -> слышно при 38.0 дБ

* 250 Гц -> слышно при 44.0 дБ

* 500 Гц -> слышно при 39.0 дБ

* 750 Гц -> слышно при 48.0 дБ

* 1000 Гц -> слышно при 48.0 дБ

* 1500 Гц -> слышно при 38.0 дБ

* 2000 Гц -> слышно при 35.0 дБ

* 3000 Гц -> слышно при 43.0 дБ

* 4000 Гц -> слышно при 30.0 дБ

* 6000 Гц -> слышно при 65.0 дБ

* 8000 Гц -> слышно при 67.0 дБ

* 12000 Гц -> слышно при 96.0 дБ

* 16000 Гц -> слышно при 100.0 дБ

* Аудиометрия, левое ухо

** Левое ухо, воздушные наушники

* 125 Гц -> слышно при 40.0 дБ

* 250 Гц -> слышно при 40.0 дБ

* 500 Гц -> слышно при 55.0 дБ

* 750 Гц -> слышно при 63.0 дБ

* 1000 Гц -> слышно при 34.0 дБ

* 1500 Гц -> слышно при 58.0 дБ

* 2000 Гц -> слышно при 60.0 дБ

* 3000 Гц -> слышно при 63.0 дБ

* 4000 Гц -> слышно при 46.0 дБ

* 6000 Гц -> слышно при 64.0 дБ

* 8000 Гц -> слышно при 68.0 дБ

* 12000 Гц -> слышно при 78.0 дБ

* 16000 Гц -> слышно при 89.0 дБ

* 20000 Гц -> слышно при 100.0 дБ

Протокол всех этапов тестирования, включая регистрацию пользователя (101), сохраняется на устройвтве (110) и может быть также направлен на удаленное хранилище, например, сервер (130) или сторонние системы, в частности, применяемых для телемедицины.

На Фиг. 9 представлен общий пример компьютерного устройства (300), которое может применяться для реализации устройств, входящих в ПАК (100), например, вычислительного устройства (110). В общем случае устройство (300) содержит такие компоненты, как: один или более процессоров (301), по меньшей мере одну оперативную память (302), средство постоянного хранения данных (303), интерфейсы ввода/вывода (304), средство В/В (305), средства сетевого взаимодействия (306).

Процессор (301) устройства выполняет основные вычислительные операции, необходимые для функционирования устройства (300) или функционала одного или более его компонентов. Процессор (301) исполняет необходимые машиночитаемые команды, содержащиеся в оперативной памяти (302).

Память (302), как правило, выполнена в виде ОЗУ и содержит необходимую программную логику, обеспечивающую требуемый функционал. Средство хранения данных (303) может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти, оптических накопителей информации (CD, DVD, MD, Blue-Ray дисков) и т.п. Средство (303) позволяет выполнять долгосрочное хранение различного вида информации, например, истории обработки запросов (логов), идентификаторов пользователей, звуковые файлы и т.п.

Интерфейсы (304) представляют собой стандартные средства для подключения и работы различного вида устройств (300), например, USB, RS232, RJ45, LPT, COM, HDMI, PS/2, Lightning, FireWire и т.п. Выбор интерфейсов (304) зависит от конкретного исполнения устройства (300), которое может представлять собой персональный компьютер, мейнфрейм, серверный кластер, тонкий клиент, смартфон, ноутбук и т.п.

В качестве средств В/В данных (305) может использоваться: клавиатура, джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.

Средства сетевого взаимодействия (306) выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п. С помощью средства (306) обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM.

Компоненты устройства (300), как правило, сопряжены посредством общей шины передачи данных или посредством любого друго типа связи, обеспечивающего взаимодействие элементов устройства (300).

В настоящих материалах заявки было представлено предпочтительное раскрытие осуществления заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Изобретение относится к средствам, обеспечивающим автоматизированное выполнение диагностических процедур в части выполнения доврачебной оценки качества распознавания речи и скрининговой аудиометрии с помощью алгоритмов на базе машинного обучения. Техническим результатом является обеспечение доврачебной оценки качества распознавания речи в шуме и скрининговой аудиометрии на базе единого вычислительного устройства. Формируют тестовую речевую последовательность в виде слов и/или фраз с заданным уровнем громкости и на заданном языке на основании матричного теста, поддерживающего выбранный язык, причем воспроизведение тестовой речевой последовательности осуществляется с помощью имитации речи на базе модели глубокого машинного обучения. Осуществляют выбор шумового конкурирующего звука для упомянутой тестовой речевой последовательности слов. Осуществляют управление отдельно уровнями полезного сигнала тестовой речевой последовательности и шума. Получают устный ответ пользователя с помощью устройства ввода речевой информации. В автоматизированном режиме осуществляют автоматическое преобразование устного ответа пользователя в текстовый вид; анализ устного ответа пользователя. 2 н. и 17 з.п. ф-лы, 9 ил.

1. Интерактивный программно-аппаратный комплекс (ПАК) для доврачебной многофакторной оценки качества распознавания речи и скрининговой аудиометрии, содержащий связанные каналом передачи данных вычислительное устройство, устройства звукового воспроизведения и устройство ввода речевой информации, при этом

вычислительное устройство выполнено с возможностью :

формирования тестовой речевой последовательности в виде слов и/или фраз с заданным уровнем громкости и на заданном языке на основании матричного теста, поддерживающего выбранный язык, причем воспроизведение тестовой речевой последовательности осуществляется с помощью имитации речи на базе модели глубокого машинного обучения;

выбора шумового конкурирующего звука для упомянутой тестовой речевой последовательности слов;

управления отдельно уровнями полезного сигнала тестовой речевой последовательности и шума;

получения устного ответа пользователя с помощью устройства ввода речевой информации;

автоматического анализа устного ответа пользователя по распознаванию каждого слова и/или фразы тестовой последовательности слов с преобразованием его в текстовый вид и отображением правильности ответа пользователя;

автоматического расчета на основании устных ответов пользователя:

показателя качества распознавания речи;

наличия отклонения от нормы при распознавании речи, на основании анализа типа слов в тестовой последовательности;

формирования последовательности тоновых сигналов и осуществления процедуры оценочной скрининговой аудиометрии на основании формируемой последовательности тоновых сигналов и построением скрининговой аудиограммы;

формирования протокола оценки качества распознавания речи пользователем и данных скрининговой аудиограммы;

устройства звукового воспроизведения, выполненные в виде наушников воздушного и костного звукопроведения, обеспечивают:

селективную двухканальную подачу звукового сигнала в левый и правый каналы или в оба канала одновременно;

воспроизведение тестовой речевой последовательности в виде фраз из матричного теста или отдельных слов в сопровождении конкурирующего шумового сигнала;

воспроизведение тестовой последовательности однотонных сигналов в расширенном диапазоне частот для построения скрининговой аудиограммы.

2. Интерактивный ПАК по п. 1, в котором устройства звукового воспроизведения представляют собой стереофонические наушники воздушного и костного звукопроведения, работающие в расширенном диапазоне частот.

3. Интерактивный ПАК по п. 1, в котором вычислительное устройство представляет собой планшет или смартфон.

4. Интерактивный ПАК по п. 3, в котором звуковой тракт вычислительного устройства проходит предварительную процедуру метрологической калибровки и тарификации шкалы громкости в дБ.

5. Интерактивный ПАК по п. 1, в котором скрининговая аудиометрия осуществляется при помощи подачи в полуавтоматическом режиме последовательности тоновых сигналов стандартного набора частот отдельно в каждый из каналов устройства воспроизведения с фиксацией ответа пользователя по распознаванию тоновых сигналов.

6. Интерактивный ПАК по п. 5, в котором на каждой частоте выполняется дихотомический поиск порогового значения уровня слышимости тоновых звуков в интервале 20-95 дБ.

7. Интерактивный ПАК по п. 6, в котором начальный уровень громкости на каждой частоте устанавливается в зависимости от порогового значения на предыдущей частоте.

8. Интерактивный ПАК по п. 1, в котором устройство ввода речевой информации представляет собой встроенный или внешний микрофон.

9. Интерактивный ПАК по п. 1, в котором устройства звукового воспроизведения соединены с вычислительным устройством посредством проводного и/или беспроводного канала передачи данных.

10. Интерактивный ПАК по п. 8, в котором внешний микрофон соединен с вычислительным устройством посредством проводного или беспроводного канала передачи данных.

11. Способ доврачебной многофакторной оценки качества распознавания речи и скрининговой аудиометрии с помощью интерактивного ПАК по любому из пп. 1-10, при котором

с помощью вычислительного устройства

формируют тестовую речевую последовательность в виде слов и/или фраз с заданным уровнем громкости и на заданном языке на основании матричного теста, поддерживающего выбранный язык, причем воспроизведение тестовой речевой последовательности осуществляется с помощью имитации речи на базе модели глубокого машинного обучения;

осуществляют выбор шумового конкурирующего звука для упомянутой тестовой речевой последовательности слов;

осуществляют управление отдельно уровнями полезного сигнала тестовой речевой последовательности и шума;

получают устный ответ пользователя с помощью устройства ввода речевой информации;

в автоматизированном режиме осуществляют

автоматическое преобразование устного ответа пользователя в текстовый вид;

анализ устного ответа пользователя по распознаванию каждого слова и/или фразы тестовой последовательности слов с отображением правильности ответа пользователя;

расчет на основании устных ответов пользователя показателя качества распознавания речи и наличия отклонения от нормы при распознавании речи на основании анализа типа слов в тестовой последовательности;

формируют последовательность тоновых сигналов, с помощью которой выполняют процедуру оценочной скрининговой аудиометрии с формированием скрининговой аудиограммы;

формируют протокол оценки качества распознавания речи пользователем и данных скрининговой аудиограммы;

с помощью устройств звукового воспроизведения, выполненных в виде наушников воздушного и костного звукопроведения, осуществляют:

селективную подачу звукового сигнала в левый и правый каналы;

воспроизведение тестовой речевой последовательности в виде фраз из матричного теста или отдельных слов в сопровождении конкурирующего шумового сигнала;

воспроизведение тестовой последовательности однотонных сигналов в расширенном диапазоне частот для построения скрининговой аудиограммы.

12. Способ по п. 11, в котором вычислительное устройство представляет собой планшет или смартфон.

13. Способ по п. 12, в котором звуковой тракт вычислительного устройства проходит предварительную процедуру метрологической калибровки и тарификации шкалы громкости в дБ.

14. Способ по п. 11, в котором скрининговая аудиометрия осуществляется при помощи подачи в полуавтоматическом режиме последовательности тоновых сигналов стандартного набора частот отдельно в каждый из каналов устройства воспроизведения с фиксацией ответа пользователя по распознаванию тоновых сигналов.

15. Способ по п. 14, в котором на каждой частоте выполняется дихотомический поиск порогового значения уровня слышимости тоновых звуков в интервале 20-95 дБ.

16. Способ по п. 15, в котором начальный уровень громкости на каждой частоте устанавливается в зависимости от порогового значения на предыдущей частоте.

17. Способ по п. 11, в котором устройство ввода речевой информации представляет собой встроенный или внешний микрофон.

18. Способ по п. 11, в котором устройства звукового воспроизведения соединены с вычислительным устройством посредством проводного и/или беспроводного канала передачи данных.

19. Способ по п. 17, в котором внешний микрофон соединен с вычислительным устройством посредством проводного или беспроводного канала передачи данных.