УЧЕБНО-ДЕМОНСТРАЦИОННЫЙ МОДУЛЬ И СИСТЕМА ОБУЧЕНИЯ ГЛУХИХ, НЕМЫХ И ГЛУХОНЕМЫХ ЛЮДЕЙ РАЗГОВОРНОЙ РЕЧИ Российский патент 2020 года по МПК G06T1/00 G09B21/00 

Изобретение относится к области образования, в частности, к сурдопедагогике, и предназначено для визуального обучения людей с ограниченными возможностями по слуху и/или речи, семантике слов разговорной речи и может быть использовано в качестве учебного пособия.

Известен «Учебно-демонстрационный прибор», содержащий наборы моделей для плоских и пространственных построений и информационных символов и корпус, несущий демонстрационную панель и пеналы-кассеты для размещения моделей и символов. Модели и символы частично или полностью выполнены из магнитопроводящего материала. Демонстрационная панель выполнена из двух секций, каждая из которых выполнена за одно целое с одной из поверхностей соответствующего каркаса, причем эти поверхности каркасов выбраны таким образом, что в рабочем разложенном состоянии корпуса образуют единую плоскость. Модели выполнены разноцветными и контрастно окрашенными. Гибкие полоски выполнены различной длины и ширины и оснащены соединительными муфтами. Пеналы-кассеты размещены в полости каждого из каркасов корпуса по меньшей мере по два в каждом и выполнены выдвижными. Каркасы оснащены элементами для фиксации корпуса в сложенном состоянии. Информационные символы включают шрифт Брайля, русский алфавит, арабские цифры. (Патент RU 2454, МПК G09B 21/00, опубл. 16.07.1996).

Известен «Программно-аппаратный комплекс для общения слабослышащих, глухих, глухонемых, немых людей со слышащими говорящими людьми», включающий в себя два устройства, соединенные между собой беспроводной связью, с возможностью отправки с устройства на устройство текстовых сообщений. Устройства закреплены на общей платформе с возможностью вращения устройств относительно друг друга, снятия с платформы каждого из устройств, с возможностью разъединения частей платформы вместе с устройствами или использования устройств независимо от платформы, с возможностью синтезирования речи и проговаривания текстовых сообщений первым из устройств, с возможностью голосового набора сообщений вторым из устройств, с возможностью ввода сообщений с помощью встроенной виртуальной клавиатуры в каждом из устройств с подтверждением входящих сообщений вибрацией устройств. (Патент RU 123556, МПК G06F 17/20, опубл. 27.12.2012).

Известен «Способ общения глухих (слабослышащих) со слышащими людьми», заключающийся в получении и передаче от слышащего к слабослышащему человеку информации с характерными жестикуляциями рук и мимическими движениями мышц лица: губ, носа, переносицы и глаз, с помощью мини-видеокамеры и передаче ее через телекоммуникационное устройство путем интеграции в аудио- и видеосигналы с преобразованием их в текст и выводе его на экран смартфона и/или персонального компьютера с выделением определенной картины. Для чего слабослышащий набирает информацию в текстовом формате, корректирует в соответствии с правилами языка с помощью программного обеспечения и отправляет на экран в окно обмена сообщений (чат) через беспроводные/проводные виды связи для считывания слышащим, при этом слабослышащего оповещают о получении информации вибро- и/или световым сигналом, а слышащего - звуковым сигналом. При этом весь диалог отображают на экранах в режиме реального времени. При запросах от нескольких слабослышащих, сигналы последних сортируют в очередности их поступления. (Патент RU 2660600., МПК G06F 17/28, G09B 21/00, G10L 15/26, G10L 21/06, опубл. 06.07.2018).

Известна система размещения и извлечения файлов выделенных серверов, содержащая, основной компьютер, обеспечивающий координированный доступ к ресурсам компьютера; хранилище данных, содержащее:

- совокупность файлов выделенных серверов, выполненная с возможностью поддержки сервисом файловой системы;

- совокупность файлов выделенных серверов, расположенных в индивидуальных областях памяти серверов;

- кэш-память дискового запоминающего устройства, выполненная с возможностью хранения используемых в текущее время файлов выделенных серверов;

- базу данных, хранящую данные внутренних системных имен файлов выделенных серверов;

- блок управления и поддержки пользователя, сконфигурированный с возможностью сбора статистики обращений к файлам выделенных серверов, в которой:

блок управления и поддержки пользователя выполнен с возможностью копирования файла из индивидуальных областей памяти в кэш-память дискового запоминающего устройства на основе статистики обращений к файлам и данных внутренних системных имен файлов;

блок управления и поддержки пользователя выполнен предоставляющим выделенным серверам доступ к данным, хранящимся в кэш-памяти дискового запоминающего устройства, при этом данные внутренних системных имен выделенных серверов содержат атрибуты контрольной суммы файлов и длины файлов.

Блок управления и поддержки пользователя выполнен обеспечивающим совместное использование файла выделенных серверов из кэш-памяти дискового запоминающего устройства в том случае, если внутренние данные файлов совпадают с используемыми файлами, хранящимися в базе данных, а также с возможностью копирования файлов выделенных серверов в кэш-память дискового запоминающего устройства по требованию или в отложенном режиме, после того, как выявлены файлы выделенных серверов, к которым часто происходит обращение и которые не имеют ссылки-перенаправления на кэш-память.

Сервис файловой системы выполнен назначающим ссылку-перенаправление от индивидуальных областей памяти выделенных серверов на выделенные серверы файлов, скопированные в кэш-память дискового запоминающего устройства, с возможностью вычисления значения атрибутов контрольных сумм файлов контейнера при создании этих файлов. (Патент RU 150421, МПК G06F 15/16, опубл. 20.02.2015).

Недостатком известных технических решений является низкая эффективность обучения разговорной речи людей с ограниченными возможностями по слуху и/или речи, допускающая искажение семантики слов разговорной речи с файлов при переводе на язык жестов, что снижает качество понимания, а в целом эффективность образовательного процесса.

Наиболее близкой по технической сущности и взятой в качестве прототипа является известная система «Выражение визуального представления, основанное на выражении игрока», с применением анимации для визуального представления на основании данных, характерных для темперамента пользователя, к визуальному представлению, содержащая процессор и память, соединенную с процессором, хранящую выполняемые процессором команды, которые при их выполнении вынуждают упомянутую систему: визуализировать визуальное представление пользователя; принимать данные, характерные для пользователя в физическом пространстве; анализировать упомянутые данные, характерные для пользователя в физическом пространстве, для выведения эмоций и темперамента пользователя; определять заранее заготовленную анимацию визуального представления для отображения на основании выведенных эмоций и темперамента пользователя; отображать упомянутые заранее заготовленные анимации для визуального представления на устройстве отображения в реальном времени; хранить в памяти таблицу, с характеристиками, коррелируемыми с конкретным темпераментом. (Патент RU 2560794, МПК G06F 3/00, G06T 13/00, A63F 13/00, опубл. 20.08.2015).

Недостатком известной системы, принятой за прототип, является низкая эффективность обучения разговорной речи людей с ограниченными возможностями по слуху и/или речи, заключающаяся в искажении семантики слов разговорной речи при переводе на язык жестов, что снижает качество понимания слов, а значит эффективность образовательного процесса.

Наиболее близким по технической сущности и взятому в качестве прототипа является известное «Устройство для просмотра изображений», содержащее сервер, включающий в себя базу данных изображений с набором различных параметров, имеющих разделы, внутри которых хранятся множества изображений, имеющих одинаковые параметры. Сервер адаптирован для связи посредством объединенной сети с клиентскими устройствами пользователей, имеющими средство просмотра и пролистывания изображений. Сервер дополнительно содержит базу данных разделяющего контента и модуль управления вставкой разделяющего контента, соединенный с базой данных изображений и с базой данных разделяющего контента. В качестве разделяющего контента используется: файл с изображением, аудиофайл, видеофайл и текстовый файл. (Патент RU 142325, МПК G06T 1/00, опубл. 27.06.2014).

Недостатком известного устройства, принятого за прототип, является низкая эффективность обучения разговорной речи людей с ограниченными возможностями по слуху и/или речи, допускающая искажение семантики слов разговорной речи с файлов при переводе на язык жестов, что снижает качество понимания, а в целом эффективность образовательного процесса.

Решаемой задачей заявляемого изобретения является повышение качества понимания семантики слов разговорной речи и ускорение процесса социальной адаптации в обществе людей с ограниченными возможностями по слуху и/или речи путем расширения демонстрационных возможностей сурдоперевода написания слов и изображений идентифицируемого объекта, действия или явления на устройстве отображения через телекоммуникационное устройство в режиме реального времени.

Техническим результатом изобретения является повышение эффективности обучения глухих, немых и глухонемых людей разговорной речи за счет повышения качества обучения людей с ограниченными возможностями по слуху и/или речи путем расширения демонстрационных возможностей сурдоперевода для обучения и понимания семантики слов разговорной речи по их написанию и изображению идентифицируемого объекта, действия или явления с отражением результата сурдперевода на устройстве отображения потребителя в режиме реального времени.

Указанный технический результат достигается тем, что в учебно-демонстрационном модуле, включающем в себя память и процессор ввода-вывода информации, устройство отображения потребителя в режиме реального времени, согласно предложенному техническому решению, в устройстве отображения потребителя выполнены раздельные окна для синхронного вывода видеозаписей изображений, при этом память включает файлы видеозаписей изображений предмета или действия либо явления в физическом пространстве, написания слова, идентифицирующего название одного из них, вводимого потребителем в процессор ввода-вывода информации, и сурдоперевода семантики введенного слова разговорной речи по его написанию характерными жестикуляциями пальцев, рук и мимикой сурдопереводчика, интегрированные с процессором ввода-вывода информации для синхронного вывода видеозаписей этих изображений в раздельные окна устройства отображения потребителя;

файл сурдоперевода выполнен с возможностью представления сурдопереводчика анимационным персонажем;

он выполнен с возможностью отображения предмета, действия или явления в динамике физического пространства в форме двумерной или трехмерной модели;

он выполнен с возможностью издавать предметом, действием или явлением соответствующие звуки;

он выполнен с возможностью восприятия названия предмета, действия или явления через вербальную речь человека в режиме реального времени.

Указанный технический результат достигается тем, что в системе обучения глухих, немых и глухонемых людей разговорной речи, содержащей сервер, включающий в себя базу данных изображений с файлами, имеющих различные параметры, при этом сервер адаптирован к клиентским устройствам отображения потребителя с возможностью просмотра и смены изображений в режиме реального времени, и содержит модуль управления вставкой разделяющего контента, соединенный с базой данных изображений и с базой данных разделяющего контента, согласно предложенному техническому решению, база данных разделяющего контента включает базу данных лексемного словаря с кодами, аутентичными написанию слов и модуль коррекции орфографии вводимого слова, а в базу данных изображений введен блок систематизированных учебно-демонстрационных модулей, выполняющих функции сурдопереводчика семантики слов разговорной речи по их написанию, входы которых соединены шиной с блоком учебно-демонстрационных модулей, причем последний подключен к модулю управления вставкой разделяющего контента, соединенному с базой данных лексемного словаря и с базой данных разделяющего контента, с возможностью синхронного вывода файлов видеозаписей сурдоперевода написания слова с идентифицируемым предметом или действием, либо явлением с одного из учебно-демонстрационных модулей на устройство отображения потребителя по команде модуля управления вставкой разделяющего контента согласно коду, аутентичному написанию слова, введенного потребителем с виртуальной клавиатуры устройства отображения потребителя;

блок систематизированных учебно-демонстрационных модулей записан на внешнем запоминающем устройстве, адаптированном к устройству отображения потребителя;

в качестве устройства отображения потребителя использован смартфон и/или персональный компьютер.

Для пояснения технической сущности рассмотрим чертежи, где:

На фиг. 1 изображена функциональная схема учебно-демонстрационного модуля для просмотра изображений по написанию слова; на фиг. 2 - функциональная схема системы обучения глухих, немых и глухонемых людей разговорной речи.

Согласно фиг. 1 учебно-демонстрационный модуль (УДМ) 1 для просмотра изображений по написанию слова включает в себя память 2 и процессор 3 ввода-вывода информации, устройство отображения потребителя в режиме реального времени. В устройстве отображения потребителя выполнены раздельные окна для синхронного вывода видеозаписей изображений, при этом память 2 включает файл 4 видеозаписи предмета или действия либо явления (ПДЯ) в физическом пространстве, файл 5 видеозаписи написания слова, идентифицирующего название одного из ПДЯ, и файл 6 видеозаписи сурдоперевода семантики слова характерными жестикуляциями пальцев, рук и мимикой сурдопереводчика, интегрированные с процессором 3 с возможностью синхронного вывода видеозаписей файлов 4, 5 и 6 видеозаписей изображений в раздельные окна устройства отображения потребителя. Файл 4 видеозаписи сурдоперевода выполнен с возможностью представления сурдопереводчика анимационным персонажем. УДМ 1 выполнен с возможностью:

отображения ПДЯ в динамике физического пространства в форме двумерной (2D) или трехмерной (3D) модели;

издавать ПДЯ соответствующие звуки;

восприятия названия ПДЯ через вербальную речь человека в режиме реального времени.

Система обучения глухих, немых и глухонемых людей разговорной речи содержит сервер 7, включающий в себя базу 8 данных изображений с файлами, имеющих различные параметры. Сервер 7 адаптирован к клиентским устройствам отображения потребителя 9 с возможностью просмотра и смены изображений в режиме реального времени, и содержит модуль 10 управления вставкой разделяющего контента, соединенный с базой 8 данных изображений и с базой 11 данных разделяющего контента. База 11 данных разделяющего контента включает базу 12 данных лексемного словаря с кодами, аутентичными написанию слов, и модуль 13 коррекции орфографии вводимого слова. В базу 8 данных изображений введен блок 14 систематизированных УДМ, выполняющих функции сурдопереводчика семантики слов разговорной речи по их написанию, входы которых соединены шиной 15 с блоком учебно-демонстрационных модулей, причем последний блок 14 УДМ подключен к модулю 10 управления вставкой разделяющего контента, соединенному с базой 12 данных лексемного словаря и с базой 11 данных разделяющего контента, с возможностью синхронного вывода файлов 4, 5 и 6 видеозаписей изображений сурдоперевода написания слова с идентифицируемым ПДЯ с одного из УДМ 1 в раздельные окна 16, 17 и 18 устройства отображения 9 пользователя по команде модуля 10 управления вставкой разделяющего контента согласно коду, аутентичному написанию слова, введенного потребителем с виртуальной клавиатуры устройства 9 отображения потребителя. Блок 14 систематизированных УДМ записан на внешнем запоминающем устройстве, адаптированном к устройству 9 отображения изображений потребителя. В качестве устройства 9 отображения изображений потребителя использован смартфон и/или персональный компьютер.

В настоящее время разработаны около 1000 УДМ 1, структурированных по 80 темам, для обучения сурдоперевода семантики слов разговорной речи по их написанию, интегрированные в один блок 14 систематизированных УДМ1, размещенный на носителе данных внешней памяти информации с возможностью вывода видеозаписей этих изображений в раздельные окна устройства 9 отображения потребителя.

Система обучения глухих, немых и глухонемых людей разговорной речи работает следующим образом:

Глухой, немой или глухонемой человек либо другой потребитель системы обучения посредством виртуальной клавиатуры устройства 9 отображения, смартфона или персонального компьютера вводит в модуль 10 управления вставкой разделяющего контента системы написание необходимого слова разговорной речи, требующего сурдоперевода семантики введенного слова по его написанию. Модуль 10 управления вставкой разделяющего контента системы передает команду на модуль 13 коррекции орфографии вводимого слова согласно лексемному словарю 12. В случае ошибки в написании вводимого слова модуль 13 коррекции орфографии производит устранение ошибки и скорректированное слово направляется обратно на смартфон или персональный компьютер устройства 9 отображения пользователя для согласования. После подтверждения пользователем правильности написания слова, последнее снова вводят в модуль 10 управления вставкой разделяющего контента системы, который выполняет команду на определение УДМ 1 по коду, аутентичному написанию слова, введенного потребителем с виртуальной клавиатуры, по базе 12 данных лексемного словаря базы 11 данных разделяющего контента. Затем код, аутентичный написания слова, пересылается в шину 15 блока 14, которой запросом направляется в соответствующий систематизированный УДМ 1, последний посредством файлов видеозаписей отображает сурдоперевод введенного слова разговорной речи и посредством сервера 7 выводит изображения в окно 16 устройства 9 отображения характерные жестикуляции пальцев, рук и мимику сурдопереводчика, в окно 17 - ПДЯ в динамике физического пространства, а в окно 18 - написание введенного слова, идентифицирующий ПДЯ. Визуальным наблюдением результата сурдоперевода на устройстве 9 отображения с изображением ПДЯ в динамике физического пространства, глухой, немой или глухонемой человек либо другой потребитель системы обучения понимает семантику введенного слова по его написанию и обучается сурдопереводу характерными жестикуляциям пальцев, рук и мимикой сурдопереводчика, тем самым повышается качество обучения разговорной речи и ускоряется процесс социальной реабилитации и адаптации глухих, немых и глухонемых людей в обществе, благодаря чему УДМ и система обучения является эффективной.

По своим технико-экономическим показателям, заявляемое техническое решение учебно-демонстрационного модуля и системы обучения глухих, немых и глухонемых людей разговорной речи по сравнению с известными аналогами позволяет повысить эффективность обучения людей с ограниченными возможностями по слуху и/или речи за счет повышения качества обучения путем расширения демонстрационных возможностей сурдоперевода для обучения и понимания семантики слов разговорной речи по их написанию и изображению идентифицируемого объекта, действия или явления с отражением результата сурдоперевода на устройстве отображения потребителя в режиме реального времени.

Изобретение относится к области образования, в частности к сурдопедагогике, и предназначено для визуального обучения людей с ограниченными возможностями по слуху и/или речи семантике слов разговорной речи и может быть использовано в качестве учебного пособия. Учебно-демонстрационный модуль 1 (УДМ) включает память 2 и процессор 3 ввода-вывода информации, устройство отображения потребителя в режиме реального времени. Память 2 включает файлы видеозаписей изображений предмета или действия либо явления 4 (ПДЯ) в физическом пространстве, файл 5 написания слова, идентифицирующего название ПДЯ, и файл 6 сурдоперевода семантики слова по его написанию характерными жестикуляциями пальцев, рук и мимикой сурдопереводчика, интегрированные с процессором 3 с возможностью синхронного вывода видеозаписей файлов 4, 5 и 6 видеозаписей изображений в раздельные окна 16, 17, 18 устройства отображения потребителя 9. Файл сурдоперевода выполнен с возможностью представления сурдопереводчика анимационным персонажем. Модуль 4 выполнен с возможностью: отображения ПДЯ в форме двумерной (2D) или трехмерной (3D) модели; издавать ПДЯ звуки 4 и восприятия названия ПДЯ через вербальную речь. Система обучения содержит сервер 7, адаптированный к клиентским устройствам 9 отображения потребителя в режиме реального времени для просмотра и смены изображений, модуль 10 управления вставкой разделяющего контента, соединенный с базой данных изображений 8 и с базой 11 данных разделяющего контента, включающей базу 12 лексемного словаря с кодами, аутентичными написанию слов, и модуль 13 коррекции орфографии вводимого слова. В базу данных изображений 8 введен блок 14 УДМ, выполняющих функции сурдопереводчика семантики слов по их написанию, входы которых соединены шиной 15 с блоком 14 УДМ, причем последний подключен к модулю 10 управления вставкой разделяющего контента с возможностью синхронного вывода файлов видеозаписей сурдоперевода из УДМ 1 на устройство отображения потребителя 9 по команде модуля управления вставкой разделяющего контента 10 согласно коду, аутентичному написанию слова, введенного потребителем с виртуальной клавиатуры устройства отображения потребителя. Блок УДМ 1 записан на внешнем запоминающем устройстве, адаптированном к устройству отображения потребителя 9. В качестве устройства отображения потребителя использован смартфон и/или персональный компьютер. Техническим результатом является повышение эффективности обучения глухих, немых и глухонемых людей разговорной речи за счет повышения качества обучения людей с ограниченными возможностями по слуху и/или речи путем расширения демонстрационных возможностей сурдоперевода для обучения и понимания семантики слов разговорной речи по их написанию и изображению идентифицируемого объекта, действия или явления с отражением результата сурдоперевода на устройстве отображения потребителя в режиме реального времени. 2 н. и 6 з.п. ф-лы, 2 ил.

1. Учебно-демонстрационный модуль, включающий в себя память и процессор ввода-вывода информации, устройство отображения потребителя в режиме реального времени, отличающийся тем, что в устройстве отображения потребителя выполнены раздельные окна для синхронного вывода видеозаписей изображений, при этом память включает файлы видеозаписей изображений предмета или действия либо явления в физическом пространстве, написания слова, идентифицирующего название одного из них, вводимого потребителем в процессор ввода-вывода информации, и сурдоперевода семантики введенного слова разговорной речи по его написанию характерными жестикуляциями пальцев, рук и мимикой сурдопереводчика, интегрированные с процессором ввода-вывода информации для синхронного вывода видеозаписей этих изображений в раздельные окна устройства отображения потребителя.

2. Модуль по п. 1, отличающийся тем, что файл сурдоперевода выполнен с возможностью представления сурдопереводчика анимационным персонажем.

3. Модуль по п. 1, отличающийся тем, что он выполнен с возможностью отображения предмета, действия или явления в динамике физического пространства в форме двумерной или трехмерной модели.

4. Модуль по п. 1, отличающийся тем, что он выполнен с возможностью издавать предметом, действием или явлением соответствующие звуки.

5. Модуль по п. 1, отличающийся тем, что он выполнен с возможностью восприятия названия предмета, действия или явления через вербальную речь человека в режиме реального времени.

6. Система обучения глухих, немых и глухонемых людей разговорной речи, содержащая сервер, включающий в себя базу данных изображений с файлами, имеющих различные параметры, при этом сервер адаптирован к клиентским устройствам отображения потребителя с возможностью просмотра и смены изображений в режиме реального времени, и содержит модуль управления вставкой разделяющего контента, соединенный с базой данных изображений и с базой данных разделяющего контента, отличающаяся тем, что база данных разделяющего контента включает базу данных лексемного словаря с кодами, аутентичными написанию слов и модуль коррекции орфографии вводимого слова, а в базу данных изображений введен блок систематизированных учебно-демонстрационных модулей, выполняющих функции сурдопереводчика семантики слов разговорной речи по их написанию, входы которых соединены шиной с блоком учебно-демонстрационных модулей, причем последний подключен к модулю управления вставкой разделяющего контента, соединенному с базой данных лексемного словаря и с базой данных разделяющего контента, с возможностью синхронного вывода файлов видеозаписей сурдоперевода написания слова с идентифицируемым предметом или действием, либо явлением с одного из учебно-демонстрационных модулей на устройство отображения потребителя по команде модуля управления вставкой разделяющего контента согласно коду, аутентичному написанию слова, введенного потребителем с виртуальной клавиатуры устройства отображения потребителя.

7. Система обучения глухих, немых и глухонемых людей разговорной речи по п. 6, отличающаяся тем, что блок систематизированных учебно-демонстрационных модулей записан на внешнем запоминающем устройстве, адаптированном к устройству отображения потребителя;

8. Система обучения глухих, немых и глухонемых людей разговорной речи по п. 6, отличающаяся тем, что в качестве устройства отображения потребителя использован смартфон и/или персональный компьютер.