СПОСОБ ОБЩЕНИЯ ГЛУХИХ (СЛАБОСЛЫШАЩИХ) СО СЛЫШАЩИМИ Российский патент 2018 года по МПК G06F17/28 G09B21/00 G10L15/26 G10L21/06 

Изобретение относится к области коммуникации людей с ограниченными возможностями по слуху со слышащими, для ведения диалога в различных сферах деятельности человека, а также при общении людей в образовательном процессе с инклюзивным образованием (коррекционные школы, высшие учебные заведения).

Известен способ перевода речи на жестовый язык для глухих, заключающийся в получении информации от слышащего к слабослышащему, обработке аудио- и видеосигналов через микрофон и камеру, видоизменении их с помощью преобразователя в текст, вывода его для считывания на компьютер, взаимодействуя с базой видеоданных, в которой помимо самих видео имеются промежуточные видеофрагменты, которые вставляют между последовательностями видео с жестами во время сурдоперевода, в котором переводят транслируемый текст в соответствующие видеофрагменты на жестовом языке, в подаче на компьютер аудио- и видеосигналов, из которых логическим устройством, динамически изменяющим сами сигналы и скорость воспроизведения видеопоследовательностей жестового языка, выводят временную информацию и которые, преобразовывая в цифровой сигнал, подают через радиопередатчик телевизионного сигнала на приемник, в отображении на экране видеофрагментов жестового языка, при этом имеется второй независимый вариант передачи видеопоследовательностей жестового языка, предусматривающий их воспроизведение из видеопамяти или непосредственно с компьютера для потокового вещания, при этом воспроизводят аудиокнигу и преобразовывают аудио- и видеосигналы в цифровой телевизионный сигнал для отображения на экране приемника (Патент CN №102893313 А, МПК: G06F 17/28, G09B 21/009, опубл. 23.01.2013, http://www.google.com.mx/patents/CN102893313A?hl=ru&cl=en или патент US №20130204605 А1, МПК: G06F 17/28, G09B 21/009, опубл. 8.08.2013, http://www.google. com.mx/patents/US 20130204605?hl=ru&cl=en).

Недостатками вышеприведенного способа является сложность процесса, заключающаяся в потере смыслового содержания предложения при переводе на язык жестов, необходимости наличия большого объема оперативной памяти, отсутствии возможности обратной связи при передаче информации от глухого (слабослышащего) к слышащему, что ведет к снижению эффективности передачи информации в образовательном процессе, а в целом, к отсутствию возможности коммуникации людей.

Наиболее близким по технической сущности к заявляемому техническому решению, выбранному в качестве прототипа, является способ и система обеспечения перевода информации на язык жестов или другие языки, заключающиеся в получении информации от слышащего к слабослышащему, обработке аудио- и видеосигналов, преобразовании их в текст и выводе его на экран телекоммуникационного устройства, извлечении соответствующих обработанным сигналам последовательностей видеоклипов с сурдопереводом, отображении их на экране для считывания. При транслировании видеоклипов жестового языка во время паузы выводят промежуточную фигуру человека - аватара в нейтральном положении для их связки, при этом для выполнения всех перечисленных действий используют один и более процессоров (патент US №9282377 В2, МПК G06F 17/28, G09B 21/009, опубл. 8.03.2016, https://www.google.com.mx/patents/US9282377 dq

=US+9282377+B2&hl=ru&sa=X&ved=0ahUKEwih6bGgtJvPAhUFPRoKHT-NBVQQ6AEIHTAA).

Недостатком данного технического решения является низкая эффективность общения слышащих со слабослышащими, заключающаяся в искажении смыслового содержания предложений при переводе на язык жестов, что не позволяет вести диалог в образовательном процессе и общении людей, что, в конечном итоге, снижает качество понимания, а в целом коммуникативность людей.

Основной задачей изобретения является повышение качества понимания в общении

глухих (слабослышащих) со слышащими людьми в форме диалога как в обычной жизни, так и в процессе обучения, в режиме реального времени, не прибегая к сурдопереводу.

Техническим результатом заявляемого технического решения является повышение эффективности общения людей с ограниченными возможностями по слуху со слышащими, без сурдоперевода, в режиме реального времени путем ведении диалога в текстовом формате без искажения и сокращения смыслового содержания информации.

Указанный технический результат достигается тем, что в способе общения глухих (слабослышащих) со слышащими, заключающемся в получении и передаче информации в виде аудио- и видеосигналов через телекоммуникационное устройство на смартфон и/или персональный компьютер, преобразовании их в текст и выводе его на экран, для чего набирающие информацию в текстовом формате корректируют в соответствии с правилами языка с помощью программного обеспечения телекоммуникационного устройства и отправляют на экран в окно обмена сообщений (чат) через беспроводные/проводные виды связи для считывания, причем слабослышащего оповещают о получении информации вибро- и/или световым сигналом, а слышащего - звуковым сигналом, согласно которому при передаче информации от слабослышащего и/или к слышащему считывают информацию с характерных жестикуляций рук и мимических движений лица: губ, носа, переносицы, глаз с помощью мини-видеокамеры и передают ее на его персональный компьютер, которую затем интегрируют в аудио- и видеосигналы, преобразовывая с помощью программного обеспечения телекоммуникационного устройства в текстовый формат, причем используют на смартфоне и/или персональном компьютере функцию выделения определенной картины, при этом весь диалог отображают на экранах в режиме реального времени, а при поступлении сигналов запроса от нескольких слабослышащих, последние сортируют в порядке очередности их обращения.

Для пояснения технической сущности на приведенной фигуре схематично показано общение глухих (слабослышащих) со слышащими предложенным способом.

В соответствии с заявленным изобретением предложенный способ общения глухих (слабослышащих) со слышащими реализуется следующим образом:

Преподаватель произносит речь, которую фиксируют мини-камера с микрофоном, закрепленные на его теле. При этом микрофоном фиксируют голос, а мини-видеокамерой считывают информацию с характерных жестикуляций рук и мимики лица и передают их на персональный компьютер преподавателя в виде аудио- и видеосигнала. При интеграции голоса, а также жестикуляции и мимики в аудио- и видеосигналы используются программы RealSpeaker, которые с помощью программного обеспечения телекоммуникационного устройства преобразовываются в текстовый формат и выводятся в режиме реального времени на одно из диалоговых окон интерактивной доски. С экрана интерактивной дреки глухие (слабослышащие) получают информацию в текстовой форме.

При передаче информации от глухих (слабослышащих) и/или слышащих студентов считывают информацию с характерных жестикуляций рук и мимических движений лица: губ, носа, переносицы, глаз с помощью мини-видеокамеры их персональных компьютеров, которую затем интегрируют в аудио- и видеосигналы, преобразовывая с помощью программного обеспечения телекоммуникационного устройства в текстовый формат, а затем передают на персональный компьютер (смартфон) студента в виде текста, который при помощи программного обеспечения корректируют в соответствии с правилами языка.

Далее информацию по сети отправляют на персональный компьютер преподавателя, которую с помощью проектора отображают на интерактивной доске в окне обмена сообщениями (чате). При одновременном поступлении сигналов от нескольких студентов с ограниченными возможностями здоровья по слуху благодаря программному обеспечению телекоммуникационного устройства их сортируют в порядке очередности. Причем используют функции выделения и оповещения смартфонов или персональных компьютеров как студентов, так и преподавателя, с помощью которой уведомляют пользователей о поступлении сообщения в чат, причем слабослышащего студента оповещают о получении информации вибро- и световым сигналами, а слышащего - звуковым сигналом. При этом весь диалог отображают на экранах смартфонов или персональных компьютеров в режиме реального времени. Причем, при необходимости пояснения интересующей области на графическом материале глухой (слабослышащий) студент использует функцию выделения на смартфоне или персональном компьютере, при этом всю картину (весь диалог) также отображают в режиме реального времени на экранах инфокоммуникационной системы.

По своим технико-экономическим преимуществам, по сравнению с известными аналогами, заявляемое изобретение позволяет эффективно общаться слабослышащим (глухим) со слышащими, как в обычной жизни, так и в процессе обучения, в режиме реального времени без сурдоперевода путем ведения диалога в текстовом формате и без искажения и сокращения смыслового содержания информации от слышащего к слабослышащему, что, в целом, повышает коммуникативность людей.

Изобретение относится к области коммуникации людей, в частности людей с ограниченными возможностями здоровья по слуху со слышащими. Техническим результатом является повышение коммуникативности связи между людьми с ограниченными возможностями здоровья по слуху и слышащими в режиме реального времени. В способе обеспечивают получение и передачу информации от слышащего к слабослышащему в виде аудио- и видеосигналов, преобразование их в текст, вывод его на экран, согласно которому получение и передачу информации от слабослышащего к слышащему осуществляют через телекоммуникационное устройство в виде смартфона и/или персонального компьютера, для чего слабослышащий набирает информацию в текстовом формате, которую корректируют в соответствии с правилами языка с помощью специального программного обеспечения телекоммуникационного устройства, и отправляет ее на экран в окно обмена сообщений (чат) через беспроводные/проводные виды связи для считывания слышащим, причем слабослышащего оповещают о получении информации вибро- и/или световым сигналом, а слышащего - звуковым сигналом, наряду с этим весь диалог отображают на экранах в режиме реального времени. 1 ил.

Способ общения глухих, слабослышащих со слышащими, заключающийся в получении и передаче информации в виде аудио- и видеосигналов через телекоммуникационное устройство на смартфон и/или персональный компьютер, преобразовании их в текст и выводе его на экран, для чего набирающие информацию в текстовом формате корректируют в соответствии с правилами языка с помощью программного обеспечения телекоммуникационного устройства и отправляют на экран в окно обмена сообщений (чат) через беспроводные/проводные виды связи для считывания слышащим, причем слабослышащего оповещают о получении информации вибро- и/или световым сигналом, а слышащего - звуковым сигналом, отличающийся тем, что при передаче информации от слабослышащего и/или к слышащему считывают информацию с характерными жестикуляциями рук и мимическими движениями лица: губ, носа, переносицы, глаз с помощью мини-видеокамеры и передают ее на его персональный компьютер, которую затем интегрируют в аудио- и видеосигналы, преобразовывая с помощью программного обеспечения телекоммуникационного устройства в текстовый формат, причем используют на смартфоне и/или персональном компьютере функцию выделения определенной картины, при этом весь диалог отображают на экранах в режиме реального времени, а при поступлении сигналов запроса от нескольких слабослышащих, последних сортируют в порядке очередности их обращения.