Способ формирования паттерна жестов для управления мобильными сенсорными устройствами, используемыми слепыми и слабовидящими людьми Российский патент 2024 года по МПК G06F3/03 

Изобретение относится к медицине, может быть использовано в качестве метода обучения работе па сенсорных устройствах, позволяющий овладеть сенсорными устройствами слепым и слабовидящим людям.

Известно устройство « Тактильно-сенсорный монитор» (RU 157524 U1), которое представляет собой устройство, предназначенное для отображения визуальной информации и адаптировано для слабовидящих людей. Работа данного устройства организована путем наложения специальной тактильной накладки, на которой выполнены тактильные элементы, на сенсорный экран, позволяющие слабовидящим людям тактильно ощущать управляющие и информационные зоны. При работе с тактильно-сенсорным монитором слабовидящие люди на ощупь воспринимают тактильные элементы, расположенные па тактильно-сенсорном экране. Таким образом, они определяют расположение информационных зон и управляющих зон на тактильно-сенсорном экране.

Недостатком данного устройства является 01раниченное пользование сенсорными устройствами, поскольку без специальной тактильной накладки слабовидящие не смогут управлять устройством. Также сложности могут возникнуть при распознавании элементов тактильно-сенсорного монитора.

Также известно " Устройство и способ для ввода данных в шрифте Брайля" (RU 2589549 С2), взятое в качестве прототипа, которое заключаются в введении информации через сенсорную поверхность с использованием вибрационных данных, которые кодируются, как шрифт Брайля. В основе этого изобретения лежит двойное преобразование информации (формирование символа шрифта Брайля множественными нажатиями, а также распознавание вибрационных данных для получения ответа от устройства).

К недостаткам этого способа и устройства можно отнести сложную техническую оснащенность (необходимость специально оснащенного сенсорного устройства), возможные ошибки при как при вводе информации в устройство, так и при распознавании результата действий. Для овладения сенсорными устройствами по данной методике, необходимо на отлично владеть шрифтом Брайля, что не позволит слепым и слабовидящим детского возраста пользоваться сенсорными устройствами. Также не смогут пользоваться сенсорными устройствами люди, у которых нарушена тактильная чувствительность.

Задачей, на решение которой направлено наше изобретение, является создание доступного процесса обучения слепых и слабовидящих людей пользованию сенсорными устройствами.

Поставленная задача решается тем, что процесс обучения слепых и слабовидящих людей основывается на создании тренажеров, идентичных индивидуальному телефону, с использованием технологий 3Д-моделирования и ЗД-печати. При помощи этих тренажеров люди с ограниченными возможностями здоровья по зрению изучают жесты управления сенсорным устройством. Жест - это разнообразные касания и смахивания одним или несколькими пальцами по экрану сенсорного устройства для получения информации и передачи команд с помощью программы экранного доступа.

Нами разработаны 2 вида -тренажеров. Первые представляют собой объемные макеты сенсорных устройств, изготовленные по форме мобильного устройства, с пазами, повторяющие жесты управления программой экранного доступа, вторые представлены в форме накладок на мобильное устройство с пазами, которые позволяют выполнять жесты непосредственно на экране сенсорного устройства. Все виды тренажеров изготавливаются по индивидуальным меркам сенсорного устройства обучающего. На первом этапе производится создание чертежей при помощи технологий 3Д-моделирования, на втором этапе созданные чертежи печатаются на 3Д-принтере.

Заявленный способ обладает широкими функциональными возможностями и может применяться в обучении как детей, так и взрослых. Применением тренажеров достигается ряд положительных результатов, каких как освоение правильного паттерна жеста управления на сенсорном устройстве, вне зависимости от глубины патологии зрения и временем ее возникновения. Освоение сенсорного устройства при данной методике будет полноценным, поскольку слепые и слабовидящие будут знать не только основные функции сенсорного устройства, но и понимать принципы работы, организации приложений (ячеек) сенсорного устройства. Каждый освоивший сенсорное устройство по предложенной методике, сможет в дальнейшем настроить параметры телефона так, как удобно ему. Еще одной положительной характеристикой этой методики является освоение паттерна жестового действия, не только повторениями на тренажере-макете, но и использование тренажеров-накладок, которые позволят слепому привыкнуть к поверхности сенсорного экрана собственного телефона.

Способ обучения слепых и слабовидящих людей пользованию сенсорными устройствами осуществляется следующим образом. Обучающийся использует изготовленные по индивидуальным размерам сенсорного устройства тренажеры-макеты и накладки следующим образом. При первом этапе обучения используются тренажеры-макеты. В левую руку берется тренажер, все жесты выполняются правой рукой обучающегося. Палец или пальцы правой руки, в зависимости от разновидности жеста, укладываются па паз тренажера-макета. Далее движение пальца повторяет движение паза макета. Вторым этапом обучения используются накладки, которые совмещают с экраном сенсорного устройства, и выполняют пальцем правой руки жест, изображенный па накладке. Таким образом формируется правильный паттерн жеста.

Пример 1.

На базе ЛУК УР "Национальная библиотека УР " нами было обучено 7 детей с нарушениями зрения. Из них 6 девочек и 1 мальчик, в возрасте от 8 до 13 лет.В процессе освоения сенсорного устройства нами были классифицированы все жесты по сложности их выполнения.

Ученик П. Возраст 12 лет. Навыков пользования сенсорным телефоном на момент начала занятий не имелось. Модель телефона: Xiaomi Redmi Note 9. Занятия проходили 1 раз в неделю, продолжительностью 1 час. На освоение сенсорного телефона потребовалось 5 месяцев.

Каждое занятие состояло из 3х частей. В первой части - обучение происходило при помощи тренажеров-макетов. Ученик П. брал тренажер-макет в левую руку, указательным пальцем правой руки повторял жест «Смахивание одним пальцем», изображенный пазом как линия. Для достижения правильного паттерна этого жеста потребовалось 7 повторений слева направо. Во второй части занятия использовались накладки. Ученик П. совмещал накладку для жеста «Смахивание одним пальцем» с экраном сенсорного устройства, далее указательным пальцем правой руки проводил жест. Количество повторений, потребовавшихся для освоения жеста на накладке- 5. На третьем этапе обучения использовался только экран сенсорного устройства. Все повторения вышеуказанного жеста на тренажере-макете и накладке сформировали правильный паттерн жеста и тактильную память, благодаря чему выполнения жеста на экране сенсорного устройства приводили к нужному результату (отклику программы экранного доступа).

Таким образом изучалось 30 основных жестов.

В таблице представлены данные по количеству повторений, которые потребовались ученику П. для установления точного паттерна жестов, необходимых для пользования сенсорным устройством.

Пример 2.

Ученик М. Возраст 13 лет. Навыков пользования сенсорным телефоном на момент начала занятий не имелось. Модель телефона: Samsung Galaxy A3. Занятия проходили 1 раз в неделю, продолжительностью 1 час. На освоение телефона потребовалось 4,5 месяца.

Каждое занятие состояло из 3х частей. В первой части - обучение происходило при помощи тренажеров-макетов. Ученик П. брал тренажер-макет в левую руку, указательным и средним пальцами правой руки повторял жест «Смахивание двумя пальцами», изображенный пазами, как две параллельные вертикальные линии. Для достижения правильного паттерна этого жеста потребовалось 8 повторений снизу вверх. Во второй части занятия использовались накладки. Ученик М. совмещал накладку для жеста «Смахивание двумя пальцами» с экраном сенсорного устройства, далее указательным и средним пальцами правой руки проводил жест. Количество повторений, потребовавшихся для освоения жеста па накладке- 7. На третьем этапе обучения использовался только экран сенсорного устройства. Все повторения вышеуказанного жеста на тренажере-макете и накладке сформировали правильный паттерн жеста и тактильную память, благодаря чему выполнения жеста па экране сенсорного устройства приводили к нужному результату (отклику про1раммы экранного доступа).

Таким образом изучалось 30 основных жестов.

В таблице представлены данные по количеству повторений, которые потребовались ученику М. для установления точного паттерна жестов, необходимых для пользования сенсорным устройством.

Настоящее изобретение относится к области вычислительной техники. Технический результат заключается в освоении паттерна жеста управления на сенсорном устройстве, вне зависимости от глубины патологии зрения и временем ее возникновения у слепых и слабовидящих людей. Технический результат достигается за счёт того, что создают тренажер-макет, представляющий собой макет мобильного сенсорного устройства, изготовленный на 3D-принтере по форме мобильного сенсорного устройства с пазами, повторяющими жесты управления программой экранного доступа, выполняют жесты управления на данном тренажере-макете для формирования паттерна жестов управления мобильными сенсорными устройствами, используемыми слепыми и слабовидящими людьми, далее создают тренажер-накладку, представляющий собой накладку на конкретное мобильное сенсорное устройство с пазами для жестов, изготовленную на 3D-принтере, и совмещают тренажер-накладку с экраном мобильного сенсорного устройства, выполняют жесты в соответствии с пазами тренажера-накладки для формирования паттерна жестов управления мобильными сенсорными устройствами, используемыми слепыми и слабовидящими людьми. 2 табл.

Способ формирования паттерна жестов для управления мобильными сенсорными устройствами, используемыми слепыми и слабовидящими людьми, отличающийся тем, что содержит следующие этапы:

создают тренажер-макет, представляющий собой макет мобильного сенсорного устройства, изготовленный на 3D-принтере по форме мобильного сенсорного устройства с пазами, повторяющими жесты управления программой экранного доступа,

выполняют жесты управления на данном тренажере-макете для формирования паттерна жестов управления мобильными сенсорными устройствами, используемыми слепыми и слабовидящими людьми,

далее создают тренажер-накладку, представляющий собой накладку на конкретное мобильное сенсорное устройство с пазами для жестов, изготовленную на 3D-принтере, и совмещают тренажер-накладку с экраном мобильного сенсорного устройства,

выполняют жесты в соответствии с пазами тренажера-накладки для формирования паттерна жестов управления мобильными сенсорными устройствами, используемыми слепыми и слабовидящими людьми.