СПОСОБ ОЦЕНКИ МЕЛКОЙ МОТОРИКИ РУК НА ОСНОВЕ АНАЛИЗА СИНЕРГИЙ С ПОМОЩЬЮ КОМПЬЮТЕРНОГО ЗРЕНИЯ Российский патент 2023 года по МПК A61B5/103 G06N3/02 G06T3/00 

Изобретение относится к медицине и может быть использовано для оценки мелкой моторики рук.

Изобретение может быть использовано для оценки мелкомоторной координации с целью определения степени готовности рук к специфическим профессиональным движениям, для оценки готовности ребенка к школе, а также для нейропсихологической диагностики в медицине.

Большинство движений человек выполняет, используя мелкую моторику рук. От уровня координированности мелкой моторики зависит быстрота и качество выполнения работы, будь то игра на музыкальном инструменте, рисование или печатание на клавиатуре.

Уровень проявления мелкой моторики обуславливается способностью к слаженной работе пальцев рук, то есть, определяется мышечными синергиями.

Известен способ [Патент РФ 99112323, кл. А61В 5/16, 15.06.1999, О.В. Халецкая, О.В. Трошин, И.Г. Халецкий Игорь «Способ диагностики отклонений нервно-психического развития детей»], включающий в качестве составной части комплексной диагностики оценивание мелкой моторики. Мелкая моторика рассматривается как часть, определяющая на 10% высшие мозговые функции человека и оценивается по 7-бальной шкале. Несмотря на применение компьютерной программы, недостатком представленного метода является субъективизм самого теста на мелкую моторику и балльная шкала оценивания.

Известно решение [Патент US 2008/0070752, кл. А63В 24/00, 08.08.2007, O.Einav, E.Hefer «Fine motor control rehabilitation»], предполагающее оценку мелкой моторики и развитие бытовых движений с помощью аппаратных средств, включающих разнообразные сенсоры. Недостатками предлагаемого решения являются громоздкость конструкций, отсутствие системы оценивания и сравнения уровня развития моторики.

Существует способ коррекции мелкой моторики с использованием сенсорной перчатки [Патент RU №2494670, 10.10.2013, Бюл. №17, МПК А61В 5/00, А61В 5/04, А61В 5/11, G09B 9/00, G09B 19/00, Способ коррекции мелкой моторики с использованием сенсорной перчатки / С.В. Прокопенко, Е.Ю. Можейко], заключающийся в том, что на кисть пациента одевают сенсорную перчатку, подключенную к компьютеру. Пациент выполняет активные движения в суставах кисти и пальцев, выполняя задания компьютерной игры на экране монитора. Недостатком способа является наличие специального дорогостоящего оборудования: реабилитационной перчатки с программным обеспечением и компьютера, к которому это оборудование подключено. Кроме того, требуется специально обученный оператор для проведения исследований.

Известен «Способ диагностики мелкой моторики руки» [Патент РФ 2314743, кл. А61В 5/00, 11.04.2006, П.П. Григал, Н.И. Хорсева «Способ диагностики мелкой моторики руки»], в котором диагностика осуществляется на основе нажатия пальцами на клавиатуру компьютерного терминала в произвольном порядке. В результате тестирования рассчитывается ряд показателей мелкой моторики, а вывод делается по результатам сравнения полученных числовых показателей с нормой. Недостатком представленного метода является то, что тестируемый воспринимает двигательное задание субъективно, а сам тест не может быть строго стандартизован. Это ведет к тому, что результаты тестирования носят вероятностный характер, а тест обладает низкой надежностью.

Наиболее близким аналогом является способ [Патент РФ 2717365 С1, кл. А61В 5/00, А 61В 5/11, G09B 9/00, 27.12.2018, А.А.Померанцев, А.Н. Старкин «Способ оценки мелкой моторики рук»], в котором уровень мелкой моторики определяется по времени реакции, затрачиваемом на построение обратных жестов рук. Основным недостатком метода является то, что правильность построения жестов фиксирует оператор, который может ошибаться. Кроме того, оператор нажимает на кнопку компьютерного терминала в совокупности с собственным временем реакции.

Изобретение направлено на устранение этих недостатков и позволяет оценивать мелкую моторику доступным способом без сложных технических приспособлений, с использованием лишь стандартного персонального компьютера с видеокамерой.

Способ оценки мелкой моторики рук включает проведение тестирования, основанного на регистрации времени построения синергий сгибания-разгибания пальцев рук. Регистрация жеста происходит на основе анализа видеопотока с помощью компьютерного зрения, в основе которого лежит работа нейронной сети. После обнаружения области ладони в каждом кадре нейронная сеть выполняет локализацию 21 узловой точки (фиг. 1). Если происходит перекрытие точек, например, при сжатии руки в кулак, нейронная сеть, используя функцию регрессии, способна с высокой точность спрогнозировать их местоположение.

Суть тестирования заключается в следующем. На экран компьютерного терминала выводится исходный жест и жест-команда. Тестируемый должен сформировать в начале - исходный жест, а далее, правильный жест-ответ. Жест-ответ является комплементарным жестом по отношению к жесту-команде, то есть состоит из противоположной комбинации согнутых и выпрямленных пальцев рук. Смена жестов должна происходить за счёт одновременной работы всех пальцев, включенных в синергию.

На фиг. 1 представлен рабочий интерфейс программы для оценки мелкой моторики: слева - сверху схематично представлен жест-команда (1), слева - снизу - исходный жест (2); справа - видеопоток в режиме реального времени со скелетоном руки, построенным нейронной сетью (3).

Правильность ответного жеста фиксируются с помощью компьютерного зрения, оценивающего видеопоток с камеры. Если изменение жеста происходило не одновременно с участием всех задействованных в синергии пальцев, синергия не засчитывается, и компьютер предлагает повторить операцию. До того момента, пока не будет представлен правильный жест-ответ, идет накопление времени.

Предлагаемый способ позволяет сделать оценку мелкой моторики более объективной и избавляет от необходимости иметь подготовленного оператора.

Возможное сочетание выпрямленных и согнутых пальцев одной руки составляет 2⁵=32, а количество комбинаций смены жестов равно n=2⁵х2⁵=2¹⁰=32х32=1024. Из этого количества необходимо исключить 32 повторяющихся жеста и 160 жестов, когда в работу вовлекается только один палец. Таким образом, количество комбинаций с согласованной работой пальцев, составляет 832. Предварительные установки при тестировании позволяют создавать любую последовательность синергий из любого количества жестов заданной сложности. Кроме того, возможно устанавливать предельное время попыток выполнения одной синергии и предельное время, выполнения самой синергии.

По завершении теста рассчитывают общее время прохождения теста для обеих рук; угловой коэффициент аппроксимирующей прямой последовательных интервалов времени, затраченных на выполнение синергий; соотношение времени, затраченного на жесты левой руки ко времени, затраченному на жесты правой руки; индивидуальную сложность каждой синергии на основе времени её построения.

Заключение по результатам тестирования каждого человека делают по результатам сравнения полученных числовых значений с нормативными показателями. За нормативные показатели принимаются средние значения внутри исследуемой группы с учётом интересующей специфики (по возрасту, полу, профессиональной специализации).

С целью апробации предлагаемого теста были протестированы 72 студента 1-5 курсов Липецкого государственного педагогического университета им. П.П. Семенова-Тян-Шанского возрастом от 17 до 23 лет, не имеющие неврологических или других отклонений в состоянии здоровья, способных повлиять на прохождение теста.

Для исследования мелкомоторной координации была выбрана последовательность синергий из 40 жестов-команд: 110000-100001-100010-100100-101000-110000-111110-111101-111011-110111-101111-110001-101100-100110-110100-101001-110110-101000-110110-101001-010000-000001-000010-000100-001000-010000-011110-011101-011011-010111-001111-010001-001100-000110-010100-001001-010110-001000-010110-001001. Порядок записи жестов с примером представлен в соответствии со схемой (табл. 1).

Таблица 1 рука:
1-правая, 0-левая большой палец: 1-выпрямлен, 0-согнут указательный палец: 1-выпрямлен, 0-согнут средний палец: 1-выпрямлен, 0-согнут безымянный палец: 1-выпрямлен, 0-согнут мизинец: 1-выпрямлен, 0-согнут 1 0 0 0 0 0

В представленном примере жестом-командой является согнутые в кулак пальцы правой руки.

Были выбраны следующие настройки тестирования: время, за которое должна была быть выполнена синергия - 1 секунда, максимальное время выполнения попыток одной синергии - 30 секунд.

Обработка результатов тестирования показала, что общее время теста варьировалось от 124 секунд у студента с самой быстрой реакцией до 1138 секунд - у студента с самой медленной реакцией, то есть показатель отличался почти в 10 раза. Было выявлено только 4 человека (~5%), способных пройти данный тест, построив все синергии.

В таблице 2 показано среднее время построения синергий для выборки студентов.

Таблица 2.

У 27 студентов из 72 наблюдался отрицательный угловой коэффициент аппроксимирующей прямой последовательных интервалов времени, затраченных на тесты, и находился в диапазоне значений от 0 до -0,05. Отрицательный диапазон значений говорит о способности адаптироваться к типичным двигательным заданиям, последовательном уменьшении времени реакции и хорошей психической работоспособности. У 45 студентов из 72 наблюдался положительный коэффициент аппроксимирующей прямой последовательных отрезков времени, затраченного на тесты и, находился в диапазоне от 0 до 0,05, данный показатель говорит о быстрой психической утомляемости и плохой двигательной приспособляемости.

Тест позволил выявить латеральную асимметрию. Так, по всей выборке общее время выполнения синергий правой и левой рукой распределяется как 45% и 55%. В исследуемой выборке было выявлено 3 случая амбидекстрии, у таких людей время выполнения жестов правой и левой рукой отличалось менее чем на 1%. У 17 студентов время построения синергий левой рукой было меньше, чем время построения синергий правой рукой.

Дополнительные повторные исследования той же выборки студентов через один месяц и проведенный математико-статистический анализ показали высокую сходимость повторных результатов тестирования (R=0.95), что говорит о высокой надежности теста.

Изобретение относится к области медицины, в частности к компьютерным технологиям оценки мелкой моторики рук. Предложен способ, в котором выполняют тест, включающий вывод на дисплей компьютерного терминала заданной последовательности жестов рук, определяющих тестируемые синергии. Компьютерный терминал посредством компьютерного зрения фиксирует правильность построения жестов и время выполнения синергии. Тестирование проводят с использованием жестов обеих рук. Рассчитывают общее время прохождения теста, угловой коэффициент аппроксимирующей прямой последовательных интервалов времени, затраченных на выполнение синергий. Вычисляется соотношение времени, затраченного левой и правой рукой. Далее оценивают индивидуальную сложность каждой синергии на основе времени ее построения. Заключение делают по результатам сравнения полученных числовых значений с нормативными показателями. Изобретение обеспечивает возможность оценивать мелкую моторику доступным способом без сложных технических приспособлений, с использованием лишь стандартного персонального компьютера с видеокамерой. 1 ил., 2 табл.

Способ оценки мелкой моторики рук, включающий регистрацию времени построения жестов рук на основе комбинаций согнутых и выпрямленных пальцев, выводимых на компьютерном терминале; по завершении тестирования рассчитывают общее время прохождения теста, угловой коэффициент аппроксимирующей прямой последовательных интервалов времени, затраченных на выполнение синергий, соотношение времени, затраченного левой и правой рукой; индивидуальная сложность перестроения жестов, а заключение делают по результатам сравнения полученных числовых значений с нормативными показателями, отличающийся тем, что в основе оценки мелкой моторики лежит анализ синергий с помощью компьютерного зрения.