СПОСОБ ОЦЕНКИ ВЫПОЛНЕНИЯ ДВИЖЕНИЙ ЧЕЛОВЕКА ПОСРЕДСТВОМ МАШИННОГО ЗРЕНИЯ Российский патент 2024 года по МПК G16H50/00 A61B5/05 G06T7/10 

Изобретение относиться к способам оценки правильности выполнения определенных движений человека. Заявленный способ может быть применим в различных областях человеческой деятельности, таких как медицина, спорт, производство, сфера услуг и др. [A63B 24/00, A61B 5/00, G06T 7/00].

Из уровня техники известен СПОСОБ КОНТРОЛЯ И АНАЛИЗА ДВИЖЕНИЙ СПОРТСМЕНА [RU 2361637, опубл. 20.07.2009] заключающийся в съемке видеокамерой изучаемых движений, передаче в компьютер полученного видеофрагмента, задании контрольных точек на теле спортсмена или снаряде на первом кадре, отслеживании их положения на всех последующих кадрах, вычислении траекторий движения контрольных точек и их математическом анализе с помощью компьютера, отличающийся тем, что при съемке используют не менее двух видеокамер, которые подключают к компьютеру через синхронизирующее устройство и устанавливают так, что возможная помеха, появляющаяся перед одной из камер и закрывающая для нее в определенный момент какую-либо контрольную точку, не закрывает в то же время эту точку для других камер, а при вычислении траекторий выявляют кадры на видеофрагментах всех камер, где контрольная точка закрыта помехой, и исключают эти кадры из дальнейшей обработки, а для остальных кадров рассчитывают координаты контрольной точки, затем для одноименных кадров производят осреднение вычисленных координат по всем видеофрагментам.

Недостатком аналога является его ограниченная область использования, а именно - область спорта.

Также из уровня техники известен СПОСОБ ДИАГНОСТИКИ НАРУШЕНИЙ В ОПОРНО-ДВИГАТЕЛЬНОМ АППАРАТЕ [RU 2780164, опубл. 20.09.2022], характеризующийся тем, что первоначально в модуле исходных данных формируют базу данных, включающую в себя энциклопедические, научные и практические знания об этиологии и патогенезе заболеваний опорно-двигательного аппарата, средствах и приемах их лечения, а также формируют базу данных изображений эталонного выполнения диагностических упражнений, миофасциальной и функциональной диагностики отклонений опорно-двигательного аппарата с атласом эталонных значений степеней свободы суставов, после чего проводят этапы сбора анамнеза жизни человека, анамнеза болезни, миофасциальной, функциональной и программной диагностики опорно-двигательного аппарата, с формированием рекомендуемого перечня специализированных кинезитерапевтических упражнений для коррекции и лечения выявленных отклонений функциональности опорно-двигательного аппарата пациента, при этом на этапе программной диагностики состояния опорно-двигательного аппарата получают изображения выполнения пациентом диагностических упражнений, по которым с применением технологии машинного зрения производят построение трехмерной модели пациента в кадре, включающей обозначения расположения ключевых суставов на изображении опорно-двигательного аппарата пациента в виде опорных точек на его скелетной модели, при этом производят оценку пространственного положения указанных точек и по их угловым перемещениям друг относительно друга производят определение степеней свободы суставов пациента, после чего полученные значения степеней свободы суставов сравнивают со значениями степеней свободы суставов, указанных в атласе эталонных значений степеней свободы суставов, и по полученным отклонениям на основе сформированной базы данных формируют рекомендуемый перечень специализированных кинезитерапевтических упражнений для коррекции и лечения выявленных отклонений функциональности ОДА пациента.

Недостатком аналога является его ограниченная область использования, а именно - для диагностики нарушений в опорно-двигательном аппарате. Также недостатком аналога является низкая точность диагностирования, из-за того, что не реализована статистическая обработка полученных значений степеней свободы суставов.

Наиболее близким по своей технической сущности является СПОСОБ АНАЛИЗА УГЛОВЫХ ПЕРЕМЕЩЕНИЙ ОПОРНЫХ ТОЧЕК СКЕЛЕТНОЙ МОДЕЛИ ОПОРНО-ВИГАТЕЛЬНОГО АППАРАТА ЧЕЛОВЕКА [RU 2786306, опубл. 19.12.2022], характеризующийся тем, что для его осуществления непрерывно формируют поток видеоизображения, на котором производят распознавание человека в кадре, по распознанному изображению человека в видеопотоке производят построение скелетной модели опорно-двигательного аппарата человека, формируют набор опорных точек на скелетной модели, с непрерывной оценкой угловых перемещений указанных опорных точек указанной 3д модели, отличающийся тем, что для оценки перемещения опорных точек в каждой из них производят построение локальных систем координат, при этом указанные системы координат строятся на основе алгоритма Грамма-Шмидта, по которому каждая система координат зависит от положения родительской кости скелетной модели человека с учетом ее пространственного поворота.

Основной технической проблемой прототипа является низкая точность применения указанного способа для оценки правильности выполнения движений человека, из-за того, что прототип не предусматривает статистической обработки полученных в ходе реализации способа результатов.

Задача изобретения заключается в устранении недостатков прототипа и аналогов.

Технический результат изобретения заключается в повышении точности оценки выполнения движений человека.

Указанный технический результат достигается за счет того, что способ оценки выполнения движений человека посредством машинного зрения характеризуется тем, что первоначально в модуле исходных данных формируют базу данных изображений эталонного выполнения контрольного движения с атласом эталонных угловых значений раскрытия суставов в градусах по всем степеням свободы данных суставов, получают изображения выполнения контролируемым человеком контрольного движения, по которым с применением технологии машинного зрения производят построение трехмерной модели контролируемого человека в кадре, включающей обозначения расположения ключевых суставов на изображении опорно-двигательного аппарата контролируемого человека в виде опорных точек на его скелетной модели, которые размещают в местах расположения суставов, а также на верхнем и нижнем отделе позвоночника, на уровне плечевого пояса и тазобедренных суставов соответственно, при этом производят оценку пространственного положения указанных опорных точек и по их угловым перемещениям друг относительно друга производят определение персональных угловых значений раскрытия суставов в градусах по всем степеням свободы данных суставов контролируемого человека, полученные персональные угловые значения раскрытия суставов сравнивают с эталонными угловыми значениями раскрытия суставов, указанными в упомянутом атласе эталонных значений, для каждого сустава формируют эталонные значения градусов углов раскрытия суставов в каждой степени свободы, также для каждого сустава и самого контрольного движения формируют набор пороговых значений, при выполнении контрольного движения на основе полученных посредством машинного зрения изображений формируют персональные значения градусов углов раскрытия каждого анализируемого сустава в каждой степени его свободы, осуществляют формирование элементов массива эталонных значений и элементов массива персональных значений градусов углов раскрытия суставов в каждой степени свободы, для каждого сустава осуществляют сравнение между собой элементов массива эталонных и персональных значений, осуществляют расчет отклонений значений градусов углов раскрытия суставов между персональными и эталонными значениями массивов, как модуль разницы эталонного значения и соответствующего ему персонального значения, формируя тем самым массив отклонений, осуществляют оценку среднего отклонения для каждого массива отклонений посредством суммирования всех элементов массива и деления полученного значения на количество элементов массива, тем самым формируют средние отклонения значения для каждого из суставов, полученное среднее отклонение для конкретного сустава сравнивают с пороговыми значениями для данного сустава, формируют оценку правильности выполнения движения для конкретного сустава, выраженную числом, аналогично формируют массив оценок правильности выполнения движений для всех суставов, осуществляют оценку среднего значения правильности выполнения контрольного движения, для чего суммируют все элементы массива оценок правильности выполнения движений для всех суставов и делят полученное число на количество элементов массива, осуществляют сравнение оценки среднего значения правильности выполнения контрольного движения с пороговыми значениями для контрольного движения.

Краткое описание чертежей.

На фиг. 1 показана скелетная модель опорно-двигательного аппарата человека.

Осуществление изобретения.

Способ оценки выполнения движений человека посредством машинного зрения, характеризующийся тем, что первоначально в модуле исходных данных формируют базу данных, изображений эталонного выполнения контрольных движений с атласом эталонных угловых значений раскрытия суставов в градусах по всем степеням свободы данных суставов. Массив эталонных значений градусов углов раскрытия суставов в каждой степени свободы формируют для каждого сустава в соответствии с используемой моделью опорно-двигательного аппарата ОДА. Массив эталонных значений характеризует правильное расположение и раскрытие сустава во времени при выполнении контрольного движения. Для каждого контрольного движения формируют набор пороговых значений, также для каждого сустава (и соответствующего массива эталонных значений) формируют набор пороговых значений.

Далее человека, движения которого подлежат оценке, размещают перед видеокамерой, передающей его изображение в модуль программного анализа, в котором с применением технологии машинного зрения производят поиск изображения данного контролируемого человека в кадре и оценку положения его опорно-двигательного аппарата, после чего производят построение трехмерной модели контролируемого человека в кадре, включающей обозначения расположения ключевых суставов на изображении ОДА контролируемого человека в виде опорных точек на его скелетной модели. При этом опорные точки размещают в местах расположения суставов, а также на верхнем и нижнем отделе позвоночника, на уровне плечевого пояса и тазобедренных суставов соответственно.

Далее, контролируемый человек (в варианте реализации - с применением набора тестовых видеофайлов) выполняет контрольное движение. Во время выполнения контрольного движения производят передачу видеоизображения выполнения движения в модуль программного анализа. В модуле программного анализа обрабатывают и оценивают пространственное перемещение опорных точек скелетной модели ОДА контролируемого человека, определяя соответствующие персональные значения градусов углов раскрытия его суставов в каждой степени свободы. Таким образом для каждого сустава формируют массивы реальных значений, которые характеризуют расположение сустава контролируемого человека - во времени.

Далее для каждого сустава осуществляют сравнение между собой элементов массива эталонных и персональных значений. Сравнение реализуют следующим образом: первоначально осуществляют временную калибровку массивов таким образом, чтобы значения персональных и эталонных элементов массивов соответствовали друг другу с точки зрения временной хронологии. Далее осуществляют расчет отклонений значений градусов углов раскрытия суставов между персональными и эталонными значениями массивов, формируя тем самым массив отклонений. Расчет отклонений осуществляют между элементами массивов, соответствующими одному моменту времени. Расчет каждого отклонения реализуют как модуль разницы эталонного значения и соответствующего ему персонального значения. Далее осуществляют оценку среднего отклонения для каждого массива отклонений. Оценку среднего осуществляют посредством суммирования всех элементов массива и деления полученного значения на количество элементов массива. Таким образом - формируют средние отклонения значения для каждого из суставов.

Полученное среднее отклонение для конкретного сустава сравнивают с пороговыми значениями для данного сустава, в зависимости от результатов сравнения формируют оценку правильности выполнения движения для конкретного сустава, выраженную числом (в варианте реализации выраженную процентом) (мера правильности выполнения контрольного движения для конкретного сустава). Аналогичную процедуру выполняют для всех суставов - формируя массив оценок правильности выполнения движений для всех суставов. Далее осуществляют оценку среднего значения правильности выполнения движения - для чего суммируют все элементы массива оценок правильности выполнения движений для всех суставов и делят полученное число на количество элементов массива.

Полученную оценку среднего значения правильности выполнения движения сравнивают с пороговыми значениями для контролируемого движения. На основе сравнения осуществляют оценку выполнения контрольного движения.

Пример реализации способа - оценка правильности выполнения гимнастического упражнения.

В качестве трехмерной скелетной 3D модели человека, по которой производят вычисление угловых перемещений ее опорных точек, расположенных в ключевых суставах скелета человека во время выполнения контрольных движений - выступает модель на фиг. 1. В таблице 1 указаны опорные точки модели.

Первоначально в модуле исходных данных формируют базу данных, изображений эталонного выполнения контрольного разминочного гимнастического движения «приседание» с атласом угловых значений раскрытия суставов в градусах по всем степеням свободы данных суставов. Формирование базы данных осуществляют при помощи записи выполнения упражнения профессиональным спортсменом.

Таблица 1

№ опорной точки Расположение опорной точки 0. Нос 1. Внутренний угол левого глаза 2. Центр левого глаза 3. Внешний угол левого глаза 4. Внутренний угол правого глаза 5. Центр правого глаза 6. Внешний угол правого глаза 7. Левое ухо 8. Правое ухо 9. Левый уголок рта 10. Правый уголок рта 11. Левое плечо 12. Правое плечо 13. Левый локоть 14. Правый локоть 15.е Левое запястье 16. Правое запястье 17. Мизинец левой руки 18. Мизинец правой руки 19. Указательный палец левой руки 20. Указательный палец правой руки 21. Большой палец левой руки 22. Большой палец правой руки 23. Левое бедро 24. Правое бедро 25. Левое колено 26. Правое колено 27. Левая лодыжка 28. Правая лодыжка 29. Левая пятка 30. Правая пятка 31. Указательный палец левой ноги 32. Указательный палец правой ноги 33. Нижняя позвоночная опорная точка 34. Верхняя позвоночная опорная точка

Для примера приведены эталонные (таблица 2) угловые значений раскрытия суставов ног в градусах при выполнении упражнения в интервале времени от 0 до 1,24 секунды.

Для сустава «24, 26, 28» сформировано три пороговых значения: 14, 18, 20, где:

диапазон от 0 до 14 характеризует «хороший уровень выполнения упражнения» - числовая характеристика «3»;

Таблица 2

диапазон от 14 до 18 характеризует «средний уровень выполнения упражнения» - числовая характеристика «2»;

диапазон от 18 до 20 характеризует «низкий уровень выполнения упражнения» - числовая характеристика «1»;

диапазон от 20 характеризует «неправильное выполнение упражнения» - числовая характеристика «0».

Для сустава «23, 25, 27» сформировано три пороговых значения: 12, 14, 18, где:

диапазон от 0 до 12 характеризует «хороший уровень выполнения упражнения»- числовая характеристика «3»;

диапазон от 12 до 14 характеризует «средний уровень выполнения упражнения» - числовая характеристика «2»;

диапазон от 14 до 18 характеризует «низкий уровень выполнения упражнения» - числовая характеристика «1»;

диапазон от 18 характеризует «неправильное выполнение упражнения» - числовая характеристика «0».

Для сустава «12, 24, 26» сформировано три пороговых значения: 12, 15, 20, где:

диапазон от 0 до 12 характеризует «хороший уровень выполнения упражнения»- числовая характеристика «3»;

диапазон от 12 до 15 характеризует «средний уровень выполнения упражнения» - числовая характеристика «2»;

диапазон от 15 до 20 характеризует «низкий уровень выполнения упражнения» - числовая характеристика «1»;

диапазон от 20 характеризует «неправильное выполнение упражнения» - числовая характеристика «0».

Для сустава «11, 23, 25» сформировано три пороговых значения: 12, 19, 23, где:

диапазон от 0 до 12 характеризует «хороший уровень выполнения упражнения»- числовая характеристика «3»;

диапазон от 12 до 19 характеризует «средний уровень выполнения упражнения» - числовая характеристика «2»;

диапазон от 19 до 23 характеризует «низкий уровень выполнения упражнения» - числовая характеристика «1»;

диапазон от 23 характеризует «неправильное выполнение упражнения» - числовая характеристика «0».

Для упражнения «приседание» в целом сформировано два пороговых значения: 2,3.

диапазон от 0 до 2 характеризуется неудовлетворительной оценкой за упражнение;

диапазон от 2 до 2,8 характеризуется удовлетворительной оценкой за упражнение;

диапазон от 2,8 до 3 характеризуется отличной оценкой за упражнение.

Далее контролируемое лицо выполняет контрольное движение, в модуле программного анализа определяют соответствующие степени свободы для каждого сустава, на выходе формируются массивы реальных значений для каждого сустава (таблица 3).

Таблица 3.

Далее для каждого сустава осуществляют сравнение между собой элементов массива эталонных и персональных значений, формуя таблицу отклонений (таблица 4).

Далее осуществляют оценку среднего отклонения для каждого массива отклонений:

для сустава «24; 26; 28» это значение равно 9,235;

для сустава «23; 25; 27» это значение равно 10,512;

для сустава «22; 24; 26» это значение равно 11,667;

для сустава «11; 23; 25» это значение равно 16,022.

В соответствии с отклонениями, для каждого сустава была дана оценка и соответствующая ей числовая характеристика;

для сустава «24; 26; 28» числовая характеристика 3;

для сустава «23; 25; 27» числовая характеристика 3;

для сустава «22; 24; 26» числовая характеристика 3;

для сустава «11; 23; 25» числовая характеристика 2.

Таким образом сформировали массив оценок правильности выполнения упражнений для всех суставов «3,3,3,2». Далее осуществляют оценку среднего значения правильности выполнения движения - получают значение 2,75. Полученную оценку среднего значения правильности выполнения движения сравнивают с пороговыми значениями для данного движения - 2,75 попадает в диапазон от 2 до 2,8, что позволяет поставить удовлетворительную оценку за упражнение.

Таблица 4

В варианте реализации заявленного способа пороговые значения, а также таблицы отклонений могут быть нормированы таким образом, чтобы итоговая оценка была выражена в процентах.

Сфера применения заявленного способа не ограничивается областью спорта. Решение может быть применено в образовательных целях, в сфере услуг, производства и т.д. - везде, где для достижения результата требуется правильное выполнение определенных движений.

В различных вариантах реализации заявленного способа средние отклонения для каждого сустава могут быть рассчитаны как при помощи программных, так и при помощи программно-аппаратных и аппаратных устройств. Например, при помощи блока вычитателей.

В различных вариантах реализации заявленного способа оценку среднего отклонения для каждого сустава могут выполнять как при помощи программных, так и при помощи программно-аппаратных и аппаратных устройств. Например, при помощи пороговых устройств.

Заявленный технический результат - повышение точности оценки выполнения движений человека - достигается за счет использования технологий машинного зрения, что позволяет осуществить расчет угловых значений раскрытия суставов в градусах по всем степеням свободы суставов на основе модели опорно-двигательного аппарата. Также заявленный технический результат достигается за счет того, что происходит статистическая обработка результатов, а именно, в заявленном способе технически реализована процедура оценки среднего отклонения персональных угловых значений раскрытия суставов от эталонных, а также оценки среднего по всем суставам для формирования окончательной оценки правильности выполнения движения. Указанная статистическая обработка позволяет «сгладить» появляющиеся вследствие неидеальной работы аппаратуры аномальные статистические значения, тем самым обеспечив повышение точности оценки.

Заявителем в 2023 году был реализован заявленный способ, в частности заявленный способ был применен в медицинских целях для диагностики нарушений в опорно-двигательном аппарате. Апробация способа подтвердила заявленный технический результат - повышение точности оценки привело к повышению точности диагностики в среднем на 10-20%.

Изобретение относиться к способам оценки правильности выполнения определенных движений человека. Заявленный способ может быть применим в различных областях человеческой деятельности, таких как медицина, спорт, производство, сфера услуг. Предложен способ оценки выполнения движений человека посредством машинного зрения, характеризующийся тем, что первоначально в модуле исходных данных формируют базу данных изображений эталонного выполнения контрольного движения с атласом эталонных угловых значений раскрытия суставов в градусах по всем степеням свободы данных суставов, далее получают изображения выполнения контролируемым человеком контрольного движения, по которым с применением технологии машинного зрения производят построение трехмерной модели контролируемого человека в кадре, включающей обозначения расположения ключевых суставов на изображении опорно-двигательного аппарата контролируемого человека в виде опорных точек на его скелетной модели, при этом производят оценку пространственного положения указанных точек и по их угловым перемещениям друг относительно друга производят определение персональных угловых значений раскрытия суставов в градусах по всем степеням свободы данных суставов контролируемого человека, после чего полученные персональные угловые значения раскрытия суставов сравнивают с эталонными угловыми значениями раскрытия суставов, указанными в упомянутом атласе эталонных значений, отличающийся тем, что для каждого сустава формируют эталонные значения градусов углов раскрытия суставов в каждой степени свободы, также для каждого сустава и самого контрольного движения формируют набор пороговых значений, при выполнении контрольного движения на основе полученных посредством машинного зрения изображений формируют персональные значения градусов углов раскрытия каждого анализируемого сустава в каждой степени его свободы, далее для каждого анализируемого сустава рассчитывают отклонения между эталонными и персональными угловыми значениями раскрытия суставов, далее осуществляют оценку среднего отклонения для каждого сустава, оценки среднего отклонения для суставов сравнивают с пороговыми значениями для суставов, формируя при этом численные меры правильности выполнения контрольного движения для суставов, далее осуществляют оценку среднего значения всех мер правильности выполнения контрольного движения для анализируемых суставов, которую сравнивают с пороговыми значениями для контрольного движения, формируя оценку выполнения контрольного движения человека. Изобретение обеспечивает повышение точности оценки выполнения движений человека. 1 з.п. ф-лы, 1 ил.

1. Способ оценки выполнения движений человека посредством машинного зрения, характеризующийся тем, что первоначально в модуле исходных данных формируют базу данных изображений эталонного выполнения контрольного движения с атласом эталонных угловых значений раскрытия суставов в градусах по всем степеням свободы данных суставов, получают изображения выполнения контролируемым человеком контрольного движения, по которым с применением технологии машинного зрения производят построение трехмерной модели контролируемого человека в кадре, включающей обозначения расположения суставов на изображении опорно-двигательного аппарата контролируемого человека в виде опорных точек на его скелетной модели, которые размещают в местах расположения суставов, а также на верхнем и нижнем отделе позвоночника, на уровне плечевого пояса и тазобедренных суставов соответственно, при этом производят оценку пространственного положения указанных опорных точек и по их угловым перемещениям друг относительно друга производят определение персональных угловых значений раскрытия суставов в градусах по всем степеням свободы данных суставов контролируемого человека, полученные персональные угловые значения раскрытия суставов сравнивают с эталонными угловыми значениями раскрытия суставов, указанными в упомянутом атласе эталонных значений, для каждого сустава формируют эталонные значения градусов углов раскрытия суставов в каждой степени свободы, также для каждого сустава и самого контрольного движения формируют набор пороговых значений, при выполнении контрольного движения на основе полученных посредством машинного зрения изображений формируют персональные значения градусов углов раскрытия каждого анализируемого сустава в каждой степени его свободы, осуществляют формирование элементов массива эталонных значений и элементов массива персональных значений градусов углов раскрытия суставов в каждой степени свободы, для каждого сустава осуществляют сравнение между собой элементов массива эталонных и персональных значений, осуществляют расчет отклонений значений градусов углов раскрытия суставов между персональными и эталонными значениями массивов, как модуль разницы эталонного значения и соответствующего ему персонального значения, формируя тем самым массив отклонений, осуществляют оценку среднего отклонения для каждого массива отклонений посредством суммирования всех элементов массива отклонений и деления полученного значения на количество элементов массива отклонений, тем самым формируют средние отклонения значения для каждого из суставов, полученное среднее отклонение для конкретного сустава сравнивают с пороговыми значениями для данного сустава, формируют оценку правильности выполнения движения для конкретного сустава, выраженную числом, аналогично формируют массив оценок правильности выполнения движений для всех суставов, осуществляют оценку среднего значения правильности выполнения контрольного движения, для чего суммируют все элементы массива оценок правильности выполнения движений для всех суставов и делят полученное число на количество элементов массива, осуществляют сравнение оценки среднего значения правильности выполнения контрольного движения с пороговыми значениями для контрольного движения.

2. Способ оценки выполнения движений человека посредством машинного зрения по п. 1, отличающийся тем, что используют опорные точки, характеризующие: левое плечо, правое плечо, левый локоть, правый локоть, левое запястье, правое запястье, мизинец левой руки, мизинец правой руки, указательный палец левой руки, указательный палец правой руки, большой палец левой руки, большой палец правой руки, левое бедро, правое бедро, левое колено, правое колено, левую лодыжку, правую лодыжку, левую пятку, правую пятку, указательный палец левой ноги, указательный палец левой ноги, указательный палец правой ноги, нижнюю позвоночную опорную точку, верхнюю позвоночную опорную точку.