СПОСОБ АНАЛИЗА УГЛОВЫХ ПЕРЕМЕЩЕНИЙ ОПОРНЫХ ТОЧЕК СКЕЛЕТНОЙ МОДЕЛИ ОПОРНО-ДВИГАТЕЛЬНОГО АППАРАТА ЧЕЛОВЕКА Российский патент 2022 года по МПК G16H50/00 G06F30/27 

Изобретение относится к способам измерения угловых перемещений скелетной модели опорно-двигательного аппарата человека с использованием оптических средств, а также средств компьютерного (машинного) зрения и анализа изображений [G01B11/00, G06T7/00].

Из уровня техники известен МЕТОД И СИСТЕМА АБСОЛЮТНОГО ПОЗИЦИОНИРОВАНИЯ ОБЪЕКТА [US2021365706, опубл. 25.11.2021], включающий этапы:

приема процессором данных изображения по меньшей мере с одной камеры, причем данные изображения включают в себя оцифровку пикселей по меньшей мере одного изображения области интереса в поле зрения по меньшей мере одной камеры;

создание процессором для, по меньшей мере одной камеры соответствия между одной или несколькими парами точек в поле зрения по меньшей мере одной камеры и представлением интересующей области, при этом соответствие позволяет переводить координаты из пикселей в единицу измерения интересующей площади;

выбор приблизительного местоположения интересующего объекта по меньшей мере на одном изображении;

обнаружение процессором интересующего объекта в пределах приблизительного местоположения методами анализа изображения и определение интересующей области вблизи обнаруженного интересующего объекта;

определение процессором относительного положения обнаруженного интересующего объекта в интересующей области, относительного положения интересующего объекта, определяемого координатами пикселя;

получение процессором интересующей области и относительного положения интересующего объекта;

обнаружение процессором стационарных маркеров в интересующей области и вблизи относительного местоположения интересующего объекта;

определение процессором смещения между по меньшей мере одним из обнаруженных стационарных маркеров и положением известного маркера в интересующей области и присвоение обнаруженному стационарному маркеру относительно смещения индикатора, представляющего координаты в единицах измерение области интереса, координаты, определяющие абсолютное положение обнаруженного стационарного маркера в области интереса;

преобразование процессором относительного положения интересующего объекта из координат пикселей в местоположение в интересующей области по отношению к абсолютному местоположению обнаруженного стационарного маркера для получения абсолютного местоположения интересующего объекта в области представляет интерес; и

предоставление абсолютного местоположения интересующего объекта в интересующей области.

Основными недостатками технического решения является то что в данном способе необходимо применение стационарных маркеров для определения трехмерных координат. Помимо этого, сравнение положения стационарных маркеров относительно опорных точек 3д модели опорно-двигательного аппарата существенно загружают вычислительные мощности, что в свою очередь снижает точность вычисления, поскольку вычисления производятся не по всей траектории перемещения опорных точек скелетной модели человека.

Также из уровня техники известна СИСТЕМА И МЕТОД БЕСКОНТАКТНОГО ИЗМЕРЕНИЯ УГЛА ПОВОРОТА [CN113532331, опубл. 22.10.2021], отличающаяся тем, что она содержит метку, камеру и процессор обработки изображений, при этом метка представляет собой три отражающие маркировочные точки, расположенные на измеряемом компоненте, и три отражающие маркировочные точки представляют собой центры двух соседних точек находятся на одной прямой, а расстояние между двумя соседними точками неодинаково; камера совмещена с тремя точками отражающей маркировки и подключена к процессору изображений через линию данных;

процессор изображений включает в себя:

модуль получения изображения, используемый для сбора точечных изображений заполняющего света, освещаемого тремя точками отражающей маркировки, захваченными камерой;

модуль идентификации области точки маркировки, используемый для идентификации пятна колеса с тремя точками отражающей маркировки. коридор;

модуль определения положения точки маркера используется для расчета центров тяжести трех связанных областей соответственно, и в соответствии с рассчитанным центром тяжести каждой связанной области получается расстояние между центрами тяжести двух связанных областей, и далее в соответствии с расчетным расстоянием между центрами тяжести двух соединенных областей определяет соответствие между тремя точками отражающей маркировки и тремя соединенными областями;

модуль расчета углов используется для соединения трех точек отражающей маркировки с тремя соединенными областями в соответствии с соотношением между областями используется для расчета размера угла тестируемого компонента.

Основными недостатками технического решения являются необходимость применения стационарных меток, что существенно усложняет процесс замера, а также в случае их отсутствия существенно снижает точность вычисления углов поворота конечностей человека.

Наиболее близким по своей технической сущности является МЕТОД И СИСТЕМА ПОЗИЦИОНИРОВАНИЯ ТЕЛА ЧЕЛОВЕКА НА ОСНОВЕ БИНОКУЛЯРНОГО ЗРЕНИЯ И НОСИТЕЛЯ ИНФОРМАЦИИ [CN113850865, опубл. 28.12.2021], характеризующийся тем, что он включает следующие этапы: S1, применение метода калибровки для получения внутренних и внешних параметров бинокулярной камеры и параметров ее искажения и перенос изображения на бинокулярную камеру. в соответствии с вышеупомянутыми параметрами; S2. Обнаружение ключевых точек человеческого тела на двумерном изображении, при этом обнаружение ключевых точек человеческого тела использует алгоритм прогнозирования с глубоким обучением, в частности, предварительно обучая весовые параметры ключевых точек человеческого тела, которые должны быть обнаружены, а затем определить ключевые точки тела человека на скорректированном изображении для получения пиксельных координат ключевых точек тела человека бинокулярной камерой; S3.Выполнение трехмерной реконструкции пиксельных координат обнаруженных ключевых точек человеческого тела, при этом пиксельные координаты ключевых точек человеческого тела представляют собой двумерные координаты ключевых точек, которые используются для восстановления трехмерных пространственных координат, то есть трехмерных координат облака точек; S5. Выведение окончательных координат ключевых точек тела человека.

Основной технической проблемой прототипа является то что применяемый метод оценки позы человека не обеспечивает необходимой точности вычисления углов поворота конечностей человека в случае поворота объекта съемки относительно фронтальной плоскости камер. Помимо этого, в данном случае применяется многоматричное вычисление углов поворота, что в свою очередь снижает производительность всей системы.

Задача изобретения заключается в устранении недостатков прототипа и аналогов.

Технический результат изобретения заключается в повышении точности измерения угловых перемещений опорных точек скелетной модели ОДА человека при различных положениях человека относительно видеокамеры, а также увеличении производительности оборудования для производства диагностики отклонений в ОДА человека.

Указанный технический результат достигается за счет того, что способ анализа угловых перемещений опорных точек опорно-двигательного аппарата человека характеризующийся тем что для его осуществления непрерывно формируют поток видеоизображения, на котором производят распознавание человека в кадре, по распознанному изображению человека в видеопотоке производят построение скелетной модели опорно-двигательного аппарата человека, формируют набор опорных точек на указанной 3д модели, с непрерывной оценкой угловых перемещений указанных опорных точек указанной 3д модели, отличающийся тем, что для оценки перемещения опорных точек в каждой из них производят построение локальных систем координат, при этом указанные системы координат строятся на основе алгоритма Грамма-Шмидта, по которому каждая система координат зависит от положения родительской кости скелетной модели человека с учетом ее пространственного поворота.

Краткое описание чертежей.

На фиг. 1 показана блок-схема устройства для анализа перемещений опорных точек опорно-двигательного аппарата человека.

На фиг. 2 показана построенная скелетная модель ОДА человека.

На фиг. 3 показан процесс построения локальных систем координат в опорных точках скелетной моли ОДА человека.

На фигурах обозначено: 1 - модуль формирования видеопотока, 2 - модуль оцифровки скелетной модели человека, 3 - блок распознавания опорных точек ОДА человека, 4 - блок фильтрации, 5 - модуль анализа углов между опорными точками цифровой скелетной модели ОДА человека.

Осуществление изобретения.

Способ анализа угловых перемещений опорных точек опорно-двигательного аппарата человека реализуется посредством применения устройства для анализа перемещений опорных точек опорно-двигательного аппарата (ОДА) человека, содержащего модуль формирования видеопотока 1, выполненный в виде видеокамеры с возможностью оцифровки получаемого видеоряда. К выходу модуля формирования видеопотока 1 подключен модуль оцифровки скелетной модели человека 2 включающий в себя блок распознавания опорных точек ОДА человека 3, выполненный на базе нейросетевых алгоритмов выделения человека в видеопотоке и распознавания необходимых опорных точек на его скелетной модели, а также блок фильтрации 4. К выходу модуля оцифровки скелетной модели человека 2 подключен модуль анализа углов между опорными точками цифровой скелетной модели ОДА человека 5.

Способ анализа угловых перемещений опорных точек опорно-двигательного аппарата человека, характеризующийся тем, что для его осуществления в модуле формирования видеопотока 1 при помощи видеокамеры производят съемку человека, выполняющего различные движения и упражнения. При этом полученный видеоряд непрерывно передают в модуль оцифровки скелетной модели человека 2, в котором в блоке распознавания опорных точек ОДА человека 3 в полученном видеоряде распознают силуэт человека, и определяют опорные точки ОДА человека в местах сочленения костей, по которым производят построение скелетной модели ОДА человека в виде ориентированного графа (см.Фиг.2), с вершинами в указанных опорных точках. В качестве опорных точек скелетной модели ОДА человека выделяют 33 основных точки, включающие:

- точка 0 в области кончика носа

- точки в начале 1, середине 2 и конце 3 левого глаза;

- точки в начале 4, середине 5 и конце 6 правого глаза;

- точки на левом 7 и правом 8 ухе;

- точки левого 9 и правого 10 уголков рта;

- точки левого плеча 11 и правого плеча 12;

- точки левого 13 и правого 14 локтей;

- точки левого 15 и правого 16 запястий;

- точки кончиков левого 17 и правого 18 мизинцев рук;

- точки кончиков левого 19 и правого 20 указательных пальцев рук;

- точки кончиков левого 21 и правого 22 больших пальцев рук;

- точки левого 23 и правого 24 тазобедренных суставов;

- точки левого 25 и правого 26 коленного сустава;

- точки левого 27 и правого 28 голеностопного сустава;

- точки левой 29 и правой 30 пяточных костей;

- точки левого 31 и правого 32 указательного пальца ноги;

Кроме упомянутых опорных точек 0-32 выделяют вспомогательные точки 33 и 34 образующие при их соединении центральную вертикальную ось скелетной модели и расположенные на середине отрезка, соединяющего опорные точки 11 и 12 для опорной точки 33 и середине отрезка, соединяющего опорные точки 23 и 24 для опорной точки 34.

Далее полученный видеоряд с выделенными опорными точками и построенной скелетной моделью ОДА человека непрерывно, со скоростью, ограничивающейся частотой смены кадров и временем необходимым для построения скелетной модели ОДА человека, а также распознавания опорных точек, отправляют в модуль анализа углов между опорными точками цифровой скелетной модели ОДА человека 5, в котором непрерывно производят расчет углов перемещений указанных опорных точек друг относительно друга. Для этого, в каждой опорной точке скелетной модели ОДА человека производят построение локальных систем координат - базисов (см. фиг. 3). Построение каждого базиса в каждой опорной точке 1-34 производят с помощью двух неколлинеарных векторов e₁ и e₂. Построение третьего вектора «c» в каждом базисе производят при помощи процесса ортогонализации Грама - Шмидта на основе векторов e₁ и e₂ и e₁×e₂. При этом, например, векторами e₁ и e₂ для опорной точки 11, соответствующей левому плечу скелетной модели, являются вектора, соединяющие опорные точки 33-34 и 11-12, векторами e₁ и e₂ для опорной точки 12, соответствующей правому плечу скелетной модели, являются вектора, соединяющие опорные точки 33-34 и 12-11, а векторами e₁ и e₂ для опорных точек 24 и 23 будут вектора соединяющие опорные точки 34-33 и 24-23 соответственно.

Система координат базисов в каждой последующей опорной точке, следующей от родительской кости p(bone) кости bone определяется при помощи вектора ev и вектора родительской кости p(bone):

e₁ = p(bone) (1)

e₂ = R_p×e_v × e₁ (2)

где R_p - матрица поворота родительской кости.

После этого с использованием процесса ортогонализации Грама-Шмидта вычисляют локальные координаты другой кости bone':

R_p=GramSchmidt(e₁,e₂,e₁×e₂), (3)

bone'=R_bone^Tbone, (4)

где R_bone^T - транспонированная матрица поворота другой кости.

При этом вектор ev для каждой кости bone вычисляется эвристически заблаговременно перед началом формирования скелетной модели ОДА человека.

Соответствующий созданный алгоритм можно описать с помощью следующего алгоритма:

1. Задают опорные точки тела человека, а также набор векторов ev.

2. Для каждой кости bone:

2.1. Если e₂ это плечи, то

a = Левое Плечо - Правое Плечо

b = позвоночник

2.2. Иначе, если e₂ это тазобедренные опорные точки

a = Левое Бедро – Правое Бедро

b = позвоночник

2.3. Иначе,

2.3.1. a = p(bone)

2.3.2 b=R_p ev×e₁

2.4 R_e2=GramSchmidt(a,b,a×b)

2.5 bone'=R_bone^Tbone

В качестве примера достижения технического результата можно рассмотреть случай, когда человек выполняет различные диагностические упражнения. При этом выполнение упражнений непрерывно фиксируют на видеокамеру в модуле формирования видеопотока 1, где оцифровывают полученное изображения и передают в модуль оцифровки скелетной модели человека 2. Далее производят построение скелетной модели человека с опорными точками 0-34 и вычисляют углы поворота костей человека в указанных точках для определения правильности выполнения упражнений или выявления отклонений в ОДА. При этом в случае поворота человека относительно видеокамеры или при выполнении упражнений в положении лежа при применении указанных в аналогах способов измерения положения опорных точек могут возникнуть существенные погрешности в относительных углах поворота костей ОДА. Для исключения этого, в модуле анализа углов между опорными точками цифровой скелетной модели ОДА человека 5, производят построение локальных систем координат в каждой опорной точке по двум неколлинеарным векторам e₁ и e₂, изначально соответствующим оси позвоночного столба и прямым соединяющим опорные точки правого и левого плеча или правого и левого тазобедренного сустава. Третья ось локальной системы координат строится путем ортогонализации по двум указанным ранее векторам с применением алгоритма Грама-Шмидта. При этом последующие локальные системы координат строятся с учетом поворота родительской кости по вектору ev, который изначально вычисляется эврестически для каждой кости.

Указанный технический результат повышении точности измерения угловых перемещений опорных точек скелетной модели ОДА человека при различных положениях человека относительно видеокамеры, а также увеличении производительности оборудования для производства диагностики отклонений в ОДА человека. достигается за счет того, что на построенной в модуле оцифровки скелетной модели человека 2 в сформированных опорных точках 0-34 указанной модели в модуле анализа углов между опорными точками цифровой скелетной модели ОДА человека 5 производят построение локальных систем координат, по которым определяют локальные координаты каждой опорной точки, а также сферические координаты и вычисляют эйлеровы углы на которые повернута точка и кость.

Изобретение относится к способам измерения угловых перемещений скелетной модели опорно-двигательного аппарата человека с использованием оптических средств, а также средств компьютерного зрения и анализа изображений. Предложен способ анализа угловых перемещений опорных точек опорно-двигательного аппарата человека, характеризующийся тем, что для его осуществления непрерывно формируют поток видеоизображения, на котором производят распознавание человека в кадре, по распознанному изображению человека в видеопотоке производят построение скелетной модели опорно-двигательного аппарата человека, формируют набор опорных точек на указанной 3д модели, с непрерывной оценкой угловых перемещений указанных опорных точек указанной 3д модели, отличающийся тем, что для оценки перемещения опорных точек в каждой из них производят построение локальных систем координат, при этом указанные системы координат строятся на основе алгоритма Грамма-Шмидта, по которому каждая система координат зависит от положения родительской кости скелетной модели человека с учетом ее пространственного поворота. Изобретение обеспечивает повышение точности измерения угловых перемещений опорных точек скелетной модели ОДА человека при различных положениях человека относительно видеокамеры, а также увеличение производительности оборудования для производства диагностики отклонений в ОДА человека. 3 ил.

Способ анализа угловых перемещений опорных точек опорно-двигательного аппарата человека, характеризующийся тем, что для его осуществления непрерывно формируют поток видеоизображения, на котором производят распознавание человека в кадре, по распознанному изображению человека в видеопотоке производят построение скелетной модели опорно-двигательного аппарата человека, формируют набор опорных точек на скелетной модели, с непрерывной оценкой угловых перемещений указанных опорных точек указанной 3д модели, отличающийся тем, что для оценки перемещения опорных точек в каждой из них производят построение локальных систем координат, при этом указанные системы координат строятся на основе алгоритма Грамма-Шмидта, по которому каждая система координат зависит от положения родительской кости скелетной модели человека с учетом ее пространственного поворота.