СПОСОБ ОТСЛЕЖИВАНИЯ (ТРЕКИНГА) В РЕАЛЬНОМ ВРЕМЕНИ АНАТОМИЧЕСКИХ ОРИЕНТИРОВ ОБЪЕКТА Российский патент 2022 года по МПК G06V10/88 G06T7/20 

Изобретение относится к области распознавания и анализа движения на основе изображений с помощью измерительной техники, и может применяться в различных областях, где требуется высокоточное определение позы человека, а также может применяться для контроля различной двигательной активности объекта наблюдения при реабилитации, занятиях лечебной физкультурой или в тренировочном процессе.

Изобретение применяется в системе трекинга маркерных объектов и обратной связи в мобильных устройствах дополненной реальности, созданной в рамках программы деятельности лидирующего исследовательского центра «Платформенная технология виртуальной и дополненной реальности» ФГБОУ ВО СамГМУ Минздрава России.

Из уровня техники, патент RU № 2530334 с приоритетом от 12.01.2010 г., известно визуальное отслеживание цели заключающаяся в отслеживании позы человека с использованием датчика глубины, связывающая модель человека в виртуальном пространстве и вносящая изменение в положение модели, основанное на изменении позы человека.

Основным недостатком данного аналога (как и всей линейки патентов от MicroSoft) является необходимость использовать дополнительное специализированное оборудование в виде датчика глубины, что в итоге, снижает доступность использования данного патента для решения поставленных задач определения позы.

Из патента RU № 2635226 с приоритетом от 25.05.2012 г. известен способ измерения тела путем сравнения статического изображения тела с базой данных с использованием предварительного разбиения изображения на сегменты и составления карты вероятностей.

Недостатком данного аналога является невозможность отслеживания положения частей тела, а значит и контроля сложных поз. Хоть подход и позволяет получить антропометрические измерения тела, применение его к решению определения позы человека значительно усложнено.

Самым близким по своей технической сущности является способ для захвата безмаркерных движений человека известный из патента RU № 2534892 с приоритетом от 08.04.2010 г., Способ захвата движений человека содержит:
обнаружение по входным изображениям, с помощью детекторного блока 2D частей тела, расположений возможных 2D частей тела возможных 2D частей тела;
вычисление, с помощью вычислительного блока 3D нижних частей тела, 3D нижних частей тела с использованием обнаруженных расположений возможных 2D частей тела;
вычисление, с помощью вычислительного блока 3D верхних частей тела, 3D верхних частей тела на основе модели тела; и визуальное воспроизведение, с помощью блока визуального воспроизведения модели тела, модели тела в соответствии с результатом вычисленных 3D верхних частей тела, в котором результат визуального воспроизведения в виде модели предоставляется в детекторный блок 2D частей тела, 3D нижние части тела являются частями, у которых диапазон движений больше, чем опорное значение среди возможных 2D частей тела, и 3D верхние части тела являются частями, у которых диапазон движений меньше опорного значения среди возможных 2D частей тела.

Данное изобретение описывает применение нескольких камер, или стереокамеры, для привязки трехмерной модели к позе регистрируемого человека, причем с раздельным анализом верхних и нижних конечностей. Так же описан вариант с использованием дополнительных маркеров и их отслеживания. Основным недостатком данного изобретения так же является необходимость использовать нескольких камер или одной стереокамеры. Такое требование усложняет установку и требует более длительной подготовки для проведения регистрации, снижая общую мобильность решения.

Техническим результатом заявленного способа отслеживания (трекинга) в реальном времени анатомических ориентиров объекта является расширение арсенала средств, обеспечивающих повышение точности определения позы в реальном времени с высокой устойчивостью к фону и пропорциям.

Заявленный технический результат достигается за счет того, что способ отслеживания (трекинга) в реальном времени анатомических ориентиров объекта содержащий захват одного или более исходных цветных изображений объекта целиком при помощи одной цифровой камеры, предварительная обработка исходных изображений объекта, определение абсолютного значения координат анатомических ориентиров маркерных точек объекта на исходных изображениях с учетом случаев, при которых некоторые ориентиры перекрываются телом объекта или отсутствуют, а так же с учетом характера движения объекта с помощью учета абсолютного положения анатомических ориентиров объекта на соседних кадрах, определение дополнительной информации о надежности определения абсолютных координат анатомических ориентиров объекта на исходных изображениях, преобразование абсолютных значений координат анатомических маркерных ориентиров объекта на исходных изображениях в координаты виртуального трехмерного пространства с учетом случаев, при которых некоторые ориентиры перекрываются телом объекта или отсутствуют, а так же с учетом характера движения объекта с помощью учета абсолютного положения анатомических ориентиров объекта на соседних кадрах, вычисление углов между частями тела объекта, определяющих его позу, при помощи ребер трехмерного графа, вершинами которого являются точки в виртуальном трехмерном пространстве с ранее вычисленными координатами, сравнение вычисленных значений углов между частями тела объекта, абсолютных координат анатомических маркерных ориентиров объекта на изображении и относительных координат анатомических ориентиров в виртуальном трехмерном пространстве с заранее заданными референсными значениями, генерацию сигнала обратной связи, пропорционального степени соответствия оцененной позы объекта заранее заданной референсной позе, причем на этапе создания обучающего набора данных при обучении нейронной сети распознавания объекта устанавливают однородный фон и освещение объекта, производят съемку и из оригинального изображения объекта по контуру вырезают изображение и помещают на случайно выбранный фон и далее производят обучение нейронной сети на аугментированном подобным образом наборе данных, после чего для придания модулю отслеживания устойчивости при близком расположении объекта, оцениваются их пропорции и используют весовой коэффициент для балансировки затем движущийся объект меняет расстояние ближе-дальше от камеры после чего двигается в нужном направлении. Для повышения эффективности обнаружения двумерных анатомических ориентиров фон должен быть однородным, и не содержать сложных объектов, таких как полки с книгами, мусор, инструменты, рисунки на стене, окна и т.д. Освещение объекта например человека, должно быть настроено таким образом, чтобы человек в кадре не был затемнен или излишне засвечен. Для создания алгоритма более устойчивым к неоднородностям фона, на этапе создания обучающего набора данных, применяется аугментация данных с различным фоном. Для этого выполняется следующая последовательность действий: из оригинального изображения объекта по контуру вырезают изображение и помещают на случайно выбранный из определенной базы фон. При обучении нейронной сети на аугментированном подобным образом наборе данных она становится устойчивой к изменению фона. Модуль отслеживания анатомических ориентиров не зависит от фона, но от фона зависит модуль восстановления двумерных анатомических ориентиров по изображению. Для придания модулю отслеживания устойчивости при близком расположении объектов, оцениваются их пропорции и используется весовой коэффциент для балансировки. Модуль отслеживания более устойчив при распознавании объектов, которые находятся на разном расстоянии от камеры. Чтобы уменьшить вероятность ошибочного отслеживания объектов, движущийся человек должен подойти ближе или отойти дальше от камеры и уже после этого двигаться в нужном направлении. Таким образом изобретение реализуется за счет дополнительных эвристик для повышения точности распознавания ключевых точек (анатомических ориентиров) объекта для обеспечения высокой скорости детектирования; за счет последовательного применения нескольких искусственных нейронных сетей для корректировки координат точек; за счет анализа кинематичности движений и определения относительной глубины нахождения точек; за счет использования для трекинга способа получения содержащих подвижный объект кадров, обнаружения объекта на кадрах, определения координат ключевых точек объекта в трехмерной системе координат, определения посредством искусственной нейронной сети координат ключевых точек объекта в трехмерной системе координат на основании местоположения и параметров движения объекта, определенных на предыдущих шагах. Аппаратная реализация изобретения включает в себя электронное вычислительное устройство с объёмом оперативной памяти не менее 16 Гб, графический процессор с объёмом видеопамяти не менее 6 Гб и видеокамеру с разрешением не менее 1280x720 пикселов и частотой съёмки не менее 25 кадров в секунду. Серверный процесс программной реализации способа отслеживания в реальном времени анатомических ориентиров объекта запускается на электронном вычислительном устройстве, получает изображение с видеокамеры, предоставляет программный интерфейс для доступа из других приложений и устройств. Нейронные сети реализуются с использованием библиотеки TensorFlow версии не ниже 2.2.0 и осуществляют вычисления в реальном времени с использованием графического процессора.

Настоящее техническое решение относится к области вычислительной техники. Технический результат заключается в повышении точности определения позы в реальном времени с высокой устойчивостью к фону и пропорциям. Технический результат достигается за счёт способа отслеживания (трекинга) в реальном времени анатомических ориентиров объекта, в котором на этапе создания обучающего набора данных при обучении нейронной сети распознавания объекта устанавливают однородный фон и освещение объекта, производят съемку и из оригинального изображения объекта по контуру вырезают изображение и помещают на случайно выбранный фон и далее производят обучение нейронной сети на аугментированном подобным образом наборе данных, после чего для придания модулю отслеживания устойчивости при близком расположении объекта, оцениваются их пропорции и используют весовой коэффициент для балансировки, затем движущийся объект меняет расстояние ближе-дальше от камеры, после чего двигается в нужном направлении.

Способ отслеживания (трекинга) в реальном времени анатомических ориентиров объекта, содержащий захват одного или более исходных цветных изображений объекта целиком при помощи одной цифровой камеры, предварительную обработку исходных изображений объекта, определение абсолютного значения координат анатомических ориентиров маркерных точек объекта на исходных изображениях с учетом случаев, при которых некоторые ориентиры перекрываются телом объекта или отсутствуют, а также с учетом характера движения объекта с помощью учета абсолютного положения анатомических ориентиров объекта на соседних кадрах, определение дополнительной информации о надежности определения абсолютных координат анатомических ориентиров объекта на исходных изображениях, преобразование абсолютных значений координат анатомических маркерных ориентиров объекта на исходных изображениях в координаты виртуального трехмерного пространства с учетом случаев, при которых некоторые ориентиры перекрываются телом объекта или отсутствуют, а также с учетом характера движения объекта с помощью учета абсолютного положения анатомических ориентиров объекта на соседних кадрах, вычисление углов между частями тела объекта, определяющих его позу, при помощи ребер трехмерного графа, вершинами которого являются точки в виртуальном трехмерном пространстве с ранее вычисленными координатами, сравнение вычисленных значений углов между частями тела объекта, абсолютных координат анатомических маркерных ориентиров объекта на изображении и относительных координат анатомических ориентиров в виртуальном трехмерном пространстве с заранее заданными референсными значениями, генерацию сигнала обратной связи, пропорционального степени соответствия оцененной позы объекта заранее заданной референсной позе, отличающийся тем, что на этапе создания обучающего набора данных при обучении нейронной сети распознавания объекта устанавливают однородный фон и освещение объекта, производят съемку и из оригинального изображения объекта по контуру вырезают изображение и помещают на случайно выбранный фон и далее производят обучение нейронной сети на аугментированном подобным образом наборе данных, после чего для придания модулю отслеживания устойчивости при близком расположении объекта, оцениваются их пропорции и используют весовой коэффициент для балансировки, затем движущийся объект меняет расстояние ближе-дальше от камеры, после чего двигается в нужном направлении.