СПОСОБ И СИСТЕМА ОТСЛЕЖИВАНИЯ ДВИЖЕНИЙ ЧЕЛОВЕКА Российский патент 2020 года по МПК G01S5/06 

Область техники, к которой относится изобретение

Техническое решение относится к способам сбора, обработки и передачи данных от радио-инерциальных датчиков, предназначено для отслеживания движений человека или объекта внутри и снаружи помещений и может быть использована в таких областях как виртуальная реальность, медицина, киберспорт.

Уровень техники

Задача отслеживания движений человека стоит в таких областях как кинематограф, виртуальная реальность, медицина и спорт. Наибольшее распространение системы отслеживания движений получили в кинематографе, где их применяют для снятия движений с актера и дальнейшего переноса этих движений на вымышленного персонажа. В кинематографе системы отслеживания принято называть системами захвата движений (от англ. motion capture).

Известными решениями являются способы отслеживания движений на базе оптической и инерциальной технологий, которые имеют свои достоинства и недостатки.

Способы отслеживания положения человека или объекта на базе оптических систем известны, например, из заявки на выдачу патента US 20050105772 A1, опубликованной 19.05.2005, из заявки на выдачу патента JP 2005258891 A опубликованной 22.09.2005, и из патента US 7804998 B2 опубликованном 28.09.2010.

В состав оптических систем входит несколько камер инфракрасного диапазона и набор отражающих маркеров, закрепляющихся на специальном костюме, имитирующем скелет. Камеры излучают инфракрасные лучи и принимают отраженные от видимых маркеров отклики. Данные с камер передаются в вычислительные устройства с установленным специальным программным обеспечением. Использование большего числа камер способствует увеличению точности, так как некоторые маркеры в результате движения человека могут пропадать из зоны видимости камер. Известны дальномерные и угломерно-дальномерные оптические системы, пассивные и активные. В пассивных оптических системах маркеры являются простыми отражателями, не излучающими ответные сигналы инфракрасного диапазона. Такие системы используются для захвата движения мимики лица, так как на лице нет возможности размещать отражатели, снабженные передатчиками. В активных системах маркеры снабжены передатчиками, излучаемый сигнал которых промодулирован их индивидуальным идентификатором. Это позволяет отличать маркеры друг от друга на этапе обработки.

Основные технические параметры, определяющие количественные, качественные и стоимостные характеристики продукции (в сопоставлении с существующими аналогами, в т.ч. мировыми):

Точность определения координат (СКО в статике) - 0.1 см - Vicon Prime 41-0.1 см

Задержка - 10-30 мс - Vicon Prime 41 - 5.5 мс

Кадровая частота - 20-200 FPS - Vicon Prime 41 - 30-180 FPS

Для достижения необходимого темпа получения координат в заявленном техническом решении экстраполируют оценки координат в следящем фильтре на основе показаний инерциальных датчиков.

Для достижения необходимой точности оценок координат используют совместную обработку радио- и инерциальных измерений (для взаимного устранения характерных недостатков измерений каждого типа), а также увеличение используемой априорной информации, путем закладывания паттернов характерных движений в модель фильтра.

Выводы: предлагаемое техническое решение сопоставимо по точности с одним из лучших оптических аналогов, представленным на рынке, но проигрывает заявленному производителем (Vicon) значению задержки. При этом важно отметить физические особенности работы сравниваемых систем. Так, оптические системы чувствительны к световой обстановке и отражающим (зеркальным) поверхностям - их точность падает вплоть до полной потери сигнала. На предлагаемую комплексную систему это никак не влияет. Также существенными недостатками оптической системы является потеря сигнала при заслонении линии визирования - в предлагаемой системе этот эффект выражен значительно слабее.

Также значительным является покрываемое пространство одной камерой/радиомодулем: для оптических систем это определяется используемыми линзами и для сравниваемого варианта это весьма ограниченная область (51° по горизонтали и вертикали). В радиомодулях этот параметр определяется используемой антенной - в предлагаемой системе это почти всенаправленная антенна, позволяющая обеспечить свободное положение в пространстве модулей. Недостатком радиосистемы является чувствительность к металлическим поверхностям, однако проявляющееся за счет этого ухудшение точности улучшают за счет использования инерциальных датчиков.

Предполагаемая себестоимость одного модуля будет составлять порядка $200, цена одной камеры сравниваемого аналога - $5999

Стоимость аппаратной части: $2000-3000 + лицензия на ПО $10000

Для сравнения оптические решения требуют единовременно $25000-$100000 + лицензия

Предлагаемое техническое решение на базе радио-измерений имеет следующие преимущества перед оптическими системами:

- авто калибровка (отсутствует у оптических систем);

- система не чувствительна к освещенности рабочей зоны и светоотражающим поверхностям;

- меньше страдает от заслонений, по сравнению с оптическими системами;

- существенно дешевле: $200 за один модуль против $1-6 тыс.за одну камеру.

Способы отслеживания положения человека или объекта на базе инерциальных систем, например, патент US 6428490 B1 08.06.2002.

Инерциальные системы строятся на базе измерений датчиков угловых скоростей и линейных ускорений (гироскопов и акселерометров). Такие системы являются автономными, не требующими наличия инфраструктуры опорных маяков. Координаты и пространственные ориентации маркеров, снабженных трехосными акселерометрами и гироскопами, в заданной системе координат в помещении вычисляются в результате интегрирования соответствующих скоростей и ускорений. Для начала использования инерциальных систем необходима калибровка. Измерения таких датчиков являются менее зашумленными, чем радиоизмерения, но имеют «уход» показаний, проявляющийся с течением времени, связанный нестабильностью частоты опорного генератора. Уход измерений определяется классом точности инерциальных датчиков. Уход измерений приводит к накапливающейся ошибке позиционирования маркеров, поэтому инерциальные системы захвата движения требуют периодической корректировки показаний. Корректировка обеспечивается оптическими или радиосистемами. Чем выше класс точности инерциальных датчиков, тем дольше система может функционировать в автономном режиме без корректировки. С увеличением класса точности растет стоимость и габариты таких систем.

Главным преимуществом заявленного технического решения на базе радио технологий является отсутствие накапливающейся ошибки присущей инерциальным технологиям. Наличие накапливающейся систематической составляющей ошибки вносит определенные ограничения на время работы системы: длительность VR сессии ограничивается примерно 15 минутами, так как далее ошибка начинает влиять на корректность определения координат местоположения.

Наиболее близким по своей технической сущности к заявленному техническому решению, является техническое решение, описанное в патенте RU2107328C1, опубликованном 20.03.1998. Это решение основано на определении опорных направлений сегментов тела и дальнейшем расчете взаимных углов сегментов тела, на основании которых предлагается улучшение точности позиционирования тела человека. Данное решение не предъявляет жестких требований к типам используемых измерителей.

Отличие от прототипа заключается в:

а) Используемых измерителях (сверхширокополосные радио и инерциальные)

б) Оптимальных алгоритмах обработки измерений

в) В используемых моделях движения в качестве параметров присутствуют не только углы между суставными точками

г) Возможно отслеживание не только человека, но и объектов.

Сущность изобретения

Задачей, на решение которой направлено заявленное техническое решение, является отслеживание движений человека или объекта на базе радио-инерциальных датчиков.

Технический результат заключается в повышении точности определения положения человека или объекта в реальном времени, вследствие чего радио-инерциальные датчики могут применяться для отслеживания движений в виртуальных многопользовательских зонах полного погружения, в медицине и киберспорте.

Заявленный технический результат обеспечивается за счет того, что в способе отслеживания движений человека или объекта на основе радио-инерциальных датчиков размещают сверхширокополосные радиомаяки по периметру зоны в которой ведется слежение за движениями человека или объекта; закрепляют на человеке или объекте слежения сверхширокополосные радио-инерциальные приемники; излучают периодический импульсный сигнал от стационарных сверхширокополосных радиомаяков; фиксируют сверхширокополосными радио-инерциальными приемниками время прихода импульсов и производят оценку времени распространения сигнала; определяют координаты сверхширокополосных радио-инерциальных приемников на основе полученных оценок с использованием адаптивного фильтра, синтезированного на основе моделей движения человека или объекта, при этом на плоскости определяют точки пересечения двух или более линий положения относительно известных ориентиров, а в пространстве определяют пересечение трех поверхностей положения, причем определяют дополнительную линию положения о местоположении человека или объекта, при этом считывают оценки на выходе сверхширокополосных радио-инерциальных приемников и передают оценки на вход адаптивного фильтра; осуществляют адаптивную фильтрацию на базе моделей движений человека или объекта, и передают данные на выходе фильтра о положении и ориентации человека или объекта в реальном времени на компьютер в машиночитаемом виде.

В частном случае реализации заявленного технического решения располагают стационарные сверхширокополосные радиомаяки в количестве не менее 3 штук на нескольких уровнях высоты, чередованием для снижения геометрического фактора.

В частном случае реализации заявленного технического решения получают оценки разностей времен распространения сигналов от стационарных сверхширокополосных радиомаяков до сверхширокополосных радио-инерциальных приемников.

Заявленный технический результат обеспечивается за счет того, что система отслеживания движений человека или объекта на основе радио-инерциальных датчиков содержит множество каналов, множество сверхширокополосных радио-инерциальных приемников, размещенных на человеке или объекте, множество стационарных сверхширокополосных радиомаяков, расположенных по периметру зоны, блок обработки полученных оценок, источники питания для стационарных сверхширокополосных радиомаяков, при этом в каждом канале расположен квазиоптимальный фильтр, причем каждый фильтр синтезирован по одной из моделей движения.

В частном случае реализации заявленного технического решения содержит от 1 до 12 сверхширокополосных радио-инерциальных приемников, размещенных на человеке или объекте слежения.

В частном случае реализации заявленного технического решения содержит инфраструктуру из 8-10 стационарных сверхширокополосных радиомаяков.

В частном случае реализации заявленного технического решения содержит блок обработки сигналов сверхширокополосных радио-инерциальных приемников.

В частном случае реализации заявленного технического решения стационарные сверхширокополосные радиомаяки выполнены в виде радио-инерциальных датчиков.

Для достижения необходимого темпа получения координат в заявленном техническом решении экстраполируют оценки координат в следящем фильтре на основе показаний инерциальных датчиков.

Краткое описание чертежей

Детали, признаки, а также преимущества настоящего изобретения следуют из нижеследующего описания вариантов реализации заявленного технического решения с использованием чертежей, на которых показано:

Фиг. 1 - показаны линии положения в разностно-дальномерных системах;

Фиг. 2 - показан пример расположения маяков по периметру зоны;

Фиг. 3 - показана схема цифрового фильтра, в составе блока обработки оценок полученных на выходе приемников.

На фигурах обозначены следующие позиции:

1 - маяк; 2 - зона отслеживания; 3 - фильтр, 4 - вычислитель; 5 - перемножитель; 6 - сумматор.

Раскрытие изобретения

Для реализации способа отслеживания движений человека или объекта на основе радио-инерциальных датчиков могут быть использованы следующие технические компоненты:

Радио-инерциальные датчики, выполняющие роль маяков. Маяки (1) располагаются по периметру зоны (2) в которой отслеживается движение человека или объекта.

Маяки (1) располагаются таким образом, чтобы обеспечить наилучший геометрический фактор: чередуется высота стоек, на которых располагаются модули.

Исходя из проведенных исследований для достижения максимальных показателей качества работы системы на площади от 8 м² до 3000 м² необходимо расположить по периметру помещения не менее 8 якорей.

Радио-инерциальные датчики, выполняющие роль приемников. Приемники прикрепляются на тело человека или на объект.

Приемники измеряют разности дальностей до якорей и пересчитывают эти измерения в оценки собственных координат.

Система является беззапросной. Метод определения координат - разностно-дальномерный. Поясним его суть и особенности.

Разностно-дальномерный метод основан на определении разности расстояний между радиомаяками (неподвижными излучателями сигналов) до потребителя. Разность расстояний рассчитывается исходя из разности моментов времени приема сигнала от каждого маяка [1, 2]. Определение местоположения объекта происходит путем определения точки пересечения двух или более линий (поверхностей) положения, относительно известных ориентиров. Линией (поверхностью) положения называется геометрическое место точек пространства с одинаковым значением навигационного параметра (навигационных параметров). Местоположение объекта определяется координатами точки пересечения двух линий положения (на плоскости) или трех поверхностей положения (в пространстве). В ряде случаев (из-за нелинейности линий положения) две линии положения могут пересекаться в двух или более точках. При этом однозначно найти местоположение можно только, используя дополнительную линию положения или иную информацию о местоположении объекта.

Линии положения в случае разностно-дальномерных систем (РДС) имеют вид плоских гипербол для случая определения координат на плоскости и гиперболоида для случая определения координат в пространстве. При этом в фокусах гипербол находятся радиомаяки, до которых измеряется разность расстояний (Фиг. 1).

Цифровой вычислитель, который может быть реализован в виде персонального компьютера, который выполняет, в том числе, следующие алгоритмы:

- алгоритм считывания оценок на выходе приемников и передачи на вход адаптивного фильтра;

- алгоритм адаптивной фильтрации на базе моделей движений человека или объекта, определяющий координаты приемников на основе полученных оценок;

- алгоритм передачи координат в реальном времени с выхода адаптивного фильтра в машиночитаемом виде.

В основе программного обеспечения разрабатываемой системы трекинга лежит нелинейный particle фильтр, оценивающий параметры, входящие в вектор состояния:

где χ - вектор координат, V - вектор скорости, q - кватернион вращения, ε - вектора смещения показаний акселерометра и гироскопа.

Нелинейная связь между компонентами вектора состояния:

В качестве априорных динамических моделей используется библиотека разработанных моделей движения человека.

Идея заключается в том, что при рассмотрении равномерного движения (в смысле сохранения направления и средней скорости) в нем можно выделить основную гармонику, характерную для координат всех точек тела человека - в такт шагам. Дополнительной информацией, позволяющей повысить точность системы, также является информация о фиксированном расстоянии между суставами (маркерными точками) и ограничениях, налагаемых на движения частей тела (например, сохранение вертикального положения, средние отклонения, жесткость членов тела и пр.).

Предлагается аппроксимация закона изменения координат (как вертикальной, так и горизонтальной) любой точки в виде суммы двух составляющих:

- среднего за период наблюдения закона, «тренда»;

- гармонического колебания с периодом, равным длительности одного (голова, туловище) или двух шагов (ноги, руки).

Для горизонтальной координаты (пути) тренд - линейная функция (так как скорость ходьбы принята постоянной). Для вертикальной координаты (высоты) тренд - константа (так как ходьба осуществляется на горизонтальной плоскости). Период гармонических составляющих считается постоянным.

Исходя из этих положений были разработаны 12-точечный модели движения всего тела человека для ходьбы и бега.

Итогом является многоканальная следящая система, в каждом канале которой находится квазиоптимальный фильтр. Каждый фильтр синтезирован по одной из предложенных моделей движения (т.е. каждый фильтр рассчитан на определенную динамику пользователя) (фиг. 2). С учетом того, что динамика пользователя априорно достоверно неизвестна и меняется в течение сессии пользования системой трекинга, на протяжении всей сессии тот или иной фильтр будет более корректно оценивать координаты пользователя. В случае если происходит движение, не заложенное в предложенную библиотеку паттернов, предусмотрено наличие простых фильтров нижних частот (ФНЧ). На этом основании реализован расчет весов конечного вклада оценок каждого фильтра [3]:

где,

- Н - матрица наблюдений;

- - матрица экстраполированных дисперсий ошибок фильтрации;

- D_n - матрица дисперсий шумов наблюдений;

- - экстраполированный вектор состояния;

- у - наблюдаемая реализация на входе приемника.

Заявленное техническое решение на порядок увеличивает точность определения координат, полученных с радио-инерциальных датчиков.

Рассмотрим работу заявленного технического решения на примере отслеживания движений человека для задач в области виртуальной реальности. По периметру зоны (2) отслеживания в которой происходит слежение за движениями человека располагаются маяки (1) (фиг. 1). Каждый маяк (1) подключается к источнику питания. Приемники прикрепляют на тело человека в количестве от 1 до 12 штук в зависимости от задач. При этом, приемники помещаются в небольшие коробки со специальными фиксаторами для удобства крепления на различных частях тела человека. Передача информации с приемников поступает на персональный компьютер. Данные с выхода приемников в режиме реального времени поступают на персональный компьютер, в котором происходит обработка данных с помощью адаптивного фильтра. Координаты, полученные на выходе фильтра, поступают в виртуальную среду. Таким образом, становится возможным видеть собственные движения и взаимодействовать всем телом с виртуальной средой.

Хотя заявленное техническое решение описано конкретным примером его реализации, это описание не является ограничивающим, но приведено лишь для иллюстрации и лучшего понимания существа технического решения, объем которого определяется прилагаемой формулой.

ИСТОЧНИКИ

1. Поваляев А.А. Спутниковые радионавигационные системы: время, показания часов, формирование измерений и определение относительных координат.- М.: Радиотехника, 2008.

2. Beck В., Baxley R., Joseph K. Real-time, anchor-free node tracking using ultrawideband range and odometry data. - Ultra-WideBand (ICUWB), 2014 IEEE International Conference.

3. Перов А.И. Статистическая теория радиотехнических систем. Учеб. пособие для вузов. - М.: Радиотехника, 2003, 400 с, ил.

Изобретение относится к отслеживанию движений человека или объекта внутри и снаружи помещений и может быть использовано в таких областях, как виртуальная реальность, медицина, киберспорт. Техническим результатом является повышение точности определения положения человека или объекта в реальном времени. В способе отслеживания движений человека или объекта на основе радиоинерциальных датчиков размещают сверхширокополосные радиомаяки по периметру зоны, в которой ведется слежение за движениями человека или объекта; закрепляют на человеке или объекте слежения сверхширокополосные радиоинерциальные приемники; излучают периодический импульсный сигнал от стационарных сверхширокополосных радиомаяков; фиксируют сверхширокополосными радиоинерциальными приемниками время прихода импульсов и производят оценку времени распространения сигнала; определяют координаты сверхширокополосных радиоинерциальных приемников на основе полученных оценок с использованием адаптивного фильтра, синтезированного на основе моделей движения человека или объекта, при этом считывают оценки на выходе сверхширокополосных радиоинерциальных приемников и передают оценки на вход адаптивного фильтра; осуществляют адаптивную фильтрацию на базе моделей движений человека или объекта и передают данные на выходе фильтра о положении и ориентации человека или объекта в реальном времени на компьютер в машиночитаемом виде. Система отслеживания движений человека или объекта на основе радиоинерциальных датчиков содержит множество каналов, множество сверхширокополосных радиоинерциальных приемников, размещенных на человеке или объекте, множество стационарных сверхширокополосных радиомаяков, расположенных по периметру зоны, блок обработки полученных оценок, источники питания для стационарных сверхширокополосных радиомаяков, при этом в каждом канале расположен квазиоптимальный фильтр, причем каждый фильтр синтезирован по одной из моделей движения. 2 н. и 6 з.п. ф-лы, 3 ил.

1. Способ отслеживания движений человека или объекта на основе радиоинерциальных датчиков, в котором:

размещают сверхширокополосные радиомаяки по периметру зоны, в которой ведется слежение за движениями человека или объекта;

закрепляют на человеке или объекте слежения сверхширокополосные радиоинерциальные приемники;

излучают периодический импульсный сигнал от стационарных сверхширокополосных радиомаяков;

фиксируют сверхширокополосными радиоинерциальными приемниками время прихода импульсов и производят оценку времени распространения сигнала;

определяют координаты сверхширокополосных радиоинерциальных приемников на основе полученных оценок с использованием адаптивного фильтра, синтезированного на основе моделей движения человека или объекта,

при этом на плоскости определяют точки пересечения двух или более линий положения относительно известных ориентиров, а в пространстве определяют пересечение трех поверхностей положения,

причем определяют дополнительную линию положения о местоположении человека или объекта,

при этом считывают оценки на выходе сверхширокополосных радиоинерциальных приемников и передают оценки на вход адаптивного фильтра; осуществляют адаптивную фильтрацию на базе моделей движений человека или объекта,

и передают данные на выходе фильтра о положении и ориентации человека или объекта в реальном времени на компьютер в машиночитаемом виде.

2. Способ по п. 1, отличающийся тем, что располагают стационарные сверхширокополосные радиомаяки в количестве не менее 3 штук на нескольких уровнях высоты, чередованием для снижения геометрического фактора.

3. Способ по п. 1, отличающийся тем, что получают оценки разностей времен распространения сигналов от стационарных сверхширокополосных радиомаяков до сверхширокополосных радиоинерциальных приемников.

4. Система отслеживания движений человека или объекта на основе радиоинерциальных датчиков, содержащая множество каналов, множество сверхширокополосных радиоинерциальных приемников, размещенных на человеке или объекте, множество стационарных сверхширокополосных радиомаяков, расположенных по периметру зоны, блок обработки полученных оценок, источники питания для стационарных сверхширокополосных радиомаяков,

при этом в каждом канале расположен квазиоптимальный фильтр, причем каждый фильтр синтезирован по одной из моделей движения.

5. Система по п. 4, отличающаяся тем, что содержит от 1 до 12 сверхширокополосных радиоинерциальных приемников, размещенных на человеке или объекте слежения.

6. Система по п. 4, отличающаяся тем, что содержит инфраструктуру из 8-10 стационарных сверхширокополосных радиомаяков.

7. Система по п. 4, отличающаяся тем, что содержит блок обработки сигналов сверхширокополосных радиоинерциальных приемников.

8. Система по п. 4, отличающаяся тем, что стационарные сверхширокополосные радиомаяки выполнены в виде радиоинерциальных датчиков.