УСТРОЙСТВО, СПОСОБ И КОМПЬЮТЕРНАЯ ПРОГРАММА ДЛЯ РЕКОНСТРУКЦИИ ДВИЖЕНИЯ ОБЪЕКТА Российский патент 2017 года по МПК G06K9/00 G06T13/40 

Варианты выполнения настоящего изобретения относятся к устройствам, способам и компьютерным программам для реконструкции движения объекта при помощи предварительно выработанных или же предварительно сохраненных последовательностей движения компьютерной модели объекта.

В многочисленных вариантах применения представляется желательным иметь возможность предоставить в распоряжение надежную реконструкцию движения, например, для анализа ситуаций и/или анализа движений в спортивных передачах. Например, во многих видах спорта, в частности в футболе, гандболе, американском футболе, баскетболе, бейсболе, боксе (упомянуты лишь некоторые), существует потребность анализа определенных ситуаций движения спортсменов и/или игрового инструмента (например, мяча), в реальном времени или впоследствии (последующий анализ).

В настоящее время для этого преимущественно применяют оптические, то есть, основанные на системах камер системы, при помощи которых ситуации движения при заинтересованности могут заново воспроизводиться и анализироваться, например, при помощи повторений и регулировок скоростной съемки. Однако на практике такие системы регулярно наталкиваются на свои границы, так что всегда может случиться то, что даже скоростная съемка не дает возможности достаточной достоверности в отношении сомнительной игровой ситуации и/или сомнительной последовательности движения. В некоторых ситуациях движение и/или положение объекта под определенным углом зрения, например, углом зрения камеры, которая записывала игровую ситуацию, не может однозначно распознаваться, так как, например, вид на существенные элементы тела и/или игровые инструменты закрыт другими объектами.

Так как со спортивными соревнованиями и их результатами в профессиональном спорте преимущественно сопряжено также большое финансовое и/или экономическое значение, должны быть, в частности, предотвращены такие ошибочные решения, которые могут драматически повлиять на результат спортивного соревнования. Характерными примерами этого являются решения о пенальти, офсайде или голе в футболе. В других видах спорта имеются сравнимые важные решения, которые, основываясь на оптических системах, зачастую могут приниматься лишь с недостаточной точностью.

Чтобы при определенных обстоятельствах иметь возможность принимать решающие для игры решения более надежно и/или более правильные или же более многосторонние заключения о последовательностях движения, задача настоящего изобретения состоит в том, чтобы предоставить в распоряжение улучшенные по сравнению с состоянием техники возможности оценки или же анализа ситуаций движения.

Эта задача решена посредством устройств, способов и компьютерных программ с признаками независимых пунктов формулы изобретения.

Дальнейшие благоприятные варианты выполнения и усовершенствования являются предметом зависимых пунктов формулы изобретения.

Согласно основному замыслу варианты выполнения настоящего изобретения используют по меньшей мере одну базу данных, содержащую заранее сохраненные последовательности движения или же сегменты образца движения компьютерной модели, которые при помощи компьютера сравниваются с зарегистрированными впоследствии реальными последовательностями движения или же сегментами образца движения реального объекта, например, живого организма. Если в сохраненных последовательностях движения при помощи соответствующего алгоритма находится подходящий к реальному движению образец движения компьютерной модели объекта, то реальное движение объекта может быть виртуально реконструировано, основываясь на найденном образце движения компьютерной модели. Таким образом, при помощи такой виртуальной реконструкции движения, фактически производимого объектом, например, человеком или животным, может быть создан вид виртуальной реальности, который предоставляет существенно более гибкие возможности рассмотрения или анализа, чем это возможно при помощи традиционных систем.

Согласно первому аспекту настоящего изобретения предложен способ реконструкции реального движения объекта из последовательности сегментов образца движения компьютерной модели объекта. При этом каждый сегмент образца движения соответствует различным интервалам или же отрезкам времени движения. Кроме того объект, например, живой организм, в частности, человек, имеет по меньшей мере одну опорную точку для регистрации движения, соединенную с датчиком или же маркером положения или же снабженную им. Согласно вариантам выполнения способ включает в себя следующие этапы:

a) регистрация реального перехода движения между начальным состоянием движения и конечным состоянием движения объекта в интервале времени реального движения, основываясь на принятых от датчика/маркера положения данных о положении по меньшей мере одной опорной точки;

b) выбор из множества заложенных в базу данных образцов движения компьютерной модели по меньшей мере одного сегмента образца движения, соответствующего реальному переходу движения, таким образом, что выбранный сегмент образца движения с достаточной (в частности, с наибольшей) вероятностью приводит, начиная от начального состояния движения, к конечному состоянию движения для данного интервала времени; и

с) реконструкция виртуального отображения реального движения объекта для данного интервала времени с применением начального состояния движения и выбранного сегмента образца движения.

Под достаточной вероятностью ниже следует понимать вероятность, находящуюся выше определенного порога вероятности, который при определенных обстоятельствах может быть согласован с условиями окружающей среды или условиями передачи. В некоторых вариантах выполнения при выборе по меньшей мере одного сегмента образца движения, соответствующего реальному переходу движения, образуются один или несколько потенциальных сегментов образца движения с различными вероятностями. При этом в некоторых вариантах выполнения из этих потенциальных сегментов образца движения выбирают тот, который с наибольшей вероятностью приводит, начиная от начального состояния движения, к конечному состоянию движения для рассматриваемого интервала времени. При конечном количестве возможных состояний движения и переходов движения компьютерной модели всегда будет иметься по меньшей мере один сегмент образца движения, который, по сравнению с другими, с наибольшей вероятностью приводит, начиная от начального состояния движения, к конечному состоянию движения для рассматриваемого интервала времени.

В отношении способа согласно некоторым вариантам выполнения речь может идти об итерационном и предпочтительно реализованном на компьютере способе, который может выполняться при помощи соответствующим образом запрограммированного компонента аппаратного обеспечения, например, процессора или интегрированной схемы, когда компьютерная программа, реализующая способ, выполняется или же протекает в нем. Таким образом, упомянутые выше этапы а)-с) способа могут образовывать текущую итерацию итерационного способа реконструкции движения. При этом начальное состояние движения для текущей итерации может быть реконструировано или же рассчитано на предшествующей итерации итерационного способа, так что реконструированное отображение движения в общей сложности может составляться из множества выбранных сегментов образца движения, соответствующих следующим друг за другом интервалам времени/итерациям. При выборе зарегистрированный или же обнаруженный реальный переход движения объекта может итерационно сравниваться с заложенными образцами движения компьютерной модели, так что может определяться гипотеза для текущего состояния движения объекта, основываясь по меньшей мере на одном прошедшем состоянии движения объекта и текущей вероятности перехода, которая соответствует возможному переходу движения между по меньшей мере двумя следующими по времени друг за другом дискретными состояниями движения объекта. При этом текущее состояние движения и по меньшей мере одно прошедшее состояние движение объекта могут образовывать последовательность модели Маркова, то есть, различные состояния и переходы движения могут согласно некоторым вариантам выполнения моделироваться при помощи дискретной цепи Маркова. При таких вариантах выполнения при помощи выбора по меньшей мере одного сегмента образца движения может определяться наиболее вероятная последовательность состояний движения при заранее определенной модели Маркова и зарегистрированной (и возможно содержащей шумы) последовательности переходов движения, чтобы реконструировать реальное движение объекта.

Соответствующим образом запрограммированное или оборудованное аппаратное обеспечение для проведения способа может согласно следующему аспекту настоящего изобретения рассматриваться в виде устройства для реконструкции реального движения объекта из последовательности сегментов образца движения компьютерной модели объекта, при этом каждый сегмент образца движения соответствует различным интервалам времени движения, причем объект имеет по меньшей мере одну опорную точку, соединенную с датчиком/маркером положения или же снабженную им. При этом устройство включает в себя оборудование для регистрации или же обнаружения (реального) перехода движения между начальным состоянием движения и конечным состоянием движения объекта в интервале времени движения, основываясь на принятых от маркера положения данных о положении по меньшей мере одной опорной точки. Кроме того, устройство включает в себя оборудование для выбора из множества заложенных в базу данных образцов движения компьютерной модели по меньшей мере одного сегмента образца движения, соответствующего переходу движения, при этом выбранный сегмент образца движения с достаточной вероятности приводит, начиная от начального состояния движения, к конечному состоянию движения для данного интервала времени. Кроме того, предусмотрено оборудование для реконструкции отображения движения объекта для данного интервала времени с применением начального состояния движения и выбранного сегмента образца движения. Согласно вариантам выполнения отдельные элементы оборудования следует соответственно понимать как электронные коммутационные элементы устройства.

Объектом, движение которого должно реконструироваться, может быть, в частности, многозвенный объект, в котором отдельные звенья разделены шарнирными участками и являются подвижными друг по отношению к другу. Таким образом, к такому объекту могут относиться, например, люди, животные, а также механические конструкции. Возможны также спортивные инструменты, например, мячи или биты. Чтобы иметь возможность определения данных о положении отдельных частей объекта, опорные точки на объекте или же на отдельных частях объекта, например, на шарнирах и/или звеньях, соответственно снабжены датчиками. При этом согласно некоторым вариантам выполнения может идти речь об основанных на радиосвязи датчиках или же маркеров положения системы локализации в реальном времени (RTLS = Real-Time Locating System), которая может определять географическое положение или же координаты (например, координаты х, у, z) датчиков или же радиочастотных маркеров в реальном времени. Таким образом, оборудование для регистрации реального перехода движения согласно некоторым вариантам выполнения может быть адаптировано, чтобы регистрировать реальное движение или же реальный переход движения объекта в реальном времени. При этом «реальное время» подразумевает требование, что результат, например, передаваемые или рассчитанные координаты, гарантированно определяются в пределах заранее жестко определенного интервала времени, то есть, результат имеется перед определенной границей времени. Таким образом, система, работающая в реальном времени, должна не только передавать результат измерений или расчета с правильным значением, но и передавать его своевременно, например, в пределах доли секунды.

Таким образом, согласно вариантам выполнения датчик или же маркер положения может иметь активный радиопередатчик, который прикрепляют в подлежащей локализации опорной точке объекта, и который постоянно или регулярно передает радиосигналы для определения положения на радиоприемник оборудования для регистрации перехода движения. Маркер положения может содержать произвольное количество дополнительных систем датчиков, например, датчик ускорения, компас, датчик ориентации, гироскоп, барометр и т.д. Приемник может, например, на основании измерений угла и времени прохождения сигнала регистрировать требующиеся для расчета положения передатчика телеметрические данные, например, координаты, данные о скорости, данные об ускорении и т.д. При этом принципиально возможны почти произвольные радиочастоты, например, частоты промышленных, научных и медицинских диапазонов (ISM = Industrial, Scientific and Medical). Согласно одному варианту выполнения несущая частота может составлять, например, 2,4 ГГц. Временной интервал между следующими друг за другом наборами телеметрических данных может адаптироваться к скорости и/или к точности регистрируемого движения. Так например, возможны частоты обновления передаваемых телеметрических данных от нескольких Гц до нескольких кГц.

Преимущество основанной на радиосвязи системы локализации по сравнению с оптическими системами следует усматривать, в частности, в том, что не может произойти оптических затенений ситуаций движения или игровых ситуаций. Переданные или же определенные при помощи радиосвязи данные о положении обеспечивают возможность реконструкции движения объекта из любой перспективы, что при оптических сигналах, как уже было описано, не всегда возможно. После реконструкции движения оно может виртуально рассматриваться из любой перспективы.

В базе данных или же в электронном запоминающем устройстве находятся заранее выработанные образцы движения или же сегменты образца движения компьютерной модели, которые соответствуют возможным реальным движениям или же участкам движения объекта и определяются при помощи непрерывных положений или же координат опорных точек компьютерной модели. Опорные точки компьютерной модели могут по существу соответствовать опорным точкам реального объекта. При этом сегмент образца движения включает в себя по меньшей мере один отдельный кадр (фрейм), а предпочтительно множество отдельных кадров (фреймов) движения компьютерной модели. Предварительно определенные образцы движения или же сегменты образца движения могут быть предварительно или же первоначально разработаны при помощи известных способов регистрации движения (Motion Capture), при этом, например, человеческие движения передаются на генерируемую в компьютере трехмерную модель. Таким образом, заложенные в базу данных образцы движения могут быть заранее определенными трехмерными образцами движения трехмерной компьютерной модели, которые соответствуют возможным реальным движениям объекта.

Регистрируемыми или же моделируемыми движениями могут быть, в частности, движения, представляющие особый интерес при последующей реконструкции движения, например, определенные комбинации ударов боксера или определенные последовательности движений футболиста. При первоначальной выработке образцов движения в рамках предварительной обработки датчики или же маркеры могут прикрепляться на тех же опорных точках, например, на суставах или определенных позициях тела, как для последующей реконструкции движения. Для первоначальной выработки образцов движения могут также применяться не основанные на радиосвязи способы локализации, например, оптические способы. При оптическом слежении можно работать с камерами, которые сопровождают активные (то есть, выдающие сигнал) или пассивные маркеры положения на подлежащих регистрации персонах или предметах. На основании движений маркера в отдельных кадрах камеры (фреймах) при помощи триангуляции может быть рассчитано положение маркера в трехмерном пространстве. Кроме того, посредством распознавания образца при обработке изображения возможен также способ регистрации движения без маркера. После преобразования в цифровую форму зарегистрированные при предварительной обработке исходные данные о движении могут импортироваться в трехмерную компьютерную модель и там подвергаться дальнейшей обработке. При этом они могут передаваться на виртуальный скелет (разновидность трехмерного штрихового человечка). Этот скелет может в свою очередь быть связан с сетчатой моделью, которая отображает зарегистрированные движения в виде цифрового образца движения или же сегмента образца движения. После синтеза изображения или же рендеринга для наблюдателя видно, как виртуальная фигура или же компьютерная модель будет выполнять движения исходной персоны или исходного предмета.

Предварительно зарегистрированный таким образом цифровой образец движения или же сегмент образца движения может затем сохраняться в базе данных, при необходимости с нормированием до нормированной величины. При этом сохраненный сегмент образца движения может также относиться более чем к одному образцу движения. Это означает, что цифровой образец движения может составляться из множества цифровых сегментов образца движения, которые соответствуют различным интервалам времени цифрового образца движения, при этом вследствие абсолютных и/или относительных положений маркеров определенные временные последовательности сегментов образца движения являются анатомически невероятными или даже невозможными. Поэтому положения маркеров следующих друг за другом по времени сегментов образца движения не должны выходить за определенные границы взаимной корреляции. Различные комплексные цифровые образцы движения могут частично содержать одинаковые цифровые сегменты образца движения, которые соответствуют одинаковым или очень похожим участкам движения реальных движений, соответствующим различным цифровым образцам движения.

Согласно некоторым вариантам выполнения реконструкция может осуществляться не только на основании цифровой базы данных движений, но и учитывать для объекта физическую модель, которая запрещает или же разрешает некоторые движения. Преимуществом этого является физически корректное моделирование интерполяции движения объекта между различными образцами движения. Так например, может физически корректно производиться переход от «бега» к «прыжку».

Подлежащий реконструкции реальный переход движения между двумя состояниями движения объекта может регистрироваться или же определяться на основании различных дискретных данных о положении. При этом данные о положении из системы локализации в трехмерном пространстве представляют собой входные данные для реконструкции движения. Они происходят от различных положений объекта, в зависимости от того, где прикреплен или же был прикреплен передатчик (маркер). При этом первый дискретный набор данных о положении, отводимый по меньшей мере от одного маркера положения, описывает первое состояние движения (например, начальное состояние движения), а второй, следующий за ним набор данных о положении описывает второе состояние движения (например, конечное состояние движения) в пределах интервала времени между обоими дискретными наборами данных о положении. Согласно вариантам выполнения интервал времени может соответствовать продолжительности одного отдельного кадра или же фрейма сохраненного в базе данных ранее зарегистрированного образца движения или же сегмента образца движения, то есть, например, интервалу времени от 1/48 до 1/12 секунды, в частности, 1/24 или 1/25 секунды. Таким образом, зарегистрированный переход движения соответствует по меньшей мере одной траектории по меньшей мере одного находящегося на объекте маркера положения в данном интервале времени. В случае более комплексных объектов, например, человека, будет идти речь о множестве (основанных на радиосвязи) маркеров положения, чтобы получить достаточное количество опорных точек для подлежащего регистрации реального движения. Таким образом, зарегистрированный переход движения соответствует начальному и конечному положениям опорных точек в данном интервале времени. При этом анатомически, в зависимости от объекта и движения, будут возможными не произвольные начальное и конечное положения опорных точек (например, суставов и участков скелета), в частности, по отношению к предшествующим интервалам времени.

Если по меньшей мере один подлежащий реконструкции реальный переход движения объекта зарегистрирован или же обнаружен, то на основании этого из множества заложенных в базу данных цифровых образцов движения компьютерной модели может быть выбран по меньшей мере один цифровой сегмент образца движения, соответствующий реальному переходу движения. Это может происходить, например, посредством сравнения относительных и абсолютных положений маркера между зарегистрированным реальным движением и сохраненным цифровым образцом движения. Чтобы сделать это сравнение максимально независимым от величины объекта, зарегистрированные данные о положении или же движении и/или заложенные в базу данных цифровые модели движения согласно некоторым вариантам выполнения могут подвергаться нормированию. При этом нормирование приводит к нормированной величине объекта. Таким образом, согласно некоторым вариантам выполнения заложенные в базу данных цифровые образцы движения могут подвергаться нормированию, при этом для выбора цифрового сегмента образца движения принятые от маркеров положения на объекте данные о положении снабжают соответствующим величине объекта коэффициентом масштабирования, чтобы получить нормированное движение объекта.

Согласно вариантам выполнения выбирают тот цифровой сегмент образца движения, который с достаточной, предпочтительно с максимальной вероятностью приводит, начиная от начального состояния движения, к конечному состоянию движения для данного интервала времени. При этом согласно некоторым вариантам выполнения различные возможные состояния движения могут моделироваться при помощи модели Маркова или же дискретной цепи Маркова, чтобы задать вероятности для возникновения будущих событий или же состояний движения. Цепь Маркова имеет то свойство, что посредством сведений ограниченной предыстории возможны такие же хорошие прогнозы о будущем развитии, как при сведениях о всей предыстории процесса. В частности, последовательности движений могут также моделироваться в виде так называемой скрытой модели Маркова (НММ). НММ является стохастической моделью, в которой система моделируется посредством цепи Маркова с ненаблюдаемыми состояниями. НММ может рассматриваться как простейший частный случай динамической сети Байеса. Моделирование в виде цепи Маркова означает, что система случайным образом переходит из одного состояния движения в другое, при этом вероятности перехода между состояниями движения соответственно зависят лишь от текущего состояния движения, а не от принятых перед этим состояний движения. Кроме того, принято, что вероятности перехода являются постоянными во времени. Однако при НММ извне наблюдают не сами эти состояния, они могут быть скрытыми. Вместо этого каждому из этих внутренних состояний сопоставляют наблюдаемые выходные символы, так называемые эмиссии, которые возникают согласно состоянию с определенными вероятностями. Задача преимущественно состоит в том, чтобы из наблюдаемой последовательности эмиссий придти к теоретико-вероятностному заключению о скрытых состояниях. Выбор одного или нескольких сегментов образца движения, подходящих к одному или нескольким зарегистрированным переходам движения, может при этом осуществляться, например, при помощи алгоритма динамического программирования, например, прямого алгоритма, обратного алгоритма или алгоритма Витерби.

После того, как описанным выше способом выбраны один или несколько сегментов образца движения компьютерной модели, подходящих к зарегистрированному реальному движению, на основании этого может реконструироваться или же отображаться виртуальное отображение зарегистрированного движения при помощи выбранных сегментов образца движения компьютерной модели. Согласно различным вариантам выполнения реконструкция может производиться в реальном времени и/или в процессе последующей обработки. Выбранные из базы данных сегменты образца движения компьютерной модели, то есть, фреймы сегментов образца движения компьютерной модели, могут воспроизводиться на электронном устройстве индикации, например, на дисплее. В идеальном случае воспроизведенное движение компьютерной модели совпадает с реальным движением реального объекта. В случае сегментов образца движения, заложенных с нормированием, выбранный сегмент образца движения для реконструкции отображения может снабжаться соответствующим реальной величине объекта коэффициентом масштабирования, чтобы реконструировать денормированную последовательность движения объекта, содержащего по меньшей мере одну опорную точку движения.

Таким образом, варианты выполнения относятся к концепции, которая обеспечивает возможность реконструкции подвижных и многозвенных объектов (например, людей, животных, механических конструкций) или же совокупностей объектов, например, на основании данных радиочастотных маркеров. Совокупностью объектов при этом является несколько взаимодействующих объектов, например, игрок, который ведет мяч дриблингом, или вилочный погрузчик и паллеты. На произвольных опорных точках объекта могут быть прикреплены радиочастотные маркеры или же датчики. Может быть предусмотрена обладающая достаточно точным разрешением система RTLS, которая определяет положение (например, в координатах х, y, z) радиочастотного маркера в реальном времени. Положения радиочастотного маркера могут выдаваться, например, посредством точных данных RTLS (Real Time Location System), в форме координат х, y, z в пространстве и/или посредством данных об ускорении и т.д. Посредством этого с достаточной точностью и частотой обновления положений может обеспечиваться возможность виртуальной реконструкции реальных объектов. Количество радиочастотных маркеров на объекте может произвольно варьироваться в сторону увеличения. Реконструкция движения может осуществляться либо в реальном времени, либо в процессе последующей обработки.

В цифровой базе данных движения может находиться произвольное количество цифровых образцов движения. Для подлежащего регистрации объекта могут быть сохранены произвольные цифровые участки движения и в произвольном количестве. Для людей они могут включать в себя типовые движения, например, бег, ходьба, прыжки и т.д. Сохраненные участки движения могут содержать определенное количество отдельных кадров или же фреймов с опорными точками радиочастотных маркеров и всем объектом.

Варианты выполнения настоящего изобретения обеспечивают возможность рациональной или же достоверной реконструкции движения объекта, даже если зарегистрированные данные радиочастотных маркеров являются неполными или содержат шумы, и могут, например, применяться для виртуальной трехмерной реконструкции движения, для приложений виртуальной реальности, приложений расширенной реальности, для анализа тренировок, для анализа игры или для аудиовизуальных средств. Равным образом возможна передача данных о движении на (мобильные) оконечные устройства и реконструкция движения на оконечном устройстве. Некоторые варианты выполнения обеспечивают также возможность реконструкции данных о движении в реальном времени при небольших ресурсах аппаратного обеспечения.

Некоторые варианты выполнения настоящего изобретения подробнее описываются ниже со ссылками на прилагаемые чертежи. На них изображено:

фиг. 1 - схематическая диаграмма последовательности способа реконструкции движения объекта согласно одному варианту выполнения;

фиг. 2 - блок-схема устройства для реконструкции движения объекта согласно одному варианту выполнения;

фиг. 3 - схематическое изображение для пояснения регистрации реального перехода движения;

фиг. 4а - примерное изображение цепи Маркова для моделирования состояний движения;

фиг. 4b - схематическое изображение для пояснения выбора соответствующего зарегистрированному переходу движения цифрового сегмента образца движения из базы данных движения при помощи матрицы;

фиг. 5 - схематическое изображение для пояснения реконструкции виртуального отображения движения объекта с применением выбранного цифрового сегмента образца движения; и

фиг. 6 - блок-схема системы для реконструкции движения объекта согласно одному варианту выполнения.

В последующем примерном описании некоторых вариантов выполнения настоящего изобретения одинаковые номера позиций могут относится к одинаковым, аналогичным или функционально одинаковым конструкционным элементам или же компонентам.

На фиг. 1 показано схематическое изображение диаграммы последовательности способа 100 виртуальной реконструкции реального движения объекта, например, спортсмена, из последовательности заранее выработанных цифровых сегментов образца движения компьютерной модели объекта (например, спортсмена) согласно одному варианту выполнения настоящего изобретения.

В способе 100 реконструкции движения каждый сегмент образца движения или же каждый участок образца движения соответствует различным интервалам или же периодам времени движения. Реальный объект, реальное движение которого должно реконструироваться, содержит по меньшей мере одну опорную точку движения, снабженную маркером положения. Согласно некоторым вариантам выполнения маркером положения может быть маркер положения, основанный на радиосвязи. Объект может иметь одну или несколько опорных точек движения. Опорные точки соответствуют местам закрепления маркеров положения.

Способ 100 реконструкции движения включает в себя после стартового этапа 101 этап 102 регистрации (реального) перехода движения между начальным состоянием движения и конечным состоянием движения в интервале времени реального движения, основываясь на принятых от маркера положения данных о положении по меньшей мере одной опорной точки движения. При основанных на радиосвязи маркерах положения принятые данные о положении могут в большей или в меньшей степени содержать шумы. Кроме того, способ 100 включает в себя этап 104 выбора, при котором из множества заложенных в базу данных или же в запоминающее устройство цифровых образцов движения компьютерной модели выбирают по меньшей мере один цифровой сегмент образца движения, соответствующий зарегистрированному или же обнаруженному реальному переходу движения, таким образом, что выбранный цифровой сегмент образца движения с достаточно высокой вероятностью приводит, начиная от начального состояния движения, к конечному состоянию движения в данном интервале времени. На следующем этапе 106 способа реконструируется виртуальное отображение реального движения объекта для данного интервала времени с применением начального состояния движения и выбранного цифрового сегмента образца движения.

Согласно некоторым вариантам выполнения этапы 102-106 способа означают текущую итерацию или же рекурсию итерационного или же рекурсивного способа реконструкции реального движения объекта (например, спортсмена). Это означает, что начальное состояние движения для текущей итерации/рекурсии может быть реконструировано или же подвергнуто оценке на предшествующей итерации/рекурсии итерационного/рекурсивного способа, так что реконструированное виртуальное отображение реального движения может составляться из множества выбранных цифровых сегментов образца движения, соответствующих следующим друг за другом интервалам времени или итерациям/рекурсиям. Для множества следующих друг за другом интервалов времени отсюда получается реконструкция всего реального движения объекта, основанная на соответствующих нескольким интервалам времени сегментах образца движения. Если представляет интерес реконструкция реальной последовательности движения при помощи способа 100, то он может быть завершен на заключительном этапе 108.

Обзорно поясненный при помощи фиг. 1 способ 100 может быть реализован при помощи устройства 200 для реконструкции реального движения объекта из последовательности цифровых сегментов образца движения компьютерной модели объекта, которое подробнее описывается ниже со ссылкой на фиг. 2.

Устройство 200, которое, например, может быть реализовано в виде одного или нескольких процессоров, включает в себя оборудование 202 для регистрации движения, которое выполнено, чтобы регистрировать или же обнаруживать (реальный) переход движения (Δx[i], Δy[i], Δz[i]) между начальным состоянием движения (x[i-1], y[i-1], z[i-1]) и конечным состоянием движения (x[i], y[i], z[i]) объекта в интервале времени i (реального) движения, основываясь на принятых по меньшей мере от одного маркера положения (и возможно содержащих шумы) данных о положении (например, координат х, y, z) по меньшей мере одной опорной точки объекта. Другими словами, оборудование 202 для регистрации движения служит для проведения описанного выше этапа 102 способа. Кроме того, устройство 200 имеет соединенное с оборудованием 202 для регистрации движения оборудование 204 для выбора, которое адаптировано, чтобы выбирать из множества заложенных в базу 205 данных цифровых образцов движения компьютерной модели по меньшей мере один цифровой сегмент образца движения, соответствующий обнаруженному переходу движения (Δx[i], Δy[i], Δz[i]), при этом выбранный сегмент образца движения компьютерной модели с достаточно высокой вероятностью приводит, начиная от начального состояния движения (x[i-1], y[i-1], z[i-1]), к конечному состоянию движения (x[i], y[i], z[i]) конкретно рассматриваемого интервала i времени. Другими словами, оборудование 204 для выбора служит для проведения описанного выше этапа 104 способа. Кроме того, в рамках устройства 200 предусмотрено соединенное с оборудованием 204 для выбора оборудование 206 для реконструкции, которое выполнено, чтобы реконструировать отображение движения объекта для рассматриваемого интервала i времени с применением начального состояния движения (x[i-1], y[i-1], z[i-1]) и выбранного цифрового сегмента образца движения. Другими словами, оборудование 206 для реконструкции служит для проведения описанного выше этапа 106 способа. При этом отображение реального движения может реконструироваться из одного или из множества следующих друг за другом цифровых сегментов образца движения из базы 205 данных и, например, воспроизводиться при помощи соответствующего устройства индикации.

При помощи фиг. 3 поясняется, как может выполняться регистрация реального перехода движения или же реального движения при помощи находящихся на объекте маркеров положения.

На фиг. 3 показан объект 302 в форме схематизированного человека. На различных опорных точках движения объекта 302 находятся маркеры 304 положения, которые служат для определения пространственных положений различных опорных точек движения. Согласно одному варианту выполнения маркерами 304 положения могут быть, в частности, основанные на радиосвязи маркеры положения, посылающие локализирующие радиосигналы 306, которые могут приниматься по меньшей мере одной или же несколькими приемными антеннами 308. При этом согласно некоторым вариантам выполнения локализирующие сигналы 306 могут непосредственно содержать географические координаты отдельных радиочастотных маркеров 304. В других вариантах выполнения индивидуальные географические положения радиочастотных маркеров 304 могут также определяться при помощи других способов, например, триангуляции при помощи измерения времени прохождения сигнала или аналогичных. При этом данные о положении могут определяться основанными на фрейме, то есть, на отдельный кадр (примерно 1/24 секунды) зарегистрированного движения. Для этого, например, приемник 310 на основании измерений угла и/или времени прохождения сигнала может регистрировать требующиеся для расчета положения радиочастотного маркера 304 телеметрические данные, например, координаты х, y, z, данные о скорости, данные об ускорении и т.д., и предоставлять их в распоряжение оборудованию 202 для регистрации на каждый фрейм. В соответствии с этим в вариантах выполнения по меньшей мере один маркер 304 положения на объекте 302 может быть соединен с радиопередатчиком, который передает сигналы 306, из которых могут быть выведены данные о положении радиочастотного маркера 304, через радиочастотное устройство сопряжения в анализирующее устройство 310, которое в свою очередь может быть соединено с устройством 200 для реконструкции, чтобы реализовать способ 100 реконструкции. При этом маркеры 304 положения могут быть частью системы локализации в реальном времени, так что положения маркеров и/или реальное движение объекта могут определяться в реальном времени и подвергаться реконструкции.

Возвращаясь к фиг. 2, в электронном запоминающем устройстве или же в базе 205 данных могут быть сохранены заранее выработанные цифровые образцы движения компьютерной модели или же их сегменты образца движения, которые могут быть представлены посредством отдельных фреймов. При этом один фрейм соответствует заранее выработанному отдельному кадру образца движения компьютерной модели. Образец движения компьютерной модели, который виртуально представляет при заинтересованности ранее зарегистрированную последовательность движения, состоит согласно некоторым вариантам выполнения не менее, чем из двух фреймов. В соответствии с этим сегмент образца движения компьютерной модели, который в свою очередь может представлять собой подмножество образца движения компьютерной модели, включает в себя по меньшей мере один фрейм. Отсюда следует, что сегмент образца движения компьютерной модели вполне может быть также частью двух различных общих последовательностей движения или же цифровых образцов движения компьютерной модели. Это подтверждено тем фактом, что более комплексные движения преимущественно состоят из нескольких сегментов движения, при этом отдельные сегменты движения различных комплексных движений могут быть одинаковыми или же аналогичными.

Заложенные в базу 205 данных образцы движения компьютерной модели, которые составлены из сегментов образца движения компьютерной модели или же фреймов, могут согласно некоторым вариантам выполнения быть заложены в виде нормированных цифровых образцов движения. Благодаря этому объекты или же их компьютерные модели могут, например, нормироваться до нормированной величины, чтобы обеспечить возможность лучшего сравнения с зарегистрированными или же обнаруженными реальными движениями. Места или же положения, на которых удерживались маркеры положения при выработке образцов движения компьютерной модели, являются известными и могут по существу соответствовать тем положениям на объекте, в которых впоследствии удерживаются маркеры положения для регистрации подлежащего реконструкции реального движения. Таким образом, для этапа 104 выбора сегмента образца движения компьютерной модели посредством оборудования 204 данные о положении, принятые от находящихся на объекте маркеров положения, снабжают соответствующим величине объекта коэффициентом масштабирования, чтобы получить нормированное движение объекта и иметь возможность сравнить его с сохраненными в базе 205 данных нормированными образцами движения. Таким образом, сохраненные в базе 205 данных образцы движения могут подвергаться нормированию. Поступающие на этапе 102 данные радиочастотных маркеров или же данные о положении также могут подвергаться нормированию перед сравнением и этапом 104 выбора. При этом коэффициент масштабирования может запоминаться для последующего этапа 106 реконструкции. После получения результата соответствующий образец движения компьютерной модели может посредством коэффициента масштабирования приспосабливаться к реальному объекту. Таким образом, объекты с различными размерами могут записываться рационально и с экономией места.

База 205 данных может содержать типовые образцы движения людей, объектов и групп объектов, которые могут идентифицироваться или же отображаться при помощи их опорных точек движения. При этом фильтр искусственно созданных явлений или аналогичное устройство не являются необходимыми, так как запрашиваемые из базы 205 данных движения предпочтительно представляют собой однородную форму движения. Отдельные сегменты образца движения или же фреймы могут обозначаться как состояния движения и снабжаться в базе 205 данных воображаемыми ребрами или же переходами состояния. Отдельные очень похожие сегменты образца движения или же фреймы могут по возможности объединяться, так что один цифровой фрейм или же цифровой сегмент образца движения может быть синхронной частью двух различных движений или же образцов движения компьютерной модели.

Оборудование 204 для выбора, которое может также обозначаться как согласующее устройство, может быть настроено, чтобы выбирать возможные состояния движения и их вероятности, содержащиеся в определенном движении или же фрейме. Согласно некоторым вариантам выполнения настоящего изобретения различные состояния движения могут быть соединены друг с другом в смысле цепи Маркова. Таким образом, текущее состояние движения и по меньшей мере одно прошедшее состояние движения объекта могут образовывать последовательность модели Маркова.

Для этого на фиг. 4а лишь в качестве примера показана цепь 400 Маркова, содержащая четыре состояния «00», «01», «10», «11» (движения) и полные соединения или же ребра между состояниями. При этом ребра описывают переходы состояний, причем переход состояния связан с вероятностью р перехода. Согласно показанной в качестве примера модели Маркова на фиг. 4а вероятность перехода от состояния «00» в состояние «10» обозначена как «Р01». Наоборот, «Р10» обозначает вероятность перехода от состояния «01» в состояние «00». То же самое относится к следующим показанным состояниям. В показанной на фиг. 4а цепи 400 Маркова первое состояние может переходить в любое другое второе состояние, что обозначено показанными переходами состояний (стрелками). Разумеется, возможны также другие цепи Маркова, в которых определенные переходы состояния могут быть исключены. В частности, это будет иметь место в цепи Маркова, которая описывает возможные реальные состояния движения и их переходы. Как уже было подробно пояснено выше, вследствие анатомических или же физических ограничений возможны не произвольные последовательности состояний, начиная от начального состояния движения. Поэтому следует подчеркнуть, что показанная на фиг. 4а упрощенная модель состояний служит лишь для наглядности и не соответствует фактическим моделям состояний движения, в частности, для комплексных движений. При практической реализации количество возможных состояний движения может иметь значение свыше 1000, свыше 10000, свыше 100000 и в некоторых вариантах применения даже свыше 1 миллиона.

Так как согласно некоторым вариантам выполнения все возможные состояния движения могут быть связаны друг с другом в смысле цепи Маркова, то могут быть итерационно рассчитаны вероятности локализации для состояний движения в определенный момент времени i, основываясь на вероятностях состояния в момент времени i-1 и основываясь на текущих значениях измерений датчиков. Таким образом, описанные выше этапы 102-106 способа могут образовывать текущую итерацию итерационного способа реконструкции реального движения, при этом начальное состояние движения для текущей итерации i реконструируется или же определяется на предыдущей итерации i-1 итерационного способа, так что реконструированное отображение движения составляется из множества выбранных сегментов образца движения, соответствующих следующим друг за другом интервалам времени или итерациям. Поэтому может быть, что реконструированное комплексное движение составляется из двух или большего количества сохраненных в базе 205 данных цифровых отдельных образцов движения, например, на основании пересекающихся фреймов и соответствующих значений измерения датчиков. Поэтому не требуется каждое произвольное комплексное или же составное движение заранее регистрировать и закладывать в базу 205 данных, так как новые составные движения могут генерироваться из субдвижений или же последовательностей фреймов.

Следующим фактором является количество имеющихся передатчиков или же маркеров положения при первоначальной съемке движения (первичной подготовке) и количество маркеров положения в текущей подлежащей реконструкции ситуации движения. Хотя может быть благоприятным, если как количество, так и положение маркеров положения при первоначальной съемке движения и при текущей подлежащей реконструкции ситуации совпадают, однако это не является обязательным. Например, может иметь место тот случай, что в текущей ситуации не может параллельно сопровождаться или же отслеживаться достаточное количество передатчиков или же маркеров положения. Поэтому согласно некоторым вариантам выполнения возможно сопровождение лишь подстановки, то есть, подмножества передатчиков и их положений, содержащихся в оригинальных сохраненных цифровых снимках движения. Вероятности, которые определяются на этапе 104 для возможных состояний движения, могут при этом рассматривать все возможные подстановки и, как это является обычным, по возможности выбирать наиболее вероятные распределение и состояние движения. При определенных обстоятельствах это может привести к искажению результата реконструкции. При этом под «искажением» понимают то, что результат реконструкции является неправильным или же не соответствует фактическому движению объекта. Однако действительные искажения при предложенной в изобретении концепции невозможны, так как возможные движения ребер в графах состояния не допускают невозможных или нереалистичных движений. Поэтому всегда может быть представлена лишь наиболее вероятная цифровая последовательность фреймов, так что реконструированная картина движения никогда не может выглядеть как «мертвая» реконструкция.

Таким образом, оборудование для выбора или же согласующее устройство 204 может в каждый момент времени i содержать возможные состояния движения (фреймы) с их вероятностями. Эти состояния движения могут быть соединены посредством ребер, которые в свою очередь обладают вероятностями (вероятностями перехода). Эти вероятности перехода могут быть однако определены после регистрации данных (образца движения компьютерной модели) перед реконструкцией движения, например, посредством определения частоты переходов или аналогичного параметра. Кроме того возможно непрерывное обновление вероятностей перехода на основании фактически определенных и произведенных переходов движения. Из одного графа состояния (сети), например, сети 400 Маркова, можно выработать несколько различных степеней разрешения, посредством того, что из полного графа состояний (например, 100 движений × 1000 фреймов = примерно 100000 состояний движения) составляют последовательные фреймы или же состояния движения с малыми изменениями или же отклонениями между положениями маркеров. Благодаря этому может быть уменьшено пространство состояний и, таким образом, также затраты на расчет вероятностей локализации (которые квадратично зависит от количества состояний движения).

Чтобы рассчитать вероятности состояний движения, можно вначале начинать с наименьшей модели состояний (то есть, небольшое количество состояний), чтобы относительно быстро получить наиболее вероятное состояние движения. Если после этого еще остается время для вычислений, то можно, например, перейти к ближайшей более подробной степени разрешения состояний (то есть, большее количество состояний), и там определять дополнительные вероятности состояний движения, чтобы получить более высокую степень детализации для реконструкции движения. Согласно некоторым вариантам выполнения цифровой сегмент образца движения для интервала i времени вначале может выбираться, основываясь на подмножестве множества возможных состояний движения, при этом подмножество адаптировано, чтобы иметь возможность по меньшей мере грубой реконструкции отображения движения, причем после грубой реконструкции может более точно реконструироваться отображение движения, основываясь на дополнительных состояниях из множества за пределами подмножества.

Для выбора цифрового сегмента образца движения, наилучшим образом соответствующего зарегистрированному реальному переходу движения в интервале времени i, зарегистрированные (ранее) переходы движения могут итерационно сравниваться с заложенными в базу 205 данных цифровыми образцами движения компьютерной модели, таким образом, что определяется гипотеза для текущего состояния движения объекта, основываясь по меньшей мере на одном прошедшем состоянии движения объекта и текущей вероятности перехода, которая соответствует возможному переходу движения между по меньшей мере двумя следующими друг за другом во времени дискретными состояниями движения объекта. Это подробнее поясняется ниже при помощи фиг. 4b.

На фиг. 4b показана матричная диаграмма 450, соответствующая примерной модели 400 состояния. При этом матричная диаграмма 450 соответствует представлению диаграммы 400 перехода состояний, которая проходит по оси времени. Лишь в качестве примера здесь показаны состояния «00», «01», «10», «11» и возможные переходы состояний в моменты времени i-2, i-1, i и i+1. Переходам из одного состояния в следующее соответствуют различные значения р вероятности (вероятности перехода), вследствие чего в течение нескольких состояний преимущественно однозначно образуется один единственный путь 452 в матрице, который, основываясь на зарегистрированных данных о переходе движения, имеет наибольшую суммарную вероятность по сравнению со всеми другими путями. Соответствующие этому пути 452 состояния переходы движения рассматривают затем при помощи декодера движения как наиболее вероятные переходы движения. Это означает, что аналогично известному алгоритму Витерби можно последовательно действовать посредством различных состояний движения, чтобы определить текущую наиболее вероятную последовательность движения. Это может обозначаться как «адаптивное согласование».

В некоторых вариантах выполнения на этапе 104 поиска подходящих сегментов образца движения или же переходов состояния движения могут вначале учитываться лишь такие сегменты образца движения компьютерной модели, которые согласно модели Маркова возникают с наибольшими вероятностями (перехода), то есть, их вероятности, например, расположены выше определенного порогового значения. Например, подходящий сегмент образца движения компьютерной модели можно вначале искать в 100 наиболее вероятных сегментах образца движения компьютерной модели, после этого в ближайших по вероятности от 100 до 1000 сегментах образца движения компьютерной модели, и т.д. Посредством такого варианта выполнения может быть существенно ускорено нахождение подходящего сегмента образца движения.

Согласно некоторым вариантам выполнения найденные при переходах состояния вероятности перехода могут сохраняться и применяться для улучшения последовательности реконструкции движения. Это может также осуществляться в онлайновом режиме, и вероятности перехода состояния могут адаптироваться в реальном времени. Другими словами, при выборе сегментов образца движения, соответствующих реальным переходам движения, в течение времени прохождения сигнала может происходить динамическое согласование вероятностей перехода на основании фактически найденных переходов состояния движения. Это означает, что, например, начальная, еще не усовершенствованная модель Маркова, которая описывает возможные состояния и переходы движения, постоянно может адаптироваться к фактически наблюдаемым движениям и таким образом может улучшаться. Менее часто возникающим состояниям движения или же переходам движения объекта может адаптивно назначаться более низкая вероятность, чем более часто возникающим состояниям движения или же переходам движения. Таким образом, модель движения (например, модель Маркова), в течение времени прохождения сигнала может непрерывно адаптироваться к определенному объекту. Вследствие этого система становится почти обучаемой.

Оборудование 204 для выбора или же согласующее устройство может рассматриваться как критичный в отношении времени компонент. Реконструкция 106 самого движения может производиться в течение постоянного времени [O(1)] и поэтому едва ли имеет отрицательное влияние на способность способа 100 работать в реальном времени. Чтобы иметь возможность поддерживать так называемое наибольшее время выполнения (WECT = Worst Case Execution Times), согласно некоторым вариантам выполнения способ 100 может в любое возможное время выдавать обратно максимально возможный ранее результат. Если в распоряжении еще имеется дополнительное время для расчетов, то результат может итерационно улучшаться. Таким образом, при выборе 104 цифрового сегмента образца движения в течение определенного периода времени после регистрации 102 реального перехода движения можно выбирать цифровой сегмент образца движения, который после этого периода времени с наивысшей вероятностью приводит, начиная от начального состояния движения, к конечному состоянию движения для данного интервала времени. Например, вплоть до первого момента времени после приема данных о положении из множества заложенных цифровых образцов движения может выбираться цифровой сегмент образца движения, который в этот первый момент времени с наибольшей вероятностью соответствует зарегистрированному реальному движению объекта, при этом после первого момента времени вплоть до второго момента времени дополнительно производят поиски лучше подходящего сегмента образца движения для данного интервала времени. Таким образом, могут соблюдаться ограничения времени, и реконструированное изображение может ь (например, с задержкой на один фрейм). Такой способ может обозначаться как «прогрессивное согласование», при этом изображение быстро показывается с «плохим» качеством и шаг за шагом может показываться более точно. При этом плохое качество означает нахождение фрейма или же сегмента образца движения компьютерной модели, подходящего не на 100%.

Согласно вариантам выполнения могут последовательно выстраиваться различные анимации из базы 205 данных движения при помощи принятых данных радиочастотных маркеров или же данных о положении опорных точек. При этом данные радиочастотных маркеров служат в качестве непрерывных или же периодических входных параметров, и осуществляется сравнение с заложенными цифровыми данными о движении, чтобы выбрать подходящий образец движения компьютерной модели с наименьшим отклонением в пределах заданного промежутка времени (например, 1/24 секунды). Возможностью этого являются сохранение образцов движения компьютерной модели с различными ступенями качества, а затем прогрессивный поиск, начиная с наименьшего качества. Преимуществом является обратная информация в пределах заданного промежутка времени, чтобы иметь возможность плавной реконструкции движения. Образцы движения компьютерной модели меньшего качества могут содержать меньшее количество фреймов, чтобы ограничить просматриваемое множество данных. Если в пределах заданного периода времени после выбора образца движения еще имеется дополнительное время, то может быть произведен поиск на последующей более высокой ступени качества.

В качестве следующих благоприятных вариантов выполнения переходы состояния между моделями движения могут либо иметься первоначально, либо вырабатываться во время реконструкции в реальном времени. При этом образуется граф зависимостей, который представляет образцы движения в виде узлов, а переходы в виде ребер с определенным весом (например, количеством зарегистрированных переходов или вероятностью перехода). Благодаря этому вначале могут просматриваться наиболее вероятные переходы, а затем переходы с меньшей вероятностью. Тем самым даже в очень ограниченных интервалах времени может быть найдено первое решение, которое затем при наличии дополнительного времени может уточняться.

В некоторых вариантах выполнения дополнительно или альтернативно основная информация о движении может вначале обрабатываться, например, в отношении временной последовательности обработки в компьютере. Разрешения движения с увеличивающейся степенью детализации и уменьшающимся информационным содержанием могут, например, рассчитываться позже или при определенных обстоятельствах опускаться, если время для расчета уже отсутствует. Следующей возможной «последовательностью сортировки» может быть размер объекта на экране. Для небольших объектов корректное состояние движения не обязательно должно определяться на 100%, достаточно, если движение приблизительно совпадает, так как это едва ли может восприниматься наблюдателем. Таким образом, большему объекту при выборе подходящего сегмента образца движения может назначаться более высокий приоритет, чем меньшему по сравнению с ним объекту. При этом объекты с более высоким приоритетом могут реконструироваться по времени раньше, чем объекты с меньшим приоритетом. Дополнительно или альтернативно различным опорным точкам реального объекта также могут назначаться различные приоритеты. При этом данные о положении опорных точек с более высоким приоритетом могут анализироваться по времени раньше, чем данные о положении опорных точек с меньшим приоритетом. Дальнейшая возможность состоит в различной временной частоте дискретизации (частоте выборки) сохраняемого образца движения. Каждый образец движения может присутствовать в базе данных с различными частотами дискретизации (например, 1 Гц, 10 Гц, 20 Гц, …). При поиске сегмента образца движения, соответствующего реальному переходу движения, вначале просматривают версии образцов движения с наименьшими частотами выборки, а затем, соответственно, с большими частотами выборки (например, 1 Гц, затем 10 Гц и т.д.). После этого может происходить коррекция промежуточных этапов (переходов движения) с более точным разрешением, то есть, образцов движения со сравнительно более высокими частотами дискретизации.

Если оборудование 204 для выбора или же устройство согласования идентифицирует движение или же подходящий сегмент образца движения, или же подходящий фрейм из базы 205 данных, то фрейм или же сегмент образца движения могут быть взяты из базы данных и отображены на устройстве индикации. Это схематически показано на фиг. 5.

На фиг. 5 лишь в качестве примера показаны четыре следующих друг за другом во времени перехода 502-1, 502-1, 502-3 и 502-4 движения объекта (в данном случае руки боксера), которые соответствуют следующим друг за другом интервалам времени [i-2], [i-1], [i] и [i+1]. К показанным переходам 502 движения посредством описанного здесь способа из базы 205 данных выбирают максимально подходящие сегменты образца движения компьютерной модели, чтобы реконструировать или же синтезировать получающееся из обнаруженных переходов 502 движения общее движение объекта при помощи сохраненных в базе 205 данных образцов движения компьютерной модели, а затем воспроизвести его на выходном устройстве или же устройстве 504 индикации.

В частности, в случае нормированных переходов движения из базы 205 данных может извлекаться подходящий нормированный сегмент образца движения компьютерной модели и отображаться с заранее полученными коэффициентом масштабирования и центром тяжести тела на конечные величину и положение. Таким образом, согласно некоторым вариантам выполнения заложенный в базу 205 данных сегмент образца движения может быть подвергнут нормированию (до нормированной величины) и для реконструкции отображения снабжаться соответствующим величине объекта коэффициентом масштабирования, чтобы реконструировать денормированную последовательность движения объекта, содержащего по меньшей мере одну опорную точку. При этом ориентация или же направление взгляда на объект могут быть известными из образца движения, из которого был извлечен фрейм или же сегмент образца движения.

В целом варианты выполнения относятся к концепции, включающей в себя способ, устройство и компьютерную программу, для реконструкции движения (предпочтительно в реальном времени) подвижных и многозвенных объектов (например, людей, животных, механических конструкций) или же совокупностей объектов на основании данных маркеров положения.

Как показано на фиг. 6, для этого на произвольных опорных точках движения объекта 302 прикрепляют основанные на радиосвязи маркеры 304 положения. Может быть предусмотрена обладающая достаточно точным разрешением система RTLS, которая определяет положения радиочастотных маркеров 304 предпочтительно в реальном времени, например, в координатах х, y, z. Радиочастотные маркеры 304 представлены, например, посредством точных данных RTLS (Real Time Location System=система локализации в реальном времени), в форме координат х, y, z в пространстве и/или в виде данных об ускорения и т.д. В так называемой базе 205 данных движения находится произвольное количество образцов движения компьютерной модели. Для объекта 302 в произвольном количестве сохранены произвольные сегменты движения компьютерной модели. Для людей это может включать в себя типовые движения, например, бег, ходьба, прыжки и т.д. Сегменты движения компьютерной модели могут содержать определенное количество фреймов с опорными точками радиочастотных маркеров и всем объектом. Благодаря этому при помощи устройства 200 для реконструкции движения объекта 302 из последовательности сохраненных образцов движения компьютерной модели объекта возможна рациональная или же достоверная реконструкция движения объекта, даже если данные радиочастотных маркеров являются неполными или содержат шумы. Реконструированное таким образом движение может показываться при помощи выходного устройства или же устройства 504 индикации. При помощи вариантов выполнения с достаточными точностью и частотой обновления положений радиочастотных маркеров может быть обеспечена возможность реконструкции реальных движений при помощи виртуальных объектов. Количество радиочастотных маркеров 304 может произвольно варьироваться в сторону увеличения (по меньшей мере один, в идеальном случае на центре тяжести тела). Реконструкция может осуществляться в реальном времени и/или в процессе последующей обработки.

Представленные в приведенном выше описании, последующих пунктах формулы изобретения и на чертежах признаки могут иметь значение для реализации изобретения в его различных вариантах выполнения как поодиночке, так и в произвольных комбинациях.

Хотя некоторые аспекты настоящего изобретения были описаны в связи с устройством для реконструкции движения, понятно, что эти аспекты также представляют собой описание соответствующего способа реконструкции движения, так что блок или конструкционный элемент устройства для реконструкции движения следует также понимать как соответствующий этап способа или как признак этапа способа.Аналогично этому аспекты, которые были описаны в связи с этапом способа или в качестве этапа способа, также представляют собой описание соответствующего блока или подробности, или же признака соответствующего устройства.

В зависимости от определенных требований к реализации варианты выполнения изобретения могут быть реализованы в аппаратном обеспечении или в программном обеспечении. Реализация может производиться с применением цифровых запоминающих средств, например, флоппи-диска, DVD, диска Blu-Ray, CD, ROM, PROM, EPROM, EEPROM, флэш-памяти, жесткого диска или другого магнитного или оптического запоминающего устройства, на котором сохранены электронно считываемые управляющие сигналы, которые могут взаимодействовать или взаимодействуют с программируемыми компонентами аппаратного обеспечения таким образом, что производится соответствующий способ.

Программируемый компонент аппаратного обеспечения может быть образован управляющим прибором, процессором, центральным процессором (CPU = Central Processing Unit) компьютера, компьютерной системой, специализированной интегральной схемой (ASIC = Application-specific Integrated Circuit), интегральной схемой (IC = Integrated Circuit), однокристальной системой (SOC = System on Chip), программируемым логическим элементом или логической матрицей с эксплуатационным программированием, содержащей микропроцессор (FPGA = Field Programmable Gate Array).

Поэтому цифровое запоминающее устройство может считываться при помощи машины или компьютера. Таким образом, некоторые варианты выполнения включают в себя носитель данных, содержащий электронно считываемые управляющие сигналы, которые в состоянии взаимодействовать с программируемой компьютерной системой или с программируемым компонентом аппаратного обеспечения таким образом, что производится один из описанных здесь способов. Таким образом, одним вариантом выполнения является носитель данных (или цифровое запоминающее средство, или считываемое при помощи компьютера средство), на котором записана программа для проведения одного из описанных здесь способов.

В общем случае варианты выполнения настоящего изобретения могут быть реализованы в виде программы, микропрограммного обеспечения, компьютерной программы или компьютерного программного продукта с программным кодом, или в виде данных, при этом программный код или данные эффективны в том отношении, чтобы проводить способ, когда программа выполняется на процессоре или программируемом компоненте аппаратного обеспечения. Программный код или данные могут быть, например, сохранены на считываемом при помощи машины носителе данных. Программный код или данные могут в том числе иметь место в виде исходного кода, машинного кода или байтового кода, а также в виде других промежуточных кодов.

Согласно одному варианту выполнения программа может преобразовывать способ во время его проведения, например, посредством того, она считывает ячейки памяти или записывает в них дату или некоторые данные, вследствие чего при необходимости могут вызываться процессы коммутации или другие процессы в транзисторных структурах, в структурах усилителей или в других электрических, оптических, магнитных или работающих по другому принципу функционирования конструкционных элементах. Соответственно посредством считывания ячейки памяти программой могут регистрироваться, определяться или измеряться данные, величины, значения датчиков или другая информация. Поэтому посредством считывания одной или нескольких ячеек памяти программа может регистрировать, определять или измерять размеры, величины, измеренные значения и другую информацию, а также посредством записи в одну или несколько ячеек памяти осуществлять, инициировать или производить действие, а также управлять другими приборами, машинами и компонентами.

Описанные выше варианты выполнения представляют собой лишь наглядный показ принципов настоящего изобретения. Понятно, что модификации и вариации описанных здесь конструкций и отдельных деталей будут очевидны другим специалистам. Поэтому подразумевается, что изобретение ограничено лишь объемом защиты последующей формулы изобретения, а не специфическими подробностями, которые представлены при помощи описания и пояснения вариантов выполнения.

Изобретение относится к средствам реконструкции движения объекта из последовательности сегментов образца движения трехмерной компьютерной модели объекта. Технический результат заключается в снижении объема данных реконструкции движения. Каждый сегмент образца движения соответствует различным интервалам времени движения, объект имеет по меньшей мере одну опорную точку, соединенную с радиочастотным маркером. Регистрируют переход движения между начальным состоянием движения и конечным состоянием движения объекта в интервале времени движения, основываясь на принятых от радиочастотного маркера данных о положении по меньшей мере одной опорной точки. Выбирают из множества заложенных в базу данных цифровых образцов движения трехмерной компьютерной модели по меньшей мере один цифровой сегмент образца движения, соответствующий переходу движения, таким образом, что выбранный цифровой сегмент образца движения для трехмерной компьютерной модели с достаточной вероятностью приводит, начиная от начального состояния движения, к конечному состоянию движения для данного интервала времени. Осуществляют реконструкцию отображения движения объекта для данного интервала времени при помощи трехмерной компьютерной модели с применением начального состояния движения и выбранного сегмента образца движения компьютерной модели. 3 н. и 15 з.п. ф-лы, 7 ил.

1. Способ (100) реконструкции движения объекта (302) из последовательности сегментов образца движения трехмерной компьютерной модели объекта, при этом каждый сегмент образца движения соответствует различным интервалам времени движения, и объект (302) имеет по меньшей мере одну опорную точку, соединенную с радиочастотным маркером (304), включающий в себя следующие этапы:

a) регистрация (102) перехода движения между начальным состоянием движения и конечным состоянием движения объекта (302) в интервале времени движения, основываясь на принятых от радиочастотного маркера (304) данных о положении по меньшей мере одной опорной точки;

b) выбор (104) из множества заложенных в базу (205) данных цифровых образцов движения трехмерной компьютерной модели по меньшей мере одного цифрового сегмента образца движения, соответствующего переходу движения, таким образом, что выбранный цифровой сегмент образца движения для трехмерной компьютерной модели с достаточной вероятностью приводит, начиная от начального состояния движения, к конечному состоянию движения для данного интервала времени; и

c) реконструкция (106) отображения движения объекта для данного интервала времени при помощи трехмерной компьютерной модели с применением начального состояния движения и выбранного сегмента образца движения трехмерной компьютерной модели.

2. Способ (100) по п. 1, при котором этапы а)-с) способа образуют текущую итерацию итерационного способа реконструкции движения, при этом начальное состояние движения для текущей итерации было реконструировано на предшествующей итерации итерационного способа (100), так что реконструированное отображение движения составляется из множества выбранных цифровых сегментов образца движения, соответствующих следующим друг за другом интервалам времени или итерациям.

3. Способ (100) по одному из пп. 1-2, при котором при выборе (104) зарегистрированные переходы движения объекта (302) итерационно сравнивают с заложенными цифровыми образцами движения трехмерной компьютерной модели таким образом, что определяется гипотеза для текущего состояния движения объекта (302), основываясь по меньшей мере на одном прошедшем состоянии движения объекта (302) и текущей вероятности перехода, которая соответствует возможному переходу движения между по меньшей мере двумя следующими по времени друг за другом дискретными состояниями движения объекта (302).

4. Способ (100) по п. 3, при котором текущее состояние движения и по меньшей мере одно прошедшее состояние движения объекта (302) образуют последовательность модели (400) Маркова.

5. Способ (100) по пп. 1, 2 или 4, при котором посредством выбора (104) по меньшей мере одного сегмента образца движения определяют наиболее вероятную последовательность состояний движения при заранее определенной модели (400) Маркова и зарегистрированной последовательности переходов движения, чтобы реконструировать движение объекта (302).

6. Способ (100) по пп. 1, 2 или 4, при котором цифровой сегмент образца движения вначале выбирают, основываясь на подмножестве множества возможных состояний движения, при этом подмножество адаптировано, чтобы иметь возможность реконструкции по меньшей мере грубого отображения движения, а после грубой реконструкции отображение движения более точно реконструируют, основываясь на дополнительных состояниях из множества за пределами подмножества.

7. Способ (100) по пп. 1, 2 или 4, при котором при выборе (104) цифрового сегмента образца движения в течение определенной продолжительности времени после регистрации (102) перехода движения выбирают цифровой сегмент образца движения, который после этой продолжительности времени с наибольшей вероятностью приводит, начиная от начального состояния движения, к конечному состоянию движения для данного интервала времени.

8. Способ (100) по пп. 1, 2 или 4, при котором заложенные в базу (205) данных цифровые образцы движения подвергнуты нормированию, при этом для выбора цифрового сегмента образца движения принятые от радиочастотного маркера (304) данные о положении снабжают соответствующим величине объекта коэффициентом масштабирования, чтобы получить нормированное движение объекта (302).

9. Способ (100) по пп. 1, 2 или 4, при котором цифровой сегмент образца движения содержит по меньшей мере один соответствующий интервалу времени отдельный кадр цифрового образца движения трехмерной компьютерной модели.

10. Способ (100) по пп. 1, 2 или 4, при котором сегмент образца движения является нормированным, и для реконструкции (106) отображения его снабжают соответствующим величине объекта коэффициентом масштабирования, чтобы реконструировать денормированную последовательность движения объекта (302), содержащего по меньшей мере одну опорную точку.

11. Способ (100) по пп. 1, 2 или 4, при котором вплоть до первого момента времени после приема данных о положении из множества заложенных цифровых образцов движения выбирают цифровой сегмент образца движения, который в этот первый момент времени с наибольшей вероятностью соответствует зарегистрированному движению объекта (302),

причем после первого момента времени вплоть до второго момента времени дополнительно производят поиск лучше подходящего цифрового сегмента образца движения для данного интервала времени.

12. Способ (100) по пп. 1, 2 или 4, при котором различным опорным точкам объекта (302) назначают различные приоритеты, и данные о положении опорных точек с более высоким приоритетом анализируют по времени раньше, чем данные о положении опорных точек с меньшим приоритетом.

13. Способ (100) по пп. 1, 2 или 4, при котором большему объекту (302) назначают более высокий приоритет, чем меньшему по сравнению с ним объекту (302), причем данные о положении объектов с более высоким приоритетом анализируют по времени раньше, чем данные о положении объектов с меньшим приоритетом.

14. Способ (100) по пп. 1, 2 или 4, при котором заложенные в базу (205) данных цифровые образцы движения являются предварительно определенными трехмерными образцами движения трехмерной компьютерной модели, которые соответствуют возможным реальным движениям объекта.

15. Способ (100) по пп. 1, 2 или 4, при котором по меньшей мере один радиочастотный маркер (304) соединен с радиопередатчиком, который через радиочастотное устройство сопряжения передает данные о положении в анализирующее устройство (200; 310), адаптированное для выполнения способа (100) по одному из пп. 1-14.

16. Способ (100) по пп. 1, 2 или 4, при котором данные о положении получают от радиочастотных маркеров (304) системы локализации в реальном времени, и этапы способа (100) выполняются при условиях реального времени.

17. Носитель данных, содержащий компьютерную программу с программным кодом для проведения способа (100) по одному из пп. 1-16 при выполнении компьютерной программы на программируемом компоненте аппаратного обеспечения.

18. Устройство (200) для реконструкции движения объекта (302) из последовательности сегментов образца движения трехмерной компьютерной модели объекта, при этом каждый сегмент образца движения соответствует различным интервалам времени движения, а объект имеет по меньшей мере одну опорную точку, соединенную с радиочастотным маркером (304), обладающее следующими признаками:

оборудование (202) для регистрации перехода движения между начальным состоянием движения и конечным состоянием движения объекта (302) в интервале времени движения, основываясь на принятых от радиочастотного маркера (304) данных о положении по меньшей мере одной опорной точки;

оборудование (204) для выбора из множества заложенных в базу (205) данных цифровых образцов движения трехмерной компьютерной модели по меньшей мере одного цифрового сегмента образца движения, соответствующего переходу движения, при этом выбранный цифровой сегмент образца движения для трехмерной компьютерной модели с достаточной вероятностью приводит, начиная от начального состояния движения, к конечному состоянию движения для данного интервала времени; и

оборудование (206) для реконструкции отображения движения объекта (302) для данного интервала времени при помощи трехмерной компьютерной модели с применением начального состояния движения и выбранного сегмента образца движения трехмерной компьютерной модели.