СРАВНЕНИЕ ДВИЖУЩИХСЯ ОБЪЕКТОВ НА ОСНОВЕ ВЕКТОРА ДВИЖЕНИЯ Российский патент 2016 года по МПК G06T7/20 H04N5/262 H04N21/2343 

ОБЛАСТЬ ИЗОБРЕТЕНИЯ

Изобретение относится к устройству и способу и системе для сравнения движения в видеопоследовательностях.

УРОВЕНЬ ТЕХНИКИ

Различные способы улучшения используются для вещания спортивного видео. Улучшение может обеспечить публике лучшее восприятие просмотра. Например, в автомобильных гонках видео можно улучшать с использованием графики, которая идентифицирует водителя автомобиля и отображает информацию, такую как скорость автомобиля (например, полученную с помощью системы глобального позиционирования (GPS)). Первым примером является видеопоследовательность футбольного матча, где линию положения вне игры можно вставлять виртуально, что позволяет зрителям точно видеть, когда и как произошел фол. Другим примером является видеопоследовательность для гольфа, где длина в ярдах, опасные зоны, наклонные фервеи и фальшивые фасады можно идентифицировать и добавлять в видео.

В US 7042493 и WO 01/78050 A2 раскрыты системы анализа движения для генерации стробоскопических последовательностей спортивного события из видео. Такие системы позволяют зрителю видеть движения атлета развернутыми во времени и пространстве, где движущийся объект воспринимается как серия статических изображений вдоль траектории объекта.

Кроме того, в EP 1247255 и WO 01/39130 A1 раскрыты системы обработки изображений, которые из заданных двух видеопоследовательностей могут генерировать составную видеопоследовательность, содержащую визуальные элементы из каждой из заданных последовательностей, соответствующим образом синхронизированные и представленные в выбранной фокусной плоскости. Например, если каждая из двух заданных видеопоследовательностей показывает различных соперников, по отдельности мчащихся по одному и тому же курсу по склону, составная последовательность может содержать элементы из каждой из заданных последовательностей, чтобы показать соперников, как если бы они мчались одновременно.

Дополнительно в WO 2007/006346 A1 раскрыт способ анализа движения атлета посредством определения множества неравномерно распределенных ключевых положений для определенного спорта. Способ извлекает неподвижные изображения, соответствующие ключевым положениям, из входного видео и одновременно отображает на экране извлеченные неподвижные изображения. Извлечение неподвижных изображений можно запускать посредством предварительно определяемого шаблона.

Однако в упомянутых выше известных системах движение атлета анализируется посредством развертки видео в виде последовательности неподвижных изображений/кадров, где предварительно определяемые шаблоны/правила можно использовать для того, чтобы извлекать неподвижные изображения, соответствующие ключевым положениям. Однако зрители все еще не могут видеть, как атлет двигается в каждый отдельный момент/на каждом кадре. Например, различные атлеты могут выходить в одни и те же ключевые положения с различными скоростями и направлениями движения.

В существующих системах при сравнении двух видео учитывается пространственное и временное выравнивание. Однако это выполняется посредством только выравнивания существующих изображений/кадров в видео. В случае двух различных эффективностей (различных субъектов), по причине различных исполнений движений (например, различных скоростей или амплитуд), пространственно-временное выравнивание на основе существующих кадров может быть сложным, что иногда ведет к неточному выравниванию.

В US 7602301 и US 6567536 раскрыты решения для анализа движения, основываясь на нательных датчиках, но это требует дополнительных маркеров и датчиков, которые нужно применять на теле.

В GB 2341997 A раскрыты устройство для манипуляции изображениями и способ улучшения объекта в телевизионном изображении, где объект обнаруживают посредством обнаружения движения, обнаружения границ или обнаружения цвета, чтобы тем самым определить местоположение объекта. Обнаружение положения объекта на последующих изображениях может быть облегчено посредством использования предсказания или экстраполяции траектории. Модуль генерации наложения создает промежуточное изображение с нейтральным фоном и подсвеченными частями в местоположении, соответствующем этому объекту. Модуль интерполяции траектории интерполирует путь между местоположением объекта на предшествующем изображении и местоположением объекта на текущем изображении. Наконец, модуль суперпозиции изображения выполняет суперпозицию промежуточного изображения, интерполированных изображений и цифрового изображения, чтобы создать выходное изображение, где видимость объекта улучшают как в отношении контраста, так и посредством предоставления следа вдоль траектории объекта. Тем самым улучшается отслеживание объекта, который двигается быстро или изображен на низкоконтрастном фоне.

Кроме того, в ЕР 1404130 A1 раскрыто преобразование входного видеосигнала в другое поле или частоту кадров, где дополнительные кадры, подлежащие вставке, генерируются из данных изображения существующих кадров. Однако этот подход ведет к ухудшению изображения в связи с видимой дискретностью в движении объектов. Движение объекта на видеокадрах конвертированного видеосигнала отклоняется от плавного движения объекта в исходной последовательности видеокадров, что вызывает воспринимаемую дискретность движения. Для того чтобы преодолеть этот недостаток, движение объектов на кадрах обнаруживают посредством оценки движения и представляют с помощью векторов движения. Основываясь на обнаруживаемых векторах движения, вычисляют положение объекта на кадре, подлежащем вставке, и данные изображения объекта вставляют соответствующим образом.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Цель настоящего изобретения состоит в том, чтобы предоставить решение для улучшенного анализа движения и сравнения, при сохранении малозаметного сбора данных посредством видео.

Эта цель достигается с помощью устройства по п.1, с помощью способа по п.8 и с помощью компьютерного программного продукта по п.9.

Соответственно, движения объекта какого-либо типа в видеопоследовательностях можно анализировать количественно и автоматически посредством применения способов оценки движения, без какого-либо рисования/указания вручную пользователя и также без использования каких-либо нательных маркеров или датчиков. Результаты оценки движения делают возможным улучшенный анализ и сравнение движения, в частности, в спорте, при этом сохраняя малозаметный сбор данных посредством видео. Используя вычисляемые векторы движения, можно генерировать и вставлять промежуточные кадры для того, чтобы сделать возможным улучшенное выравнивание. Например, при сравнении спринта двух атлетов, промежуточные кадры можно вставлять для более быстро бегущих атлетов. Другое применение состоит в сравнении двух видео, снимаемых камерами с различной частотой кадров. Например, в некоторых случаях одну запись можно выполнять посредством высокоскоростной камеры. Другая запись, выполненная с низкой частотой кадров, требует обогащения промежуточными кадрами для улучшенного сравнения движения.

Согласно первому аспекту визуализатор или этап визуализации может быть предусмотрен для визуализации движения по меньшей мере одного объекта.

Согласно второму аспекту, который можно комбинировать с первым аспектом, видеогенератор или этап генерации видео может быть предусмотрен для генерации третьей видеопоследовательности, содержащей различие движений объектов из первой и второй видеопоследовательностей, обработанных посредством предложенного способа или устройства. Таким образом, основываясь на сравнении двух видеопотоков, также возможно генерировать специальное информационное видео для анализа, в котором выполнена аннотация различий в движении между двумя потоками. Например, можно представлять различия в вытягивании ног между пловцом и идеальной моделью (или предыдущей записью). Таким образом, в дополнение к предоставлению двух выровненных видеопотоков и предоставлению возможности интерпретации пользователем (например, тренером или атлетом), можно генерировать третий поток, который расширен или сокращен до различий в движении, чтобы помочь пользователю увидеть различия.

Согласно третьему аспекту, который можно комбинировать по меньшей мере с одним из первого и второго аспектов, визуализатор или этап визуализации можно адаптировать, чтобы визуализировать движение объекта посредством добавления информации по меньшей мере об одном из направления движения, количества и ускорения движения. В конкретной примерной реализации визуализатор или этап визуализации можно адаптировать для добавления информации в виде цветового кодирования.

Согласно четвертому аспекту, который можно комбинировать по меньшей мере с одним из упомянутых выше аспектов с первого до третьего, визуализатор или этап визуализации можно адаптировать для того, чтобы обнаруживать предварительно определяемые объекты, представляющие интерес (например, части тела) по меньшей мере в одной видеопоследовательности.

Упомянутое выше устройство можно реализовать в схеме аппаратных средств, интегрированной в одну микросхему или набор микросхем или смонтированной на монтажной плате. В качестве альтернативы, по меньшей мере части устройства можно реализовать в виде компьютерной программы или подпрограммы программного обеспечения, которая управляет процессором или компьютерным устройством для того, чтобы осуществлять этапы упомянутого выше способа, когда компьютерную программу запускают на компьютере, управляемом устройством.

Следует понимать, что предпочтительный вариант осуществления изобретения также может представлять собой какую-либо комбинацию зависимых пунктов формулы изобретения с соответствующими независимыми пунктами формулы изобретения.

Эти и другие аспекты изобретения будут видны из и разъяснены со ссылкой на варианты осуществления, описанные далее в настоящем документе.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

На фиг.1 представлена схематичная диаграмма обработки для процедуры или устройства для сравнения движения согласно первому варианту осуществления,

на фиг.2 представлен пример сравнения движения; и

на фиг.3 представлена схематичная диаграмма обработки для процедуры или устройства сравнения движения согласно второму варианту осуществления.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

Изобретение далее описано на основе вариантов осуществления, где движения атлетов или других объектов количественно анализируют в видеопоследовательности (например, в спортивных видео). Более конкретно, анализ видео расширяют, чтобы извлекать данные о движении. Даже в случаях различных эффективностей (для различных субъектов) при различном исполнении движений (например, различных скоростях и/или направлениях движения) можно достичь выравнивания кадров.

На фиг.1 представлено схематичное изображение последовательности или схемы обработки согласно первому варианту осуществления, где векторы движения на отдельных видеокадрах вычисляют с использованием оценки движения или других способов, которые могут находить соответствия между видеокадрами. Векторы движения, вычисляемые на отдельных видеокадрах, можно использовать для улучшенного сравнения движений. На этапе 110 векторы движения вычисляют для отдельных кадров по меньшей мере двух видеопоследовательностей. Затем вычисляемые векторы движения используют на этапе 120, чтобы генерировать и вставлять промежуточные кадры. В отношении этапа 120 генерация промежуточного кадра может быть основана на методах перемежения из видеообласти, где они используются, например, для повышения от первой частоты кадров до второй (например, от 50 до 200 Гц). Это повышение можно осуществлять с использованием нецелочисленного коэффициента. Для того чтобы сравнивать движения по меньшей мере двух видеопоследовательностей (выполняемые разными людьми или одним человеком в различные моменты времени) или между видеопоследовательностью и эталонной последовательностью, на этапе 130 выполняют как временное, так и пространственное выравнивание двух последовательностей. В связи с отличающимся исполнением движения (например, различные скорости или амплитуды), пространственно-временное выравнивание на основе существующих кадров может быть затруднительным. Однако, используя вычисляемые векторы движения, промежуточные кадры можно генерировать и вставлять, чтобы сделать возможным улучшенное выравнивание. Например, при сравнении спринта двух атлетов, промежуточные изображения можно формировать для более быстро бегущего атлета при выравнивании изображений для покрываемого расстояния.

Также, когда сравнивают полевую запись с основным видео с высокоскоростной камеры, полевая запись может требовать улучшения для оптимизации эффективности сравнения.

Например, в некоторых случаях запись выполняют с помощью высокоскоростных камер. Запись, выполненная с низкой частотой кадров, может требовать улучшения промежуточными кадрами для улучшенного сравнения движения. Наконец, на этапе 140 параметры движения целевых объектов или целевых частей визуализируют для улучшенного сравнения.

Таким образом, векторы движения, вычисляемые на этапе 110, можно использовать для сравнения движения. Например, основываясь на этих векторах движения, промежуточные кадры можно вставлять на этапе 120, чтобы сделать возможным улучшенное пространственное и временное выравнивание на этапе 130, что ведет к улучшенному сравнению движения.

Векторы движения в каждом кадре можно извлекать с помощью способов оценки движения. В литературе представлены различные алгоритмы оценки движения. Один из них представляет собой трехмерное рекурсивное поисковое блочное сопоставление (3DRS). Затем вычисляемые векторы движения используют для улучшения видеопоследовательности. Движение можно визуализировать на этапе 140 различными путями, которые можно выбирать согласно нуждам пользователя или целевой аудитории (например, атлетов, тренеров, болельщиков). В качестве примера, цветовое кодирование можно использовать для того, чтобы визуализировать движение. При сравнении движений на двух видео, с использованием одного в качестве базового уровня/эталона, можно добавлять цвета, чтобы обозначать различные (или одинаковые) движения.

Кроме того, чтобы более точно измерять движения целевого объекта или части объекта, можно учитывать другие признаки. Например, для пловцов, цвет кожи можно использовать, чтобы устранять векторы движения в областях, не относящихся к телу. В некоторых случаях люди заинтересованы в том, чтобы видеть движения конкретных частей тела (например, рука). Тогда способы компьютерного зрения можно применять для автоматического обнаружения части тела, представляющей интерес.

Кроме того, информацию можно получать из оценочных векторов движения и использовать для улучшения видео. Например, можно получать ускорение (т.е. скорость движения).

На фиг.2 представлены примеры движений в гольфе, выполняемых двумя игроками в гольф. В этих примерах определяют ключевой кадр, когда клюшка для гольфа касается мячика для гольфа. Несмотря на то, что оба игрока исполняют это ключевое положение, они могут иметь различающееся движение. Результаты оценки движения на этом ключевом кадре визуализируют для обоих игроков с использованием цветового кодирования, где различные цвета используются, чтобы указывать различные направления движения, тогда как интенсивность цвета указывает количество движения. На фиг.2 цветовое кодирование упрощено с помощью различных шаблонов штриховки C1-C4. Предложенная оценка движения показывает двух игроков, действующих по-разному, т.е. с различными скоростями движения и в различных направлениях. Как можно понять из шаблонов штриховки C1-C4 на фиг.2, движения правой руки двух игроков по существу достаточно различаются.

На фиг.3 представлено схематичное изображение последовательности или схемы обработки согласно второму варианту осуществления, где генерируют видеопоследовательность, содержащую различия в движении между двумя целевыми объектами из двух входных видеопоследовательностей V1 и V2. На этапах 210A и 210B векторы движения вычисляют для отдельных кадров упомянутых входных видеопоследовательностей V1 и V2. На этапе 220 промежуточные кадры композиции промежуточных кадров генерируют и вставляют по меньшей мере в одну из входных видеопоследовательностей V1, V2, основываясь на вычисляемых векторах движения. Затем на этапе 230 две видеопоследовательности V1, V2, из которых по меньшей мере одна улучшена с помощью вставленных промежуточных кадров, выравнивают в пространстве и во времени. Во втором варианте осуществления, основываясь на сравнении двух видеопоследовательностей V1, V2, на этапе 240 для анализа генерируют специальное информационное видео, в которое добавляют различие в движении между двумя видеопоследовательностями V1, V2 или которое упрощено до этого различия. В качестве примера, такие различия могут представлять собой различия в выпрямлении ног у пловца и идеальной модели (или на предыдущей записи). Так, в дополнение к предоставлению двух выровненных видеопоследовательностей и предоставлению пользователю (например, тренеру или атлету) возможности интерпретации, генерируют третью видеопоследовательность, которая является расширенной или сокращенной до различий в движении, чтобы помочь пользователю в идентификации и оценке различия.

Вкратце, настоящее изобретение предлагает анализировать движения объектов в видеопоследовательностях (например, в спортивных видео) посредством осуществления оценки движения, чтобы определять векторы движения в каждом кадре. Используя вычисляемые векторы движения, можно количественно измерять движения объекта(ов) (например, атлета(ов)). Основываясь на этом, движения на двух видео можно сравнивать на каждом отдельном кадре видеопоследовательности. Различные подходы (например, цветовое кодирование) можно использовать, чтобы визуализировать и сравнивать движения. С использованием оценки движения, промежуточные кадры также можно вставлять, чтобы сделать возможным улучшенное сравнение движения на двух заданных видео.

Изобретение можно использовать в качестве улучшения для (спортивного) видеовещания. В качестве обратной связи по эффективности изобретение могут использовать тренеры или атлеты для тренировочных целей. Его также можно использовать в спортивном вещании для улучшения восприятия зрителем. Изобретение можно реализовать в устройствах отображения, таких как телевизоры (TV) или другие дисплеи, в качестве дополнительной функции TV, например, для просмотра спорта. Его также можно реализовать в телестудии для вещания. Другое применение состоит в видеоиграх и азартных играх, как описано в WO 01/26760, например, или надзоре и военном деле, как предложено, например, в US 6567536. В качестве обратной связи по эффективности его также могут использовать тренеры или атлеты для тренировочных целей. Другое применение заключается в видеоиграх или развлечениях, где настоящее изобретение улучшает анализ отличий от золотой эталонной модели или реального человека. Примером может служить игра с поддержкой видео, где камеру используют для того, чтобы регистрировать движения игрока, а затем система предоставляет обратную связь, упомянутую здесь.

Другие вариации раскрытых вариантов осуществления могут быть поняты и осуществлены специалистами в данной области при практической реализации описываемого в заявке изобретения, изучив чертежи, раскрытие и приложенную формулу изобретения.

В формуле изобретения слово «содержит» не исключает другие элементы или этапы, а форма единственного числа не исключает множества.

Один блок или устройство может выполнять функции нескольких элементов, перечисленных в формуле изобретения. Сам факт того, что определенные меры перечислены во взаимно различных зависимых пунктах формулы изобретения, не указывает на то, что комбинация этих мер не может быть использована с пользой.

Этапы на фиг.1 и 3 можно осуществлять посредством одного блока или посредством любого другого количества различных блоков. Вычисления, обработка и/или управление для предложенного анализа и/или сравнения движения могут быть реализованы в виде средств программного кода компьютерной программы и/или в виде специализированного аппаратного обеспечения.

Компьютерную программу можно хранить/распространять на подходящем носителе, таком как оптический запоминающий носитель или твердотельный носитель, поставляемый вместе или как часть других аппаратных средств, а также можно распространять в других формах, например, через интернет или другие проводные или беспроводные телекоммуникационные системы.

Любые ссылочные позиции в формуле изобретения не следует толковать в качестве ограничения объема изобретения.

В настоящем изобретении предлагается анализировать движения объектов в видеопоследовательностях (например, в спортивных видео) посредством осуществления оценки движения, чтобы определять векторы движения в каждом кадре. Используя вычисляемые векторы движения, можно количественно измерять движения объекта(ов) (например, атлета(ов)). Основываясь на этом, движения в двух видео можно сравнивать по каждому отдельному кадру видеопоследовательности. Различные подходы (например, цветовое кодирование) можно использовать, чтобы визуализировать и сравнивать движения. Используя оценку движения, промежуточные кадры также можно вставлять, чтобы сделать возможным улучшенное сравнение движения в двух заданных видео.

Изобретение относится к области сравнения движения в видеопоследовательностях. Технический результат - обеспечение улучшенного анализа и сравнения движения посредством использования векторов движения. Устройство для анализа движений первого и второго объектов, причем первый и второй объекты являются различными объектами или являются одним и тем же объектом, захваченным в различные моменты времени, причем устройство содержит: средство оценки движения для вычисления векторов движения первого и второго объектов на отдельных кадрах первой и второй видеопоследовательностей; средство интерполяции кадров для генерации и вставки промежуточных кадров в первую видеопоследовательность, основываясь на упомянутых вычисляемых векторах движения для первого объекта для повышения частоты кадров первой видеопоследовательности; средство выравнивания кадров для осуществления пространственного и временного выравнивания кадров первой видеопоследовательности с повышенной частотой кадров с кадрами второй видеопоследовательности; визуализатор для визуализации движений первого объекта и второго объекта посредством использования упомянутых вычисляемых векторов движения. 5 н. и 4 з.п. ф-лы, 3 ил.

1. Устройство для анализа движений первого объекта, захваченного в первой видеопоследовательности, и второго объекта, захваченного во второй видеопоследовательности, причем упомянутый первый объект и упомянутый второй объект являются различными объектами или являются одним и тем же объектом, захваченным в различные моменты времени, упомянутое устройство содержит:
средство (110; 210А; 210В) оценки движения для вычисления векторов движения упомянутого первого объекта и упомянутого второго объекта на отдельных кадрах упомянутой первой видеопоследовательности и упомянутой второй видеопоследовательности;
средство (120; 220) интерполяции кадров для генерации и вставки промежуточных кадров в упомянутую первую видеопоследовательность, основываясь на упомянутых вычисляемых векторах движения для упомянутого первого объекта для повышения частоты кадров упомянутой первой видеопоследовательности;
средство (130; 230) выравнивания кадров для осуществления пространственного и временного выравнивания кадров упомянутой первой видеопоследовательности с повышенной частотой кадров с кадрами упомянутой второй видеопоследовательности; и
визуализатор (140) для визуализации упомянутых движений упомянутого первого объекта и упомянутого второго объекта посредством использования упомянутых вычисляемых векторов движения.

2. Устройство по п. 1, дополнительно содержащее видеогенератор (240) для генерации третьей видеопоследовательности, содержащей различия в движениях объектов из упомянутых первой и второй видеопоследовательностей, обработанных посредством упомянутого устройства.

3. Устройство по п. 1, в котором упомянутый визуализатор (140) выполнен с возможностью визуализировать упомянутое движение упомянутого объекта посредством добавления информации по меньшей мере об одном из направления движения, количества и ускорения движения.

4. Устройство по п. 3, в котором упомянутый визуализатор (140) выполнен с возможностью добавлять упомянутую информацию в виде цветового кодирования.

5. Устройство по п. 1, в котором упомянутый визуализатор (140) выполнен с возможностью обнаруживать предварительно определяемые объекты, представляющие интерес, в упомянутых первой и второй видеопоследовательностях.

6. Устройство отображения, содержащее устройство по п. 1.

7. Игровое устройство, содержащее устройство отображения по п. 6.

8. Способ анализа движений первого объекта, захваченного в первой видеопоследовательности, и второго объекта, захваченного во второй видеопоследовательности, причем упомянутый первый объект и упомянутый второй объект являются различными объектами или являются одним и тем же объектом, захваченным в различные моменты времени, причем упомянутый способ содержит этапы, на которых:
вычисляют векторы движения упомянутого первого объекта и упомянутого второго объекта на отдельных кадрах упомянутой первой видеопоследовательности и упомянутой второй видеопоследовательности;
генерируют и вставляют промежуточные кадры в упомянутую первую видеопоследовательность, основываясь на упомянутых вычисляемых векторах движения для упомянутого первого объекта для повышения частоты кадров упомянутой первой видеопоследовательности; и
осуществляют пространственное и временное выравнивание кадров упомянутой первой видеопоследовательности с повышенной частотой кадров с кадрами упомянутой второй видеопоследовательности; и
визуализируют упомянутые движения упомянутого первого объекта и упомянутого второго объекта посредством использования упомянутых вычисляемых векторов движения.

9. Носитель, содержащий компьютерную программу для выполнения этапов способа по п. 8, когда она выполняется на вычислительном устройстве.