СОВМЕЩЕНИЕ ИГРОВОГО ПОЛЯ НА ОСНОВЕ МОДЕЛИ Российский патент 2013 года по МПК G06T1/00 G06T7/00 G06T3/00 

Область техники, к которой относится изобретение

Область изобретения, в общем, относится к компьютерным наукам и, более конкретно, к формированию видеоизображения.

Уровень техники

Задача совмещения изображения часто встречается при обработке последовательностей видеоизображений. Как правило, совмещение изображений используют при обработке изображений для поиска соответствия между двумя или больше видеопоследовательностями, снятыми в разное время, полученными из разных датчиков или снятыми с разных точек съемки. Однако, несмотря на некоторый прогресс в области совмещения изображений, сохраняются искажения в изображениях. Такие искажения включают в себя неправильное совмещение (т.е. несовмещенность изображений). Кроме отсутствия возможности устранения таких часто встречающихся искажений, такие обычные алгоритмы совмещения изображений потребляют большое количество пространства поиска при очень незначительных достижениях. Кроме того, поиск, выполняемый с использованием обычных алгоритмов совмещения изображения, является нестабильным.

Краткое описание чертежей

Варианты осуществления настоящего изобретения представлены в качестве примера, а не для ограничений, на приложенных чертежах, на которых одинаковыми номерами ссылочных позиций обозначены одинаковые элементы, на которых:

на фиг.1 представлен процесс для выполнения совмещения поля;

на фиг.2 показан вариант осуществления гомографической матрицы модели поля, имеющей реальную точку и виртуальную точку;

на фиг.3 иллюстрируется вариант осуществления гомографического отображения между моделью поля и изображениями на экране и, кроме того, переход движения между изображениями на экране;

на фиг.4 иллюстрируется вариант осуществления детектирования линии Хафа (Hough) и выделение точек пересечения;

на фиг.5A-5G иллюстрируется вариант осуществления совмещения игрового поля на основе модели в спортивных видеопередачах;

на фиг.6 иллюстрируется вариант осуществления процесса многообъектного отслеживания на основе усиленного фильтра интерактивно распределенных частиц;

на фиг.7 показан вариант осуществления усиленного фильтра интерактивно распределенных частиц;

на фиг.8 иллюстрируются объекты, взаимодействующие друг с другом, формирующие группу (например, группу G);

на фиг.9 иллюстрируется вариант осуществления результатов отслеживания выполнения вариантов осуществления настоящего изобретения, когда такое выполнение осуществляют для двух видеоклипов с разрешением 720×576 и 960×544;

на фиг.10 иллюстрируется другой вариант осуществления результатов отслеживания выполнения вариантов осуществления настоящего изобретения;

на фиг.11 иллюстрируется вариант осуществления вычислительной системы, имеющей варианты осуществления настоящего изобретения, воплощенные как гибрид из программных и аппаратных компонентов.

Подробное описание изобретения

В одном варианте осуществления раскрыта технология совмещения поля для поиска геометрического соответствия между изображением на экране и моделью поля, с последующим отображением игрового поля с изображением экрана стандартной модели поля. Спортивные игры, в общем, и футбол, в частности, используются в данном документе просто как примеры и для краткости и ясности изложения. При этом предполагается, что варианты осуществления, раскрытые в данном документе, могут быть применены к любым видеоизображениям, независимо от их содержания. Продолжая на примере спортивных игр, ключевой компонент в видеоизображениях спортивных игр представляет собой отображение мяча и игроков, перемещающихся по траекториям по модели поля. При выполнении такого отображения каждые относительные положения игрока в системе координат поля могут быть получены из совмещенного поля. Такие относительные положения включают в себя направление движения игрока, приблизительную скорость и активность. Такие показатели могут помочь при анализе построения команды и тактических приемов, действий на основе восстановления сцены, обогащения и редактирования видеосодержания, организации интерактивных игр и игр с погружением, расширенной реальности и т.д., в областях визуальных расчетов и вычерчивания графиков с помощью компьютеров.

В одном варианте осуществления предусмотрен новый алгоритм совмещения поля, основанный на соответствующих аппаратных компонентах совмещения поля, для обеспечения эффективного и практического совмещения поля видеоизображений. При таком новом подходе вначале выполняют классификацию типа просмотра и затем применяют преобразование Хафа, для детектирования маркировочных линий поля и их соответствующих точек пересечения. Эти точки пересечения используются как ключевые точки для совмещения поля. Когда имеется достаточное количество ключевых точек (например, в количестве большем чем или равном 4 ключевым точкам), осуществляют непосредственное сопоставление для поиска оптимального отображения. Для эффективного поиска используют карту расстояния, генерируемую в результате преобразования расстояния, для расчета ошибки сопоставления. Кроме того, для ускорения поиска были исследованы несколько критериев быстрой сортировки, которые используются для ускорения процесса. В случае когда количество ключевых точек недостаточно (например, меньше 4 ключевых точек), гомографическая матрица не может быть получена непосредственно; но вместо этого, ее получают опосредованно путем оценки глобального движения между последовательными кадрами и путем комбинирования текущего перехода движения с любой предыдущей матрицей для отображения модели поля, для того чтобы определить текущую гомографическую матрицу отображения. Эта технология и ее эффективность и возможности применения на практике дополнительно описаны в предыдущих параграфах.

Эта новая и практичная технология совмещения поля работает с любыми типами и количеством случаев видеоизображений и с достаточным количеством ключевых точек или без них. Такое передовое и разумное решение упрощает трудности выполнения задачи совмещения поля. В технологии совмещения поля используется преобразование расстояния для измерения ошибки соответствия, что обеспечивает возможность сделать ошибку непрерывной и делает поиск более стабильным; кроме того, изобрели несколько критериев быстрой отбраковки для уменьшения пространства поиска и ускорения процесса.

На фиг.1 представлен процесс для выполнения совмещения поля. При обработке в блоке 102, входное видеоизображение принимают через физический интерфейс, который соединен с видеоустройством, таким как камера, имеющая вычислительную систему, включающую в себя процессор. В блоке 104 обработки выполняют предварительную обработку принятого видеоизображения. Предварительная обработка включает в себя выполнение изучения доминирующих цветов и классификацию типа обзора в блоке 106 обработки. Доминирующий цвет в видеоизображении получают в результате накопления значения оттенка и насыщенности (HSV) цветных гистограмм, которые соответствуют цвету травы игрового поля. Как упомянуто выше, следует снова отметить, что спортивные игры (и, в частности, игра в футбол) используются в качестве просто примера для краткости и ясности и что вариант осуществления настоящего изобретения не ограничивается видеоизображениями спортивных игр. Например, вместо цвета травы игрового поля (как используется здесь), цвет может представлять собой цвет пола в Конгрессе США во время политических дебатов, или цвет травы во время ралли, или цвет гостиного помещения во время телевизионного сериала или кинофильма. Сегментацию доминирующих цветов и морфологическую фильтрацию затем используют вместе с анализом подключенных компонентов для выделения игрового поля. После этого каждый вид классифицируют на один из четырех типов вида: (1) глобальный вид; (2) средний вид; (3) вид крупного плана и (4) за пределами вида, в то время как глобальный вид может быть подан в модуль совмещения поля для дальнейшей классификации.

В блоке 108 обработки, выполняют детектирование линии Хафа и выделение ключевых точек пересечения. Преобразование Хафа выполняют для детектирования меток линии путем выделения области извлечения игрового поля, затем резервируя любое количество пикселей, не соответствующих доминирующему цвету в пределах области игрового поля и формируя двухуровневое (двоичное) изображение. После этого преобразование Хафа применяют к двухуровневому изображению, для детектирования горизонтальных и вертикальных линейных отметок, и затем получают их ключевые точки пересечения. Далее, детектируют и используют как реальные, так и виртуальные точки пересечения. Это показано на фиг.4.

В блоке 110 принятия решения, определяют, достаточно ли ключевых точек. Если имеется достаточное количество точек, выполняют новую оценку непосредственного отображения в блоке 112 обработки. Такую новую оценку непосредственного отображения выполняют, используя генерирование гипотезы соответствия в блоке 114 обработки, после чего производят оценку гипотезы и поиск оптимального соответствия в блоке 116 обработки. Если точек недостаточно, выполняют оценку опосредованного отображения в блоке 118 обработки. Оценка с опосредованным отображением включает в себя детектирование ключевых точек, фильтрацию и оценку глобального движения в блоке 120 обработки, после чего выполняют транзакцию текущего отображения в блоке 122 обработки. В любом случае (то есть при оценке прямого или опосредованного отображения), процесс продолжается генерированием гомографической матрицы (Ht) 124.

Как упомянуто выше, когда достаточно много точек (например, больше чем четыре соответствующих точки), выполняют поиск пересечения, по меньшей мере, двух горизонтальных линий и, по меньшей мере, двух вертикальных линий между изображением экрана и моделью поля, прямую оценку в блоке 112 обработки, для оценки гомографической матрицы. Такая прямая оценка включает в себя определение, какая пара точек соответствует друг другу и модели поля, и эти возможные случаи нумеруют и выполняют поиск оптимальных точек, используя оценку ошибок. В одном варианте осуществления модель поля относится к любому фоновому изображению или полю видеоизображения, для которого выполнены эти варианты осуществления. Однако, продолжая тему игры в футбол, стандартное поле для спортивной игры в футбол, как определено "Federation Internationale de Football Association" (FIFA), используется в данном варианте осуществления как модель поля. В одном варианте осуществления, как реальные точки пересечения (например, пересечение двух реальных линий, например горизонтальных и вертикальных линий), так и любые виртуальные точки пересечения (например, пересечение одной реальной линии и одной продолженной реальной линии или пересечение двух продолженных реальных линий) используются в модели поля. Эти виртуальные точки пересечения также являются ключевыми точками модели поля, и их можно использовать для калибровки видеоустройства (например, камеры).

Кроме того, что касается генерирования гипотезы отображения, для упрощения процедуры отображения, используют линии - метки, для направления каждого соответствия ключевой точки пересечения. L_h обозначает количество горизонтальных линий, и L_v обозначает количество вертикальных линий (например, L_h=10 горизонтальных линий, и L_v=7 вертикальных линий) в модели поля. Учитывая также, что существует m горизонтальных линий (L_h=m) и n вертикальных линий (L_v=n), существует , (С (n, k) представляет собой операцию комбинации возможных комбинаций, например, 4 пар точек соответствия и возможных комбинаций 4 пар точек соответствия. Каждая комбинация может обозначаться как гипотеза, отражающая возможное соответствие между детектируемыми линиями изображения и линейными метками модели поля.

Для каждой оценки гипотезы получают матрицу Н отображения из внешних координат для плана изображения. Для оценки доверительности каждой гипотезы, модель поля отображают на плоскость изображения и рассчитывают расстояние между отображаемым изображением и исходным изображением. На основе детектируемых линий, используют технологию преобразования расстояния, для получения карты расстояния для измерения любой ошибки. Если карта расстояния равняется "D", ошибка может быть представлена как: , где N представляет общее количество ненулевых пикселей и τ представляет собой постоянную для ограничения максимальной ошибки. Ошибка и отображение могут быть обратно пропорциональными друг другу, например, чем меньше ошибка, тем лучше отображение. Оптимальная гипотеза используется как конечное согласование.

Поскольку пространство поиска велико, оценка гипотезы может быть трудоемкой в смысле требований к мощности расчетов. В одном варианте осуществления, для уменьшения пространства поиска, используются один или больше следующих критериев для быстрой отбраковки некоторой гипотезы. (1) На основе углов детектируемых линий (в частности, вертикальных линий), могут быть получены оценки стороны поля (например, с левой, правой или средней стороны). Например, если положение игры находится на левой стороне поля, линии, которые должны быть согласованы с моделью поля, не находятся с правой стороны. Аналогично обрабатывается правая сторона и наоборот. Некоторые гипотезы фильтруют, используя этот критерий. (2) Если две или больше горизонтальных линий или две или больше вертикальных линий были согласованы между моделью поля и данным изображением, выполняют оценку размера модели поля. Кроме того, если размер оценки значительно отличается от стандартной модели поля, эта гипотеза может быть отброшена и может использоваться другая гипотеза, с другим критерием. (3) Другой быстрый способ отброса обстоит в оценке самой гомографической матрицы. Гомографическая матрица имеет несколько (например, восемь) степеней свободы, но процесс формирования реального изображения может иметь другое количество параметров (например, семь), например три для положения камеры, три для поворота камеры и одну для фокусного расстояния. Остальная степень свободы включает в себя β (неизотропное масштабирование), которое относится к нелинейному масштабированию в горизонтальном и вертикальном направлениях (типично равно "1" в реальном мире). Это значение может быть получено на основе теории калибровки камеры. Кроме того, для тех оценок параметров камеры, которые не являются идеально точными и расчет которых является чувствительным к цифровой обработке, диапазон допуска параметра установлен как 0,5<β<2.

Как упомянуто выше, когда отсутствует достаточное количество ключевых точек (например, 4) в текущем кадре, выполняют опосредованную оценку отображения, в блоке 118 обработки, выполняя трансляцию движения камеры из предыдущего в текущий кадр для дедуктивного вывода текущей матрицы гомографического отображения при обработке в блоке 124. В одном варианте осуществления такая процедура оценки опосредованного отображения включает в себя детектирование одной или больше особых точек, точек, соответствующих двум последовательным изображениям, фильтрацию пары точек через консенсус случайной выборки (RANSAC) и расчет глобального движения с оценкой наименьших квадратов. Первый процесс включает в себя детектирование ключевых точек, при котором можно использовать угловые точки, точки Гарриса, надежные особые элементы ускорения (SURF) и т.д. Кроме того, можно применять свойство масштабного инвариантного преобразования элементов (SIFT) для характеризации ключевых точек.

После детектирования ключевых точек в предыдущем и текущем кадрах, соответственно, устанавливается соответствие между предыдущим и текущим кадрами. Для каждой точки в предыдущем кадре рассчитывают расстояние от каждой точки предыдущего кадра до каждой точки в текущем кадре, и ближайшие точки или кратчайшее расстояние принимают как их соответствие. Набор соответствия ключевой точки также может включать в себя некоторые посторонние значения данных, например, для поиска соответствия шумов или фальшивых элементов. В этом случае, используют алгоритм RANSAC, который применяют для фильтрации таких посторонних значений данных. Алгоритм RANSAC относится к алгоритму для надежной подгонки моделей поля в присутствии и при работе с любым количеством посторонних значений данных. Затем рассчитывают параметры глобального движения, используя соответствующую модель, применяя последовательное соответствие точек, используя оценку наименьших квадратов. Например, матрица гомографического отображения в момент времени t равна H_t, и матрица перехода движения с момента времени t-1 до момента t представляет собой М_t-1. Как только эти значения становятся известны, может быть получена матрица гомографического отображения с использованием следующей формулы: H_t=М_t-1*Н_t-1.

На фиг.2 иллюстрируется вариант осуществления гомографической матрицы 200 модели поля, имеющего реальную точку 202 и виртуальную точку 204. В одном варианте осуществления 3-мерная точка с гомогенными координатами обозначена как Р=[X, Y, Z, 1]', и компонент Z трехмерной точки на плоскости равен нулю, поэтому она может быть обозначена как Р=[X, Y, 1]'. Двумерная точка на сетчатке глаза может быть представлена как р=[х, y, 1]'. Для камеры с точечным отверстием 3-мерная точка Р в системе координат реального мира и ее соответствующая точка р двумерного изображения имеет следующие взаимосвязи: р=Н*Р, где Н представляет собой матрицу размером 3×3, параметризованную в отношении присущих и внешних параметров. Она называется матрицей томографа между плоскостью в реальном мире и изображением на экране.

Кроме того, матрицу Н определяют до коэффициента масштабирования, имеющего несколько (например, восемь) независимых параметров. Для определения значения, например, используются восемь параметров, по меньшей мере, в четырех парах точек соответствия между положениями изображения и положениями модели поля. Поскольку поле обычно не имеет очевидных свойств точки, используются пересечения линий в пределах игрового поля для оценки соответствия точек. Любые реальные точки 202 взаимного пересечения и точки 204 виртуального пересечения, которые представляют собой пересечения реальных линий и продолжений реальных линий (например, виртуальных линий), рассматриваются как ключевые точки, и оба эти вида можно использовать для калибровки камеры.

На фиг.3 иллюстрируется вариант осуществления гомографического отображения 310-314 между моделью 302 поля и изображениями 304-308 на экране и, кроме того, переход 316-318 движения между изображениями 304-308 на экране. Продолжая пример игры в футбол, если камера фокусируется на ближайшей области вратарской площадки, будет легко найти более чем четыре пары соответствующих точек. Однако для области ближайшей части центра поля или при смазанном или неясном изображении (например, из-за быстрого движения камеры), может оказаться трудным детектировать линии, поскольку может оказаться недостаточным количество доступных соответствующих ключевых точек. Для решения этой задачи, в одном варианте осуществления, используют переход глобального движения и гомографическую матрицу предыдущего кадра для приблизительного определения текущей гомографической матрицы 310-314. Здесь представлены гомографическая матрица 310-314 (как обозначено стрелками 310-314) между моделью 302 поля и изображениями 304-308 на экране, а также переход 316-318 движения (как обозначено стрелками 316-318) между последовательными изображениями 304-308 на экране.

Если предположить, что глобальная модель движения является перспективной моделью, преобразование которой также является матрицей размером 3×3, оценка текущего кадра от его предыдущего кадра, I_t-1 и глобальное преобразование М_t-1 движения (фиг.5A-5G) могут быть отформатированы с использованием следующей формулы: I_t=H_t·F (формула 1). Обозначая модель поля как F, отображение из модели поля на изображение может быть представлено как: I_t-1=Н_t-1·F (формула 2) и I_t=М_t-1·I_t-1 (формула 3). Если подставить формулу 2 в формулу 1, получим следующую формулу: I_t=М_t-1·Н_t-1·F (формула 4). Теперь, если сравнить формулу 1 с формулой 4, получим следующую формулу: H_t=М_t-1·Н_t-1=М_t-1·М_t-2·H_t-2=…=М_t-1…M_t-k·H_t-k.

На фиг.4 представлен вариант осуществления детектирования линии Хафа и выделение линии 400 пересечения. В одном варианте осуществления используют преобразование Хафа для детектирования меток линии. Вначале выделяют 402 область игрового поля и затем пиксели, не соответствующие доминирующему цвету, резервируют в пределах игрового поля 402 и преобразуют в двухуровневое изображение 404. Затем применяют преобразование Хафа для двухуровневого изображения, для детектирования каких-либо горизонтальных и вертикальных линейных меток 406. В конечном итоге получают точки пересечения горизонтальных и вертикальных линий и также детектируют и используют как реальные, так и виртуальные точки пересечения 408.

На фиг.5A-5G иллюстрируется вариант осуществления совмещения игрового поля на основе модели для видеоизображения 500 спортивной игры. В столбцах представлены номера 501 кадров исходных изображений 502 на экране, результаты 504 детектирования линий Хафа (имеющие вертикальные и горизонтальные линии), результаты отображения модели поля на реальные изображения 506 и результаты 508 совмещения поля. Результаты выполнения совмещения поля по видеоклипу представляют в формате MPEG2 (например, размер кадра 720×576 и 25 кадров/секунду).

Серая область представляет собой область фокусирования камеры. На представленных кадрах фигуры 5А, 5В, кадры 2-26 представляют собой левое поле модели поля, на фигурах 5С-5Е кадры 120-180 представляют левую часть центрального поля модели поля, и на фигурах 5F, 5G кадры 1200-1250 представляют собой правую часть поля модели поля. Получаемые в результате кадры 2, 26, 120, 180, 1200 и 1250 принимают в результате прямой оценки, в то время как результат кадра 130 получают в результате опосредованной оценки. Кроме того, как показано, изображение линии Хафа отсутствует в кадре 130, поскольку недостаточное количество ключевых точек было получено, из-за размытости или несфокусированности изображения 540.

На фиг.6 иллюстрируется вариант осуществления процесса для отслеживания множества объектов на основе усиленного фильтра интерактивно распределенных частиц. Входное видеоизображение принимают в блоке 602 обработки. Входное видеоизображение может быть принято через видеоинтерфейс/интерфейс шины из одного видеоустройства в другое видеоустройство, причем каждое устройство имеет программное приложение, или в пределах того же видеоустройства (например, камеры, имеющей процессор/ЦПУ). В блоке 604 обработки, выполняют моделирование фона и выделение переднего плана входных видеоданных. В одном варианте осуществления усиленное детектирование 608 объекта и усиленный фильтр 610 интерактивно распределенных частиц интегрируют для выполнения надежного и эффективного отслеживания множества объектов в блоке 606 обработки. Для выполнения этого, предусмотрены программные и аппаратные средства усиленного фильтра интерактивно распределенных частиц (BIDPF) для решения задачи автоматического отслеживания множества объектов (МОТ) в различных приложениях (например, в приложениях отслеживания игрока в спортивных играх, например приложение отслеживания игрока в футбол). В блоке 612 обработки информацию отслеживания объекта (например, положение и количество) изображений получают и предоставляют. И снова, в данном случае игрок в футбол используется здесь просто как пример и для краткости и ясности, и предусматривается, что варианты осуществления настоящего изобретения можно использовать с любым количеством приложений и они не ограничиваются спортивными играми или приложениями для спорта.

В одном варианте осуществления применяют технологию усиленного фильтра интерактивно распределенных частиц (IDPF), блок 610 обработки выполнен с возможностью обрабатывать взаимные преграды между разными целями. Предложенное распределение, с использованием модели смеси, которая включает информацию из динамической модели и усиления детектирования, вводят в рабочие рамки IDPF. Предложенное усиленное распределение, при обработке блока 608, позволяет быстро детектировать цели, в то время как обработка IDPF обеспечивает возможность поддержания идентичности таких целей во время взаимных преград. При видеосъемке спортивных игр выделяют передний план в блоке 604 обработки, используя автоматически изученную модель цвета заданного игрового поля, как для ускорения усиленного детектирования, так и для уменьшения количества ложных тревог. Передний план также используется для разработки потенциальной модели, управляемой данными, для улучшения характеристик IDPF. Некоторые из результатов этого нового подхода, выполняемого для нескольких видеопоследовательностей, демонстрировали отслеживание различного количества объектов и правильно поддерживали их идентичность в динамичной сцене при движении камеры и взаимном затенении (как показано на предыдущих фигурах).

На фиг.7 иллюстрируется вариант осуществления усиленного фильтра интерактивно распределенных частиц. Цветную модель поля изучают путем накопления гистограмм цветов "HSV". Поле затем выделяют, используя пороговую обработку доминантного цвета, морфологическую фильтрацию и анализ 702 соединенных компонентов. Передний план на поле получают путем фильтрации цвета поля, используя модель 704 доминирующего цвета. Затем детектор усиления сканирует изображение переднего плана, используя множество масштабов 706. Такой процесс ускоряет детектирование и уменьшает количество фальшивых тревог. Кроме того, для обработки взаимодействия между целями принят интерактивный распределенный подход; при таком подходе распространение условной плотности для каждого объекта формулируют путем моделирования взаимодействия среди наблюдений объектов в распределенной схеме. При воплощении на основе фильтрации частиц, любые проблемы, связанные с затенением, решают путем регулировки веса каждой частицы.

В одном варианте осуществления состояние цели i в момент времени t и соответствующее наблюдение обозначают как xⁱ _t и yⁱ _t. Состояние, установленное до момента времени t, представляет собой xⁱ _0:t, где х₀ представляет собой исходное состояние и наблюдение, установленное до момента времени t, представляет собой yⁱ _0:t. Интерактивные наблюдения yⁱ _t в момент времени t обозначены как y^J _t ^t, где элементы J_t представляют собой показатели объектов наблюдения, которые взаимодействуют с yⁱ _t. Назначение отслеживания состоит в том, чтобы получить апостериорную оценку на основе всех наблюдений . Когда уⁱ не имеет взаимодействия с другими объектами, , эта формулировка соответствует обычному подходу фильтра частиц. Используя свойства условной независимости, распространение плотности для каждого интерактивного следящего устройства формулируется следующим образом: , где представляет собой локальную вероятность, представляет собой плотность перехода состояния, которые аналогичны байесовским подходам отслеживания.

Уравнение известно как интерактивная вероятность, которая характеризуется взаимодействием между целями. В отсутствие любой интеграции между целями, такая формулировка может быть деградирована до множества независимых байесовских рамок объектов.

При воплощении фильтра частиц апостериорная вероятность характеризуется набором взвешенных выборок , где (где N представляет собой количество выборок). В соответствии с важностью теории выборок, веса обновляют как:

На фиг.8 иллюстрируется объект 802-806, имеющий взаимодействие с каждым из других объектов, формирующих группу (например, группу G). Управляемая данными потенциальная модель предложена на основе наблюдений переднего плана для оценки

интерактивной вероятности для регулировки веса частиц. Кроме того, буквой G обозначена группа изображений, сформированная интерактивными объектами, F_G 802 как передний план изображения и S_G 804 как объединение областей изображений всех игроков в G, р₁₁ представляет собой вероятность того, что пиксель в области игрока принадлежит переднему плану, и р₁₀ представляет собой вероятность того, что пиксель в области игрока не принадлежит переднему плану, p₀₁ представляет собой вероятность того, что пиксель, находящийся за пределами игроков, представляет передний план, и р₀₀ представляет собой вероятность того, что пиксель, находящийся за пределами игроков представляет задний план, в котором р₁₁+р₁₀=1, р₁₁>р₁₀, p₀₁+p₀₀=1 и p₀₁<р₀₀.

Если предположить, что пиксели являются независимыми, получим следующую вероятность:

где C_G представляет собой нормализованную постоянную, в которой λ₁₀ и λ₀₁ представляют собой два коэффициента, зависящие от р₁₀ и p₀₁, соответственно, и ∩ представляет собой взаимное пересечение двух областей. Вероятность зависит от N₁₀ и N₀₁. Как показано в 806, белые пиксели формируют за пределами прямоугольников 808 N₁₀ и черные пиксели формируют внутри прямоугольников 810 N₀₁. Используя предложенную потенциальную модель, интерактивная вероятность уменьшает вероятность того, что оценки объектов плохо интерпретируют наблюдения; поэтому можно разделить наблюдение в условиях препятствий и, таким образом, решить задачу слияния.

Для решения задачи установки меток, в одном варианте осуществления, выполняют оценку вероятности перехода состояния по формуле: , где представляет собой плотность перехода традиционного состояния, и ее оценка может быть получена, используя модель ускорения постоянной. Кроме того, вес ϕⁱ _t(.) инерции определяется как: где σ_θ, σ_ν представляют собой исходные константы, которые характеризуют допустимые вариации направления и скорости вектора движения, соответственно. представляет собой вектор движения n-й частицы i-го объекта ; представляет опорный вектор движения из до . представляет угол между и . представляет собой норму L₂.

Проблема в поддержании эффективности фильтрации частиц состоит в том, как сконструировать распределение предложения. В одном варианте осуществления используют смесь гауссовой модели, которая комбинирует обе динамики, как предшествующего детектирования, так и детектирования с усилением: Параметры σ_q динамически обновляют путем перекрытия между гауссовым распределением детектирования усиления и динамики перед этим. Алгоритм "ближайшего соседа" используется для идентификации данных при назначении направления усиления для существующих дорожек.

Что касается локальной вероятности наблюдение цели представлено как оценка плотности ядра распределения цветов, выделенных из области R(xⁱ _t), с центром в местоположении xⁱ _t. Коэффициент Бхаттачарья (Bhattacharyya) применяется для оценки схожести между текущим наблюдением К (x_t) и опорной моделью Кроме того, для кодирования пространственной информации наблюдений, применяют цветную модель, состоящую из множества частей, которая разделяет объект вертикально на две части. Таким образом, локальную вероятность цели I определяют как: .

На фиг.9 иллюстрируется вариант осуществления результатов отслеживания при воплощении вариантов осуществления настоящего изобретения, когда воплощение осуществляют в двух видеоклипах с разрешением 720×576 и 960×544. Иллюстрации рядов 902-906, в частности, фокусируются на вводе на сцену нового игрока. В одном варианте осуществления игрока, попадающего на сцену, быстро детектируют и отслеживают надежно даже при относительно высокой степени заграждения. Как показано, в ряду 904 показаны виды крупным планом эллиптической области, помеченной на первом изображении рядом 902. В одной технологии, цвет окружающего прямоугольника (например, рамки объекта) 908-912 для каждого игрока может быть уникальным, если игроки не взаимодействуют друг с другом. В противном случае, цвет рамки объекта может изменяться на черный. Правильная идентификация поддерживается во время образования преграды, что является преимуществом предложенной схемы регулирования весов для частиц, несмотря на интерактивную вероятность. В строке 904 иллюстрируются рамки объекта, слившиеся вместе, когда объекты приближаются друг к другу (например, при преобразовании из трех рамок 914-918 в две рамки 914-916 объектов и так далее). Кроме того, новая рамка объекта может быть сформирована, если одна рамка будет разделена на две рамки объекта таким образом, чтобы метки той же цели могли быть разными после образования преграды.

На фиг.10 иллюстрируется другой вариант осуществления результатов отслеживания выполнения вариантов осуществления настоящего изобретения. В варианте осуществления строки 1002-1008 представляют результаты отслеживания игроков. Каждого игрока 1010-1019 индивидуально отслеживают, используя соответствующую рамку 1020-1029 игрока, и, как показано, каждого игрока 1010-1019 индивидуально отслеживают и его идентичность правильно поддерживают, независимо от любых частичных или полных преград.

На фиг.11 показан вариант осуществления вычислительной системы 1100, в которой воплощаются варианты осуществления настоящего изобретения как гибрид программных и аппаратных компонентов. Некоторые функции вариантов осуществления воплощены в аппаратных средствах, и некоторые другие функции воплощены как программное средство. Как показано, микросхема 1102 CPU разработана для работы с видеосопроцессором 1110. Видеосопроцессор 1110 может представлять собой часть видеоустройства (например, видеокамеры), имеющего другие модули обработки, например модуль графической обработки (GPU)). В одном варианте осуществления видеосопроцессор 1110 использует любое количество новой программной логики и аппаратной логики 1100 для работы с другой обычной программной и аппаратной логикой, для выполнения вариантов осуществления настоящего изобретения совместно с любыми обычными операциями.

Оперативное запоминающее устройство (RAM) 1106 содержит базу данных приложения, имеющую информацию об объекте. Контроллер 1104 памяти обращается к данным в RAM 1106 и пересылает их в CPU 1102 и/или видеосопроцессор 1110 для обработки. RAM 1106 может включать в себя RAM с двойной скоростью передачи данных (DDR RAM), RAM с расширенными возможностями вывода данных (EDO RAM) и т.д. Любые данные (например, видеоизображения или другие входные данные, предназначенные для обработки) могут быть сохранены в запоминающем устройстве 1108, и позже любые полученные в результате данные (например, конечные видеоизображения и любую соответствующую информацию) 1212 затем передают в устройство 1112 дисплея. В качестве альтернативы, видеоконтроллер может быть сформирован в той же микросхеме, что и ЦПУ 1102, и может совместно использовать тот же кэш и запоминающее устройство, которое может использовать контроллер. Дисплей 1112 может быть разных типов, таких как электронно-лучевая трубка (CRT), тонкопленочный транзистор (TFT), жидкокристаллический дисплей (LCD), DPL и т.д.

В одном варианте осуществления некоторые процессы графического конвейера обработки, как описано выше, воплощены в программном средстве, в то время как остальные воплощены в аппаратных средствах. Запоминающее устройство 208 может содержать заранее выделенную область буфера; однако для специалиста в данной области техники должно быть понятно, что изобретение не ограничивается этим и что можно использовать любое запоминающее устройство, доступное для нижнего конвейера графической обработки. Вычислительная система 1100 может дополнительно включать в себя концентратор управления вводом/выводом (I/O) (ICH), одно или больше устройство ввода/вывода и т.д.

ЦПУ 1102 может включать в себя один или больше процессор для выполнения инструкций, для выполнения того, что воплощено в программных процедурах вычислительной системы. Инструкции часто включают в себя своего рода операции, выполняемые над данными. Как данные, так и инструкции сохраняют в системной памяти 1108 и в любом выделенном кэше. Кэш обычно разрабатывают так, чтобы он имел более короткое время задержки, чем системная память 1108; например, кэше может быть интегрирован на том же кремниевом кристалле (кристаллах), что и процессор (процессоры) и/или построен на основе более быстрого статического RAM (SRAM), в то же время системная память 1108 может быть построена на более медленных микросхемах динамического RAM (DRAM). Учитывая тенденцию более частого сохранения используемых инструкций и данных в кэш, в отличие от системного запоминающего устройства 1108, общая эффективность рабочих характеристик вычислительной системы 1100 улучшается.

Системное запоминающее устройство 1108 преднамеренно сделано доступным для других компонентов в вычислительной системе 1100. Например, данные (например, входные графические данные), принимаемые из различных интерфейсов в вычислительную систему 1100 (например, клавиатура и мышь, порт принтера, порт локальной вычислительной сети (LAN), порт модема и т.д.), могут быть получены из внутреннего накопительного элемента вычислительной системы 1100 (например, накопителя на жестком магнитном диске) и часто по времени выстраиваются в очередь в системной памяти 1108 перед их выполнением одним или большим количеством процессоров (процессорами) при выполнении прикладной программы. Аналогично, данные, которые определяет прикладная программа, которые должны быть переданы из вычислительной системы 1100 во внешний объект через один из интерфейсов вычислительной системы или сохранены во внутреннем накопительном элементе, часто по времени выстраивают в очереди в системной памяти 1108, прежде чем они будут переданы или сохранены.

ICH может использоваться для обеспечения, что такие данные будут правильно переданы между системной памятью 1108 и соответствующим интерфейсом вычислительной системы (и внутренним устройством-накопителем, если вычислительная система разработана таким образом) и могут иметь двунаправленные соединения типа точка с точкой друг с другом и наблюдаемыми устройствами ввода/вывода. Контроллер 1104 памяти может использоваться для управления различными соперничающими запросами для выделения системной памяти 1108 между ЦПУ 1102, интерфейсами и внутренними элементами-накопителями, которые могут возникать рядом друг с другом во времени в отношении друг друга.

Одно или больше устройств ввода/вывода также воплощено путем передачи данных в и/или из вычислительной системы 1100 (например, сетевого адаптера); или для объемного энергонезависимого устройства-накопителя в пределах вычислительной системы 1100 (например, накопитель на жестком магнитном диске).

Участки различных вариантов осуществления настоящего изобретения могут быть предусмотрены как компьютерный программный продукт, который может включать в себя считываемый компьютером носитель информации, на котором записаны инструкции компьютерной программы, которые могут использоваться для программирования компьютера (или других электронных устройств), для выполнения обработки в соответствии с вариантами осуществления настоящего изобретения. Считываемый устройством носитель информации может включать в себя, но не ограничивается этим, гибкие дискеты, оптические диски, постоянное запоминающее устройство на компакт-дисках (CD-ROM) и магнитооптические диски, ROM, RAM, стираемое программируемое постоянное запоминающее устройство (EPROM), электрически программируемое постоянное запоминающее устройство EPROM (EEPROM), магнитные или оптические карты, запоминающее устройство типа флэш или другого типа носитель/считываемые устройством носители информации, пригодные для сохранения электронных инструкций.

В приведенном выше описании изобретение было описано со ссылкой на конкретные примерные варианты его осуществления, однако должно быть понятно, что различные модификации и изменения могут быть выполнены в отношении него, без выхода за более широко определенные сущность и объем изобретения, которые установлены в приложенной формуле изобретения. Описание и чертежи, соответственно, следует рассматривать скорее как иллюстрацию, а не в ограничительном смысле.

Изобретение относится к области формирования видеоизображения. Техническим результатом является повышение стабильности поиска и его ускорение, уменьшение поискового пространства. Способ, устройство и система для совмещения игрового поля на основе модели. Обрабатывают входное видеоизображение. Обработка видеоизображения включает в себя выделенные ключевые точки, относящиеся к видеоизображению. Кроме того, определяют, достаточное ли количество ключевых точек, относящихся к видеоизображению, было выделено, и выполняют прямую оценку видеоизображения, если было выделено достаточное количество ключевых точек, и затем генерируют гомографическую матрицу конечного видеоизображения на основе прямой оценки. 3 н. и 9 з.п. ф-лы, 11 ил.

1. Способ для выполнения совмещения изображения игрового поля, содержащий этапы, на которых:
обрабатывают входное видеоизображение, при этом обработка включает в себя выделение ключевых точек, относящихся к видеоизображению;
детектируют, было ли выделено достаточное количество ключевых точек, относящихся к видеоизображению;
выполняют прямую оценку видеоизображения, если было выделено достаточное количество ключевых точек;
генерируют гомографическую матрицу конечного видеоизображения на основе прямой оценки, отличающийся тем, что выполнение прямой оценки включает поиск оптимального отображения, при этом поиск включает вычисление ошибки сопоставления с использованием карты расстояния, генерируемой в результате преобразования расстояния.

2. Способ по п.1, в котором прямая оценка содержит генерирование гипотезы отображения путем детектирования и оценки ключевых точек, относящихся по меньшей мере, к двум горизонтальным линиям, пересекающим, по меньшей мере, две вертикальные точки.

3. Способ по п.1, дополнительно содержащий этап, на котором выполняют опосредованную оценку видеоизображения, если достаточное количество ключевых точек еще не было выделено.

4. Способ по п.3, в котором опосредованная оценка содержит выполнение оценки глобального движения, включающей в себя сопоставление точек между двумя последовательными изображениями.

5. Способ по п.1, дополнительно содержащий предварительную обработку видеоизображения, включающую в себя выполнение классификации типа просмотра видеоизображения.

6. Способ по п.1, дополнительно содержащий этап, на котором отображают конечное видеоизображение в устройстве дисплея.

7. Система обработки данных, имеющая носитель информации и процессор, соединенный с носителем информации, при этом процессор, предназначенный для:
обработки входного видеоизображения, при этом обработка включает в себя, выделение ключевых точек, относящихся к видеоизображению;
детектирования, было ли выделено достаточное количество ключевых точек в отношении видеоизображения;
выполнения прямой оценки видеоизображения, если достаточное количество ключевых точек было выделено;
генерирования гомографической матрицы конечного видеоизображения на основе прямой оценки, отличающийся тем, что выполнение прямой оценки включает поиск оптимального отображения, при этом поиск включает вычисление ошибки сопоставления с использованием карты расстояния, генерируемой в результате преобразования расстояния.

8. Система обработки данных по п.7, в которой прямая оценка содержит генерирование гипотезы отображения путем детектирования и оценки ключевых точек, относящихся, по меньшей мере, к двум горизонтальным линиям, пересекающим, по меньшей мере, две вертикальные точки.

9. Система обработки данных по п.7, в которой процессор дополнительно предназначен для выполнения опосредованной оценки видеоизображения, если достаточное количество ключевых точек не было выделено.

10. Система обработки данных по п.9, в которой опосредованная оценка содержит выполнение глобальной оценки движения, включающей в себя сопоставление точек между двумя последовательными изображениями.

11. Система обработки данных по п.7, в которой процессор дополнительно предназначен для предварительной обработки видеоизображения, включающей в себя выполнение классификации типа обзора видеоизображения.

12. Считываемый устройством носитель информации, содержащий инструкции, которые при их выполнении обеспечивают выполнение устройством способа по любому из пп.1-6.