СПОСОБ ЗАМЕНЫ ОБЪЕКТОВ В ПОТОКЕ ВИДЕО Российский патент 2017 года по МПК H04N5/272 H04N13/02 G06K9/34 G06T15/40 

Настоящее изобретение относится к обработке изображений и более конкретно к способу замены объектов в потоке видео, а также к компьютерной программе для выполнения способа.

Более конкретно, способ направлен на обнаружение и идентификацию объектов, подлежащих замене в потоке видео, и их замену заменяющим изображением или последовательностью изображений. Типичное применение настоящего способа может быть использовано во время прямой трансляции спортивных событий для замены рекламных изображений, появляющихся на щитах, по периметру окружающих поле или другие области на месте проведения. Это обеспечивает доставку нескольких рекламных объявлений, появляющихся в этих областях, при трансляции в различные места.

Виртуальная вставка, дополненная реальность и замена изображений представляли собой область исследований на протяжении последних 15 лет. Много различных способов было предложены для того, чтобы сделать виртуальные изображения как можно более реалистичными и естественными, принимая во внимание необходимость замены движущихся объектов, перекрывающих изображения переднего плана.

Существующие технологии могут быть разделены на четыре основные группы:

• для отслеживания оборудования камеры;

• для распознавания ориентиров;

• для ручного выбора объекта или области, подлежащих замене;

• для предшествующего распознавания изображения, подлежащего замене.

Такие технологии страдают от недостатков, делающих их или непрактичными, или ненадежными, особенно в прямой трансляции. Подразумевается, что замена изображений должна увеличивать доходы от спонсоров или рекламы, поэтому способы должны гарантировать работоспособность в различных случаях так, чтобы обеспечивать регулярные поступления. Однако существующие решения имеют серьезные недостатки.

Камеры слежения со штативами, использующие измерительное оборудование, могут только оказаться на месте события и требуют специального оборудования и операторов. Многие режимы вещания не могут позволить таких затрат на отслеживание.

Свободный обзор камеры, запрашиваемый для освещения игры, не гарантирует, что на запечатленном изображении будет виден какой-либо ориентир. Распознавание ориентиров может быть применено только для некоторых камер и некоторых кадров.

Ручное взаимодействие, особенно нанесение отметок в области замены на видеоизображении, занимает слишком много времени, чтобы использоваться в прямых трансляциях. Оно влечет задержку в несколько секунд, что является непрактичным.

Способы распознавания изображений применяют для распознавания объектных образов в запечатленном изображении. Эволюция динамической рекламы (размещение полнокадрового видео на рекламных щитах, периметрах, экранах и т. д.) делает эти способы устаревшими, поскольку изображение, подлежащее замене, как правило, предсказать нельзя.

Большинство существующих работ основаны на системах позиционирования камеры (головки слежения, GPS, основанные на линзах измерения) и/или видимые ориентиры (часто линии и фигуры на игровом поле).

Например, это имеет место в следующих документах.

WO 97/00581A1: требует, чтобы было видно по меньшей мере три ориентира.

WO 2009/018135A1: определение положения объектов на основе GPS с адаптацией 3D модели объекта.

US 7230653 B1: способ, основанный на слежении и сенсорной телеметрии с помощью GPS и измерения, указывающего на направление линзы; кроме того, этот патент определяет изображение по статической опорной CAD-модели, что делает его непрактичным для замены на LED-стендах.

Некоторые способы включают процесс ручной идентификации объектов, что делает их непрактичными для событий в реальном времени и замены нескольких объектов (например, щитов, окружающих периметр).

US 7689062 B2: внедрение контейнеров в сегменты исходного видео; это представляет собой чистый процесс последующей обработки, который не может быть использован в трансляции событий в реальном времени.

US 2010067865 A1: требуется выбранная пользователем область ввода, что делает его несоответствующим для событий в реальном времени, когда автоматическое определение областей должно быть выполнено в реальном времени.

Прошлые способы, когда содержимое расположенных по периметру щитов было статическим, не соответствуют требованиям динамического содержимого современных LED-стендов. Все эти способы требуют постоянной идентификации статических изображений, подлежащих замене.

US 7116342 B2 описывает способ, который основан на модели разделения цветов для идентификации, хранения и индексирования интересующих областей и таким образом не может быть использован с динамическим содержимым расположенных по периметру щитов.

При нахождении расположенных по периметру щитов в основном поле зрения камер во время игры способы, находящие области наименьшей важности для зрителей и за пределами игрового поля, попросту несущественны; это касается способа, раскрытого в GB 2416949 A, который фокусируется за пределами областей игры и продолжается за пределами самой игры.

Некоторые другие способы не применимы для объектов заднего плана видеоизображений, поскольку они сосредоточены на переднем плане. Например, в WO 2010067350 A1, определяются объекты переднего плана в потоке видео для добавления виртуальных вставок.

Камеры, используемые в современном телевизионном вещании новостей и спортивных событий, становятся быстрее и легче. Вещание становится все более мобильным, будучи освобожденным от тяжелых штативов. Положения камер и параметры камер могут меняться все чаще во время записи и больше не приемлемо сталкиваться с экономическими и функциональными ограничениями неподвижных камер с оборудованием слежения.

Нашу ежедневную жизнь заполоняет все больше и больше рекламных экранов. Эти экраны, изначально ограниченные статичным содержимым, постепенно перешли к вращающимся баннерам, а затем — к динамически подаваемому электронному содержимому. С помощью способов, раскрытых из предыдущего уровня техники, заменить электронное динамическое содержимое невозможно. В то же время расположение электронных экранов пользуется преимуществом наиболее выгодных рекламных пространств внутри телевизионной подачи.

Замена изображений должна быть доступна для прямых трансляций, повторов или даже исторических материалов. Это означает, что если на месте события требуется какое-либо специальное аппаратное обеспечение, то архив, записанный без этого элемента оборудования, может просто не быть использован для замены изображений. Применение чистых технологий машинного зрения (не требующих на месте никакого специального аппаратного обеспечения) делает замену изображений применимой к операциям в реальном времени и/или последующей обработке и архивным материалам.

Целью настоящего изобретения является устранение вышеупомянутых недостатков и предоставление способа вставки заменяющих изображений в поток видео без необходимости получения и передачи параметров камеры через дорогое сенсорное оборудование, установленное на штативе камер и без необходимости в статической модели реальной окружающей среды.

Другой целью настоящего изобретения является предоставление способа, который может быть применен для осуществления прямых трансляций, а также для последующей обработки, когда имеется доступ только к записанным изображениям. Предложенный способ адаптирован для замены динамических изображений, появляющихся на объектах заднего плана, таких как располагающиеся по периметру щиты или доски объявлений, имеющие динамическое содержимое.

Еще одной целью настоящего изобретения является предоставление компьютерной программы для осуществления способа. Компьютерная программа может быть представлена на среде записи или средстве связи. Каждый из среды записи и средства связи может предоставлять компьютерную программу машиночитаемым образом для компьютерной системы общего назначения, выполняющей множество программных кодов. С компьютерной программой, представленной машиночитаемым образом, компьютерная система выполняет процессы с учетом компьютерной программы.

Для этого целью настоящего изобретения является предоставление способа для создания представления видеоизображения, идентичного тому, которое увидел бы глаз человека, путем создания стереоскопического 3D изображения, как делает мозг человека. Используя стереоскопическую 3D интерпретацию изображения, предложенный способ может определять фактическое положение в изображении объектов, подлежащих замене, и возможных объектов переднего плана, перекрывающих настоящие объекты заднего плана.

Этой цели достигают с помощью способа, отличающегося этапами, представленными в пунктах 1 и 8 формулы изобретения.

Основными преимуществами раскрытого способа является то, что он не требует дорогого оборудования слежения на штативах камер; он может быть использован или для событий в реальном времени, или для записанных изображений; и он может заменять динамическое или статическое содержимое.

Дополнительные преимущества изобретения будут понятны на основании признаков, перечисленных в зависимых пунктах формулы изобретения, и из следующего подробного описания.

Теперь настоящее изобретение будет описано подробно со ссылкой на сопутствующие графические материалы, на которых:

фиг. 1 – изображение обычной трансляции в реальном времени спортивного события на месте события;

фиг. 2 – блок-схема, описывающая процесс замены изображения, когда доступны две подачи с камеры;

фиг. 3 – блок-схема, описывающая процесс замены изображения, когда доступна только одна подача с камеры;

фиг. 4 – блок-схема, описывающая процесс замены изображения, когда доступно электронное представление целевого изображения, подлежащего замене;

фиг. 5 – блок-схема, описывающая процесс замены изображения, когда подача с камеры идет в режиме 3D;

фиг. 6 – блок-схема, показывающая процесс получения информации камеры;

фиг. 7 – блок-схема, показывающая создание стереоскопического изображения, служащего для идентификации объектов переднего плана и заднего плана, информации положения и глубины, когда доступны две подачи с камеры;

фиг. 8 – блок-схема, показывающая создание стереоскопического изображения, служащего для идентификации объектов переднего плана и заднего плана, информации положения и глубины, когда доступна только одна подача с камеры.

Со ссылкой на фиг. 1 представлена обычная прямая спортивная трансляция события со стадиона или спортивной площадки. Обычное поле 1 для игры в футбол схематически представлено с движущимися по нему игроками a, b, c. Поле окружено расположенными по периметру щитами или электронными досками 2 объявлений, на которых могут быть отображены статические или динамические рекламные изображения. В обычном случае прямой трансляции имеется по меньшей мере две основные камеры 3, 4, непрерывно записывающие игру, тогда как еще одну камеру 5 (здесь и далее называемая камерой PGM) выводит в эфир режиссер трансляции. Часть целевого изображения, расположенные по периметру щиты 1, 2, видна в поле зрения каждой камеры. Нижнее левое уменьшенное изображение представляет точку зрения камеры 3; нижнее центральное уменьшенное изображение представляет точку зрения камеры 4; а нижнее правое изображение представляет то, что видно через камеру PGM. Некоторые игроки a, b частично перекрывают целевое изображение, тогда как в поле зрения PGM видна лишь часть перекрывающих объектов, как видно с двух других камер 3,4.

В кратком изложении способ согласно настоящему изобретению для замены объекта в потоке видео состоит из следующих этапов:

- создания стереоскопического изображения места действия;

- идентификации параметров камеры из видеоизображения;

- идентификации объекта, подлежащего замене в изображении;

- вычисления контура перекрывающих объектов;

- создания изображения заменяющего объекта с маской для него;

- наложения сгенерированного изображения на оригинальное изображение.

В способе, основанном на стереоскопическом машинном зрении, создают стереоскопическое 3D представление изображения (изображений) камеры, как при обработке стереоскопического зрения человека. Затем идентифицируют объекты с перспективным представлением и заменяют объекты в рамках желаемого содержимого, одновременно соблюдая глубину видимости новых объектов. Используя этот способ, можно преодолеть недостатки предыдущего уровня техники, которые обычно требуют дорогого оборудования отслеживания камеры. Кроме того, способ можно применять в среде реального времени или последующей обработки, и он работает с динамическим содержимым внутри изображений.

Стереоскопическое 3D представление создают двумя различными способами.

Стереоскопическое человеческое 3D представление текущего изображения создают из передач по меньшей мере с двух камер. Этот способ использует алгоритмы триангуляции камер.

В случае последующей обработки или когда доступна только одна подача с камеры, стереоскопическое 3D представление получают путем реконструкции пространственного окружения с помощью техник анализа изображения.

Используя стереоскопическое 3D представление изображения, способ определяет положение в изображении объекта, подлежащего замене, и возможные объекты переднего плана, перекрывающие объект заднего плана.

Обработка пиксельных различий между смоделированным изображением и реальным определяет область, в которую помещают маску для создания заменяющего изображения.

Предлагаются следующие способы замены объектов в потоке видео.

Наличие по меньшей мере одной двойной телевизионной подачи, двух или более камер, на месте события для создания стереоскопического 3D представления и таблицы глубины, служащей для расчета маски перекрытия для других объектов, помещаемых на переднем плане объекта, подлежащего замене. Способ описан здесь с двумя камерами, что является требующимся минимумом, но он также применим, когда доступно больше камер. Этот способ будет более подробно описан относительно фиг. 2.

Интерполирование стереоскопического изображения и создание таких же таблицы объектов и таблицы глубины для одной передачи, или изображения одной камеры. Этот способ описан относительно фиг. 3.

Дополнительный способ использует ранее вычисленное изображение объекта, подлежащего идентификации. Этот способ основан на различиях между тем, что фактически находится на изображении, и тем, что должно быть на нем без перекрывающих объектов. Этот способ имеет дело с динамической природой объектов, подлежащих замене. Он в принципе подобен замене статического изображения, но когда статическое изображение меняет каждое поле или кадр.

Четвертый способ состоит из сопоставления исходного динамического изображения, подлежащего замене, с записанным камерой изображением для определения пикселей, подлежащих замене. Наконец, процесс также приспособлен для случая высокопроизводительных камер, или в прямой трансляции, или в повторе.

С поступлением содержимого 3D камеры (камер) стереоскопическую информацию преобразуют прямо в стереоскопическое представление.

Настоящее изобретение применимо к любому формату камеры. Это включает потребительские форматы, а также вещательные форматы (SD, HD, 4K или наследующие их). Большее количество пикселей в формате приведет даже к более четкой трансформации.

Несколько процессов, представленных на чертежах, встроены в непрерывный поток операций, анализирующий поток видео изображение за изображением (или кадр за кадром, или поле за полем) и создающий опорные базы для нескольких камер и объектов.

Теперь будут описаны различные этапы способа, его различные процессы и расчеты.

В отношении различных способов, описанных выше, некоторые общие концепции применимы для различных вариантов изобретения и будут кратко описаны.

Концепция стереоскопического изображения, а также ее эквивалентный бинокуляр относятся к двум или более входящим сигналам, представляющим различные перспективы места действия или события, при этом эти входящие сигналы приходят от камеры или другого источника изображения. Варианты осуществления настоящего изобретения, требующие двух камер, равно применимы с любым большим числом камер.

Для осуществления способа потребуются различные элементы в зависимости от выбранного способа. Первый из них – это идентификация камеры, чтобы построить таблицу камер, в которой каждый раз при идентификации камеры сохраняют ее параметры, в основном координаты (x, y, z) и по меньшей мере некоторые из следующих параметров: панорамирование, наклон, детализация и фокус. Параметры камеры получают из анализируемых изображений, а не из внешних сигналов, таких как датчики, связанные со штативом камеры. Существующие технологии обнаружения машинного зрения применяют для определения положения (x, y, z) камеры, а также ее параметров. Технология обнаружения основана на идентификации геометрических элементов, линий, кругов, границ, углов, поверхностей и инвариантных точек. Матрица перспективного преобразования, построенная для сопоставления идентифицированных элементов с их представлением на изображении, определяет желаемые параметры камеры.

Объекты обнаруживают и помещают в полевом представлении, используя известные способы триангуляции камеры. Две разные камеры, снимающие один и тот же объект, обеспечат различные изображения, раскрывающие положение объекта.

В этом отношении процесс триангуляции камеры подобен человеческой обработке стереоскопического зрения, предоставляющей сознанию информацию о рельефе или глубине на основании разницы перспективы между двумя глазами. Сравнение двух изображений с двух разных камер позволяет извлекать объекты из двух разных изображений и определять контуры каждого объекта, внутренние пиксели и расстояние до камеры.

Когда изображение получено и обработано, определяют область заднего плана путем вычисления разницы между двумя последовательными изображениями одной последовательности с помощью известных алгоритмов обнаружения заднего плана. Подходящие способы, приспособленные для обнаружения заднего плана, для цели настоящего изобретения раскрыты в следующем документе: “Background subtraction techniques: a review” 2004 IEEE International Conference on Systems, Man и Cybernetics 0-7803-8566-7/04/© 2004 IEEE.

Что касается обнаружения перемещения камеры, разница представления между двумя последовательными изображениями последовательности является широко исследованной областью, предоставляющей множество способов и алгоритмов, как изложено в “Performance characterization of video-shot-change detection methods ” IEEE TRANSACTIONS ON CIRCUITS и SYSTEMS FOR VIDEO TECHNOLOGY, том 10, № 1, февраль 2000.

Когда параметры камеры были обновлены между двумя изображениями и обнаружен задний план, остальные пиксели изображения образуют объекты переднего плана. Дифференциальный анализ объектов переднего плана между двумя изображениями применяют и используют для обновления 3D модели объекта и расстояний до камеры.

В следующем описании также будет использовано понятие таблицы глубины. Как используется в настоящем изобретении, таблица глубины представляет собой собрание пикселей с одинаковым или эквивалентным значением z для текущих изображения и камеры. Пиксели с одинаковой глубиной группируют в объекты, создавая таблицу объектов, причем глубина объекта связана с ней для изображения определенной камеры.

Как правило, значение глубины для пикселя преобразуют в уровень серого, который может быть закодирован в 0-255 или даже большее значение. Таблица глубины фактически представляет собой изображение, состоящее из связанных значений серого реального изображения, чем темнее, тем дальше.

Таблица глубины (или z-таблица), полученная из стереоскопической или 3D камеры, может быть импортирована в таблицу глубины. То же самое касается и объектов переднего плана, определенных в процессе обнаружения переднего плана.

Описание изобретения иногда относится к стереоскопическому представлению или стереоскопическому изображению места действия. Это представление места действия, видимое с камер, включая все объекты, видимые с этой точки зрения. Объекты представлены как расстояние от камеры, набор пикселей, составляющих объект, положение в поле и его моделирующие и динамические параметры.

Стереоскопическое представление, таким образом, содержит собрание таблиц глубины для всех объектов переднего плана, параметры камеры и объект заднего плана.

Для объекта или зоны, подлежащих замене, держат дополнительные параметры, включая точную геометрическую 3D модель зоны, как ее видно из камеры (камер).

Для замены части изображения в конце процесса замены вводят понятие маски замены. Перекрытие происходит, когда имеется объект на переднем плане, частично перекрывающий область, подлежащую замене, на заднем плане.

Расчет перекрытия основан на стереоскопическом представлении. Маска перекрытия ограничена видимой камерой частью объекта, подлежащего замене, рассчитанной как внешний контур 3D модели объекта, как это видит камера. Это называют маской замены.

Для каждого одного объекта, хранимого в стереоскопическом изображении, часть объекта, включенная в маску замены, фактически перекрывает объект, подлежащий замене. Следовательно, маска перекрытия представляет собой сумму пересечения перекрывающих объектов с маской замены.

Сумму вычисляют (сортируют) по убывающему расстоянию до камеры. Это подобно наложению слоев в технологии создания изображений. Наложение слоистых объектов поверх маски создает одновременно контур маски и пиксели маски.

На фиг. 2 представлен процесс замены изображения, когда доступны две подачи с камеры; это случай прямой трансляции с места события. До события получают карту камеры, включающую предопределенное положение камеры или оси камеры в случае движущихся камер, таких как пауковая камера, и вводят в начальные установки системы. Во время всего события система получает изображения, производимые двумя основными камерами 3, 4. Обращаясь к фиг. 2, имеется цикл (этапы 101-105), обрабатываемый для каждого изображения.

Цикл начинается с получения изображений с каждой камеры 3, 4 на этапе 102, а также получения параллельно изображений с PGM камеры 5 на этапе 103.

С помощью изображений с камеры 3 и 4 на этапе 301 создают вид в перспективе места действия, подобный человеческому представлению бинокулярного зрения. Процесс для создания вида в перспективе будет подробнее описан со ссылкой на фиг. 6.

Параллельно с этапом 301 анализируют изображение PGM камеры 5, чтобы извлечь параметры камеры (или ориентацию камеры) на этапе 1031, позволяющие определить положение (x, y, z) PGM камеры, а также ее направление (панорамирование, наклон, детализация и фокус).

Используя стереоскопическое изображение и параметры ориентации PGM камеры, на этапе 1021 вычисляют точку зрения PGM камеры.

Из положения камеры объекты, идентифицированные как возможное перекрытие в виде в перспективе, созданном на этапе 301, пересчитывают на этапе 1022 и создают таблицу глубины для каждого объекта. Таблица глубины содержит контурную информацию обнаруженных объектов, а также, для каждого объекта в поле зрения камеры, расстояние до камеры (глубину или z-таблицу).

Целевое изображение и объекты переднего плана затем идентифицируют на этапе 1023. Контурную информацию объектов переднего плана затем используют для вычисления маски перекрытия на этапе 1024. Эта маска представляет собой представление (3D изображение) объекта, подлежащего замене, минус объекты в поле зрения, имеющие более низкое z, чем у объекта.

Затем вычисляют задний план заменяющего изображения с помощью положения PGM камеры на этапе 1032, и маску перекрытия накладывают на него, так что объект замены изображения накладывают как дополнительный слой на изображение с камеры PGM на этапе 104. Процесс затем продолжается со следующим изображением на этапе 105.

На фиг. 3 представлен процесс замены изображения, когда доступна только одна подача с камеры. Это может быть, например, видео в реальном времени, получаемое в вещательной студии, или записанное событие. Этот процесс подобен предыдущему случаю, описанному относительно фиг. 2, но отличается на двух этапах.

Поскольку доступна только одна подача с камеры, этап 102 предыдущего процесса двойной подачи удален. Создание вида в перспективе на этапе 301 фиг. 2 заменяют этапом 301bis, который создает вид в перспективе с помощью изображений, полученных из одной подачи. Процесс 301bis будет более подробно описан со ссылкой на фиг. 8. Другие этапы идентичны представленным на фиг. 2.

На фиг. 4 представлена блок-схема альтернативного процесса основного процесса замены изображения, как описано со ссылкой на фиг. 2. Фиг. 4 относится к случаю, в котором доступно электронное представление изображения, подлежащего замене. В этом случае нет необходимости создавать таблицу глубины объектов, а также вычислять контурную информацию и идентифицировать целевые объекты и объекты переднего плана, таким образом, обходя этапы 102, 1021, 1022, 1023 и 301, представленные на фиг. 2 и 3. Обрабатывают реальный вид целевого изображения, равно как обрабатывают и область в изображении, соответствующем целевому, на этапе 1025. Затем задний план целевого изображения вычисляют как комбинацию исходного изображения и параметров PGM камеры, ориентации камеры (этап 1026). Применяемая маска, вычисляемая на этапе 1024, соответствует пиксельной разнице между записью камеры целевого изображения, полученного на этапе 1025, и задним планом целевого изображения, полученным на этапе 1026.

Упрощение процесса, представленного на фиг. 4, происходит, когда электронное представление изображения, подлежащего замене, может быть определено в изображении камеры. Используя распознавание образов машинного зрения, можно идентифицировать исходное изображение и его замену и перспективу в определяемой картинке. Нет необходимости вычислять параметры камеры, поскольку коррекция перспективы для исходного изображения и заменяющего изображения является такой же, что и обнаруженная из изображения камеры. Результатом является составление изображения заменяющего изображения в перспективе вместе с маской перекрытия, вычисленной как разница пикселей между идентифицированным изображением и его перспективным скорректированным источником.

Со ссылкой на фиг. 5 подача с камеры уже представлена в 3D. Каждая камера обеспечивает левое изображение, правое изображение и таблицу глубины. Процесс замены изображения упрощается с помощью этой стереоскопической информации, полученной прямо из подач с камеры. Процесс очень похож на описанный со ссылкой на фиг. 2, с той разницей, что он проходит для обоих изображений, левого и правого, как представлено на этапе 103bis, заменяющем этап 103, представленный на фиг. 2. Второе отличие состоит в том, что информацию глубины о перекрывающих объектах получают с камер и, следовательно, нет необходимости их вычислять. Все другие этапы идентичны описанным со ссылкой на фиг. 2.

Со ссылкой на фиг. 6 подробно представлен процесс получения информации камеры. Для каждого полученного на этапах 102 или 103 изображения определяют, произошла ли резкая смена кадра с предыдущим изображением. Когда нет резкой смены кадра между предыдущим изображением и текущим, процесс является чисто разностным, вычисление изменяется относительно предыдущего изображения. Если резкой смены кадра с предыдущим изображением не произошло, информация заднего плана и установки PGM камеры из предыдущего изображения используют для вычисления изменений заднего плана на этапе 204, а также для определения изменения параметров камеры (если имеются). Когда адаптированные параметры камеры были вычислены, новые параметры камеры сохраняют на этапе 206. Используя новые параметры камеры и информацию заднего плана, смещение объектов переднего плана вычисляют на этапе 2051, и для каждого объекта переднего плана обновляют таблицу глубины на этапе 2052.

Если происходит резкая смена кадра, таблица камеры служит для идентификации возможных совпадений между текущим изображением и хранящимися изображениями, соответствующими существующим прошлым положениям камеры. На этапе 202 способы распознавания образов, особенно для линий поля или известных элементов, применяют для нахождения точного сопоставления и идентификации правильной камеры на этапе 203. Необязательно, пользовательский ввод может быть запрошен для обеспечения лучшего и более быстрого сопоставления в форме определения опорной точки (точек).

Выход на этапе 203 должен установить новые параметры ориентации камеры (этап 206).

На фиг. 7 представлено создание (301) перспективного 3D изображения, служащего для идентификации объектов переднего и заднего планов, информации о положении и глубине, с помощью двух доступных подач с камеры.

Первый этап устанавливает ориентацию камеры для первой и второй камеры, используя процесс 201 в случае отсутствия резкой смены кадра, поскольку обе камеры всегда доступны и производят непрерывную подачу.

Когда эти ориентации камер установлены, PGM изображением используют для определения информации заднего и переднего планов (этапы 204, 2051 и 2052) для PGM камеры таким же образом, как это описано для этих процессов на фиг. 6.

На фиг. 8 представлен процесс 301bis установки вида в перспективе как варианта процесса 301 (представленного на фиг. 7) в случае отсутствия двойной подачи.

Процесс начинается с получения ориентации (210) камеры. Обнаружение резкой смены кадра в этой точке уже было выполнено как часть этапа 201.

Когда резкая смена кадра не обнаружена между предыдущим и текущим изображением, этапы процесса обнаружения заднего плана (204) и анализа переднего плана (2051) служат для обновления таблицы (2052) глубины. Эти этапы идентичны описанным на фиг. 6.

Когда резкая смена кадра обнаружена, процесс получает следующее изображение (этап 103). С помощью информации об ориентации камеры и анализа различий между текущим и следующим изображениями таблицу глубины восстанавливают (2052), используя конструкции заднего плана (204) и переднего плана (2051).

Стереоскопическое изображение устанавливают (302) как результат ориентации (210) камеры, информации заднего плана (204), информации о переднем плане (2051) и таблицы (2052) глубины.

Способы и процессы, представленные выше, также применимы к высокопроизводительным камерам, где доступна собственная 3D видеоподача. Когда видеосигнал уже в 3D, левое и правое изображения доступны вместе с таблицей глубины или z-протяженностью. Способ замены изображения использует преимущество этой дополнительной информации несколькими путями, которые сокращают вычислительные ресурсы, необходимые для осуществления замены изображения. Аналогично двойная подача с двух камер доступна, замененная левым и правым изображением, и информация о глубине встроена в видеосигнал, или, если нет, она может быть извлечена дифференциальным анализом между левым изображением и правым изображением.

Когда видеозапись имеется только в 2D, существуют способы 3D преобразования для предоставления 3D видеосигнала, берущие оригинальную подачу как левую камеру и создающие видеосигнал правой камеры. Этот процесс добавляет задержку в несколько секунд при обработке сигнала, но облегчает замену изображения и, следовательно, подходит для применения объекта способа согласно настоящему изобретению к записанному видео.

Этапы способов, описанных выше, могут быть осуществлены с помощью аппаратного обеспечения, программного обеспечения или их сочетания. Если этапы способа выполняют с помощью программного обеспечения, компьютерная программа с последовательностью этапов способа может быть установлена в памяти компьютера, созданного в специальном аппаратном обеспечении, или установлена в компьютере общего назначения, выполняющего множество процессов. Компьютерная программа может быть предварительно записана в запоминающей среде. Затем компьютерная программа может быть установлена на компьютер. Компьютерная программа может быть получена через сеть, такую как локальная сеть (LAN) или Интернет, и затем установлена во внутренней запоминающей среде, такой как жесткий диск.

Выше были раскрыты способы для замены объектов в потоке видео в реальном времени или в записи. Хотя изобретение было описано со ссылкой на конкретные варианты осуществления, описание представляет собой пример изобретения и не должно считаться ограничивающим изобретение. Специалистам в данной области техники могут быть понятны различные модификации без отклонения от объема изобретения, который определен прилагающейся формулой изобретения.

Изобретение относится к обработке изображений, в частности к способу замены объектов в потоке видео. Техническим результатом является предоставление вставки заменяющих изображений в поток видео без необходимости получения и передачи параметров камеры через сенсорное оборудование, установленное на штативе камер и без необходимости в статической модели реальной окружающей среды. Указанный технический результат достигается тем, что создается стереоскопическое изображение поля, которое служит для измерения расстояния от камеры и для определения объектов переднего плана, объектов заднего плана и перекрывающих объектов. Стереоскопическое изображение может быть предоставлено 3D камерой, или оно может быть создано с помощью сигнала, исходящего от одной или нескольких камер. Текстура объектов, подлежащих замене, может быть статической или динамической. Способ не требует никакого особенного оборудования для отслеживания положения камеры, и он может быть использован для содержимого прямых трансляций, а также архивного материала. Изобретение использует преимущество исходного материала, подлежащего замене, в конкретном случае, когда объект, подлежащий замене, заполнен электронным образом. 3 н. и 18 з.п. ф-лы, 8 ил.

1. Способ замены объектов в потоке видео, включающий:

получение одного или нескольких изображений по меньшей мере с одной камеры;

анализ одного или нескольких изображений для извлечения параметров ориентации камеры, при этом параметры ориентации камеры содержат по меньшей мере координаты х, у и z, а также направление камеры;

создание стереоскопического представления с помощью таблицы глубины для объектов, которые видны в камере, при этом таблица глубины определяет расстояние вдоль оси z от линзы камеры до каждого объекта в поле зрения камеры, при этом таблица глубины содержит множество пикселей, имеющих значения z, при этом пиксели группируют в объекты на основании значений z;

идентификацию объекта переднего плана, перекрывающего объект заднего плана, с помощью стереоскопического представления и таблицы глубины;

обнаружение контуров объекта переднего плана;

создание маски перекрытия с помощью контуров объекта переднего плана;

расчет заменяющего изображения с помощью параметров ориентации камеры; и

наложение маски перекрытия на заменяющее изображение.

2. Способ по п. 1, отличающийся тем, что стереоскопическое представление создают с помощью изображений, полученных по меньшей мере с двух камер.

3. Способ по п. 1, отличающийся тем, что установление параметров ориентации камеры включает:

хранение полученных изображений;

обнаружение того, произошла ли резкая смена кадра между текущим полученным изображением и предыдущим полученным сохраненным изображением;

при этом если не произошла резкая смена кадра, то

применение информации заднего плана и параметров ориентации камеры предыдущего изображения при сравнении текущего изображения и предыдущего изображения для вычисления изменений заднего плана и определения модификации параметров ориентации камеры;

вычисление информации заднего плана из изменений заднего плана и новых параметров ориентации камеры из модификации параметров ориентации камеры; и

вычисление смещения объекта переднего плана с помощью информации заднего плана и новых параметров ориентации камеры, а также обновление таблицы глубины для объекта переднего плана.

4. Способ по п. 2, отличающийся тем, что установление параметров ориентации камеры включает:

хранение полученных изображений;

обнаружение того, произошла ли резкая смена кадра между текущим полученным изображением и предыдущим полученным сохраненным изображением;

при этом если произошла резкая смена кадра, то

идентификацию правильной камеры из возможных совпадений видов текущего изображения и сохраненного изображения, соответствующих существующим прошлым положениям камеры, при этом правильная камера представляет собой камеру, которая имеет точное сопоставление; и

установку новых параметров ориентации камеры.

5. Способ по п. 1, отличающийся тем, что создание стереоскопического представления включает:

установку параметров ориентации камеры с помощью информации заднего плана и параметров ориентации камеры предыдущего изображения при сравнении текущего изображения и предыдущего изображения для вычисления изменений заднего плана и определения модификации параметров ориентации камеры;

вычисление смещения объекта переднего плана с помощью информации заднего плана и новых параметров ориентации камеры, а также обновление таблицы глубины для каждого объекта переднего плана.

6. Способ по п. 1, отличающийся тем, что создание стереоскопического представления, когда доступна лишь одна камера, включает:

получение параметров ориентации камеры;

обнаружение резкой смены кадра между текущим и предыдущим изображением;

при этом если резкая смена кадра не обнаружена, то

обнаружение информации заднего плана и переднего плана и обновление таблиц глубины; и

если резкая смена кадра обнаружена, то

получение следующего изображения, применение параметров ориентации камеры для анализа различий между текущим и следующим изображением и применение информации заднего плана и переднего плана для обновления таблиц глубины.

7. Способ по п. 1, отличающийся тем, что одно или несколько изображений по меньшей мере с одной камеры образуют канал, который принимается в 3D, и информацию о глубине, относящуюся к объекту, получают непосредственно из канала.

8. Способ по п. 1, отличающийся тем, что дополнительно включает процесс замены, при этом процесс замены включает:

сопоставление исходного изображения, подлежащего замене в изображении из одного или нескольких изображений, с доступным представлением исходного изображения, при этом исходное изображение представляет собой электронное представление изображения, подлежащего замене;

расчет разницы между доступным представлением исходного изображения и исходным изображением, подлежащим замене; и

извлечение параметров ориентации камеры.

9. Способ по п. 1, отличающийся тем, что дополнительно включает

идентификацию исходного изображения, подлежащего замене, из изображения из одного или нескольких изображений с помощью распознавания образа, если представление исходного изображения не доступно.

10. Система для замены объектов в потоке видео, содержащая компьютер, сконфигурированный для:

получения одного или нескольких изображений по меньшей мере с одной камеры;

анализа одного или нескольких изображений для извлечения параметров ориентации камеры, при этом параметры ориентации камеры содержат по меньшей мере координаты х, y и z, а также направление камеры;

создания стереоскопического представления с помощью таблицы глубины для объектов, которые видны в камере, при этом таблица глубины определяет расстояние вдоль оси z от линзы камеры до каждого объекта в поле зрения камеры и при этом таблица глубины содержит множество пикселей, имеющих значения z, при этом пиксели сгруппированы в объекты на основании значений z;

идентификации объекта переднего плана, перекрывающего объект заднего плана, с помощью стереоскопического представления и таблицы глубины;

обнаружения контуров объекта переднего плана из идентифицированного объекта переднего плана;

создания маски перекрытия с помощью контуров объекта переднего плана;

расчета заменяющего изображения с помощью параметров ориентации камеры; и

наложения маски перекрытия на заменяющее изображение.

11. Система по п. 10, отличающаяся тем, что стереоскопическое представление создано с помощью изображений, полученных по меньшей мере с двух камер.

12. Система по п. 10, отличающаяся тем, что установление параметров ориентации камеры включает:

хранение полученных изображений;

обнаружение того, произошла ли резкая смена кадра между текущим полученным изображением и предыдущим полученным сохраненным изображением;

при этом если не произошло какой-либо резкой смены кадра, то

применение информации заднего плана и параметров ориентации камеры предыдущего изображения при сравнении текущего изображения и предыдущего изображения для вычисления изменений заднего плана и определения модификации параметров ориентации камеры;

вычисление информации заднего плана из изменений заднего плана и новых параметров ориентации камеры из модификации параметров ориентации камеры; и

вычисление смещения объекта переднего плана с помощью информации заднего плана и новых параметров ориентации камеры, а также обновление таблицы глубины для каждого объекта.

13. Система по п. 10, отличающаяся тем, что установление параметров ориентации камеры включает:

хранение полученных изображений;

обнаружение того, произошла ли резкая смена кадра между текущим полученным изображением и предыдущим полученным сохраненным изображением;

при этом если произошла резкая смена кадра, то

идентификацию правильной камеры из возможных совпадений видов текущего изображения и сохраненного изображения, соответствующих существующим прошлым положениям камеры, при этом правильная камера представляет собой камеру, которая имеет точное сопоставление; и

установку новых параметров ориентации камеры.

14. Система по п. 10, отличающаяся тем, что создание стереоскопического представления, когда доступна одна камера, включает:

получение параметров ориентации камеры; и

обнаружение резкой смены кадра между текущим и предыдущим изображением;

при этом если никакой резкой смены кадра не обнаружено, то

обнаружение информации заднего плана и переднего плана и обновление таблиц глубины; и

при этом если резкая смена кадра обнаружена, то

получение следующего изображения; и

применение параметров ориентации камеры для анализа различий между текущим и следующим изображением и применение информации заднего плана и переднего плана для обновления таблиц глубины.

15. Система по п. 10, отличающаяся тем, что одно или несколько изображений по меньшей мере с одной камеры составляют подачу, полученную в 3D, и информация о глубине для объекта получена непосредственно из подачи с камеры.

16. Система по п. 10, отличающаяся тем, что компьютер дополнительно сконфигурирован для процесса замены, при этом процесс замены включает:

сопоставление исходного изображения, подлежащего замене в изображении из одного или нескольких изображений, с доступным представлением исходного изображения, при этом исходное изображение представляет собой электронное представление изображения, подлежащего замене;

расчет разницы между доступным представлением исходного изображения и исходным изображением, подлежащим замене; и

извлечение параметров ориентации камеры.

17. Система по п. 10, отличающаяся тем, что компьютер дополнительно сконфигурирован для

идентификации исходного изображения, подлежащего замене, из изображения из одного или нескольких изображений с помощью распознавания образа, если представление исходного изображения не доступно, при этом исходное изображение представляет собой электронное представление изображения, подлежащего замене.

18. Постоянный машиночитаемый носитель с командами, сохраненными на нем, для замены объектов в потоке видео, при выполнении которых процессором выполняются этапы, включающие:

получение одного или нескольких изображений по меньшей мере с одной камеры;

анализ одного или нескольких изображений для извлечения параметров ориентации камеры, при этом параметры ориентации камеры содержат по меньшей мере координаты х, y и z, а также направление камеры;

создание стереоскопического представления с помощью таблицы глубины для объектов, которые видны в камере, при этом таблица глубины определяет расстояние вдоль оси z от линзы камеры до каждого объекта в поле зрения камеры и при этом таблица глубины содержит множество пикселей, имеющих значения z, при этом пиксели сгруппированы в объекты на основании значений z;

идентификацию объекта переднего плана, перекрывающего объект заднего плана, с помощью стереоскопического представления и таблицы глубины;

обнаружение контуров объекта переднего плана из идентифицированного объекта переднего плана;

создание маски перекрытия с помощью контуров объекта переднего плана;

расчет заменяющего изображения с помощью параметров ориентации камеры; и

наложение маски перекрытия на заменяющее изображение.

19. Постоянный машиночитаемый носитель по п. 18, отличающийся тем, что установление параметров ориентации камеры включает:

хранение полученных изображений;

обнаружение того, произошла ли резкая смена кадра между текущим полученным изображением и предыдущим полученным сохраненным изображением;

при этом если не произошло какой-либо резкой смены кадра, то

применение информации заднего плана и параметров ориентации камеры предыдущего изображения при сравнении текущего изображения и предыдущего изображения для вычисления изменений заднего плана и определения модификации параметров ориентации камеры;

вычисление информации заднего плана из изменений заднего плана и новых параметров ориентации камеры из модификации параметров ориентации камеры; и

вычисление смещения объекта переднего плана с помощью информации заднего плана и новых параметров ориентации камеры, а также обновление таблицы глубины для каждого объекта.

20. Постоянный машиночитаемый носитель по п. 18, отличающийся тем, что установление параметров ориентации камеры включает:

хранение полученных изображений;

обнаружение того, произошла ли резкая смена кадра между текущим полученным изображением и предыдущим полученным сохраненным изображением;

при этом если произошла резкая смена кадра, то

идентификацию правильной камеры из возможных совпадений видов текущего изображения и сохраненного изображения, соответствующих существующим прошлым положениям камеры, при этом правильная камера представляет собой камеру, которая имеет точное сопоставление; и

установку новых параметров ориентации камеры.

21. Постоянный машиночитаемый носитель по п. 18, отличающийся тем, что создание стереоскопического представления, когда доступна одна камера, включает:

получение параметров ориентации камеры; и

обнаружение резкой смены кадра между текущим и предыдущим изображением;

при этом если никакой резкой смены кадра не обнаружено, то

обнаружение информации заднего плана и переднего плана и обновление таблиц глубины; и

при этом если резкая смена кадра обнаружена, то

получение следующего изображения; и

применение параметров ориентации камеры для анализа различий между текущим и следующим изображением и применение информации заднего плана и переднего плана для обновления таблиц глубины.