Изобретение главным образом имеет отношение к объединению подготовленного изображения и видеосигнала.
Спортивные арены обычно содержат спортивные площадки, на которых происходят различные игровые состязания, имеющие места, где сидят зрители, и некую стену, разделяющую две указанных зоны. Обычно эта стена по меньшей мере частично покрыта рекламными объявлениями фирм, которые являются спонсорами соревнований. В том случае, когда производится съемка соревнования, то рекламные объявления на стене снимаются как часть спортивной арены. Реклама не может быть представлена публике целиком, если только она не снимается телекамерами.
Известны системы, которые осуществляют объединение определенных объявлений на различных поверхностях со съемкой спортивной арены. В одной из таких систем оператор определяет поверхность цели на арене. После этого система замыкается на поверхности цели и объединяет заранее выбранное объявление с участком видеопотока, соответствующим этой поверхности. Когда камера перестает быть направленной на эту поверхность, то система оставляет эту поверхность цели и оператор вновь должен указать поверхность, которая должна быть использована.
Описанная выше система работает в реальном масштабе времени. Известны и другие системы, которые осуществляют в основном такую же операцию, но не в реальном масштабе времени.
Известны другие системы для осуществления объединения данных с видеопоследовательностью. В них осуществляется вставка изображения между видеосценами, а также наложение данных изображения на определенную часть телевизионного кадра (такую как логотип телевизионной станции), и даже электронный ввод данных изображения как "замена" специфической выбранной доски объявлений. Последнее осуществляется при помощи такой техники, как цветовое кодирование.
В патенте США N 5264933 описаны устройство и способ для изменения видеоизображений, применяемые для того, чтобы осуществлять добавку рекламных изображений как части первоначально показываемого изображения. Оператор определяет, где в захваченном изображении должно быть имплантировано рекламное изображение. Система в соответствии с патентом США N 5264933 также позволяет имплантировать изображения в выбранных основных зонах широковещания, при поступлении аудиосигналов, таких как типичные выражения комментаторов.
В заявке PCT/FR 91/00296 описаны способ и устройство для модификации зоны в последовательных изображениях. В этих изображениях имеется не деформируемая зона цели, вблизи от которой отмаркирован регистр. Система производит поиск меток регистра и использует их для определения положения зоны. После этого ранее подготовленное изображение может быть наложено на эту зону. Метками регистра являются любые легко обнаруживаемые метки (такие как кресты или другие "графемы"), расположенные вблизи от зоны цели. Система в соответствии с PCT/FR 91/00296 позволяет получать захваченное изображение с множеством разрешений, которые используются системой в ее процессе идентификации.
Задачей изобретения является создание системы и способа, которые позволяют осуществлять смешение (микширование) изображений, таких как рекламные изображения, с видеопотоком действия, происходящего в пределах главным образом относительно неизменного пространства. Таким пространством может быть игровая площадка или корт, (театральная) сцена или комната, причем это место обычно выбирают ранее начала действия (например, игры или шоу). Изображения "имплантированы" в выбранную поверхность пространства заднего фона, причем термин "имплантированы" в данном случае означает, что изображения смешаны с частью видеопотока, показывающего выбранную поверхность.
В частности, в соответствии с изобретением используется априорная информация, касающаяся пространства заднего фона, который подлежит изменению в видеопотоке, таким образом, чтобы включить расположенное в некотором месте изображение в пределы пространства заднего фона. Система и способ функционируют вне зависимости от перспективного вида пространства заднего фона, имеющегося в видеопотоке.
В соответствии с предпочтительным вариантом осуществления изобретения система преимущественно включает в себя механизм захвата видеокадра и систему внедрения (имплантации) изображения. Механизм захвата кадра в любой момент времени выбирает только один кадр видеосигнала. Система имплантации изображения обычно внедряет рекламное изображение в кадре на заранее выбранном участке одной из выбранных поверхностей пространства заднего фона, если этот участок показывается в этом кадре. Для того чтобы определить участок, в который будет производиться имплантация, система имплантации изображения включает блок приема: а) плоской модели фиксированных поверхностей пространства заднего фона и б) маски изображения, указывающей участок плоской модели, с которым изображение будет объединено. При помощи модели система имплантации изображения определяет, следует ли показывать участок в кадре и в каком его месте.
Более того, в соответствии с предпочтительным вариантом осуществления изобретения система также включает в себя дизайнерскую рабочую станцию, при помощи которой могут быть созданы изображение и маска изображения, которые указывают заранее выбранную поверхность.
Кроме того, идентификация преимущественно предусматривает: а) повторный просмотр кадра и извлечение из него характеристик фиксированных поверхностей; (б) установление перспективной трансформации между моделью и извлеченными характеристиками.
Кроме того, повторный просмотр кадра и извлечение включают в себя создание маски заднего фона и маски переднего фона. Маска заднего фона указывает положения представляющих интерес характеристик, а также элементов заднего фона в кадре и используется для извлечения желательных характеристик. Маска заднего фона формируется из элементов заднего фона, которые должны оставаться неизменными.
Дополнительно, в соответствии с предпочтительным вариантом осуществления изобретения имплантация включает в себя операции: а) трансформирование изображения, маски изображения и, в случае необходимости, маски смешивания при помощи трансформации перспективы, и б) микширование (смешение) трансформированного изображения, маски изображения и опционной маски смешивания с кадром и с маской. Маска заднего фона, как это упоминалось ранее, указывает положения данных заднего фона, которые не должны быть покрыты трансформированным изображением.
Кроме того, система преимущественно включает просмотровую таблицу для преобразования множества цветов в кадре в один из цветов представляющих интерес характеристик, цветов элементов заднего фона и цвета, индицирующего элементы заднего фона. Если соответствующие цвета более не указывают представляющие интерес характеристики и элементы заднего фона (обычно в результате изменений освещения), то пользователь может указать новые цвета, которые должны указывать желательные элементы, при этом просмотровая таблица корректируется.
Кроме того, в соответствии с предпочтительным вариантом осуществления изобретения просмотровая таблица используется для создания масок заднего фона и переднего фона кадра, указывающих положение представляющих интерес характеристик, элементов заднего фона и элементов переднего фона в кадре.
В соответствии с примерным вариантом осуществления изобретения характеристиками являются линии. В соответствии с одним из вариантов они извлекаются при помощи трансформации Хуга (Hough). В соответствии с другим вариантом они извлекаются при помощи определения углов сегментов линий. При этом определяются представляющие интерес элементы изображения (пиксели) и открывается их окружение (расположенная рядом область). Окружение делится на секторы и выбирается сектор, представляющий наибольший интерес. После этого выбранный сектор расширяется и делится. В случае необходимости этот процесс повторяется.
Более того, в соответствии с предпочтительным вариантом осуществления изобретения система проецирует извлеченные характеристики на асимптотическую функцию для определения того, какая из характеристик является перспективной версией параллельных линий.
Кроме того, в соответствии с примерным вариантом осуществления изобретения пространство заднего фона представляет собой спортивную арену, имеющую отмаркированные на ней линии. Система содержит модель спортивной арены и преимущественно имеет список прямоугольников в модели и расположение их угловых точек. Система преимущественно осуществляет следующие операции:
а) выбирает две вертикальные и две горизонтальные линии из извлеченных характеристик и определяет их точки пересечения;
б) вырабатывает матрицу преобразования из угловых точек каждого прямоугольника модели для характеристик точек пересечения;
в) трансформирует модель при помощи каждой матрицы трансформации;
г) с использованием элементов заднего фона маски заднего фона производит согласование каждой модели трансформации с кадром; и
д) выбирает матрицу трансформации, которая лучше всего подходит для характеристик кадра.
Более того, в соответствии с примерным вариантом осуществления изобретения параметры камеры могут быть использованы для уменьшения числа линий в кадре, необходимых для идентификации спортивных полей. В соответствии с этим вариантом происходят следующие операции:
получение или экстрагирование набора координат камер;
представление текущей матрицы трансформации (преобразования) как произведения матриц координаты, наклона, поворота и трансфокации, а затем определение величин наклона, поворота и трансфокации; и
идентификация камеры, имеющей вычисленные значения наклона, поворота и трансфокации, и запоминание этой информации; и
повторение операций получения представления и идентификации при любом прямом переходе к следующему кадру.
Теперь может быть обработан любой кадр в видеопотоке, который может быть аналогичен предшествующему кадру или который является частью нового кадра, полученного выбранной камерой.
На фиг.1 показана блок-схема системы для внедрения изображений в видеопоток, сконструированной и работающей в соответствии с предпочтительным вариантом осуществления настоящего изобретения.
На фиг. 2 - игра в теннис, которая использована в качестве примера для объяснения работы системы фиг.1.
На фиг. 3 - модель теннисного корта, полезная для понимания работы системы фиг.1.
На фиг.4 - изображение, которое должно быть имплантировано.
На фиг. 5 - маска области изображения для изображения фиг. 4 и модель фиг.3.
На фиг.6 - маска смешения для изображения фиг. 4 и модель фиг. 3
На фиг.7 - блок-схема элементов блока имплантации изображения, образующего часть системы фиг.1.
На фиг.8 - пример видеокадра, в который может быть имплантировано изображение фиг.4.
На фиг.9 - маска заднего фона, полученная из видеокадра фиг.8.
На фиг.10 - блок-схема, иллюстрирующая работу блока идентификации характеристик, образующего часть блока имплантации изображения фиг.7.
На фиг.11 - блок-схема, иллюстрирующая способ экстракции характеристик.
На фиг.12 - участок маски заднего фона.
На фиг.13 - гистограмма подсекторов маски заднего фона фиг.12, полезная для понимания способа фиг.11.
На фиг.14 - блок-схема, иллюстрирующая работу блока идентификации перспективы, образующего часть блока имплантации изображения фиг.7.
На фиг.15 - точки встречи экстрагированных характеристик фиг.9
На фиг.16 - параллельные линии перспективы, пересекающиеся (сходящиеся) в различных точках в результате несовершенства вычислений.
На фиг. 17 и 18 - гномонические проекции, полезные в понимании работы блока идентификации перспективы фиг.14.
На фиг. 19 - графическая иллюстрация примерной функции, полезной для гномонических проекций фиг.17 и 18.
На фиг.20 - подробная блок-схема, иллюстрирующая работу блока фиг. 14.
Фиг.21 и 22 помогают понять работу блока фиг.20.
На фиг.23 объясняется пользование матрицами преобразования.
Фиг. 24 полезна для понимания процесса согласования четырехугольников и геометрической модели, используемого при работе блока фиг.20.
На фиг. 25 показана блок-схема, отображающая функционирование блоков трансформации и смешения блока имплантации изображения фиг.7.
На фиг. 26 - блок-схема, отображающая способ корректировки для модернизации просмотровой таблицы, используемой в блоке имплантации изображения фиг.7.
На фиг.27 схематически показаны параметры камеры.
На фиг. 28 - блок-схема, отображающая операции матрицы преобразования в том случае, когда параметры камеры фиг.27 известны или могут быть вычислены.
На фиг.29 - таблица, полезная в понимании способа фиг.28.
На фиг. 30 - приведена блок-схема, отображающая способ работы в том случае, когда параметры камеры известны или могут быть вычислены.
Обратимся теперь к рассмотрению фиг.1, на которой показана система для микширования изображений, таких как реклама, с видеопотоком действий, происходящих в пределах относительно неизменного пространства заднего фона. Изображения имплантируют на выбранную поверхность заднего фона. Система будет описана в контексте видеосъемки теннисной игры, показанной со ссылками на фиг. 2. Следует иметь в виду, что изобретение может быть применено для всех ситуаций, в которых поверхности, на которых происходит действие, известны заранее и могут быть идентифицированы.
Система в соответствии с изобретением обычно включает в себя механизм захвата видеокадра 10 для преобразования входной видеопоследовательности (такой как игра в теннис) в видеокадры, дизайнерскую рабочую станцию 12 для осуществления дизайна изображений (таких как реклама), которые должны быть имплантированы на выбранные поверхности (такие как теннисный корт), показываемые в видеокадре, систему имплантации изображения 14 для объединения видеокадра с дизайнерским изображением, управляющую компьютерную систему 16 для управления операциями и для подключения входа оператора к системе имплантации изображения 14 и к широковещательному монитору 18.
Управляющая компьютерная система 16 типично включает в себя центральный процессор (ЦП) 20, клавиатуру 22, мышь 24, диск 26, съемный диск, такой как дискета 27, и монитор 28. Монитор 28 обычно управляется через графический адаптер, который является частью ЦП 20. Дизайнерская рабочая станция 12 обычно также имеет съемный диск, такой как дискета 27.
Управляющая компьютерная система 16 и система имплантации изображения 14 обычно сообщаются при помощи системной шины 29. Дизайнерская рабочая станция и управляющая компьютерная система 16 обычно сообщаются при помощи съемного диска.
Видеопоследовательность может быть получена из любого источника, например, такого как видеолента, с удаленной передающей станции при помощи спутника, при помощи микроволн или любого другого типа видеосообщений и т.п. Если последовательность получают со спутника, то система не имеет управления по видеочастоте. Поэтому система имплантации изображения 14 должна осуществлять ее работу в рамках видеочастоты спутника, составляющей обычно 30 мс между кадрами. Если последовательность получают при помощи видеоленты, то система имеет управление по видеочастоте и может работать с любой желательной скоростью.
Видеопоследовательность получают первоначально на игровой площадке. Как это можно видеть на фиг.2, при игре в теннис обычно используют две телевизионные камеры 30, которые следят за действиями, проистекающими на теннисном корте 32. Положение камер 30 обычно фиксированное.
Корт 32 разделен на две половины при помощи сетки 34. Каждая из половин имеет множество зон 36, обычно окрашенных первым оттенком зеленого цвета, которые разделены множеством линий 38, обычно окрашенных в белый цвет. Внешняя зона 40 корта обычно окрашена вторым оттенком зеленого.
В действительности линии 38 являются параллельными и перпендикулярными линиями. Так как камера 30 совершает "наезд" с угла, а не сверху, то в результате этого получают перспективные изображения. Поэтому на видеовыходе камер 30 параллельные линии 38 выглядят так, как будто они сходятся в бесконечности. Угол перспективы на видеовыходе изменяется при изменении углов расположения камер 30 и степени трансфокации.
В соответствии с изобретением будет имплантировано изображение 42, такое как слово "IMAGE", в желаемом положении на выбранной поверхности заднего фона, для всех углов перспективы и всех значений трансфокации. Для теннисных кортов возможными положениями являются любые прямоугольники в пределах одной из половин теннисного корта 32, ограниченные четырьмя линиями 38. Как показано на фиг.2, изображение 42 не должно перекрывать действия игроков 44; оно должно выглядеть так, словно нарисованное на поверхности корта.
Так как в действительности форма корта 32 и положение линий 38 в пределах корта 32 не изменяются, то если система имплантации изображения имеет модель игрового пространства, которая включает в себя положение, в котором должно быть имплантировано изображение, и если эта система может идентифицировать по меньшей мере углы зрения и степень трансфокации, то она может вводить изображение в видеопоследовательность таким образом, что это изображение появляется в желательном местоположении. Для того, чтобы сделать это, система имплантации изображения дополнительно должна знать цвета корта, который видят камеры. Эти цвета могут изменяться при изменении освещения (дневной свет или искусственный).
Обратимся теперь к рассмотрению фиг.3, на которой можно видеть геометрическую модель 50 теннисного корта, и к фиг.4, 5 и 6, на которых показаны данные, которые готовит дизайнер имплантации.
Дизайнер имплантации работает на дизайнерской рабочей станции 12, такой как рабочая станция BLAZE производства фирмы Scitex Corporation Ltd. of Herzlia, Israel, и обычно имеет геометрическую модель 50 теннисного корта 32, обычно в виде сверху. Модель 50 обычно является масштабной версией корта 32, причем на ней показаны элементы, подлежащие идентификации при помощи системы имплантации 14, такие как линии 38. Другие игровые площадки могут содержать круги или другие четко обозначенные кривые. Другими идентифицируемыми элементами являются пересечения 54 линий 38.
Дизайнер имплантации конструирует изображение 42 (показанное на фиг.4), которое следует имплантировать, и определяет, где на модели 50 оно должно быть размещено. Ряд возможных положений 52 показан на фиг.3. После этого дизайнер приготавливает маску локализации изображения 56 (фиг.5) для идентификации положения в пределах модели 50, где должно быть помещено изображение 42. Маска 56 светлая на модели 50 там, где должно быть помещено изображение 42, и темная в других местах.
Так как изображение 42 может иметь яркие цвета, то может быть желательно внедрять не само изображение, а его смягченную версию, чтобы не нарушать существенным образом происходящие на корте 32 действия игроков. Поэтому в случае необходимости дизайнер имплантации может приготовить маску смешивания 58 (фиг. 6), которая показывает, как изображение 42 должно быть смешано с цветами корта 32 в положении имплантации, которое указано при помощи маски положения 56. Маска смешивания 58 может быть любой подходящей маской, такой как известные сами по себе маски. На фиг.6 показана маска 58 с четырьмя зонами 59, каждая из которых показывает введение различных количеств цвета корта, в то время как внешняя зона 59 обычно содержит намного больше цвета корта, чем внутренние зоны.
Обратимся теперь вновь к фиг.1 и 2. Данные имплантации, образованные геометрической моделью 50, изображение 42, маска 56 локализации изображения и опционная маска смешивания 58 обычно приготавливаются перед теннисным матчем и поступают в систему имплантации изображения 14 обычно при помощи съемного диска, с последующей имплантацией во входную видеопоследовательность в ходе матча.
Большинство видеопоследовательностей передаваемых "живьем" по телевизору игр начинаются с исходной последовательности, которая позволяет операторам местных станций синхронизировать их системы с входной последовательностью. Это также верно и для видеоданных на ленте.
В соответствии с изобретением исходная последовательность захватывается механизмом захвата кадра 10 и поступает прежде всего на управляющую компьютерную систему 16. Оператор станции выбирает кадр с четким видом игрового поля и использует его для получения информации калибровки, как это будет описано ниже. Информация калибровки используется в системе имплантации изображения 14 для идентификации корта 32 и его характеристик (таких как линии 38). В описанном далее варианте информация калибровки содержит цвета представляющих интерес характеристик заднего фона, таких как линии поля, игровое поле (корт 32) и участок вне игрового поля (внешние зоны 40 корта). Другие принимаемые цвета могут быть определены как цвета переднего плана. Другие игровые поля могут потребовать больше или меньше характеристик для их определения и поэтому больше или меньше цветов.
Оператор станции, используя мышь 24 и клавиатуру 22, интерактивно определяет цвета калибровки. Это может быть достигнуто различными путями, один из которых описан ниже. Четвертый цветовой слой накладывается сверху над текущим кадром, который виден на контрольном мониторе 28. Первоначально четвертый цветовой слой содержит только один цвет, а именно прозрачный цвет. Поэтому первоначально текущий кадр виден.
Оператор указывает элементы изображения (пиксели), описывающие одну из трех характеристик, а именно линии 38, внутреннее игровое поле 36 и внешнее игровое поле 40. Когда он выбирает элемент изображения, то те элементы изображения в наложенном слое, которые совпадают с элементами изображения в текущем кадре, имеющими выбранный цвет, окрашиваются в единственный прозрачный цвет, в результате чего они покрывают их соответствующими элементами изображения текущий кадр. Выбранный цвет запоминается. Процесс повторяется для всех трех зон. Все не выбранные цвета относятся к четвертому цвету трансляции.
Если оператор признает четвертый цветовой слой, то создается просмотровая таблица (ПТ) между цветами, выбранными из текущего кадра, и цветами трансляции.
По желанию компьютерная система управления 16 может запоминать элементы изображения, которые выбрал оператор, для дальнейшего использования в цикле корректировки ПТ, который описан ниже со ссылкой на фиг.26.
Компьютерная система управления 16 создает данные кадра, образованные из ПТ и элементов изображения, использованных для создания ПТ, для системы имплантации изображения 14. Система 14 использует эти данные кадра для идентификации желательных характеристик в каждом кадре входного видеосигнала.
Обратимся теперь к рассмотрению фиг.7, на которой можно видеть основные элементы системы имплантации изображения 14. Для понимания работы системы 14 следует обратиться к фиг.8 и 9.
Система 14 обычно включает в себя блок идентификации характеристик 60 (фиг. 7), который определяет, какие характеристики корта 32 присутствуют в каждом входном видеокадре, и блок перспективной идентификации 62 для определения углов зрения и трансфокации активной камеры 30, а также для определения соответствующей трансформации перспективы между моделью 50 и входным видеокадром. Система 14 также включает в себя трансформатор 64 для преобразования данных имплантации из плоскости модели в плоскость просмотра изображения и смеситель 66 для смешения данных имплантации перспективы с текущим видеокадром, в результате чего происходит имплантация изображения 42 на поверхность корта 32.
Как это описано более детально ниже, блок идентификации характеристик 60 использует ПТ для создания маски заднего фона входного кадра, указывающей, какие участки кадра имеют представляющие интерес характеристики заднего фона, а какие участки являются передним фоном и поэтому не должны изменяться в последующих операциях. На фиг. 8 и 9 показаны соответственно примерный входной кадр 68 и его соответствующая маска 70 заднего фона.
Входной кадр 68 фиг. 8 включает в себя двух игроков 44 и корт 32. На маске 70 заднего фона фиг.9 показаны зоны четырех цветов. Зоны 1 - 4 являются соответственно зонами цвета линий, цвета внутреннего корта, цвета внешнего корта и остальных цветов. Следует отметить, что зоны игроков 44 отмечены цветом 4 заднего фона и покрывают другие важные зоны, такие как зоны белых линий 1.
Блок 60 (фиг.7) извлекает из маски заднего фона 70 характеристики игрового поля. Для теннисного корта представляющими интерес характеристиками являются линии 38. Блок идентификации перспективы 62 сравнивает извлеченные характеристики с характеристиками модели 50 и создает из них матрицу преобразования (транформации).
При использовании маски преобразования трансформатор 64 преобразует данные имплантации изображения (то есть подлежащее имплантации изображение 42, маску локализации изображения 56 и маску смешивания 58) в перспективу входного видеокадра.
Наконец, при использовании маски локализации трансформированного изображения 56 и маски заднего фона 70 микшер 66 имплантирует перспективную версию изображения 42 в желательные участки заднего фона входного видеокадра. Так, например, когда игроки перемещаются на одной из частей корта 32, где имплантировано изображение 42, они будут перемещаться "над" имплантированным изображением. Если есть такое желание, то трансформированная маска смешивания 58 может быть использована для смешивания изображения 42 с цветами поля, на которое изображение 42 имплантировано.
Обратимся теперь к рассмотрению фиг.10, на которой детализирована работа блока идентификации характеристик 60. При осуществлении операции 72 блок 60 использует ПТ для одного многоцветного входного видеокадра в четырехцветное изображение, именуемое маской 70 заднего фона. В частности, для теннисного корта 32 ПТ имеет первое значение для пикселей, имеющих цвет линий 38, второе значение для пикселей, имеющих цвета внутреннего корта 36, третье значение для пикселей, имеющих цвета внешнего корта 40, и четвертое значение (указывающее пиксели заднего фона) для остальных пикселей. Это отображено на фиг. 9. ПТ может быть внедрена при помощи любого подходящего метода, которые известны сами по себе.
Маска заднего фона 70 не только определяет, какие пиксели принадлежат к представляющему интерес заднему фону, но и включает в себя представляющие интерес характеристики, такие как линии 38. Так, например, при проведении операции 74 блок идентификации характеристик 60 производит обработку маски заднего фона 70 для извлечения из нее представляющих интерес характеристик. Обычно, хотя и не обязательно, ПТ обычно проектируется так, чтобы выдавать характеристики единственным значением цвета.
В примере, относящемся к теннисному матчу, экстракция предусматривает повторный просмотр тех пикселей маски заднего фона 70, которые имеют первое значение, и экстрагирование из них прямых сегментов. Операция 74, например, может быть осуществлена при помощи преобразования Хуга, воздействующего на маску заднего фона 70. Преобразование Хуга описано на с. 121-126 книги Digital Picture Processing, Второе издание, том 2, 1982.
Результатом является решетка линейных параметров, каждый из которых описывает один прямой сегмент в маске заднего фона 70. Линейные параметры для каждого сегмента включают в себя коэффициенты линейного уравнения, описывающего его, также как и весовое значение, указывающее число пикселей, включенных в сегмент.
Альтернативный способ экстракции (извлечения) показан на фиг.11, 12 и 13. Как показано в общем виде на фиг.11, способ начинается с первого пикселя 69 (фиг. 12) маски заднего фона 70, имеющего представляющий интерес цвет (в данном примере белый), затем рассматривается окружающая его область 75 для определения, где здесь находятся более белые пиксели (отмеченные затенением). Для того, чтобы это сделать, окружающая область 75 делится на подсекторы 71-74 заранее определенного размера и строится гистограмма распределения белых пикселей в каждом подсекторе. На фиг.13 показана гистограмма для секторов 71-74 фиг.12 Один из подсекторов с высоким максимумом (подсектор 73) выбран как следующий сектор для поиска.
При осуществлении следующей операции выбирается новая окружающая область 78, которая состоит из выбранного подсектора 73 и его расширения. Полная окружающая область 78 вдвое длиннее окружающей области 75. Эта новая окружающая область 78 подразделяется на четыре подсектора 76 и процесс повторяется.
Этот процесс продолжается до выполнения одного из следующих критериев:
подсектор достаточно узок, чтобы его определить как прямую линию;
в гистограмме нет высокого максимума;
Если выполняется условие 1, то запоминаются коэффициенты прямой линии; затем "окрашиваются" пиксели, образующие прямую линию, таким образом, чтобы иметь "остаточный цвет", и устраняются из поиска.
При осуществлении процесса экстракции характеристики получают решетку возможных характеристик, которая включает в себя как истинные характеристики, так и прямые линии.
Обратимся теперь к фиг.14, на которой показана в общем виде работа блока идентификации перспективы 62 фиг.7. Фиг.15 и 16 полезны в понимании работы блока 62 в целом, на фиг.20 приведены детали работы блока 62 для примера теннисного корта 32, а фиг.17, 18, 19, 21 и 22 полезны для понимания показанных на фиг.20 операций.
Используя априорную информацию блок 62 в операции 80 производит обработку возможных характеристик и определяет, какая из них вероятнее всего является характеристикой, представляющей интерес. При проведении операции 82 блок 62 выбирает минимальный набор характеристик из результирующих истинных характеристик и пытается согласовать их с характеристиками модели 50. Процесс повторяется с необходимой частотой до получения согласования. При проведении операции 84 согласованные характеристики используют для выработки матрицы М трансформации, преобразующей модель в характеристики входного видеокадра.
В примере теннисного корта 32 при операции 80 используется тот факт, что линии 38 модели 50 параллельны в двух направлениях (вертикальном и горизонтальном) и что в перспективном изображении (таком как во входном видеокадре) линии, которые параллельны в действительности, пересекаются в конечной точке. Это показано на фиг.15, на которой все извлеченные линейные сегменты, показанные основными линиями, продолжены пунктиром. Перспективные линии, которые соответствуют в действительности параллельным линиям (например, псевдопараллельные линии 90), пересекаются в точке 91, удаленной от внешних краев 92 кадра. Все другие пересечения 94 происходят в пределах границ 92 или вблизи от них.
Однако, как показано на фиг.16, в результате ошибок цифрового преобразования может случиться так, что три псевдопараллельные линии встречаются не в единственной точке, а встреча происходит в трех разделенных точках 96.
Заявители пришли к выводу, что если перспективные параллельные линии не встречаются в бесконечности, то проекция экстрагированных линий в асимптотическую функцию будет создавать точки пересечения, расположенные вблизи друг от друга. Поэтому в соответствии с предпочтительным вариантом осуществления изобретения извлеченные линейные сегменты проецируются на двумерную асимптотическую функцию. Одна из таких проекций известна как "гномоническая проекция" и описана на с. 258, 259 и 275 книги Robot Vision, 1986, включенных в качестве ссылки. Примеры гномонической проекции показаны на фиг.17 и 18.
В гномонической проекции точка 100 в плоскости XY 102 проецируется в точку 100' на полусфере 104. Линия 106 в плоскости XY проецируется в большую дугу 106' на полусфере 104 (то есть в дугу большого круга сферы). Начальная точка отображается южным полюсом 109, а бесконечность отображена экватором 108. Таким образом, любой кластер 110 (фиг.18) точек вблизи экватора 108 отражает пересечения псевдопараллельных линий, поэтому линии, которые имеют точки, проходящие через кластер 110, являются параллельными линиями.
На фиг.18 показано множество больших дуг 120a-120f, соответствующих некоторым случайным извлеченным линейным сегментам (не показаны). Три дуги 120a - 120c имеют точку пересечения 122, которая образует кластер 110a вблизи экватора 108. Большие дуги 120d-120f также пересекаются вблизи от экватора в кластере 110b. Все большие дуги пересекаются друг с другом, однако их другие пересечения расположены ближе к южному полюсу 109, чем к экватору 108.
При осуществлении операции 130 (фиг.20) гномоническая проекция использована для создания больших дуг из решетки сегментов прямых линий, полученных при экстракции характеристик (операция 74, фиг.10).
При проведении операции 132 производится поиск зоны вокруг экватора 108, чтобы найти все точки пересечения 122. Каждой точке пересечения присваивается величина Vk, которая является функцией весов Wi линейных сегментов, которые пересекаются, и координаты Z точки пересечения 122. Пример функции Vk дан уравнением (1).
Vk=Wлиния1•Wлиния2• f(Zточкаперес ечения)
где
f (Zточкаперес ечения) представляет собой любую функцию, образующую кривую, аналогичную кривой 134 фиг.19, в которой большинство точек имеет низкое значение, и только точки, близкие к экватору 108 (Z=1), имеют значения, близкие к 1. Например, f(Zточкаперес ечения может быть Z5.
При проведении операции 136 небольшая область, окружающая точку пересечения 122, просматривается для поиска других точек пересечения. Если таковые находят, то известная точка пересечения и найденные точки пересечения запоминают как кластер 110 (фиг.18). Кластер 110 также определен как тот, в котором значение f (Zточкаперес ечения) превышает заданный порог. Таким образом, кластер 110 может включать в себя только одну точку пересечения. На фиг. 18 показаны три кластера 110a- 110c, один из которых, а именно кластер 110c, включает в себя только одну точку пересечения 122.
После того как все точки найдены, положение каждого кластера 110 определяется нахождением "центра тяжести" точек кластера. Вес кластера 110 является суммой значений Vk точек кластера.
При проведении операции 138 выбирают два кластера с наибольшими весами. Для показанного на фиг.18 примера выбирают кластеры 110a и 110b.
При проведении операции 140 принимают, что один кластер представляет "вертикальные" линии, а другой представляет "горизонтальные" линии. При проведении операции 140 также соответственно маркируют как "вертикальные" или "горизонтальные" прямые сегменты, соответствующие линиям двух выбранных кластеров.
При проведении операции 142 повторно просматривают "вертикальные" и "горизонтальные" линии и выбирают две вертикальные и две горизонтальные линии с самым "тяжелым" весом, что определяют при помощи значений Wi Выбранные для линиq фиг.15 линии 146 показаны на фиг.21. При проведении операции 144 определяют и запоминают точки пересечения A, B, C и D четырех выбранных линий. Как показано на фиг.21. выбранные линии могут пересекаться вне кадра.
Операции 130-144 необходимы для идентификации истинных характеристик в видеокадре (операция 80 фиг. 14). По завершении операции 144 получают характеристики, которые должны соответствовать модели. В остальных операциях согласовывают характеристики с моделью и определяют трансформацию (шаги 82 и 84 фиг.14) как интегральный набор операций.
Стандартный теннисный корт имеет четыре вертикальных и четыре горизонтальных линии. Так как невозможно сделать различие двух половин корта, то важными являются только три горизонтальные линии. Число различных четырехугольников, которые могут быть образованы выбором двух горизонтальных линий из трех (три возможные комбинации) и двух вертикальных линий из пяти (10 возможных комбинаций), равно тридцати. Тридцать четырехугольников могут иметь четыре возможных ориентации для общего числа 120 прямоугольников.
При проведении операции 150 выбирают один из 120 прямоугольников в геометрической модели 50 выбором его четырех углов A', B', C' и D' (фиг.22). Как можно видеть, это не является правильным совмещением.
При проведении операции 152 определяют матрицу трансформации М четырех точек модели A', B', C' и D' (фиг.22) в четыре точки A, B, C и D видеокадра (фиг. 21). Матрица M может быть представлена как суперпозиция последующих трансформаций, как это объясняется со ссылкой на фиг.23.
На фиг.23 показаны три четырехугольника 180, 182 и 184. Четырехугольник 180 является моделью четырехугольника ABCD, показанного в плоскости XY, четырехугольник 182 является единичным квадратом, имеющим точки (0, 1), (1, 1), (0, 0) и (1, 0) в плоскости TS, а четырехугольник 184 является перспективным четырехугольником в плоскости UV.
Трансформация M от четырехугольника модели 180 в перспективный четырехугольник 184 может быть представлена суперпозицией двух матриц трансформаций, а именно матрицы T трансляции и масштабирования от четырехугольника 180 в единичный квадрат 182 и перспективной матрицы P от единичного квадрата 182 в четырехугольник 184. Матрица T в гомогенных координатах имеет вид
где
Sx и Sy являются масштабными коэффициентами в направлениях X и Y, а Tx и Ty являются коэффициентами трансляции (линейного перемещения) в направлениях X и Y. Sx, Sy, Tx и Ty могут быть определены уравнением
(x,y,1)•T=(s,t,1)
для четырех координат (x,y,1) четырехугольника 180 и четырех координат (s,t,1) единичного квадрата 182.
Матрица P в гомогенных координатах имеет вид
Элементы матрицы P могут быть определены решением следующего уравнения:
(s,t,1)•P=(u,v,w)
в котором (u,v,w) отображает четыре известных координаты точек A, B, C и D четырехугольника 184, как это показано на фиг.23, причем w всегда нормализовано.
Положим, что a33=1, тогда P может быть вычислено следующим образом:
Из (s,t,1)=(0,0,1) находим, что:
a31=U00
a32=V00
Из (s,t,1)=(1,0,1) находим, что:
a11+a31=U10(a13+1) ⇒ a11=U10(a13+1)-Uoo
a12+a32=V10(a13+1) ⇒ a12=V10(a13+1)-Voo
Из (s,t,1)=(0,1,1) находим, что
Из (s,t,1)=(1,1,1) находим, что:
a11 + a21 + a31 = U11(a13 + a23 + 1)
a12 + a22 + a32 = V11(a13 + a23 + 1)
Из уравнений 7 - 9 можно получить два уравнения для двух неизвестных a13 и a23
a13(U10-U11)+a23(U01-U11)= U11+U00-U10-U01
a13(V10-V11)+a23(V01-V11)= V11+V00-V10-V01
После нахождения a13 и a23 остальные элементы могут быть определены из уравнений 7 и 8. Трансформацию или преобразование матрицы M получают как произведение матриц T и P
M=T•P.
При осуществлении операции 154 линии 38 модели 50 трансформируют в видеокадр с использованием матрицы преобразования M. В результате получают искривленный кадр 156 (фиг.24), в котором существуют единицы в местах нахождения преобразованных пикселей модели и нули во всех других местах. Как можно видеть, точки A', B', C' и D' совпадают с соответствующими точками A, B, C и D. Однако для остальной части геометрической модели 50 совпадения нет.
При осуществлении операции 158 искривленный кадр 156 совмещают по XOR с матрицей 70 заднего фона (фиг.9). На выходе операции XOR (ИЛИ) получают 0 в двух случаях: а) пиксели искаженного кадра 156 имеют значение 1 и пиксели видеокадра имеют поле цвета линии; и б) пиксели искаженного кадра 156 имеют значение 0 и пиксели видеокадра имеют "не линейный" цвет. В других ситуациях получают значение 1.
При осуществлении операций 160 и 161 подсчитывают число пикселей, имеющих значение 1, и эту величину объединяют с матрицей трансформации M.
После определения всех матриц М при осуществлении операции 162 выбирают матрицу с наименьшим весом. Так как имеется возможность, что согласование не сделано (например, если идет коммерческий показ, телекамера 30 направлена на зрителей и т.п.), то при осуществлении операции 164 производят сравнение с порогом весов выбранной матрицы. Если веса превышают порог, то тогда получают нулевую матрицу трансформации. В противном случае выбранную матрицу определяют как матрицу трансформации M. Нулевые матрицы трансформации получают также в любой из предыдущих операций при невыполнении условий проверки.
Обратимся теперь к рассмотрению фиг.25 на которой показана работа преобразователя (трансформатора) 64 и микшера 66 фиг.7. Преобразователь 64 использует матрицу трансформации M для дисторзии (искривления) каждого изображения 42, области изображения маски 56 и маски 58 смешивания в плоскости видеокадра (операция 170). При этом осуществляется операция И объединения искривленной области изображения маски с маской 70 заднего фона, в результате чего получают маску разрешения. Маска разрешения указывает те пиксели видеокадра, которые являются одновременно пикселями заднего фона и находятся в пределах области изображения. На эти пиксели должно быть имплантировано изображение.
Микшер 66 комбинирует искривленное изображение с видеокадром в соответствии с масками смешивания и разрешения. Формула, применимая для каждого пикселя (x,y), обычно выглядит так:
где выход (x, y) представляет собой значение пикселя выходного кадра, изображение (x, y) и видео (x,y) представляют собой значения имплантированного изображения 42 и видеокадра, соответственно, ∝ (x,y) представляет собой значение в маске смешивания 58, а P (x,y) представляет собой значение в маске разрешения.
В приведенном выше описании предполагается, что просмотровая таблица ПТ, которая позволяет получить маску заднего фона 70, остается неизменной в течение всего времени. Если освещение изменяется (что обычно происходит при играх вне помещения), то цвета в видеопоследовательности могут измениться и в результате маска заднего фона 70 не будет правильно указывать элементы заднего фона. Поэтому периодически следует проводить процедуру корректировки. Обратимся теперь к рассмотрению фиг.18, на которой описана процедура корректировки.
Как отмечалось ранее, при процессе калибровки выбираются оператором испытательные участки, указывающие представляющие интерес характеристики заднего фона (такие как линии поля и внутренние и внешние участки корта).
После того, как матрица для калибровки видеокадра определена, местоположения испытательных участков конвертируются из плоскости видеокадра в плоскость геометрической модели (например, с использованием инверсии матрицы М). Позднее, когда потребуется произвести калибровку, испытательные участки конвертируются в текущую плоскость видеокадра. Производится выбор искривленных испытательных участков в текущем видеокадре и производится оценка окружающей их области. Производится определение цветовых характеристик каждой окружающей области (с использованием, например, гистограмм) и результат сравнивается с характеристиками запомненных испытательных участков. Если имеется существенное изменение цветов, то ПТ корректируется, соответствующие испытательные участки конвертируются в геометрическую модель и запоминаются.
Следует иметь в виду, что способ в соответствии с настоящим изобретением подходит как для игры в теннис, так и для других ситуаций, в которых информация заднего фона фиксирована и известна. Описанный выше процесс может быть усовершенствован с использованием динамической балансировки белого и параметров камеры, как это описано ниже.
В том случае, когда может быть получена информация (задаваемая внешне или определяемая самой системой) о положении камеры, углах поворота и степени трансфокации, то описанные выше операции могут быть сокращены, так как число степеней свободы матрицы P перспективы сокращается.
В частности, матрица P перспективы содержит информацию о положении использованной камеры, углах поворота и степени трансфокации. Эта информация может быть извлечена и матрица P перспективы (или, аналогично, матрица трансформации M) может быть переопределена как функция каждого из параметров камеры.
На фиг.27 показана камера и ее параметры. Положение камеры показано вектором 171, имеющим координаты (x, y, z) с началом отсчета О системы координат X, Y, Z 172. Соответствующие крены, наклоны, повороты и панорамирование камеры относительно связанных с камерой осей U, V и W показаны стрелками 173, 174 и 175. Кроме того, объектив камеры может иметь трансфокацию вдоль оси V, как это показано стрелкой 176.
Предположим, что камера не имеет крена и что формат изображения (соотношение между шириной и высотой пикселя изображения, создаваемого камерой) таков, что пиксель квадратный. В этом случае матрица перспективы P может быть параметризована как функция местоположения камеры (x, y, z) и ее наклона, поворота и трансфокации. Предполагается, что от кадра к кадру камера не изменяет своего положения, но только меняются ее наклон, поворот, углы и трансфокация.
На фиг.28, 29 и 30 представлен способ определения и последующего использования параметров камеры. На фиг. 28, когда новый кадр идентифицируют в видеопотоке, то осуществляют полный процесс идентификации перспективы (операция 180), как это показано на фиг.10, для первого нового кадра. В результате операции 180 получают элементы а (i,j)) матрицы перспективы P. Процесс продолжается в двух направлениях:
а) производят определение матрицы трансформации Т, начиная с операции 154 фиг. 20 и
б) извлекают координаты камеры (x, y, z) из матрицы P (операция 184), как это описано в разделе 3.4 книги "Трехмерное компьютерное видение: геометрическая точка зрения"(Three-Dimensionl Computer Vision: A Geometric Viewpoint, Oliver Faugeras, MIT Press, 1993).
После того, как извлечены координаты камеры (x, y, z), осуществляют две проверки (операции 186 и 188) следующим образом.
Условие 186: камера не имеет крена в направлении 174. Крен присутствует, если элемент a13 не равен нулю.
Условие 188: формат изображения камеры (AR) дает квадратные пиксели (то есть AR = 1).
Если любое из условий не выполняется, то сокращение процесса не может быть достигнуто.
Если выполняются оба условия, то тогда, как это показано в упомянутой книге "Трехмерное компьютерное видение: геометрическая точка зрения", 1993, матрица P может быть повторно представлена (операция 190) как произведение следующих матриц:
а) трансфокация (f): матрица проекции камеры в фокальную плоскость;
б) трансляция (поступательное перемещение): матрица трансляции из исходной системы координат в вычисленное положение камеры (x, y, z);
в) наклон (∝ ) : матрица поворота вокруг оси U на угол ∝; и
г) поворот (Θ): матрица поворота вокруг оси W на угол Θ .
После получения величин трансфокации, наклона, поворота и трансляции первая камера полностью откалибрована (операция 192) и ее параметры введены в таблицу 194 идентифицированных камер (показанную на фиг.29). Аналогично описанному могут быть идентифицированы и зарегистрированы в таблице 194 и другие камеры.
Сокращенный процесс вычисления, описанный со ссылкой на фиг.30, после этого осуществляется для всех кадров. Кадр исследуется (операция 196) для определения его аналогичности предшествующим кадрам с использованием ∝, Θ и f. Аналогичность измеряется при помощи коэффициентов согласования (т.е. путем оценки процента представляющих интерес пикселей в кадре, успешно преобразованных в модель с использованием вычисленной матрицы). Если получено хорошее соответствие, то вычисленная матрица может быть использована для осуществления процесса ввода (описанного со ссылкой на фиг.25). Если коэффициент согласования невысок, то имеется возможность того, что данный кадр снят другой камерой с таблицей 194.
Для нахождения другой камеры текущий кадр должен быть вновь просмотрен и одна из его линий должна быть идентифицирована. Кроме того, одна из точек идентифицированной линии, такая как точка пересечения с другой линией, также должна быть идентифицирована (операция 198). Обычно идентифицированной линией является самая "мощная" линия.
При проведении операции 200 следующим образом определяют величину согласования для каждой камеры, указанную в таблице 194.
Идентифицированные линия и точка объединяются с линией и точкой в геометрической модели, затем для этого объединения определяют матрицу перспективы P, которая трансформирует линию и точку модели в идентифицированные линию и точку. Так как каждая матрица перспективы P является функцией координат (x, y, z) текущей камеры (которая известна) и наклона ∝ , поворота Θ и трансфокации f (которые неизвестны), то результирующая матрица может быть определена через величины наклона, поворота и трансфокации, которые могут быть подсчитаны, в предположении, что идентифицированные линия и точка надлежащим образом соответствуют линии и точке модели.
Как и в способе в соответствии с фиг.14 определяют матрицу M трансформации из матрицы перспективы P, а затем трансформируют при помощи матрицы M геометрическую модель в плоскость изображения в кадре. Линии модели совпадают с линиями изображения и с полученной величиной согласования.
Процесс объединения линии и точки модели с идентифицированными линией и точкой, создания матрицы перспективы P из известных координат камеры и объединения линий и точек, а также получения в результате величины согласования повторяют для каждой комбинации линии и точки в геометрической модели. Если величины согласования значительно меньше 1, что свидетельствует о плохом согласовании, то описанный выше процесс согласования для идентифицированной линии и точки повторяют для другой камеры, координаты которой (x, y, z) известны.
Самый большой вычисленный коэффициент согласования для каждой камеры вводят в колонку 202 таблицы 194 (фиг.29). При осуществлении операции 204 выбирают камеру с наибольшим значением коэффициента 202, а затем, если этот коэффициент превышает заданный порог, его матрицу перспективы P используют в процессе встраивания (введения) изображения фиг.25. Если наибольший коэффициент в колонке 202 имеет значение ниже порога, то известная камера используется для съемки текущих кадров. Процесс фиг.14 может быть осуществлен в соответствии с процессом идентификации фиг.28.
Несмотря на то, что был описан предпочтительный вариант осуществления изобретения, совершенно ясно, что в него специалистами в данной области могут быть внесены изменения и дополнения, которые не выходят однако за рамки приведенной далее формулы изобретения.
| название | год | авторы | номер документа |
|---|---|---|---|
| СПОСОБ ОТОБРАЖЕНИЯ ИЗОБРАЖЕНИЯ И ЖИДКОКРИСТАЛЛИЧЕСКОЕ ОТОБРАЖАЮЩЕЕ УСТРОЙСТВО, ИСПОЛЬЗУЮЩЕЕ ЭТОТ СПОСОБ | 2011 |
|
RU2568382C2 |
| ОЦЕНКА ТРЕХМЕРНОЙ ТОПОЛОГИИ ДОРОГИ НА ОСНОВЕ ВИДЕОПОСЛЕДОВАТЕЛЬНОСТЕЙ ПОСРЕДСТВОМ ОТСЛЕЖИВАНИЯ ПЕШЕХОДОВ | 2005 |
|
RU2409854C2 |
| КОДИРУЮЩИЕ ДИНАМИЧЕСКИЕ ФИЛЬТРЫ | 2003 |
|
RU2302707C2 |
| УСТРОЙСТВА, СИСТЕМЫ И СПОСОБЫ ВИРТУАЛИЗАЦИИ ЗЕРКАЛА | 2014 |
|
RU2668408C2 |
| Способ контроля пространственного положения участников спортивного события на игровом поле | 2016 |
|
RU2616152C1 |
| ТЕХНОЛОГИИ ДЛЯ ДЕТЕКТИРОВАНИЯ ВИДЕОКОПИИ | 2009 |
|
RU2505859C2 |
| СПОСОБ ОБНАРУЖЕНИЯ ЧЕЛОВЕЧЕСКИХ ОБЪЕКТОВ В ВИДЕО (ВАРИАНТЫ) | 2013 |
|
RU2635066C2 |
| Устройство для удаления логотипов и субтитров с видеопоследовательностей | 2017 |
|
RU2669470C1 |
| УСТРОЙСТВО И СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЯ И ОБОРУДОВАНИЕ | 2019 |
|
RU2794062C2 |
| СПОСОБ ГЕНЕРИРОВАНИЯ ДАННЫХ ИЗОБРАЖЕНИЯ | 1991 |
|
RU2113770C1 |
Предлагаются устройство и способ микширования изображений, таких как рекламные изображения, в видеопоток событий, происходящих в пределах главным образом неизменного пространства, такого как игровое поле. В системе использована модель пространства заднего фона для изменения видеопотока таким образом, чтобы ввести изображение в некоторое местоположение в пределах пространства заднего фона. Система включает в себя механизм захвата видеокадра и систему имплантации изображения. Механизм захвата видеокадра одновременно (в течение одного промежутка времени) выделяет единственный кадр видеосигнала. Система имплантации изображения обычно внедряет изображение в кадре на заданном участке, выбранном на поверхностях пространства заднего фона, если этот участок виден в кадре. 4 с. и 18 з.п.ф-лы, 30 ил.
| US, 5243429, патент, кл | |||
| Очаг для массовой варки пищи, выпечки хлеба и кипячения воды | 1921 |
|
SU4A1 |
| US, 5264933, патент, кл | |||
| Очаг для массовой варки пищи, выпечки хлеба и кипячения воды | 1921 |
|
SU4A1 |
