СПОСОБ И СИСТЕМА ДЛЯ ПРОИЗВОДСТВА ВИДЕОПРОДУКЦИИ Российский патент 2018 года по МПК H04N5/247 G06T11/00 

Настоящее изобретение относится к способу и системе для генерации видеопродукции.

В различных вариантах осуществления настоящее изобретение относится, в частности, к способу и системе для генерации панорамного видео и для применения в производстве видеопродукции события публичного интереса с минимальным вмешательством оператора или без него и/или в режиме реального времени в момент происхождения события.

Показ по телевидению многих событий публичного интереса, включая спортивные события такие, как футбольные матчи, обычно требует много видеокамер и много операторов камер. На примере футбольного матча, каждый оператор, работая камерой, должен следить за ходом действия на игровом поле и за его пределами, в равной степени используя панорамирование или масштабирование видеокамерой, чтобы отслеживать мяч, игроков или зрителей по мере того, как они перемещаются в пределах игрового поля и за его пределами. Видеосигналы записанных изображений затем будут переданы в контрольный центр, где режиссер может просмотреть изображения каждого видеосигнала. Режиссер также может взаимодействовать с оператором, обеспечивая его инструкциями, как конкретная камера должна работать, и может выбрать или объединить видеосигналы для выполнения презентации для трансляции. Такая телевизионная работа неизбежно требует большого количества рабочей силы, оборудования и технической поддержки; все это прибавляется к финансовым расходам производства трансляции. В частности, такое оборудование, как широкоугольные объективы с широким полем обзора, применяемые для съемки некоторого события, могут быть чрезмерно дорогими.

Для крупномасштабных событий с достаточной финансовой поддержкой, большое количество необходимых ресурсов для производства видео трансляции не является большой проблемой. Однако, для мелкомасштабных событий или событий с ограниченной финансовой поддержкой, чрезмерно высокая стоимость телевизионной продукции обычно означает, что событие не обеспечено финансовым покрытием и таким образом не будет транслироваться.

Организаторам мелкомасштабных событий или событий, которые не пользуются широкой популярностью, собирающимся транслировать событие, желательно в большинстве случаев увеличить объем рекламы события или организаторов. В свою очередь, увеличенный объем рекламы привлекает публичный интерес, который может служить для подъема рейтинга события и, следовательно, может быть использован для привлечения спонсоров и инвесторов.

C учетом вышесказанного есть необходимость в усовершенствованном способе и системе для уменьшения стоимости и ресурсов, необходимых для создания видеопродукции события, которая будет соответствовать требованиям телевизионной трансляции.

В соответствии с другим аспектом настоящего изобретения предоставляется способ генерации видеопродукции события, включающий: получение множества компонентных видеосигналов события, причем каждый компонентный видеосигнал содержит множество кадров компонентного изображения, при этом каждый кадр компонентного изображения соответствует фрагменту панорамного изображения события; совмещение соответствующих по времени кадров компонентного изображения каждого видеосигнала вместе для генерации множества кадров панорамного изображения; выбор фрагмента кадра каждого панорамного изображения, основываясь по меньшей мере на одном предопределенном условии, связанном с событием, для генерации множества выходных кадров изображения; генерацию видеопродукции из множества выходных кадров изображения.

C учетом вышесказанного, настоящее изобретение предоставляет способ, который генерирует широкоугольные кадры изображения без необходимости в дорогих широкоугольных объективах. Этот способ также делает возможным производство видеопродукции с минимальным вмешательством оператора или без него и может выполняться автоматически в режиме реального времени для записи видеоизображений широкого круга событий.

В различных вариантах осуществления, одним из предопределенных условий является выбор фрагмента каждого кадра панорамного изображения, содержащего зону интереса связанную с событием.

В качестве альтернативы или дополнения этап выбора дополнительно включает идентификацию по меньшей мере одного объекта изображения по меньшей мере в одном кадре изображения, и при этом одним из предопределенных условий является выбор фрагмента по меньшей мере одного кадра панорамного изображения, содержащего по меньшей мере один объект изображения. В частности, для более чем одного идентифицированного объекта изображения по меньшей мере в одном кадре панорамного изображения этап выбора дополнительно включает: определение местоположения объектов изображения по меньшей мере в одном кадре панорамного изображения; идентифицирование распределения местоположений по меньшей мере более чем в одном кадре панорамного изображения; и определение отклонения идентифицированного распределения от ожидаемого распределения, связанного с событием; при этом одним из предопределенных условий является выбор фрагмента по меньшей мере одного кадра панорамного изображения, имеющего минимальное отклонение. Способ в описанных выше вариантах осуществления позволяет имитировать эффект панорамирования видеокамерой в процессе выбора фрагмента, который содержит объект изображения. В качестве альтернативы или дополнения способ дополнительно включает выделение данных заднего плана по меньшей мере из одного кадра панорамного изображения, при этом этап идентификации основывается по меньшей мере на выделенных данных заднего плана. Способ может также дополнительно включать определение карты распределения плотности по меньшей мере одного из кадров панорамного изображения для указания зоны кадра панорамного изображения, где большое число объектов изображения находятся в непосредственной близости друг к другу, при этом этап идентификации основан по меньшей мере на карте распределения плотности. Обеспечение процесса выделения данных заднего плана и распределения плотности облегчает этап идентификации объектов изображения на фоне элементов заднего плана.

Предпочтительно чтобы размер выбранного фрагмента отличался от одного кадра панорамного изображения к другому. В качестве альтернативы или дополнения, местоположение выбранного фрагмента, относящегося к соответствующему кадру панорамного изображения, меняется от одного кадра панорамного изображения к другому. Изменение размера и местоположения выбранного фрагмента дополнительно облегчает имитацию эффекта масштабирования и панорамирования видеокамерой.

В других вариантах осуществления этап совмещения дополнительно включает в себя коррекцию цветовой информации кадров компонентного изображения по меньшей мере одного компонентного видеосигнала по отношению к кадрам компонентного изображения по меньшей мере одного другого компонентного видеосигнала. Этап совмещения может дополнительно включать калибровку уровней яркости кадров компонентного изображения по меньшей мере одного компонентного видеосигнала по отношению к кадрам компонентного изображения по меньшей мере одного другого компонентного видеосигнала. Эти меры позволяют объединять кадры изображения вместе без заметных для глаза переходов.

В некоторых других вариантах осуществления способ дополнительно включает: генерацию метаданных, связанных с событием; создание визуального элемента, соответствующего метаданным; и встраивание визуального элемента в видеопродукцию. В качестве альтернативы или дополнения способ дополнительно включает: получение по меньшей мере одного аудиосигнала; объединение по меньшей мере одного аудиосигнала с видеопродукцией; и генерацию аудиовидеопродукции. Эти меры повышают качество видеопродукции, предоставляя зрителю дополнительную информацию, связанную с событием.

В соответствии с другим аспектом настоящего изобретения предложена система для генерации видеопродукции события, содержащая: модуль захвата, предназначенный для получения множества компонентных видеосигналов события, причем каждый компонентный видеосигнал содержит множество кадров компонентного изображения, при этом каждый кадр компонентного изображения соответствует фрагменту панорамного изображения события; модуль совмещения, предназначенный для совмещения соответствующих по времени кадров компонентного изображения каждого видеосигнала вместе для генерации множества кадров панорамного изображения; модуль выбора, предназначенный для выбора фрагмента каждого кадра панорамного изображения, основываясь по меньшей мере на одном предопределенном условии, связанном с событием для генерации множества выходных кадров изображения; производственный модуль, предназначенный для генерации видеопродукции из множества выходных кадров изображения.

В различных вариантах осуществления, одним из предопределенных условий является выбор фрагмента каждого кадра панорамного изображения, содержащего зону интереса, связанную с событием.

В качестве альтернативы или дополнения модуль выбора может использоваться для идентификации по меньшей мере одного объекта изображения по меньшей мере в одном кадре панорамного изображения, и при этом одним предопределенным условием является выбор целого кадра или фрагмента изображения, содержащего по меньшей мере один объект изображения. В частности, для более чем одного идентифицированного объекта изображения по меньшей мере в одном кадре панорамного изображения, модуль выбора может использоваться: для определения местоположений объектов изображения по меньшей мере в одном кадре панорамного изображения; для идентификации распределения местоположений по меньшей мере в одном кадре панорамного изображения; и для определения отклонения идентифицированного распределения от ожидаемого распределения; при этом одним из предопределенных условий является выбор фрагмента по меньшей мере одного кадра панорамного изображения, имеющего минимальное отклонение. В качестве альтернативы или дополнения система дополнительно содержит модуль извлечения, предназначенный для извлечения данных заднего плана по меньшей мере из одного кадра панорамного изображения, при этом модуль выбора может использоваться для анализа данных заднего плана для идентификации по меньшей мере одного объекта изображения. Система может также дополнительно содержать модуль распределения плотности, предназначенный для определения карты распределения плотности по меньшей мере одного из кадров панорамного изображения для указания зоны кадра панорамного изображения, где большое число объектов изображения находятся в непосредственной близости друг к другу, при этом модуль выбора может использоваться для анализа карты распределения плотности для идентификации по меньшей мере одного объекта изображения.

Предпочтительно чтобы размер выбранного фрагмента отличался от одного кадра панорамного изображения к другому. В качестве альтернативы или дополнения местоположение выбранного фрагмента по отношению к соответствующему кадру панорамного изображения меняется от одного панорамного кадра изображения к другому.

В других вариантах осуществления модуль совмещения может использоваться для коррекции цветовой информации кадров компонентного изображения по меньшей мере одного компонентного видеосигнала по отношению к кадрам компонентного изображения по меньшей мере одного другого компонентного видеосигнала. Модуль совмещения может также использоваться для калибровки уровней яркости кадров компонентного изображения по меньшей мере одного компонентного видеосигнала по меньшей мере по отношению к одному другому компонентному видеосигналу.

В некоторых других вариантах осуществления модуль захвата может использоваться для генерации метаданных, связанных с событием; и производственный модуль может использоваться для создания визуального элемента, основываясь на метаданных, и встраивания визуального элемента в видеопродукцию. В качестве альтернативы или дополнения производственный модуль может использоваться для: получения по меньшей мере одного аудиосигнала; объединения по меньшей мере одного аудиосигнала с выпуском телепрограммы; и генерации аудиовидеопродукции.

В соответствии с другим аспектом настоящего изобретения предложен способ генерации видеопродукции события, включающий: получение множества видеосигналов события, причем каждый видеосигнал содержит множество кадров изображения, при этом каждый кадр изображения соответствует изображению события; автоматическую идентификацию по меньшей мере одного объекта изображения по меньшей мере в одном кадре изображения; автоматический выбор по меньшей мере одного кадра изображения, содержащего по меньшей мере один объект изображения для генерации множества выходных кадров изображения; и автоматическую генерацию видеопродукции из множества выходных кадров изображения.

В соответствии с другим аспектом настоящего изобретения предложена система для генерации видеопродукции события, содержащая: модуль захвата, предназначенный для получения множества видеосигналов события, причем каждый видеосигнал содержит множество кадров изображения, при этом каждый кадр изображения соответствует изображению события; модуль выбора, предназначенный для автоматической идентификации по меньшей мере одного объекта изображения по меньшей мере в одном кадре изображения и автоматического выбора по меньшей мере одного кадра изображения, содержащего по меньшей мере один объект изображения для генерации множества выходных кадров изображения; производственный модуль, предназначенный для автоматической генерации видеопродукции из множества выходных кадров изображения.

Варианты осуществления настоящего изобретения в дальнейшем будут описываться на примерах с ссылками на сопровождающие графические материалы, в которых:

на фиг. 1 изображены две альтернативные установки с видеокамерами;

на фиг. 2 изображена схематичная диаграмма системы для генерации видеопродукции;

на фиг. 3 изображена схематичная иллюстрация кадров изображения одного видеосигнала, которые совмещаются с кадрами изображения другого видеосигнала;

на фиг. 4 изображена схематичная иллюстрация выбора фрагмента кадров панорамного изображения;

на фиг. 5 изображена схематичная иллюстрация выходного видеосигнала; и

на фиг. 6А–6С изображены схематичные иллюстрации видеопродукции.

Система для генерации видеопродукции события в соответствии с вариантом осуществления настоящего изобретения изображена на фиг. 2. Как правило, в вариантах осуществления система настоящего изобретения содержит ряд модулей, которые обмениваются данными друг с другом и могут быть воплощены в компьютерном оборудовании или программном обеспечении. Модули также могут быть реализованы как индивидуальные модули или как субмодули большего модуля. Система настраивается для получения потоков видеосигналов, записанных рядом видеокамер, размещенных в географической местности там, где происходит событие такое, как футбольный матч.

Видеокамеры могут управляться дистанционно или непосредственно с минимальным вмешательством человека так, чтобы обеспечить системе условия для создания необходимой видеопродукции автоматически в режиме реального времени. В действительности, как только система будет настроена, она сможет работать, как будет описано ниже, без дополнительного вмешательства оператора. В некоторых вариантах осуществления потоки видеосигналов могут быть предварительно записаны и получены системой по окончании происходящего события. В частности, как изображено на фиг. 1, две видеокамеры могут быть размещены в непосредственной близости друг к другу, или бок о бок, как камеры C1 и C2, или в тандеме, как камеры C3 и C4, так, чтобы поле обзора одной камеры C1 (C3) перекрывалась частично полем обзора другой камеры C2 (C4). Индивидуальные видео потоки затем могут быть объединены для генерации одного видеопотока с широкоугольным изображением. В более общем смысле ряд камер может быть установлен в рабочее положение одинаковым способом так, чтобы сгенерированный широкоугольный видеопоток покрывал все поле интереса такое, как игровое поле футбольного матча.

В результате широкоугольным видеопотоком можно будет манипулировать. Например, для определенной части видеопотока, видеопотоком можно манипулировать, выбирая фрагмент поля обзора, и дополнительно манипулировать для переноса выбранного фрагмента из одного кадра изображения в другой для имитирования эффекта панорамирования видеокамерой с таким же полем обзора этой части. В качестве альтернативы или для другой части для имитирования эффекта масштабирования видеопотоком можно манипулировать, выбирая фрагмент, размер которого отличается от кадра изображения к кадру изображения. Выбранные фрагменты затем могут быть обрезаны и соединены вместе для генерации видеопродукции для сохранения и/или трансляции.

Очевидно, что широкоугольный видеопоток может обеспечить большую гибкость и способствует разнообразию видеопродукции, которая может быть произведена из этого видеопотока. Генерация видеопродукции происходит автоматически сразу, как только система настроена, таким образом значительная стоимость и сложность обычных систем, описанных выше, могут быть устранены.

Как показано на фиг. 2, система 10 согласно варианту осуществления настоящего изобретения включает в себя модуль захвата 100, модуль совмещения 200, модуль выбора 300 и производственный модуль 400. Как показано на этой фигуре, каждый модуль изображен как индивидуальный элемент. Однако, следует учитывать, что некоторые модули могут быть субмодулями больших модулей. Например, в некоторых вариантах осуществления модуль совмещения 200 и модуль выбора 300 могут быть субмодулями модуля 202 виртуальной камеры. Следует также учитывать, что модули и субмодули могут быть воплощены в оборудовании или в программном обеспечении.

Когда происходит такое событие, как футбольный матч, для съемки этого события способом, описанным выше, в рабочее положение может быть приведен ряд видеокамер. В варианте осуществления, показанном на фиг. 2, модуль захвата 100 сконфигурирован для получения одного или более видеосигналов 120, записанных видеокамерами или в режиме реального времени прямо с видеокамер, связанных с возможностью обмена данных с модулем захвата 100, или с помощью предварительной записи и хранения отснятых видеосигналов. Модуль захвата 100 в некоторых вариантах осуществления также сконфигурирован для преобразования полученных видеосигналов 120 в соответствующий формат, подходящий для использования системой 10.

Специалисту в данной области техники должно быть понятно то, что видеосигнал может быть аналоговым или цифровым и содержит последовательность кадров изображения. Также специалисту в данной области техники должно быть понятно то, что каждый кадр изображения видеосигнала имеет угол/поле обзора изображения, которое зависит от характеристик оптических компонентов видеокамеры таких, как фокусное расстояние объектива или размер светочувствительной матрицы.

Как правило, каждый видеосигнал 120, полученный модулем захвата 100, содержит ряд кадров изображения, при этом каждое изображение соответствует изображению события, которое записывается. Некоторые видеосигналы 120, полученные модулем захвата 100, такие как компонентные видеосигналы 122-1... 122-n, показанные на фиг. 2, могут быть связаны с панорамным полем обзора. Таким образом, кадры изображения видеосигнала, полученного модулем захвата 100, могут быть объединены или совмещены с соответствующими по времени кадрами изображения другого видеосигнала для генерации панорамного видеосигнала, где кадры изображения панорамного видеосигнала имеют поле обзора шире, чем поле обзора кадров изображения каждого индивидуального видеосигнала. Компонентные видеосигналы 122-1... 122-n могут быть получены от ряда видеокамер, размещенных бок о бок рядом друг с другом или в тандеме одна над другой и выставлены так, что край поля обзора одной камеры соответствует краю поля обзора соседней камеры или так, что поле обзора одной камеры частично перекрывает поле обзора соседней камеры.

Как показано на фиг. 2, модуль захвата 100 настроен так, чтобы в рабочем состоянии получать один или более компонентных видеосигналов 122-1... 122-n, каждый из которых связан с панорамным полем обзора. Сразу после получения компонентные видеосигналы 122-1... 122-n могут в некоторых вариантах осуществления подвергнуться одному или более этапам предварительной обработки таким, как цветовая коррекция и калибровка для корректирования цветового тона и уровней яркости каждого видеосигнала. В дальнейшем, компонентные видеосигналы 122-1... 122-n передаются в модуль совмещения 200, который настроен так, чтобы в рабочем состоянии совмещать соответствующие кадры изображения компонентных видеосигналов 122-1... 122-n для генерации панорамного видеосигнала. Для примера, в некоторых вариантах осуществления модуль совмещения 200 получает компонентные видеосигналы 122-1... 122-n и может использоваться для совмещения вместе кадров изображения одного компонентного видеосигнала с соответствующими по времени кадрами изображения другого компонентного видеосигнала любым подходящим способом, таким как использование гомографии изображения или техники нулевого параллакса для генерации кадров панорамного изображения для панорамного видеосигнала 220. На фиг. 3 схематически изображено соединение вместе двух кадров изображения, соответствующих по времени.

На фиг. 3 изображен пример двух компонентных видеосигналов, показанных схематично, при этом компонентный видеосигнал 122-1 состоит из кадров 122-11... 122-1n компонентного изображения и компонентный видеосигнал 122-2 состоит из кадров 122-21... 122-2n компонентного изображения. На этих примерах кадры 122-1a... 122-1n компонентного изображения покрывают определенное поле обзора и кадры 122-21... 122-n компонентного изображения покрывают поле обзора, которое перекрывается с полем обзора кадров 122-11... 122-1n изображения в небольшой части. В процессе совмещения кадры компонентного изображения компонентного видеосигнала 122-1 объединяются с соответствующими по времени кадрами компонентного видеосигнала 122-2 в зоне перекрытия для генерации кадров 220-1... 220-n панорамного изображения для панорамного видеосигнала 220. На фиг. 3 изображен кадр 122-11 компонентного изображения, запечатлевший сцену в определенное время, и кадр 122-21 компонентного изображения, запечатлевший другую сцену в тот же момент времени, что и кадр 122-21 компонентного изображения, перекрывающиеся в зоне 122’. В процессе совмещения кадр 122-11 компонентного изображения и кадр 122-21 компонентного изображения соединяются вместе в зоне перекрытия 122’ для генерации кадра 220-1 панорамного изображения панорамного видеосигнала 220. Затем подобным образом генерируются другие кадры 220-2...220-n панорамного изображения панорамного видеосигнала 220.

В некоторых вариантах осуществления компонентный видеосигнал 122-1 и компонентный видеосигнал 122-2 могут подвергаться одному или более этапам предварительной обработки данных. Для примера, настройки экспонирования камеры, используемой для записи компонентного видеосигнала 122-1, могут незначительно отличаться от настроек видеокамеры, используемой для записи компонентного видеосигнала 122-2. В таком случае, было бы желательно скорректировать изображения, запечатленные в соответствующих видеосигналах относительно друг друга так, чтобы объединенные вместе кадры изображения были без заметных для глаза переходов. Соответственно, в этих вариантах осуществления модуль совмещения 200 настроен так, чтобы в рабочем состоянии корректировать цветовую информацию кадров компонентного изображения компонентных видеосигналов, которые подлежат совмещению вместе. В качестве альтернативы или дополнения модуль совмещения 200 также настроен так, чтобы в рабочем состоянии калибровать уровни яркости кадров компонентного изображения видеосигналов так, чтобы их совместить вместе. Коррекция цветовой информации и калибровка уровней яркости до совмещения кадров изображения вместе кроме того гарантирует, что цвета и уровни яркости на одной стороне панорамного кадра изображения будут эквивалентны цветам и уровням на другой стороне кадра панорамного изображения так, чтобы линия, в которой кадры изображения соединяются, была настолько незаметна насколько возможно.

Следует отметить, что несмотря на то, что на фиг. 3 изображены только два компонентных видеосигнала 122-1 и 122-2, любое количество соответствующих подготовленных компонентных видеосигналов 122-1... 122-n могут быть совмещены вместе для генерации панорамного видеосигнала 220. Следует отметить также, что более чем один панорамный видеосигнал может быть сгенерирован таким же способом.

Снова обратимся к фиг. 2, как только будет сгенерирован панорамный видеосигнал 220, он поступит в модуль выбора 300. Модуль выбора 300 предназначен для манипулирования видеосигналами, полученными им в соответствии с предопределенными правилами и условиями, которые связанны с событием. Для примера, кадры 220-1... 220-n панорамного изображения могут содержать сцены футбольного матча, и предопределенные правила и условия могут быть необходимы для имитирования эффекта отслеживания перемещения футбольного мяча, изображенного в кадрах 220-1... 220-n панорамного изображения для определенного периода времени.

На фиг. 4 изображены кадры 220-1... 220n панорамного изображения, отображающие сцену, на которой присутствует футбольный мяч, который меняет свое местоположение от кадра к кадру. Модуль выбора 300 может использоваться для анализа кадров 220-1... 220-n панорамного изображения с использованием любых подходящих способов отслеживания и анализа изображения для идентификации футбольного мяча как объекта движения и определяет его местоположение в пределах каждого кадра изображения. Основываясь на этом местоположении, модуль выбора 300 таким образом способен определить траекторию футбольного мяча. Таким образом, устанавливая одно из предопределенных условий в отношении того, как выбирать фрагмент кадра изображения, содержащего футбольный мяч, модуль выбора 300 способен имитировать эффект отслеживания футбольного мяча посредством выбора фрагмента, который содержит футбольный мяч, расположенный в определенной относительной позиции в каждом фрагменте. В общем, основываясь по меньшей мере на одном предопределенном условии, связанном с событием, видеосъемка которого ведется, модуль выбора 300 может использоваться для выбора целого кадра или его фрагмента из любого количества кадров изображения любого количества видеосигналов, которые он получает для генерации соответствующего количества выходных кадров изображения. Как показано на фиг. 4, модуль выбора 300 в некоторых вариантах осуществления предназначен для идентификации футбольного мяча в кадре 220-1 панорамного изображения, выбора фрагмента 222-1 для вставки футбольного мяча и для извлечения фрагмента 222-1 для генерации отдельного выходного кадра 320-1 изображения. Аналогично, такой же алгоритм может быть применен к другим кадрам панорамного изображения для генерации выходных кадров 320-2... 320-n изображения для формирования выходного видеосигнала 320.

Несмотря на то, что на фиг. 4 показан только один объект изображения, следует иметь в виду, что предопределенные правила и условия не ограничены отслеживанием одного движущегося объекта изображения, и модуль выбора 300 может использоваться для отслеживания более одного объекта изображения. Следует также иметь в виду, что модуль выбора 300 может использоваться для отслеживания любого количества объектов изображения или зон интереса. В дополнении, модуль выбора 300 в некоторых вариантах осуществления может также использоваться для определения местоположений объектов изображения в кадрах панорамного изображения и для идентификации того, как эти объекты изображения распределены по кадру панорамного изображения. Таким образом, для событий, где объекты изображения имеют ожидаемое распределение, модуль выбора может использоваться для определения отклонения распределения местоположений объектов изображения от ожидаемого распределения. Кроме того, одним из предопределенных условий может быть установлен выбор фрагмента, где отклонение находится в минимуме. Для примера, модуль выбора 300 может быть предназначен для идентификации движения зрителей на футбольном стадионе как движущихся объектов и идентификации такого распределения движения зрителей, которое соответствует "мексиканской волне", проходящей вокруг стадиона. На таком примере модуль выбора 300 может использоваться для выбора фрагментов кадров панорамного изображения для отслеживания движения "мексиканской волны".

Следует иметь в виду, что в результате выбора фрагмента 221-1... 222-n кадров 220-1... 220-n панорамного изображения для включения в него движущегося объекта, эффект, который будет наблюдаться в выходных кадрах 320-1... 320-n изображения будет эквивалентным видеоизображениям, записанным видеокамерой с использованием панорамирования, которая имеет такое же поле обзора, как выходные кадры 320-1... 320-n изображения. В некоторых вариантах осуществления модуль выбора 300 может быть дополнительно настроен для изменения размера выбранного фрагмента так, чтобы имитировать эффект масштабирования. Для примера, модуль выбора 300 может быть настроен для выбора прогрессивно уменьшающегося фрагмента для создания эффекта приближения камеры или прогрессивно увеличивающихся фрагментов для создания эффекта отдаления камеры.

Возвращаясь к фиг. 2, для облегчения задачи идентификации объектов или зоны интереса в кадрах 220-1... 220-n панорамного изображения, полученных модулем выбора 300, система 10 в некоторых вариантах осуществления дополнительно содержит модуль извлечения 500 и модуль распределения плотности 600.

Модуль извлечения 500 настроен так, чтобы в рабочем состоянии идентифицировать характерные особенности в кадрах изображения сигнала 220 панорамного изображения или в компонентных видеосигналах 122-1... 122-n, которые связанны с задним планом и для извлечения данных 520 изображения, которые отображают эти характерные особенности. Данные 520 изображения заднего плана затем передаются модулю выбора 300 для анализа так, чтобы облегчить модулю выбора 300 распознавание между объектами изображения на переднем плане и характерными особенностями заднего плана.

Модуль 600 распределения плотности настроен так, чтобы в рабочем состоянии или анализировать кадры сигнала 220 панорамного изображения или в компонентных видеосигналах 122-1... 122-n идентифицировать один или более объектов изображения, которые представляют интерес. После того, как объекты изображения идентифицированы, модуль 600 распределения плотности определяет местоположения объектов изображения, генерирует карту распределения плотности 620, и устанавливает индикатор на карте распределения плотности 620 такой, как выделение цветом для указания зоны кадра изображения, где большое количество объектов изображения находятся в непосредственной близости друг к другу. Аналогично, модуль 600 распределения плотности может также устанавливать индикатор на карте распределения плотности 620 для указания зоны кадра изображения, где есть несколько или нет объектов изображения. Выполненная карта распределения плотности 620 затем передается модулю выбора 300 для анализа так, чтобы облегчить модулю выбора 300 распознавание между объектами изображения на переднем плане и элементами заднего плана и облегчить модулю выбора 300 задачу определения того, как объекты изображения распределены по кадрам изображения.

Следует иметь в виду, что модуль извлечения 500 может быть воплощен в объединении с модулем распределения плотности 600. Следует также иметь в виду, что модуль извлечения 500 может быть воплощен, как альтернатива модуля распределения плотности и наоборот.

Как показано на фиг. 2, после того, как выходной видеосигнал 320 сгенерирован, он поступает в производственный модуль 400 для монтажа. Для примера, нежелательно включать всю длину выходного видеосигнала 320 для трансляции. В этом случае, желательно включать только фрагмент или некоторые фрагменты выходного видеосигнала 320. Соответственно, производственный модуль 400 настроен так, чтобы в рабочем состоянии выбирать некоторые или все выходные кадры 320-1... 320-n изображения для генерации видеопродукции 420. В вариантах осуществления, как изображено на фиг. 5, производственный модуль 400 может использоваться для выбора выходных кадров изображения из различных сегментов выходного видеосигнала 320 и объединения сегментов для создания видеопродукции 420. Как показано на фиг. 5, выходной видеосигнал 320 содержит желательные сегменты 322, 324, 326, 328, разделенные нежелательными сегментами. Производственный модуль 400 может использоваться для извлечения выходных кадров изображения этих сегментов и объединения их для создания видеопродукции 420, как показано на фиг. 6А.

В некоторых вариантах осуществления может потребоваться иметь один или более сегментов, повторяющихся моментально или позже. Также может потребоваться повторить сегмент в замедленном действии. Соответственно, в некоторых вариантах осуществления, изображенных на фиг. 6В и на фиг. 6С, производственный модуль может использоваться для генерации видеопродукции с одним или более сегментами 322, повторяемыми как сегмент замедленного действия 322-SloMo, или сегментом 322, повторяемым после одного или более различных сегментов.

В общем, производственный модуль 400 может использоваться для генерации видеопродукции из выходных кадров изображения, которые он получает.

Возвращаясь к фиг. 2, как только видеопродукция 420 сгенерирована, она может быть послана прямо в эфир или может быть отослана для сохранения или дополнительной обработки перед трансляцией.

В некоторых случаях событие, которое должно быть освещено, может иметь вторичные данные, связанные с записанными видеосигналами, при этом для повышения качества визуального восприятия их желательно встроить в видеопродукцию 420. Для примера, может потребоваться встроить отсчет времени и линию подсчета очков футбольного матча в видеопродукцию так, чтобы зритель мог наблюдать сцену со знанием результата матча. Соответственно, как изображено на фиг. 2, модуль захвата 100 в некоторых вариантах осуществления дополнительно настроен так, чтобы в рабочем состоянии получать вторичную информацию 140, связанную с событием. Вторичная информация 140 может, для примера, быть собранной с внешних сенсоров, таймеров, устройств хранения счета или каких-либо других подходящих средств. Модуль захвата 140 затем генерирует метаданные 142, связанные с вторичной информацией 140, и передает метаданные 142 производственному модулю 400. Производственный модуль 400 может использоваться для создания визуального элемента, такого как элемент, который отображает счет и отсчет времени футбольного матча в углу кадра изображения, и для встраивания визуального элемента в видеопродукцию.

В других случаях, также может потребоваться встроить аудиоинформацию в видеопродукцию 420. Соответственно, в некоторых вариантах осуществления системы 10, описанной выше, производственный модуль 400 настроен так, чтобы в рабочем состоянии получать один или более аудиосигналов 160, и может использоваться для встраивания аудиосигналов 160 в видеопродукцию 420.

В некоторых альтернативных вариантах осуществления модуль захвата 100 также предназначен для получения видеосигналов от индивидуальных видеокамер, которые не связанны с панорамным полем обзора, таких как видеосигналы 124, 126, изображенные на фиг. 2. В этих вариантах осуществления эти видеосигналы 124, 126 передаются в модуль выбора 200, минуя модуль совмещения 300. Понятно, что после того, как эти видеосигналы 124, 126 будут получены модулем выбора 300, с ними поступят таким же образом, как описано выше для панорамного видеосигнала 220.

При помощи кадров панорамного видеоизображения, сгенерированных как описано выше, и имитирования эффектов панорамирования и масштабирования в вариантах осуществления настоящее изобретение способно генерировать видеопрезентацию от стационарных камер, которым практически не требуется вмешательство оператора. Использование кадров панорамного видеоизображения описанным здесь способом также обеспечивает видеозаписи с широким полем обзора без необходимости использования дорогих широкоугольных объективов. Способ и система могут быть предварительно сконфигурированы для автоматической работы и в режиме реального времени так, чтобы минимизировать необходимость в ресурсах.

В других различных в вариантах осуществления системы 10 модуль выбора 300 дополнительно предназначен для получения и хранения предопределенных правил и условий, которые используются для генерации видеопродукции. В частности, модуль выбора 300 получает и сохраняет предопределенные условия, которые связанны с событием, которое должно быть записано. Предопределенные условия могут быть реализованы на аппаратном или программном уровне и могут быть загружены в систему 10 в процессе или после ее сборки. После того как видеосигналы получены от модуля совмещения 200 или от модуля захвата 100, модуль выбора 300 выбирает целый кадр изображения или фрагмент из любого подходящего количества кадров изображения полученных видеосигналов основываясь на предопределенных условий. Когда производится выбор, модуль выбора 300 опционно может использоваться для отслеживания движения, цвета, яркости и контрастности любого количества объектов, запечатленных на кадре изображения. Выбранные кадры изображения и/или фрагмент кадров изображения передаются в производственный модуль 400 как выходные кадры изображения выходного видеосигнала 320. Производственный модуль 400 затем использует выходной видеосигнал 320 для генерации видеопродукции 420.

Опционно, видеосигналы от модуля совмещения 200 или модуля захвата 100 передаются в модуль извлечения 500 и в модуль распределения плотности 600, а также в модуль выбора 300.

Модуль извлечения 500 может использоваться для анализа кадров изображения полученных видеосигналов и для идентификации элементов в кадрах изображения, которые связаны с задним планом события, на котором ведется видеосъемка. Данные 520 изображения, представляющие эти элементы заднего плана, извлекаются из полученных видеосигналов и передаются в модуль выбора 300. Модуль выбора 300 анализирует данные 520 изображения наряду с видеосигналами, которые он получает, когда производится выбор. Данные 520 изображения обеспечивают модулю выбора 300 возможность более легко идентифицировать любой объект, который движется относительно заднего плана, таким образом облегчая генерацию видеопродукции 420 в режиме реального времени.

Модуль 600 распределения плотности может использоваться для анализа кадров изображения полученных сигналов и для идентификации одного или более объектов изображения, которые представляют интерес. После того, как объекты изображения идентифицированы, модуль 600 распределения плотности определяет местоположения объектов изображения, генерирует карту распределения плотности 620 и устанавливает индикатор на карте распределения плотности 620 такой, как выделение цветом для указания зоны кадра изображения, где большое количество объектов изображения находятся в непосредственной близости друг к другу. Аналогично, модуль 600 распределения плотности может также устанавливать индикатор на карте распределения плотности 620 для указания зоны кадра изображения, где есть несколько или нет объектов изображения. Выполненная карта распределения плотности 620 затем передается модулю выбора 300 для анализа так, чтобы облегчить модулю выбора 300 распознавание между объектами изображения на переднем плане и элементами заднего плана и облегчить модулю выбора 300 задачу определения того, как объекты изображения распределены по кадрам изображения.

В этих различных вариантах осуществления предопределенные правила и условия в общем относиться к физическим атрибутам и аспектам события, видеосъемка которого ведется. Для примера, когда событием видеосъемки является футбольный матч, закономерно, что такое событие включает в себя две команды по одиннадцать игроков каждая, рефери и мяч. На этом примере модуль выбора 300 может использоваться для идентификации игроков, рефери и футбольного мяча, основываясь на их формах и цветах. Кроме этого, действия футбольного матча обычно происходят в пределах определенного расстояния от футбольного мяча. Соответственно, примером предопределенного условия является выбор фрагмента кадра изображения, который включает в себя футбольный мяч и зону в пределах предопределенного расстояния вокруг футбольного мяча. Действие может также происходить, когда есть определенное количество игроков одной из команд (т.е. объектов, все из которых имеют определенный цвет) в пределах определенного расстояния от футбольного мяча, например, во время контратаки. Соответственно, другим примером предопределенного условия является выбор фрагмента кадра изображения, который содержит определенное количество игроков одной команды в пределах предопределенного расстояния от футбольного мяча, по сравнению с количеством игроков другой команды. Другие примеры предопределенного условия включают, но не ограничиваются, выбор фрагмента кадра изображения, который содержит одного или более конкретных игроков, выбора фрагмента кадра изображения, в пределах которого футбольный мяч находится в том же месте, и выбора фрагмента кадра изображения, который содержит рефери. Более в общем смысле и как будет понятно специалисту в данной области, эти примеры предопределенных условий могут быть адаптированы для других спортивных событий, кроме прочего таких как регби, гольф, теннис, баскетбол, хоккей, крикет, волейбол, американский футбол и бейсбол.

Так же некоторым событиям присуще то, что действие происходит на поле или в зоне с известными размерами и разметкой. Для примера, когда событием видеосъемки, которая ведется, являются гонки, закономерно, что объекты изображения, т.е. участники соревнований, такие как спортсмены, скаковые лошади, гоночные автомобили, гоночные мотоциклы, гоночные велосипеды или любые другие гоночные средства, двигаются и следуют по предопределенной траектории, такой как трасса гоночного трека или круговая траектория. Соответственно, другим примером предопределенного условия является выбор фрагмента кадра изображения, который включает в себя по меньшей мере один объект изображения, в то же время двигающийся по предопределенной траектории. Также может быть так, что наиболее интересная сцена гонок характеризуется нахождением большой части участников соревнований на небольшом участке трассы гоночного трека. Соответственно, другим примером предопределенного условия является выбор фрагмента кадра изображения, который имеет наибольшую плотность объектов изображения. Опционно, модуль выбора 300 может использоваться для распознавания различных объектов изображения, таких как движущиеся транспортные средства, основываясь на их цветах и контрастности; и другим примером предопределенного условия является выбор фрагмента кадра изображения, который включает в себя любой один объект или группу объектов изображения из множества объектов изображения.

В других примерах этих различных вариантов осуществления событие, видеосъемка которого ведется, отличается различными вариантами яркости по всей зоне кадра изображения. На примере таких событий, как спектакль, опера, или любое другое представление сцена в основном отличается областями относительно высокой яркости, такими, как кинопрожектора, направленные в зону театральной сцены. Соответственно, другим примером предопределенного условия является выбор фрагмента кадра изображения, который включает в себя яркие области, соответствующие прожекторному освещению. В этих примерах объектами изображения на кадрах изображения могут быть анатомические особенности актеров/певцов на театральной сцене, и сцена характеризуется движениями лица актеров/певцов, такими как движения губ. Соответственно, модуль выбора 300 может использоваться для идентификации этих движений лица посредством анализа цвета и/или контрастности полученных кадров изображения; и другим примером предопределенного условия является выбор фрагмента кадра изображения, который содержит по меньшей мере одно из идентифицируемых движений лица.

В этих различных вариантах осуществления может быть то, что в данном кадре изображения удовлетворяется более чем одно предопределенное условие. Соответственно, предопределенные условия этих вариантов осуществления опционно располагают в определенном порядке. Если кадры изображения, полученные модулем выбора 300, удовлетворяют более чем одному предопределенному условию, модуль выбора 300 генерирует видеопродукцию 420, основываясь на предопределенном условии с наивысшим приоритетом. Следует также иметь в виду, что вышеописанные предопределенные условия могут быть реализованы в отдельности или вместе в любой подходящей комбинации. Так же следует иметь в виду, что некоторые вышеописанные предопределенные условия являются более подходящими, чем другие условия, зависящие от предполагаемого конечного пользователя видеопродукции 420. Соответственно, эти более подходящие предопределенные условия реализованы для конкретного предполагаемого конечного пользователя. Для примера, когда предполагаемым конечным пользователем видеопродукции 420 является тренер футбольной команды, очень желательно включать кадры изображения, которые содержат всю зону футбольного поля, в видеопродукцию 420, чтобы предоставить тренеру возможность анализировать все аспекты футбольного матча. В этом примере предпочтительным предопределенным условием является выбор фрагмента кадров изображения, которые содержат целую зону футбольного поля. В другом примере, когда предполагаемым конечным пользователем является футбольный агент, заинтересованный в одном конкретном игроке, более желательно включать в видеопродукцию 420 кадры изображения, которые содержат этого конкретного игрока. В этом примере предпочтительным предопределенным условием является выбор фрагмента кадров изображения, которые содержат конкретный объект изображения.

В этих различных вариантах осуществления система 10 настоящего изобретения способна производить видеопродукцию событий, которая содержит эффекты панорамирования и масштабирования, полученные автоматически с минимальным вмешательством человека. В процессе генерации видеопродукции 420, основываясь на вышеописанных предопределенных условиях, система 10 способна определить фрагмент кадра изображения полученного видеосигнала, который должен быть вставлен в видеопродукцию 420 без дополнительного вмешательства человека.

В вышеизложенных вариантах осуществления настоящего изобретения способ и система для генерации видеопродукции были описаны как отвечающие требованиям для событий публичного интереса, таких как футбольные матчи. Специалисту в данной области должно быть понятно, что настоящее изобретение не ограничивается событиями публичного интереса и также подходит для других событий. Следует учитывать, что предназначение видеопродукции не ограничивается трансляцией, она так же может быть предназначена для других целей, включая интернет вещание и закрытый показ.

В вариантах осуществления настоящее изобретение было описано с конкретной ссылкой на иллюстрированные примеры. Однако очевидно, что различные варианты и модификации могут быть сделаны в отношении описанных примеров в пределах объема прилагаемых пунктов формулы изобретения.

Изобретение относится к способу и системе для генерации видеопродукции. Технический результат заключается в обеспечении автоматического производства видеопродукции с минимальным вмешательством оператора или без него в режиме реального времени для записи видеоизображений широкого круга событий. Предложен способ и система для генерации видеопродукции события, при этом способ включает: получение множества видеосигналов события, причем каждый видеосигнал содержит множество кадров изображения, при этом каждый кадр изображения соответствует изображению события; получение по меньшей мере одного предопределенного условия, связанного с событием; выбор фрагмента по меньшей мере из одного множества кадров изображения на основании по меньшей мере одного предопределенного условия для генерации по меньшей мере одного выходного кадра изображения; и генерацию видеопродукции по меньшей мере из одного выходного кадра изображения. 2 н. и 12 з.п. ф-лы, 8 ил.

1. Способ генерации видеопродукции события, включающий:

получение множества компонентных видеосигналов события, причем каждый компонентный видеосигнал содержит множество кадров компонентного изображения, при этом каждый кадр компонентного изображения соответствует фрагменту панорамного изображения события;

совмещение соответствующих по времени кадров компонентного изображения каждого компонентного видеосигнала вместе для генерации множества кадров панорамного изображения;

выбор фрагмента каждого кадра панорамного изображения на основании предопределенных правил и условий, связанных с событием, включая по меньшей мере одно из правил и условий, относящихся к физическим атрибутам и аспектам, присущим событию, для генерации множества выходных кадров изображения; и

генерацию видеопродукции из множества выходных кадров изображения.

2. Способ по п. 1, отличающийся тем, что одним из предопределенных правил и условий является выбор фрагмента по меньшей мере одного кадра панорамного изображения, содержащего зону интереса, связанную с событием.

3. Способ по п. 1, отличающийся тем, что этап выбора дополнительно включает идентификацию по меньшей мере одного объекта изображения по меньшей мере в одном кадре панорамного изображения, и при этом одним из предопределенных правил и условий является выбор фрагмента по меньшей мере одного кадра панорамного изображения, содержащего по меньшей мере один объект изображения.

4. Способ по п. 3, отличающийся тем, что для более чем одного идентифицированного объекта изображения по меньшей мере в одном кадре панорамного изображения этап выбора дополнительно включает:

определение местоположений объектов изображения по меньшей мере в одном кадре панорамного изображения;

идентификацию распределения местоположений по меньшей мере по одному кадру панорамного изображения; и

определение отклонения идентифицированного распределения от ожидаемого распределения, связанного с событием;

при этом одним из предопределенных правил и условий является выбор фрагмента по меньшей мере одного кадра панорамного изображения, имеющего минимальное отклонение.

5. Способ по п. 3, отличающийся тем, что дополнительно включает извлечение данных заднего плана по меньшей мере из одного из кадров панорамного изображения, при этом этап идентификации основан по меньшей мере на извлеченных данных заднего плана.

6. Способ по п. 3, отличающийся тем, что дополнительно включает определение карты распределения плотности по меньшей мере одного из кадров панорамного изображения для указания зоны кадра панорамного изображения, где большое число объектов изображения находятся в непосредственной близости друг к другу, при этом этап идентификации основан по меньшей мере на карте распределения плотности.

7. Способ по п. 1, отличающийся тем, что размер выбранного фрагмента изменяется от одного кадра изображения к другому.

8. Способ по п. 1, отличающийся тем, что местоположение выбранного фрагмента по отношению к соответствующему кадру панорамного изображения изменяется от одного кадра панорамного изображения к другому.

9. Способ по п. 1, отличающийся тем, что этап совмещения дополнительно включает коррекцию цветовой информации кадров компонентного изображения по меньшей мере одного компонентного видеосигнала по отношению к кадрам компонентного изображения по меньшей мере одного другого компонентного видеосигнала.

10. Способ по п. 1, отличающийся тем, что этап совмещения дополнительно включает калибровку уровней яркости кадров компонентного изображения по меньшей мере одного компонентного видеосигнала по отношению к кадрам компонентного изображения по меньшей мере одного другого компонентного видеосигнала.

11. Способ по п. 1, отличающийся тем, что дополнительно включает:

генерацию метаданных, связанных с событием;

создание визуального элемента, соответствующего метаданным; и

встраивание визуального элемента в видеопродукцию.

12. Способ по п. 1, отличающийся тем, что дополнительно включает:

получение по меньшей мере одного аудиосигнала;

объединение по меньшей мере одного аудиосигнала с видеопродукцией; и

генерацию аудиовидеопродукции.

13. Система для генерации видеопродукции события, содержащая:

модуль захвата, предназначенный для получения множества компонентных видеосигналов события, причем каждый компонентный видеосигнал содержит множество кадров компонентного изображения, при этом каждый кадр компонентного изображения соответствует фрагменту панорамного изображения события;

модуль совмещения, предназначенный для совмещения соответствующих по времени кадров компонентного изображения каждого компонентного видеосигнала вместе для генерации множества кадров панорамного изображения;

модуль выбора, предназначенный для выбора фрагмента каждого кадра панорамного изображения на основании предопределенных правил и условий, связанных с событием, включая по меньшей мере одно из правил и условий, относящихся к физическим атрибутам и аспектам, присущим событию, для генерации множества выходных кадров изображения;

производственный модуль, предназначенный для генерации видеопродукции из множества выходных кадров изображения.

14. Система по п. 13, отличающаяся тем, что одним из предопределенных правил и условий является выбор фрагмента по меньшей мере одного кадра панорамного изображения, содержащего зону интереса, связанную с событием.

15. Система по п. 13, отличающаяся тем, что модуль выбора предназначен для идентификации по меньшей мере одного объекта изображения по меньшей мере в одном кадре панорамного изображения и при этом одним из предопределенных правил и условий является выбор фрагмента по меньшей мере одного кадра панорамного изображения, содержащего по меньшей мере один объект изображения.

16. Система по п. 15, отличающаяся тем, что для более чем одного идентифицированного объекта изображения по меньшей мере в одном кадре панорамного изображения модуль выбора предназначен для:

определения местоположений объектов изображения по меньшей мере в одном кадре панорамного изображения;

идентификации распределения местоположений в пределах по меньшей мере одного кадра панорамного изображения; и

определения отклонения идентифицированного распределения от ожидаемого распределения;

при этом одним из предопределенных правил и условий является выбор фрагмента по меньшей мере одного кадра панорамного изображения, имеющего минимальное отклонение.

17. Система по п. 15, отличающаяся тем, что дополнительно содержит модуль извлечения, предназначенный для извлечения данных заднего плана по меньшей мере из одного из кадров панорамного изображения, при этом модуль выбора предназначен для анализа данных заднего плана для идентификации по меньшей мере одного объекта изображения.

18. Система по п. 15, отличающаяся тем, что дополнительно содержит модуль распределения плотности, предназначенный для определения карты распределения плотности по меньшей мере одного из кадров панорамного изображения для указания зоны кадра панорамного изображения, где большое число объектов изображения находятся в непосредственной близости друг к другу, при этом модуль выбора предназначен для анализа карты распределения плотности для идентификации по меньшей мере одного объекта.

19. Система по п. 13, отличающаяся тем, что размер выбранного фрагмента изменяется от одного кадра панорамного изображения к другому.

20. Система по п. 13, отличающаяся тем, что местоположение выбранного фрагмента по отношению к соответствующему кадру панорамного изображения изменяется от одного кадра панорамного изображения к другому.

21. Система по п. 13, отличающаяся тем, что модуль совмещения предназначен для коррекции цветовой информации кадров компонентного изображения по меньшей мере одного компонентного видеосигнала по отношению к кадрам компонентного изображения по меньшей мере одного другого компонентного видеосигнала.

22. Система по п. 13, отличающаяся тем, что модуль совмещения предназначен для калибровки уровней яркости кадров компонентного изображения по меньшей мере одного компонентного видеосигнала по отношению к кадрам компонентного изображения по меньшей мере одного другого компонентного видеосигнала.

23. Система по п. 13, отличающаяся тем, что:

модуль захвата предназначен для генерации метаданных, связанных с событием; и

производственный модуль предназначен для создания визуального элемента на основании метаданных и для встраивания визуального элемента в видеопродукцию.

24. Система по п. 13, отличающаяся тем, что производственный модуль предназначен для:

получения по меньшей мере одного аудиосигнала;

объединения по меньшей мере одного аудиосигнала с видеопродукцией; и

генерации аудиовидеопродукции.