СПОСОБ, УСТРОЙСТВО И СИСТЕМА ДЛЯ ФОРМИРОВАНИЯ ВИДЕОСИГНАЛА Российский патент 2020 года по МПК H04N5/262 G06T3/40 

Область техники, к которой относится изобретение

Настоящее изобретение относится к способу, устройству и системе для формирования выходного видеосигнала из множества входных видеосигналов.

Уровень техники

Известны способы формирования выходных видеосигналов из множества входных видеосигналов, например, из множества входных видеосигналов, источниками которых являются разные видеокамеры и которые визуализируют часть сцены. В этих способах кадры каждого входного видеосигнала располагают в виртуальном пространстве наподобие полотна, используя способ, известный под названием сшивки видео, таким образом, чтобы пользователи могли визуализировать названное полотно, используя визуализирующее окно. Содержимое, видимое через визуализирующее окно, подходящим образом кодируют с целью формирования выходного сигнала с заранее определенным разрешением.

Однако в известных способах, например, в способе, раскрытом в патентном документе US 2007/0076099 А1, выходной сигнал получают путем кодирования всех кадров каждого входного видеосигнала; для этого необходимо декодирование и повторное кодирование всех входных видеосигналов, при этом для декодирования и повторного кодирования входных сигналов с высоким разрешением может, во избежание задержек в выходном сигнале, требоваться значительная вычислительная мощность.

Таким образом, целью настоящего изобретения является предложение способа, устройства и системы, дающих возможность формирования видеосигналов из множества входных видеосигналов в реальном времени и возможность использования входных сигналов с высоким разрешением без сопутствующего накопления задержек или без необходимости использования значительной вычислительной мощности.

Раскрытие изобретения

Способ по настоящему изобретению для формирования выходного видеосигнала представляет собой один из тех способов, которые дают возможность формирования из множества входных видеосигналов, содержащих соответствующие последовательности входных кадров с количеством пикселов, для каждого входного кадра, связанным со входным разрешением, выходного видеосигнала, содержащего последовательность выходных кадров с заранее заданным для каждого выходного кадра количеством пикселов, связанным с выходным разрешением. Преимуществом способа является возможность формирования с его использованием из разных видеосигналов, которые, например, представляют разные части сцены, выходного видеосигнала с заранее заданным количеством пикселов для каждого кадра из частей кадров входных сигналов, с наивысшим возможным качеством. Указанным образом из входных видеосигналов с разными разрешениями получают выходной видеосигнал заранее заданного разрешения и наивысшего качества.

Способ содержит: задание в трехмерном виртуальном пространстве пространственной поверхности, образуемой множеством точек с трехмерными координатами, связанной с каждым пикселом каждого кадра каждой последовательности входных кадров; задание в указанном трехмерном виртуальном пространстве точки визуализации и визуализирующего окна, также называемого окном просмотра, которые образуют в указанном трехмерном виртуальном пространстве конус визуализации, также называемый телесным углом, формирующий выходные кадры из проекций кадров последовательностей входных кадров, проецируемых в указанное визуализирующее окно; вычисление соответствующей пороговой плотности пикселов для пикселов в визуализирующем окне, исходя из выходного разрешения и соответствующих пространственных размеров указанного визуализирующего окна; определение комбинаций входных кадров, проекции которых по меньшей мере частично перекрываются в визуализирующем окне и, для каждой комбинации кадров, выбор кадра в каждой комбинации кадров, который при проекции на визуализирующее окно имеет плотность пикселов во всей перекрывающейся части, большую или равную указанной пороговой плотности пикселов, или, в отсутствие такого кадра, выбор кадра, который при проекции на визуализирующее окно имеет более высокую плотность пикселов, с целью формирования перекрывающейся части выходного кадра. При этом достигается технический результат, состоящий в том, что не требуется обработка содержимого входных сигналов с более высоким разрешением, которая не будет использоваться для кодирования выходного сигнала, поскольку уже имеется входной сигнал с меньшим разрешением, который может быть использован для кодирования выходного сигнала с требуемым выходным разрешением без потери качества.

В одном варианте осуществления шаги задания в трехмерном виртуальном пространстве пространственной поверхности и/или задания в трехмерном виртуальном пространстве точки визуализации и визуализирующего окна выполняет оператор конфигурирования на предшествующем шаге конфигурирования, при этом оператор для формирования выходного видеосигнала (выходных видеосигналов, при наличии множества визуализирующих окон) должен лишь передвинуть визуализирующее окно (окна) наподобие камеры или виртуальной камеры (виртуальных камер). Естественно, также предполагается возможность дополнительной коррекции положений последовательностей кадров, например, если эти последовательности не были размещены должным образом, или если, например, одна из камер, передающих входной видеосигнал, немного сдвинулась, например, в результате толчка. Также предполагается возможность добавления в ходе визуализации новых точек визуализации и соответствующих им визуализирующих окон, например, с целью использования дополнительных виртуальных камер.

В представляющем интерес варианте указанная пространственная поверхность трехмерна, размещена наподобие полотна в трехмерном виртуальном пространстве, и на ней размещают кадры входных видеопоследовательностей так, чтобы кадры располагались, образуя трехмерную форму, заданную оператором конфигурирования, т.е., следовали требуемой трехмерной форме, которой могут быть, например, стены дома или даже трехмерная модель, ранее снятая известным способом, например, посредством устройства трехмерного сканирования. Хотя в общем указанная пространственная поверхность обладает протяженностью в трех измерениях виртуального пространства, также возможно, чтобы названная поверхность обладала протяженностью только в двух измерениях, т.е., была плоскостью, и когда на названной плоскости размещены кадры из разных последовательностей кадров, например, кадры из последовательностей кадров с разными разрешениями, или кадры, которые занимают разные части указанной поверхности или перекрываются, посредством способа по настоящему изобретению на основании положения визуализирующего окна (окон) могут выбирать кадры, которые делают возможным формирование выходного видеосигнала, имеющего наилучшее разрешение.

В еще одном варианте осуществления, если в некоторых комбинациях кадров имеется множество кадров, которые при проекции на визуализирующее окно имеют плотность пикселов во всей перекрывающейся части, большую или равную пороговой плотности пикселов, то из этого множества кадров выбирают кадр, который при проекции на визуализирующее окно имеет плотность пикселов, наиболее близкую к пороговой плотности пикселов. Таким образом, при наличии множества кадров, обеспечивающих достаточное разрешение, берут только кадры, у которых плотность пикселов превосходит пороговую плотность пикселов, но наиболее близка к ней; такие кадры более просты в обработке.

Предполагается, что точку визуализации, размер визуализирующего окна и, соответственно, конус визуализации могут менять посредством сигналов управления, например, сигналов PTZ, принимаемых от пользователя известным способом; конус визуализации также могут перемещать через трехмерное виртуальное пространство, сопровождая объект или используя любое другое движение, в котором участвует изменение положения точки визуализации в любом из трех измерений, аналогично приемам работы с реальной физической камерой: визуализирующее окно, которое могут смещать и на которое могут проецировать другие области трехмерного пространства, действует, таким образом, как виртуальная камера визуализации трехмерного виртуального пространства. Естественно, при смене точки визуализации указанного трехмерного пространства, размера визуализирующего окна или конуса визуализации, чтобы получить в результате должное разрешение выходного сигнала, может потребоваться перевыбор кадров из комбинаций кадров. В связи с этим можно рекомендовать повторное выполнение вычислений с целью гарантировать формирование выходного видеосигнала из наиболее подходящих входных видеосигналов. Также очевидно, что может быть более одной виртуальной камеры, визуализирующей трехмерное виртуальное пространство, например, когда визуализировать данное трехмерное виртуальное пространство необходимо более, чем одному пользователю. В этом случае данный способ формирования выходного видеосигнала необходимо выполнять для выходного сигнала, передаваемого каждому пользователю.

В соответствии с еще одним вариантом осуществления для формирования перекрывающейся части выходного кадра смешивают кадр, выбранный из каждой комбинации кадров, и по меньшей мере еще один кадр из той же комбинации кадров, например, когда в выходное окно проецируют два или более лишь частично перекрывающихся входных кадра, реализуя переход между разными входными кадрами, которые формируют выходной кадр, например, в форме постепенного градиента или двоичной маски. Этот переход могут выполнять только на концах перекрывающейся части.

В соответствии с еще одним вариантом осуществления для формирования перекрывающейся части выходного кадра используют только кадр, выбранный из каждой комбинации кадров, например, когда кадр, выбранный из каждой комбинации кадров, покрывает все визуализирующее окно и поэтому отсутствует необходимость выполнения перехода.

В соответствии с еще одним вариантом осуществления плотность пикселов каждого кадра, проецируемого на визуализирующее окно, вычисляют по проекции групп пикселов данного кадра; предпочтительно, указанными группами пикселов могут быть треугольные фрагменты каждого кадра.

В соответствии с еще одним вариантом осуществления шаг выбора кадра из каждой комбинации кадров выполняют, последовательно анализируя кадры, начиная со входного кадра с меньшим разрешением и заканчивая входным кадром с разрешением, чтобы первыми обрабатывались кадры с меньшим разрешением, которые могут быть обработаны быстрее.

В соответствии с еще одним вариантом осуществления пространственные поверхности, связанные с каждым пикселом каждого кадра каждой последовательности входных кадров в виртуальном трехмерном пространстве, образуют внутреннюю поверхность сферы, в результате чего указанные кадры являются равноотстоящими от точки визуализации.

В соответствии с еще одним вариантом осуществления по меньшей мере один из указанных входных видеосигналов представляет собой видеосигнал, сформированный видеокамерой путем съемки некоторой сцены, в результате чего выходной сигнал содержит кадры, полученные в реальном времени.

В соответствии с еще одним вариантом осуществления, если по меньшей мере два видеосигнала пригодны для формирования последовательности кадров с по меньшей мере частично совпадающим содержимым при разных разрешениях, например, если один видеосигнал представляет общий вид сцены, а другой видеосигнал представляет детали этой же сцены при более высоком разрешении, то желательно, чтобы выходной сигнал имел разрешение, сходное с разрешением общего вида сцены; например, когда визуализирующее окно узкое, отсутствует необходимость обработки остального видеосигнала, содержащего детали. Аналогично, когда требуется визуализация только деталей названной сцены, ее расширение, при котором визуализирующее окно является более широким, для формирования выходного сигнала необходимо использовать другой видеосигнал, содержащий детали.

В соответствии с еще одним вариантом осуществления по меньшей мере в двух видеосигналах задают последовательности кадров с одинаковым содержимым при разных разрешениях так, что один видеосигнал может полностью заменить другой при формировании выходного сигнала.

В соответствии с представляющим интерес вариантом, по меньшей мере два видеосигнала поступают из одной видеокамеры, и эти выходные сигналы, соответствующие разным разрешениям камеры, могут быть использованы в качестве входных сигналов.

В соответствии с вариантом осуществления, по меньшей мере один из указанных видеосигналов пригоден для формирования кадров, содержимое которых является виртуальным представлением по меньшей мере части содержимого кадра другого из указанных видеосигналов, при этом указанное виртуальное представление могут формировать из множества данных, векторных элементов или трехмерной модели так, чтобы разрешение этого виртуального представления могло быть настолько высоким, насколько это необходимо. Таким образом, если известно, что часть содержимого кадра в видеосигнале, поступающем из видеокамеры при съемке, содержит определенное изображение, и эта часть может быть смоделирована, то эта моделируемая часть может быть представлена в форме еще одного видеосигнала, предоставляемого и используемого для замены части кадра с тем же содержимым в случае, когда невозможно обеспечить необходимое выходное разрешение. Например, указанным виртуальным представлением может быть содержимое, содержащееся на экране, визуализируемом обычным образом в кадре другого входного сигнала, а при необходимости, содержимое экрана в обычной визуализации могут заменять указанным виртуальным представлением.

Способ по настоящему изобретению может быть закодирован в компьютерной программе, выполненной с возможностью реализации данного способа при исполнении указанной программы компьютером.

Также раскрыто устройство обработки данных, содержащее средства реализации способа настоящего изобретения, причем указанное устройство может входить в состав системы, также содержащей по меньшей мере одну видеокамеру, причем выходной сигнал этой видеокамеры является одним из входных сигналов указанного устройства.

Краткое описание чертежей

Для дополнения раскрытия настоящего изобретения и облегчения понимания характеристик настоящего изобретения настоящая заявка сопровождается комплектом чертежей, на которых иллюстративно и без ограничений показаны:

фиг. 1, представляющая функциональную схему системы, реализующей способ настоящего изобретения;

фиг. 2, представляющая трехмерное виртуальное пространство после фазы конфигурирования и визуализирующее окно;

фиг. 3, представляющая содержимое визуализирующего окна на фиг. 2;

фиг. 4а и 4b, представляющие сравнение пороговой плотности пикселов и плотности пикселов каждого кадра в визуализирующем окне на фиг. 3;

фиг. 5, представляющая формирование выходного кадра из содержимого визуализирующего окна на фиг. 3;

фиг. 6, представляющая визуализацию посредством еще одного визуализирующего окна трехмерного виртуального пространства на фиг. 2;

фиг. 7, представляющая содержимое визуализирующего окна на фиг. 6;

фиг. 8а и 8b, представляющие сравнение пороговой плотности пикселов и плотности пикселов каждого кадра в визуализирующем окне на фиг. 7;

фиг. 9, представляющая формирование выходного кадра из содержимого визуализирующего окна на фиг 7;

фиг. 10, представляющая еще одно трехмерное виртуальное пространство после фазы конфигурирования и визуализирующее окно;

фиг. 11, представляющая содержимое визуализирующего окна на фиг. 10; и

фиг. 12, представляющая формирование выходного кадра из содержимого визуализирующего окна на фиг. 11.

Подробное описание чертежей

Фиг. 1 представляет функциональную схему системы, реализующей способ настоящего изобретения, которая из множества входных видеосигналов S_i1, S_i2, S_i3…S_im, содержащих соответствующие последовательности входных кадров S_i1[n], S_i2[n], S_i3[n]…S_im[n] в разных временных пространствах, с количеством пикселов, для каждого входного кадра связанным со входным разрешением R_i1, R_i2, R_i3…R_im., дает возможность формирования выходного видеосигнала S_o, содержащего последовательность выходных кадров S_o[n] с заранее установленным для каждого выходного кадра количеством пикселов, связанным с выходным разрешением R_o. Входные разрешения R_i1, R_i2, R_i3…R_im могут отличаться от выходного разрешения R_o.

В настоящем изобретении термин «разрешение» обозначает наибольшее количество пикселов, которое может быть получено из кадра последовательности кадров видеосигнала; разрешение обычно указывают в виде количества пикселов по вертикали и количества пикселов по горизонтали.

В случае отображения кадра, например, на экране, могут вводить еще один параметр, плотность пикселов, зависящий от количества пикселов кадра на единицу длины. Обычно плотность пикселов выражают в пикселах на дюйм (ppi), но могут использовать и другие единицы измерения реальной или виртуальной длины. Плотность пикселов, таким образом, обратно пропорциональна размеру пиксела, представляющему собой количество единиц длины, занимаемое названным пикселом. Естественно, плотность пикселов и размер пиксела могут вычислять и при отображении кадра в трехмерном виртуальном пространстве, что будет понятно из дальнейшего изложения.

В примере на фиг. 1 показано множество входных видеосигналов S_i1, S_i2, S_i3…S_im, содержащих соответствующие последовательности входных кадров S_i1[n], S_i2[n], S_i3[n]…S_im[n] с определенным количеством пикселов в каждом кадре. Естественно, может использоваться любое другое количество входных видеосигналов, которые могут иметь разнообразные разрешения.

Посредством способа настоящего изобретения, реализуемого системой, показанной на фиг. 1, исходя из входных видеосигналов S_i1, S_i2, S_i3…S_im, содержащих соответствующие последовательности входных кадров S_i1[n], _i2[n], S_i3[n]…S_im[n] с разными разрешениями, выполняют кодирование выходного видеосигнала S_o, кадры в котором содержат заранее определенное количество пикселов по вертикали и по горизонтали, определяющее выходное разрешение R_o. Это выходное разрешение R_o может быть заранее задано оператором или может выбираться в ходе работы системы. Примерами возможных разрешений, как входных R_i1, R_i2, R_i3…R_im, так и выходного R_o, являются как низкие, так и высокие разрешения, известные в уровне техники: 480i (243×243 пиксела), 576i (288×288 пиксела), 480р (720×480 пиксела), 576р (720×576 пикселов), 720р (1280×720 пикселов), 1080i и 1080р (1920×1080 пикселов), 2160р (3840×2160 пикселов, сверхвысокое разрешение 4K), 4320р (7680×4320 пикселов, сверхвысокое разрешение 8K). Сигналы с такими разрешениями обычно формируют для отображения этих сигналов на экранах, имеющих это же разрешение.

Как можно видеть на фиг. 2, в ходе шага конфигурирования в трехмерном виртуальном пространстве 1 задана пространственная поверхность, образованная множеством точек с трехмерными координатами X, Y, Z, связанная с каждым пикселом каждого кадра каждой последовательности входных кадров. В качестве примера, для упрощения описания изобретения, пространственной поверхностью, на которой, как показано, размещают кадры последовательностей входных кадров, является плоскость. Естественно, кадры также могут размещать, следуя и другим геометрическим формам, что будет ясно из дальнейшего изложения. Эта форма может, например, повторять внутреннюю поверхность сферы, а точку визуализации могут располагать в центре этой сферы. Эта форма может задаваться и виртуализированной моделью некоторой области, например, комнаты. Если при этом разные входные видеосигналы поступают из частей названной комнаты, то кадры могут размещать на этих частях указанной виртуализированной комнаты, а оператор может, используя виртуальную камеру, перемещаться по виртуализированной комнате, с удобством задавая угол визуализации для каждой последовательности кадров, которые поступают из камер и которые ранее, в шаге конфигурирования, были размещены на этой трехмерной модели. Также представляется, что можно корректировать положение последовательности кадров, например, если на шаге конфигурирования они не были размещены должным образом или если, например, одна из камер, передающих входной видеосигнал, немного сдвинулась, например, в результате толчка. Также предполагается возможность добавления в ходе визуализации новых точек визуализации и соответствующих им визуализирующих окон, например, с целью использования дополнительных виртуальных камер.

Также предполагается, что способ может использоваться для функций наблюдения на крупных объектах (например, на футбольном стадионе или в аэропорте), где необходимо размещать передаваемые различными камерами из разных частей объекта входные видеосигналы (которые могут иметь разные разрешения и могут перекрываться), при этом кадры входных видеосигналов могут размещать на частях виртуализированного представления указанного объекта. Предполагается, что наиболее важные части таких объектов снимают камерами, обеспечивающими высокое разрешение входных видеосигналов, а оператор, чтобы, сформировать выходной сигнал, когда это необходимо, имеет возможность визуализации этих важных частей с использованием видеосигнала с высоким разрешением способом, раскрытым в настоящем изобретении.

Естественно, также предполагается возможность сохранения указанных разных входных видеосигналов и их размещения в трехмерном виртуальном пространстве, чтобы позднее эти входные видеосигналы и их размещение в трехмерном пространстве можно было воспроизвести, например, для визуализации трехмерного пространства с другой точки визуализации или с другой степенью детализации.

Для визуализации трехмерного виртуального пространства в этом трехмерном виртуальном пространстве задают точку визуализации (Х₀, Y₀, Z₀) и визуализирующее окно 3, также называемое областью просмотра, которые определяют конус 4 визуализации в трехмерном виртуальном пространстве, называемый телесным углом, как показано на фиг. 2. Таким образом из проекций кадров последовательностей входных кадров, проецируемых в указанное визуализирующее окно 3 в один и тот же момент времени, формируют выходные кадры, рационально кодируя их. Если количество кадров в секунду во входных сигналах, проецируемых в визуализирующее окно 3, отличается от количества кадров в секунду в выходном сигнале, то при превышении количеством кадров в секунду во входном сигнале количества кадров в секунду в выходном сигнале некоторые входные кадры необходимо пропускать, а если количество кадров в секунду во входном сигнале ниже количества кадров в секунду в выходном сигнале, то некоторые входные кадры необходимо удерживать дольше, чем на один момент времени, что выполняют известным способом.

Преимущество данного способа состоит в возможности при формировании выходного видеосигнала декодировать только входные сигналы, содержащие кадры, проекции которых S₁'[n], S₂'[n] видны в окне проекции. Кроме того, при наличии комбинаций входных кадров, проекции которых по меньшей мере частично перекрываются в визуализирующем окне 3, способ дает возможность не обрабатывать (не декодировать с целью перекодирования входного сигнала) входные сигналы всех перекрывающихся кадров.

При наличии комбинаций входных кадров, как, например, в визуализирующем окне 3, показанном на фиг. 3, сначала вычисляют соответствующую пороговую плотность пикселов d(S_o[n]) для пикселов в визуализирующем окне 3, исходя из выходного разрешения R_o и соответствующих пространственных размеров визуализирующего окна 3. Этой пороговой плотностью пикселов на фиг. 3, 4а и 4b является отношение количества пикселов, получающегося при данном выходном разрешении, к площади визуализирующего окна 3, т.е., частное от деления общего количества пикселов, соответствующего выходному разрешению, на площадь, которую занимает визуализирующее окно 3 в указанном трехмерном виртуальном пространстве. Указанным образом получают пороговую плотность d(S_o[n]) пикселов, следовательно, если может быть получена только плотность пикселов, превышающая плотность пикселов у проекций, пикселы необходимо интерполировать, что снижает качество выходного сигнала. Поэтому очень важно, чтобы плотность пикселов проецируемого кадра S₁'[n], S₂'[n], который используется всегда, была такой, чтобы можно было получить требуемое выходное разрешение. Естественно, в других вариантах осуществления этот проецируемый кадр, который используется всегда, могут комбинировать с остальными кадрами в зоне перекрывания, например, S₁'[n], S₂'[n], с целью реализации постепенного перехода между кадрами разных разрешений в области, которая перекрывается в визуализирующем окне 3 или на краях указанной области перекрытия, чтобы пользователь не мог видеть резких переходов. Хотя при этом качеством выходного кадра в указанной области придется частично пожертвовать, но все же предполагается, что пользователи лучше воспринимают снижение качества для реализации постепенного перехода, чем скачок качества, который может быть резким.

Для области визуализирующего окна 3, в которой присутствуют комбинации входных кадров, не всегда рационально брать кадр с более высоким разрешением, поскольку это, хотя и гарантирует, что качество кадров входного сигнала всегда наилучшее из того, что можно получить, влечет за собой затраты на обработку, которые в случае наличия другого входного сигнала, плотность пикселов в проецируемом кадре которого является более подходящей, могут быть излишними.

Поэтому для формирования перекрывающейся части выходного кадра вначале необходимо определить комбинации входных кадров, проекции которых по меньшей мере частично перекрываются в визуализирующем окне 3, как показано на фиг. 3 для каждой комбинации кадров, и выбрать из каждой комбинации кадров кадр, у которого при проекции на визуализирующее окно 3 плотность пикселов d(S_i1'[n]), d(S₂'[n]), выраженная в пикселах на квадрат единицы длины трехмерного виртуального пространства 1, во всей перекрывающейся части больше или равна пороговой плотности пикселов d(S_o'[n]), или, в отсутствие такого кадра, выбрать кадр, который при проекции на визуализирующее окно 3 имеет более высокую плотность пикселов.

Для перекрывающегося кадра, показанного на фиг. 3, на фиг. 4а и 4b представлено сравнение пороговой плотности пикселов d(S_o'[n]) с плотностями пикселов в проекциях каждого из кадров d(S_i1'[n]), d(S₂'[n]), заданных таким образом, что для каждого визуализирующего окна 3 плотность пикселов, создаваемая проекцией кадра первого сигнала d(S_i1'[n]), меньше пороговой плотности пикселов d(S_o'[n]), как можно видеть на фиг. 4а, а плотность пикселов, создаваемая проекцией кадра второго сигнала d(S_i2'[n]), больше пороговой плотности пикселов d(S_o'[n]), как можно видеть на фиг. 4b.

Соответственно, для формирования части S_i2''[n] выходного кадра S₀[n], в которой проекции частично перекрываются, более рациональным будет использование проекции кадра второго входного сигнала S_i2'[n], поскольку среди всех имеющихся сигналов только у этого второго проецируемого сигнала плотность пикселов превышает пороговое значение; в то же время для остальной части визуализирующего окна 3, где имеется только информация первого входного сигнала S₁, пикселы соответствующего кадра последовательности выходных кадров следует формировать из первого входного сигнала S_i1, S_i1''[n], как показано на фиг. 5.

Фиг. 6 представляет другое изображение того же трехмерного виртуального пространства, в котором из проекции в визуализирующее окно 3, показанной на фиг. 7, следует, что ни для каких входных сигналов плотность пикселов, сравниваемая на фиг. 8а и 8b, не является большей или равной пороговой плотности пикселов d(S_o'[n]), поскольку, как показано на фиг. 8а, плотность пикселов, создаваемая проекцией кадра первого сигнала d(S_i1'[n]), ниже пороговой плотности пикселов d(S_o'[n]) и, как показано на фиг. 8b, плотность пикселов, создаваемая проекцией кадра второго сигнала d(S_i2'[n]), также ниже пороговой плотности пикселов d(S_o'[n]).

В этом случае, для комбинации кадров, из комбинации кадров выбирают кадр, проецируемый с более высокой плотностью пикселов, в данном случае кадр второго входного сигнала S_i2''.

Плотность пикселов каждого кадра, проецируемого на визуализирующее окно 3, могут вычислять как по индивидуальным пикселам, так и по проекции группы 4 пикселов кадра. Естественно, при вычислении плотности пикселов по индивидуальным пикселам вычислительные затраты выше, однако значение, при котором должен использоваться кадр с большей или меньшей плотностью пикселов, определяется точнее. Наблюдалось, что при использовании групп 5 пикселов в форме треугольных элементов достигается хорошая оценка плотности пикселов, например, как показано в виртуальном пространстве на фиг. 10 кадрами третьего и четвертого входного сигнала S_i3, S_i4, содержимое которых, проецируемое в визуализирующее окно 3, показано на фиг. 11. Естественно, для данного трехмерного виртуального пространства 1 необходимо принимать во внимание перспективное искажение проекции группы 5' пикселов. В примере, показанном на фиг. 10, можно видеть, что выходное разрешение R_o, показанное в визуализирующем окне 3 на фиг. 11, низкое, в результате чего пороговая плотность пикселов тоже является низкой, более низкой, чем соответствующая плотность у проекций S_i3'[n] и S_i4'[n], поэтому при последовательном анализе кадров, начиная со входного кадра с меньшим разрешением и заканчивая входным кадром с бóльшим разрешением, установлено, что кадр комбинации кадров S_i3, S_i4, кадр S_i3, при проекции на визуализирующее окно 3 имеет по всей перекрывающейся части плотность пикселов d(S_i3'[n]), бóльшую или равную пороговой плотности пикселов d(S_o[n]). Если плотность пикселов d(S_i4'[n]) другого кадра тоже является более высокой, то берут только тот кадр, который при проекции на визуализирующее окно имеет плотность пикселов, более близкую к пороговой плотности пикселов, т.е., S_i3'[n].

Таким образом, пикселы кадра выходного сигнала S_o[n] формируют только из проекции кадров S_i3'[n], перекодированных к выходному разрешению R_o, S_i3''[n], как показано на фиг. 12.

Преимуществом способа настоящего изобретения является возможность его использования для комбинирования сформированных одной или разными видеокамерами входных видеосигналов с по меньшей мере частично совпадающим содержимым (например, частью одной сцены) и разными разрешениями, которые объединяют, формируя составное видео, что также называют сшивкой видео в трехмерном виртуальном пространстве. Видеосигналы также могут отображать одинаковое содержимое при разных разрешениях и на шаге конфигурирования их могут располагать в трехмерном виртуальном пространстве с перекрытием.

Также следует учесть, что по меньшей мере один из указанных видеосигналов может быть приспособлен для формирования кадров, содержимое которых представляет собой синтезированное изображение, т.е., сформированное компьютером из векторов, данных или из трехмерной модели таким образом, что плотность пикселов в этом изображении практически бесконечна.

Изобретение относится к обработке видео и формированию выходного видеосигнала из множества входных видеосигналов. Техническим результатом является формирование видеосигналов из множества входных видеосигналов в реальном времени и возможность использования входных сигналов с высоким разрешением без сопутствующего накопления задержек или без использования значительной вычислительной мощности. Предложен способ формирования выходного видеосигнала (S_o) из множества входных видеосигналов (S_i1,…S_im), содержащих соответствующие последовательности входных кадров (S_i1[n]…S_im[n]) с количеством пикселов для каждого входного кадра, связанным со входным разрешением (R_i1…R_im), содержащий задание в 3D виртуальном пространстве пространственной поверхности, связанной с каждым пикселом; задание в 3D виртуальном пространстве точки визуализации (X₀, Y₀, Z₀) и визуализирующего окна; вычисление соответствующей пороговой плотности пикселов для пикселов в визуализирующем окне; определение комбинаций входных кадров, проекции которых частично перекрываются в визуализирующем окне; и выбор из каждой комбинации кадров такого кадра, который при проекции на визуализирующее окно имеет плотность пикселов во всей перекрывающейся части, большую или равную пороговой плотности пикселов, или, в отсутствие такого кадра, выбор кадра, который при проекции на визуализирующее окно имеет наиболее высокую плотность пикселов, с целью формирования перекрывающейся части выходного кадра. 3 н. и 14 з.п. ф-лы, 12 ил.

1. Способ формирования выходного видеосигнала (S_o), содержащего последовательность выходных кадров (S_o[n]) с заранее установленным для каждого выходного кадра количеством пикселов, связанным с выходным разрешением (R_o), из множества входных видеосигналов (S_i1, S_i2, S_i3 … S_im), содержащих соответствующие последовательности входных кадров (S_i1[n], S_i2[n], S_i3[n] … S_im[n]) с количеством пикселов для каждого входного кадра, связанным со входным разрешением (R_i1, R_i2, R_i3 … R_im), содержащий:

задание в трехмерном виртуальном пространстве (1) пространственной поверхности, образуемой множеством точек с трехмерными координатами (X, Y, Z), связанной с каждым пикселом (р) каждого кадра каждой последовательности входных кадров;

задание в трехмерном виртуальном пространстве точки (X₀, Y₀, Z₀) визуализации и визуализирующего окна (3), определяющих в указанном трехмерном виртуальном пространстве конус (4) визуализации, формирующий выходные кадры из проекций кадров последовательностей входных кадров, проецируемых в указанное визуализирующее окно;

вычисление соответствующей пороговой плотности пикселов для пикселов в указанном визуализирующем окне, исходя из выходного разрешения (R_o) и соответствующих пространственных размеров указанного визуализирующего окна;

определение комбинаций входных кадров, проекции которых по меньшей мере частично перекрываются в визуализирующем окне, и для каждой комбинации кадров;

выбор кадра в каждой комбинации кадров, который при проекции на визуализирующее окно имеет плотность пикселов во всей перекрывающейся части, большую или равную пороговой плотности пикселов, или, в отсутствие такого кадра, выбор кадра, который при проекции на визуализирующее окно имеет плотность пикселов, наиболее близкую к пороговой плотности пикселов, с целью формирования перекрывающейся части выходного кадра.

2. Способ по предыдущему пункту, характеризующийся тем, что шаг задания пространственной поверхности в трехмерном виртуальном пространстве выполняют в ходе предшествующего шага конфигурирования.

3. Способ по любому из предыдущих пунктов, характеризующийся тем, что шаг задания в трехмерном виртуальном пространстве точки (X₀, Y₀, Z₀) визуализации и визуализирующего окна также выполняют в ходе предшествующего шага конфигурирования.

4. Способ по любому из предыдущих пунктов, характеризующийся тем, что указанная пространственная поверхность является трехмерной.

5. Способ по предыдущему пункту, характеризующийся тем, что если в какой-либо комбинации кадров имеется множество кадров, которые при проекции на визуализирующее окно имеют плотность пикселов во всей перекрывающейся части, большую или равную пороговой плотности пикселов, то из этой комбинации кадров выбирают кадры, которые при проекции на визуализирующее окно имеют плотность пикселов, наиболее близкую к пороговой плотности пикселов.

6. Способ по любому из предыдущих пунктов, характеризующийся тем, что для формирования перекрывающейся части выходного кадра смешивают кадр, выбранный из каждой комбинации кадров, и по меньшей мере еще один кадр из той же комбинации кадров.

7. Способ по любому из пп. 1-5, характеризующийся тем, что для формирования перекрывающейся части выходного кадра используют только кадр, выбранный из каждой комбинации кадров.

8. Способ по любому из предыдущих пунктов, характеризующийся тем, что плотность пикселов каждого кадра, проецируемого на визуализирующее окно, вычисляют по проекции групп пикселов данного кадра.

9. Способ по любому из предыдущих пунктов, характеризующийся тем, что шаг выбора кадра из каждой комбинации кадров выполняют, последовательно анализируя кадры, начиная со входного кадра с меньшим разрешением и заканчивая входным кадром с большим разрешением.

10. Способ по любому из предыдущих пунктов, характеризующийся тем, что пространственные поверхности, связанные с каждым пикселом каждого кадра каждой последовательности входных кадров в трехмерном виртуальном пространстве (1), образуют поверхность, эквивалентную внутренней поверхности сферы.

11. Способ по любому из предыдущих пунктов, характеризующийся тем, что по меньшей мере один из входных видеосигналов представляет собой видеосигнал, сформированный видеокамерой.

12. Способ по любому из предыдущих пунктов, характеризующийся тем, что по меньшей мере два из входных видеосигналов пригодны для формирования последовательностей кадров с по меньшей мере частично совпадающим содержимым при разных разрешениях.

13. Способ по предыдущему пункту, характеризующийся тем, что по меньшей мере два из входных видеосигналов пригодны для формирования последовательностей кадров с одинаковым содержимым при разных разрешениях.

14. Способ по любому из предыдущих пунктов, характеризующийся тем, что по меньшей мере два входных видеосигнала поступают из одной и той же видеокамеры.

15. Способ по любому из предыдущих пунктов, характеризующийся тем, что по меньшей мере один из входных видеосигналов пригоден для формирования кадров, содержимое которых представляет собой синтезированное изображение по меньшей мере части содержимого кадра другого из входных видеосигналов.

16. Устройство для обработки данных, содержащее средства для выполнения способа по любому из пп. 1-15.

17. Система, содержащая устройство по предыдущему пункту и по меньшей мере одну видеокамеру, соединенную с указанным устройством с целью обеспечения входного видеосигнала.