СПОСОБ ПОИСКА ОБЪЕКТОВ В ПОСЛЕДОВАТЕЛЬНОСТИ ИЗОБРАЖЕНИЙ, ПОЛУЧЕННЫХ ОТ СТАЦИОНАРНОЙ ВИДЕОКАМЕРЫ Российский патент 2012 года по МПК G06K9/00 G06F17/30 

Область техники, к которой относится изобретение

Изобретение относится к области видеонаблюдения, более точно к способам поиска объектов в последовательности изображений, полученных от стационарной видеокамеры.

В цифровых системах видеонаблюдения накапливают архив видеоданных, хранящий последовательность изображений, представленных видеокадрами, или, проще говоря, - кадрами. Каждый кадр содержит одно изображение и указание времени его регистрации. Этот архив используют для анализа событий, происшедших в поле зрения стационарной видеокамеры. Для этого анализа требуется поиск интересующих оператора событий, отображенных в последовательности изображений, хранящейся в этом архиве. Под событием понимается наличие тех или иных объектов, неподвижных или движущихся, их расположение, траектория их движения и другие признаки, интересующие оператора. Объектом может быть человек, животное, транспортное средство, например машина, и любые предметы.

Поиск интересующих оператора событий осложняется тем, что длительность просмотра накопленного архива может достигать нескольких тысяч часов для одной видеокамеры. Поэтому одна из важнейших задач построения систем видеонаблюдения состоит в сокращении времени этого поиска.

Изобретение может найти применение в различных системах видеонаблюдения, например в охранных системах, в аналитических системах для маркетинговых исследований и т.п.

Уровень техники

Очевидный способ поиска основан на последовательном просмотре с постоянной скоростью всего накопленного архива видеоданных, то есть просмотра всей последовательности изображений, полученных от стационарной видеокамеры. Недостаток этого способа заключается в максимально высоких затратах времени, необходимого для поиска. В среднем, для поиска нужного события потребуется время, равное половине времени просмотра накопленного архива.

Известен способ поиска, при котором просматривают всю полученную от стационарной видеокамеры последовательность изображений и при этом разные фрагменты этой последовательности, содержащие некоторое количество кадров, просматривают с разной скоростью (см. патент США №7362949 от 2001 г, класс США 386/68, «Intelligent video system»). В этом способе для каждого фрагмента последовательности изображений вычисляют показатель его интересности для оператора, по этому показателю вычисляют скорость показа этого фрагмента оператору, последовательно показывают каждый фрагмент с вычисленной для него скоростью. Показателями интересности по выбору оператора могут быть, например, следующие признаки:

- наличие любого движения или изменения в кадре,

- наличие объектов в кадре, интересующих оператора,

- наличие текстов (в частности, новостные сообщения) в кадре.

Хотя по сравнению с очевидным способом просмотра всего накопленного архива с постоянной скоростью этот способ позволяет ускорить поиск, но все равно требует больших затрат времени. Недостаток этого способа заключается также в неудобстве визуального восприятия при изменяющейся скорости показа фрагментов видеоданных. Заметим, что в этом способе не используется совмещение в одном кадре объектов, изображения которых получены в разные моменты времени.

Рассмотренный способ (патент США №7362949) используют для поиска в архиве, в который записана вся последовательность изображений, полученная от стационарной видеокамеры во все моменты времени в процессе наблюдения. Однако известны способы записи видеоданных, поступающих от видеокамеры, при которых в архив записывают только фрагменты видеоданных, считающиеся необходимыми (см. патенты США №5455561 от 1994 г., класс США 340/541, «Automatic security monitor reporter»; №5825413 от 1995, класс США 348/155, «Infrared surveillance system with controlled video recording)); №7864980 от 2003 г., класс США 382/103, «Video motion anomaly detector»). При использовании этих способов записи сокращается объем архива видеоданных, что позволяет снизить затраты времени на поиск событий, интересующих оператора. В способе по патенту США №5455561 от 1994 г. в архив записывают видеоданные только в «тревожные» моменты времени, например, при обнаружении вторжения на территорию или возгорания. В способе по патенту США №5825413 в архив записывают видеоданные, только когда инфракрасный датчик регистрирует наличие движения и сообщает о нем. В способе по патенту №7864980 в архив записывают видеоданные в случае несоответствия траектории движения (трека) характерных точек (point features) шаблону нормального поведения, который формируется автоматически на основе треков, которые наблюдались ранее.

Недостаток поиска при использовании этих способов записи состоит в недостаточном сокращении времени просмотра накопленного архива видеоданных, а также в потере информации, которую можно было получить от видеокамеры, но которая не может быть использована, так как не все фрагменты информации записывают в архив видеоданных.

Для сокращения времени просмотра видеоархива используют синтетические кадры видеоданных, в каждом из которых могут быть совмещены объекты, изображения которых получены в разных исходных кадрах в разные моменты времени. Известны способы формирования последовательности синтетических кадров изображений из последовательности исходных изображений, полученных от видеокамеры (см. заявку на патент США с номером публ. US 2009/0219300 А1 от 2006, класс США 345/630, «Method and system for producing a video synopsis» и заявку на патент США с номером публ. US 2010/0125581 А1 от 2009, класс США 707/737, «Method and systems for producing a video synopsis using clustering))).

В способах по этим заявкам выполняют следующие действия:

- вычисляют статический фон;

- обнаруживают движущиеся объекты;

- составляют расписание начала показа каждого из обнаруженных движущихся объектов;

- показывают оператору на вычисленном статическом фоне одновременно несколько объектов, изображения которых были получены в разные моменты времени и которые показывались бы в разные моменты времени, если бы просматривалась исходная последовательность изображений.

В заявке США US 2009/0219300 А1 предусмотрены два случая реализации способа. В первом из них все вычисления производят на этапе построения синтетического изображения, то есть в режиме off-line. Во втором случае сначала в режиме on-line производят обнаружение движущихся объектов и траекторий их движения, а затем в режиме off-line вычисляют статический фон и производят остальные действия.

В способе по заявке США US 2010/0125581 А1 при составлении расписания объединяют объекты по «похожести» внешнего вида, по похожести траекторий их движения (по геометрической близости и скоростям перемещения).

Недостаток способа по заявке США US 2009/0219300 А1 заключается в большом объеме вычислений при построении фона, требующем значительных затрат времени, либо в большом требуемом объеме памяти при использовании метода «бегущей медианы» для построения статического фона. Другой недостаток этого способа состоит в некорректности вычисления фона в тех случаях, когда некоторые точки фона заслонены объектами более чем в 50% кадров. Еще один недостаток этого способа заключается в большом требуемом объеме вычислений при составлении полного расписания начала показа объектов (в то время как для решения задачи предлагаемым способом составления полного расписания не требуется).

Недостаток способа по заявке США US 2010/0125581 А1 состоит в ненужных затратах времени на объединение объектов по их похожести и похожести их траекторий (в то время как для решения задачи предлагаемым способом это объединение не требуется).

Прототипом предлагаемого способа является способ поиска объектов в последовательности изображений, полученных от стационарной видеокамеры, описанный в заявке на патент США с номером публ. US 2010/0092037 А1 от 2007, по классу США 382/103, МПК⁸ G06K 9/00, «Method and System for Video Indexing and Video Synopsis», авторы S.Peleg и др.).

Прежде чем излагать здесь сущность способа-прототипа, рассмотрим понятие, использованное в указанной заявке, но неудачно в ней названное, что затрудняет сопоставление способа-прототипа с предлагаемым способом. В этой заявке для каждого объекта строят последовательности его изображений, полученных в разные моменты времени, и каждую такую последовательность называют «трубой» (tube, р.4, [0091]) или «активностью» (activity, р.4, [0091]), что представляется неудачным. В заявке США US 2009/0219300 А1 (с участием того же автора - S.Peleg) эту последовательность называют «характеристической функцией» (characteristic function, р.4, [0080]), что также неудачно, поскольку это широкое понятие. В заявке США US 2010/0125581 А1 (также с участием S.Peleg) эту последовательность также называют «активностью» (activity, р.2, [0037]), что, как указывалось выше, неудачно.

В этой последовательности каждому моменту времени регистрации кадра соответствует подмножество пикселей этого кадра, которое представляет изображение объекта в кадре и характеризует его положение в наблюдаемой сцене. С математической точки зрения эта последовательность является графиком отображения множества моментов времени регистрации кадров в множество всех возможных подмножеств пикселей в кадре. Поэтому правильнее было бы назвать эту последовательность не «трубой», «активностью» или «характеристической функцией», а графиком движения объекта. Однако в этом графике для удобства необходимо упорядочить элементы множества моментов времени регистрации кадров в порядке возрастания их значений. Эту последовательность можно было бы назвать также пространственно-временной картой движения объекта.

Но более подходящим и удобным названием для этой последовательности представляется траектория движения объекта, каждой точке которой соответствует пара, состоящая из момента времени регистрации кадра и соответствующего ему подмножества пикселей в кадре. В этом понятии траектории моменты времени регистрации кадров подразумеваются упорядоченными по возрастанию.

Это понятие траектории аналогично понятию пространственно-временной траектории, в котором местоположение объекта определено как множество точек, составляющих вектор (см. статью Y. Cai, R. Ng. «Indexing spatio-temporal trajectories with Chebyshev polynomials» - Proceedings of the 2004 ACM SIGMOD international conference on Management of data SIGMOD 04, pp.599-610,

http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.186.5274; определение понятия «траектория» дано в печатной публикации этой статьи на р. 604, а в интернет-издании этой статьи - на р.6).

Это же понятие траектории соответствует понятию пространственно-временной траектории, согласно которому траектория движения объекта определена как последовательность пар < положение объекта, момент времени >, причем положение объекта определено как множество точек, составляющих вектор (см. статью P.Bakalov, М.Hadjieleftheriou, V.J.Tsotras. «Time Relaxed Spatiotemporal Trajectory Joins» - Proceedings of the 13th annual ACM international workshop on Geographic information systems, 2005, pp.182-191, http://www2.research.att.com/~marioh/papers/acmgis05.pdf; определение понятия «траектория» дано в печатной публикации этой статьи на р.184, а в интернет-издании этой статьи - на р.2). Как указано на р.182 этой статьи, такое определение понятия траектории используется в различных областях, в том числе в системах видеонаблюдения (surveillance systems).

Рассмотрим способ-прототип, а в дальнейшем и предлагаемый способ, пользуясь названием «траектория движения объекта» для обозначения последовательности положений объекта.

Способ-прототип состоит в том, что

- в исходной последовательности кадров, полученных от стационарной видеокамеры и представляющих собой изображения и указания на моменты времени их формирования, обнаруживают объекты, интересующие оператора;

- для каждого из обнаруженных объектов строят траекторию его движения, каждой точке которой соответствуют положение объекта в кадре и момент времени регистрации этого кадра, причем положение объекта в кадре представлено множеством пикселей кадра, представляющих изображение этого объекта;

- формируют очередь траекторий движения обнаруженных объектов;

- составляют расписание показа обнаруженных объектов, в котором для траектории каждого объекта указывают момент времени, начиная с которого будут его показывать на экране;

- по указанному расписанию строят план формирования синтетических кадров, в которых могут быть одновременно показаны несколько объектов в положениях, которые, в общем случае, зарегистрированы в разные моменты времени;

- формируют очередной синтетический кадр, в соответствии с указанным планом;

- при формировании синтетического кадра строят его фон и накладывают на него изображения объектов, которые в соответствии с указанным планом должны быть показаны в этом синтетическом кадре одновременно;

- показывают оператору на экране сформированные синтетические кадры.

В способе-прототипе составляют сразу расписание показа всех объектов, изображения которых имеются в видеоархиве, что необходимо для оптимального решения задачи составления этого расписания. Однако на составление такого оптимального расписания тратится много времени.

Кроме того, в способе-прототипе не гарантируется сохранение временного порядка расположения объектов в последовательности синтетических кадров, то есть в этой последовательности сначала может располагаться объект, изображение которого было получено позже изображения следующего за ним объекта.

В способе-прототипе для вычисления изображения фона наблюдаемой сцены используют все кадры исходной последовательности изображений, либо кадры в окрестностях одного текущего кадра, для которого вычисляют фон. Это требует большого объема памяти и большого объема вычислений.

Таким образом недостатком способа-прототипа являются значительные затраты времени, требуемые для выполнения большого объема вычислений, и большой объем памяти, что существенно увеличивает промежуток времени от момента появления запроса оператора на поиск объектов до момента показа ему первого синтетического кадра.

Существенный недостаток способа-прототипа заключается в том, что в этом способе не гарантируется, что будут показаны все обнаруженные объекты, т.е. некоторые из обнаруженных объектов могут быть не показаны из-за особенностей используемой оптимизационной процедуры, описанной в заявке US 2010/0092037 A1 (р.6, [0111]).

Другой недостаток способа-прототипа состоит в том, что временной порядок показа объектов может не сохраняться, то есть сначала может быть показан объект, появившийся в поле зрения системы видеонаблюдения позже объекта, появившегося в этом поле зрения раньше. Это создает неудобства для оператора при анализе им ситуации в наблюдаемой сцене. Недостаток этого способа состоит также в некорректности вычисления фона в тех случаях, когда некоторые точки фона заслонены объектами более чем в 50% кадров.

Раскрытие (сущность) изобретения

Задачей предлагаемого изобретения является разработка способа поиска объектов в последовательности изображений, полученных от стационарной видеокамеры, который по сравнению с аналогами и прототипом обеспечил бы технический результат в виде одновременного достижения следующих целей:

- ускорение поиска объектов;

- сокращение требуемых затрат памяти;

- снижение требований к производительности вычислительных средств;

- обеспечение полноты информации и удобства восприятия при показе объектов. Это обеспечение полноты информации и удобства восприятия при показе объектов представлено следующими целями:

- обеспечение показа всех обнаруженных объектов;

- обеспечение порядка показа объектов, совпадающего с порядком их появления в поле зрения видеокамеры;

- исключение потери информации об объектах при их показе;

- обеспечение показа каждого объекта без заслонения его другими объектами, по крайней мере, в течение времени, которое может регулироваться оператором;

- обеспечение скорости движения объектов на экране при показе их в последовательности синтетических кадров, близкой к скорости их движения на экране в исходной последовательности кадров;

- показ каждого объекта в минимальном количестве синтетических кадров, достаточном для обеспечения необходимой скорости движения объектов на экране в последовательности этих кадров.

Этот технический результат достигается благодаря тому, что в способе поиска объектов в последовательности изображений, полученных от стационарной видеокамеры, в котором в исходной последовательности кадров, полученных от стационарной видеокамеры и представляющих собой изображения и указания на моменты времени их регистрации, обнаруживают объекты, интересующие оператора; для каждого из обнаруженных объектов строят траекторию его движения, каждой точке которой соответствуют положение объекта в кадре и момент времени регистрации этого кадра, причем положение объекта в кадре представлено множеством пикселей кадра, представляющих изображение этого объекта; формируют очередь траекторий движения обнаруженных объектов; составляют расписание показа обнаруженных объектов, в котором для траектории каждого объекта указывают момент времени, начиная с которого будут его показывать на экране; по указанному расписанию строят план формирования синтетических кадров, в которых могут быть одновременно показаны несколько объектов в положениях, которые, в общем случае, зарегистрированы в разные моменты времени; формируют очередной синтетический кадр, в соответствии с указанным планом; при формировании синтетического кадра включают в него изображения объектов, которые в соответствии с указанным планом должны быть показаны в этом синтетическом кадре одновременно, и фон, на котором они должны быть показаны; показывают оператору на экране сформированные синтетические кадры, выполняют следующие действия:

- в очереди траекторий движения объектов все траектории упорядочивают по возрастанию моментов времени появления соответствующего объекта в поле зрения видеокамеры;

- порядковый номер траектории в упорядоченном наборе траекторий присваивают этой траектории и соответствующему ей объекту;

- первоначально в расписание показа упорядоченных объектов включают только первый объект, а затем обновляют это расписание, удаляя из него объекты, траектории которых показаны полностью, и добавляя в него новые, причем число объектов, находящихся в расписании, не превышает значения, заданного оператором;

- на основе указанного расписания при его создании и каждом его обновлении составляют указанный план формирования синтетических кадров, состоящий из элементов, в каждом из которых представлен набор точек траекторий разных объектов, которые будут показываться в одном синтетическом кадре.

Это позволяет ускорить поиск объектов в последовательности изображений за счет существенного сокращения промежутка времени от момента появления запроса оператора на поиск объектов до момента времени показа ему первого синтетического кадра, сократить требуемые затраты памяти и снизить требования к производительности вычислительных средств. Этот результат достигается благодаря использованию обновляемого текущего неполного расписания показа переменного набора ограниченного числа упорядоченных объектов и построения на его основе плана формирования синтетических кадров.

Этот технический результат достигается также благодаря тому, что при обновлении расписания показа объектов в него добавляют очередной, еще не показанный объект и выбирают подходящее время начала его показа, при котором выполняется условие допустимой взаимной заслоненности объектов во всех синтетических кадрах, формируемых на основе этого расписания, для чего последовательно по шагам проверяют выполнение этого условия для значений времени, просматриваемых по их возрастанию с заданной дискретностью в диапазоне от времени начала показа объекта с предыдущим порядковым номером до времени завершения показа всех объектов, находящихся в расписании, и на каждом шаге проверки очередного испытуемого значения времени строят пробное расписание показа объектов, в которое добавлен указанный очередной объект, и в качестве времени начала его показа указывают очередное испытуемое значение времени, затем по этому пробному расписанию строят план формирования синтетических кадров для всех объектов, находящихся в этом расписании, после чего проверяют условие допустимой взаимной заслоненности объектов на всех синтетических кадрах, и если это условие не выполняется, то переходят к шагу проверки следующего испытуемого значения времени, а если это условие выполняется, то принимают испытуемое значение в качестве времени начала показа добавленного объекта, а пробное расписание - в качестве обновленного расписания.

Это способствует ускорению поиска объектов, сокращению требуемых затрат памяти и снижению требований к производительности вычислительных средств благодаря предложенному построению текущего неполного обновляемого расписания показа объектов и позволяет достаточно быстро строить это расписание, гарантируя показ всех обнаруженных объектов и обеспечивая при этом порядок показа объектов, совпадающий с порядком их появления в поле зрения камеры.

Указанный технический результат достигается и благодаря тому, что для построения плана формирования синтетических кадров для всех объектов, указанных в расписании их показа, выполняют следующую последовательность действий:

- преобразуют исходную траекторию каждого объекта в траекторию, перенесенную по временной оси влево так, что перенесенная траектория начинается с указанного в этом расписании момента времени начала показа этого объекта, и запоминают величину переноса, равную разности между моментом времени, соответствующим первой точке исходной траектории этого объекта, и моментом времени начала показа этого объекта;

- в перенесенную траекторию каждого объекта добавляют фиктивную точку, соответствующую одинаковому для всех объектов фиктивному моменту времени, который меньше, чем время начала показа любого объекта в этом расписании;

- совокупность фиктивных точек каждой перенесенной траектории, соответствующих указанному фиктивному моменту, принимают в качестве начального фиктивного элемента строящегося названного плана;

- последовательно строят элементы этого плана, в каждом из которых представлен набор точек перенесенных траекторий разных объектов, которые будут показываться в одном синтетическом кадре, содержащий не более одной точки из каждой перенесенной траектории, и при этом для построения очередного элемента этого плана последовательно выполняют следующие действия:

- если необходимость добавления объекта в расписание показа объектов возникла до окончания составления плана формирования синтетических кадров, то в последний сформированный элемент плана вводят фиктивную точку перенесенной траектории добавляемого объекта;

- на каждой перенесенной траектории объекта выбирают точку, которая на временной оси находится справа через одну от той точки этой траектории, которая указана в предыдущем элементе плана;

- среди этих выбранных точек всех траекторий находят точку, имеющую минимальный момент времени;

- для каждой перенесенной траектории выбирают точку, по времени ближайшую слева от указанного минимального момента времени и совокупность этих точек принимают в качестве очередного элемента плана.

Это способствует ускорению поиска объектов, сокращению требуемых затрат памяти и снижению требований к производительности вычислительных средств благодаря предложенному построению плана формирования синтетических кадров, гарантирует показ всех обнаруженных объектов и позволяет показать в синтетических кадрах все положения каждого объекта, тем самым исключая потерю информации об объектах, и при этом обеспечивает показ каждого объекта в минимальном количестве синтетических кадров, достаточном для обеспечения необходимой скорости движения объектов на экране в последовательности этих кадров.

Получению технического результата способствует то, что для проверки условия допустимой взаимной заслоненности объектов выполняют следующую последовательность действий:

- в каждом элементе указанного плана, содержащем очередной объект, проверяют наличие пикселей, имеющих одинаковые координаты в кадре, в изображении этого объекта и изображениях других объектов, входящих в этот элемент плана, и если количество этих пикселей, общих для добавленного объекта и хотя бы одного из других объектов, превышает порог заданный оператором, то фиксируют факт недопустимого пересечения добавленного объекта с другими объектами в этом элементе плана;

- для каждого объекта, содержащегося в расписании, кроме добавленного, подсчитывают количество (А) элементов указанного плана, в которых этот объект недопустимо пересекается с добавленным;

- для каждого объекта подсчитывают количество (В) элементов указанного плана, в которых он встречается;

- проверяют условия:

,

,

где i - номер объекта, за исключением объекта, добавленного в текущее расписание;

с - номер объекта, добавленного в текущее расписание;

A_i - количество элементов плана, в которых i-й объект недопустимо пересекается с добавленным;

B_i - количество элементов плана, в которых встречается i-й объект;

B_c - количество элементов плана, в которых встречается добавленный объект;

α_i и α_c - константы, которые могут быть выбраны в зависимости от важности объекта для оператора; в частном случае α_i=α_c=const для всех i;

- если условия (11) и (12) выполняются одновременно, то подают сообщение о выполнении условия допустимой взаимной заслоненности объектов.

Это обеспечивает показ каждого объекта без заслонений его другими объектами по крайней мере в течение времени, которое может регулироваться оператором при помощи констант α_i и α_с.

Достижению технического результата способствует то, что при формировании очередного синтетического кадра, соответствующего любому элементу плана формирования синтетических кадров

- находят кадры исходной последовательности, соответствующие точкам перенесенных траекторий объектов, содержащимся в элементе указанного плана, соответствующем формируемому синтетическому кадру, по времени регистрации этих кадров, вычисляемому путем сложения запомненных величин переноса, соответствующих перенесенным траекториям этих объектов, с моментами времени, соответствующими указанным точкам этих траекторий;

- из этих кадров выбирают кадр, соответствующий объекту с наименьшим порядковым номером, в качестве опорного кадра, на основе которого будет строится синтетический кадр;

- на основе опорного кадра формируют промежуточный кадр, содержащий показываемые объекты опорного кадра и фон, на котором они должны быть показаны;

- формируют очередной синтетический кадр добавлением в сформированный промежуточный кадр изображений других объектов, точки траекторий которых указаны в элементе плана, соответствующем формируемому синтетическому кадру.

Это способствует ускорению поиска объектов, сокращению требуемых затрат памяти и снижению требований к производительности вычислительных средств благодаря предложенному формированию очередного синтетического кадра.

Получению технического результата способствует также то, что для формирования фона синтетического кадра фрагменты опорного кадра, занятые любыми объектами, кроме тех, которые должны быть показаны в формируемом синтетическом кадре, заменяют на незанятые объектами фрагменты из других кадров исходной последовательности, соответствующих точкам траекторий объектов, приведенным в элементе указанного плана, соответствующем формируемому синтетическому кадру.

Это также способствует ускорению поиска объектов, сокращению требуемых затрат памяти и снижению требований к производительности вычислительных средств благодаря предложенному формированию фона очередного синтетического кадра.

Технический результат достигается и за счет того, что каждый очередной сформированный синтетический кадр показывают оператору на экране через промежуток времени, длительность которого равна минимальной ненулевой разности между моментами времени регистрации любого объекта, представленного в предыдущем и очередном синтетических кадрах.

Это обеспечивает скорость движения объектов на экране при показе их в последовательности синтетических кадров, близкой к скорости их движения на экране в исходной последовательности кадров.

Краткое описание чертежей

На фиг.1 показан пример совмещения в одном синтетическом кадре четырех объектов, зарегистрированных в разные моменты времени в разных исходных кадрах.

На фиг.2 показана структурная схема основных этапов предлагаемого способа поиска объектов в последовательности изображений, полученных от стационарной видеокамеры.

На фиг.3 показан пример преобразования исходной траектории объекта в перенесенную траекторию этого объекта.

На фиг.4 показан пример введения фиктивных точек в перенесенные траектории объектов.

На фиг.5 показан пример выбора точек траектории для построения очередного элемента плана формирования синтетических кадров.

На фиг.6 показан пример формирования промежуточного кадра.

На фиг.7 показан пример формирования синтетического кадра.

На фиг.8 показан пример формирования фрагмента фона синтетического кадра.

Осуществление изобретения

Основные этапы предлагаемого способа

Предлагаемый способ оперирует с последовательностью изображений, полученных от стационарной видеокамеры и хранимых в памяти системы видеонаблюдения. Эту последовательность изображений будем называть исходной. Исходная последовательность изображений представлена в исходной последовательности кадров. Каждый кадр содержит одно изображение и указание момента времени его получения. Это изображение может содержать изображения одного или более объектов и всегда содержит фон, на котором находятся эти объекты. Для упрощения будем говорить, что изображение кадра содержит один или более объектов и фон, имея в виду, что под объектом здесь понимается его изображение.

Предлагаемый способ основан на формировании синтетических кадров из исходных кадров и показе их оператору. В одном синтетическом кадре совмещают изображения объектов, зарегистрированных в разные моменты времени, т.е. представленных в разных исходных кадрах. При помещении изображений этих объектов в один синтетический кадр должно быть обеспечено, чтобы они не заслоняли друг друга или заслоняли друг друга в допустимой степени. В примере на фиг.1 показано, как в синтетическом кадре совмещают изображения объектов (бегущий человек, два автомобиля, парашютист), взятых из разных исходных кадров.

Основные этапы предлагаемого способа представлены на фиг.2 блоками 1-9 действий. Предлагаемый способ поиска объектов в последовательности изображений, полученных от стационарной видеокамеры, заключается в следующем.

Просматривают исходную последовательность кадров и обнаруживают в ней объекты, интересующие оператора (блок 1).

Для каждого из обнаруженных объектов строят траекторию его движения (блок 2). Каждой точке этой траектории соответствует положение объекта в кадре и момент времени регистрации этого кадра. Положение объекта в кадре представлено множеством пикселей («точек») кадра, представляющих изображение этого объекта.

Траектория обнаруженного объекта описывается кортежом:

,

где T_j - траектория j-го обнаруженного объекта;

j - номер объекта, соответствующий порядку его обнаружения;

i - номер исходного кадра;

α и β - минимальный и максимальный номера исходных кадров, на которых представлен j-й объект; α≤i≤β;

M_ji - множество пикселей («точек») исходного кадра, представляющих изображение j-го объекта в этом кадре; M_ji может быть множеством точек геометрической фигуры, например прямоугольника, описывающего (или, иначе говоря, покрывающего) изображение j-го объекта в этом кадре;

t_i - момент времени получения i-го исходного кадра (здесь в i-м исходном кадре имеется изображение j-го объекта).

Таким образом, траектория обнаруженного объекта представляет собой последовательность его положений в кадрах. Каждому такому положению соответствует момент времени получения кадра.

Далее формируют очередь этих траекторий. В этой очереди все траектории движения объектов упорядочивают по возрастанию моментов времени появления объектов, соответствующих этим траекториям, в поле зрения видеокамеры (блок 3). Иными словами, например, располагают эти траектории в памяти, в порядке, при котором сначала помещают траектории одного или нескольких объектов, одновременно появившихся в поле зрения видеокамеры, раньше всех других объектов. Следующими за ними помещают траектории объектов, одновременно появившихся в поле зрения видеокамеры позже указанных первых объектов, но раньше всех других объектов, и так далее.

Порядковый номер у траектории в их упорядоченном наборе присваивают этой траектории и соответствующему ей объекту (блок 3). Этот номер γ может не совпадать с номером j обнаруженного объекта.

После этого составляют расписание показа обнаруженных объектов для количества объектов, заданных оператором (блок 4). В этом расписании для траектории каждого объекта, входящего в него, указывают момент времени, начиная с которого будут показывать этот объект на экране. Это расписание показа обнаруженных объектов описывается кортежом:

где S - расписание показа обнаруженных объектов;

γ - номер траектории в упорядоченном наборе траекторий объектов;

λ - номер траектории в текущем расписании, 1≤λ≤h;

h - количество объектов в расписании показа, заданное оператором;

t_{нач,γ(λ)} - момент времени начала показа γ-й траектории, которая имеет номер λ в текущем расписании.

Первоначально в расписание показа упорядоченных объектов включают только первый объект из их упорядоченного набора, то есть объект, с минимальным порядковым номером. Затем обновляют это расписание, удаляя из него объекты, траектории которых показаны полностью, и добавляя в него новые. При этом число объектов, одновременно находящихся в расписании, не превышает значения h, заданного оператором.

По каждому текущему расписанию (2) строят план формирования синтетических кадров (блок 5). В каждом синтетическом кадре могут быть одновременно показаны несколько объектов в положениях, которые, в общем случае, зарегистрированы в разные моменты времени. При этом на основе указанного расписания (2) при его создании и каждом его обновлении составляют указанный план формирования синтетических кадров. Этот план состоит из элементов, в каждом из которых представлен набор точек траекторий разных объектов, которые будут показываться в одном синтетическом кадре. Точки в этом наборе могут быть представлены различным образом в зависимости от принятой реализации предлагаемого способа. Например, точка в этом наборе может быть представлена парой, состоящей из номера γ траектории γ-го объекта в упорядоченном наборе траекторий объектов и момента времени, соответствующего этой точке. Эта пара является кодом этой точки.

Текущий план формирования синтетических кадров описывается кортежом:

где P - план формирования синтетических кадров;

E_q - элемент плана, соответствующий q-му синтетическому кадру, формируемому по текущему расписанию показа объектов;

q - номер элемента плана, совпадающий с номером синтетического кадра, формируемого по текущему расписанию показа объектов, 1≤q≤d.

В соответствии с планом (3) формируют очередной синтетический кадр (блок 6).

В блоке 6 при формировании очередного синтетического кадра строят его фон и накладывают на него изображения объектов, которые в соответствии с указанным планом (3) должны быть показаны в этом синтетическом кадре одновременно.

В соответствии с этим планом формирования синтетических кадров показывают оператору на экране очередной сформированный синтетический кадр (блок 7).

После этого проверяют, не закончен ли показ объектов, точки траекторий которых имелись в показанном синтетическом кадре (блок 8). Если не закончен показ ни одного из этих объектов, то передают управление блоку 6, в котором формируют новый (очередной) синтетический кадр в соответствии с планом (3) и затем в блоке 7 показывают его. Если закончен показ хотя бы одного из этих объектов, то в блоке 9 проверяют, все ли обнаруженные объекты показаны оператору. Если показаны не все обнаруженные объекты, то в блоке 4 удаляют показанный объект из текущего расписания показа и добавляют в него еще не показывавшийся объект, очередной по его номеру γ. Если оператору показаны на экране все обнаруженные объекты, то процесс формирования и показа синтетических кадров оператору заканчивается.

Выбор моментов времени начала показа объектов при составлении расписания

Выбор моментов времени начала показа объектов производят при обновлении расписания показа объектов. Обновление расписания объектов заключается в изменении набора объектов, находящихся в этом расписании. Это изменение может происходить путем добавления очередного еще не показанного объекта и путем удаления уже показанного объекта. При добавлении очередного, еще не показанного объекта (блок 4) выбирают для него подходящее время начала его показа, при котором выполняется условие допустимой взаимной заслоненности объектов во всех синтетических кадрах, формируемых на основе этого обновленного расписания.

Этот выбор осуществляют из значений времени в диапазоне от времени начала показа объекта с предыдущим порядковым номером до времени завершения показа всех объектов, находящихся в обновленном расписании. Для этого последовательно по шагам проверяют выполнение этого условия заслоненности для значений времени из указанного диапазона следующим образом.

Просматривают эти значения времени по их возрастанию с заданной дискретностью и на каждом шаге проверки испытывают очередное из них в качестве времени показа добавленного объекта. Для этого на каждом шаге проверки очередного испытуемого значения времени строят пробное расписание показа объектов, в которое добавлен указанный очередной объект, и в этом пробном расписании в качестве времени показа этого объекта указывают очередное испытуемое значение времени.

Затем по этому пробному расписанию строят план формирования всех объектов, находящихся в этом расписании (блок 5). После этого проверяют условие допустимой взаимной заслоненности объектов на всех синтетических кадрах, соответствующих этому плану. Если это условие не выполняется, то переходят к шагу проверки следующего испытуемого значения времени. Если же это условие выполняется, то принимают испытуемое значение в качестве времени начала показа этого добавленного объекта, а пробное расписание - в качестве обновленного расписания.

Таким образом, план формирования синтетических кадров строят для каждого пробного расписания, одно из которых принимают за обновленное. Рассмотрим сначала как предлагается строить план формирования синтетических кадров, а затем как предлагается осуществить проверку условий допустимой взаимной заслоненности на основе этого плана.

Построение плана формирования синтетических кадров

Для построения плана формирования синтетических кадров для всех объектов, указанных в расписании их показа, в блоке 5 выполняют следующую последовательность действий.

Сначала преобразуют исходную траекторию каждого объекта в траекторию, перенесенную по временной оси влево так, что перенесенная траектория начинается с указанного в этом расписании момента времени начала показа этого объекта. Этот перенос иллюстрируется на фиг.3, на котором для объекта с номером γ показаны ось времени («а») для его исходной траектории и ось времени («b») для его перенесенной траектории. На оси времени его исходной траектории («а») показаны точки моментов времени для γ-й траектории, начиная с первой ее точки t₁:

t₁, t₂, …, t_n,

а на оси времени его перенесенной траектории показаны соответствующие им точки моментов времени

t_нач,γ, t_2(nep), …, t_n(nep),

где t_нач,γ - момент времени начала показа точки γ-й траектории, т.е. момент времени показа первой точки перенесенной γ-й траектории;

t_2(nep) и t_n(nep) - моменты времени показа второй и n-й точек перенесенной γ-й траектории.

Перенос каждой точки исходной траектории в соответствующую ей точку на перенесенной траектории по временной оси производят на величину

где Δ_γ - величина переноса для траектории γ,

а остальные величины определены выше.

Запоминают величину Δ_γ переноса. Преобразование исходной траектории в перенесенную может реализовываться различным образом. Например, можно осуществить это преобразование один раз и хранить перенесенную траекторию в памяти, а можно вычислять значения моментов времени точек перенесенной траектории каждый раз, когда требуется использовать это значение.

Далее в перенесенную траекторию каждого объекта добавляют фиктивную точку, соответствующую одинаковому для всех объектов фиктивному моменту времени, который меньше, чем время начала показа любого объекта в этом расписании; например, в качестве этого фиктивного момента времени может быть выбрано отрицательное значение времени. На фиг.4 показаны оси времени для всех траекторий объектов, указанных в расписании показа, то есть имеющих номера λ=1, 2, …, h в этом расписании. На фиг.4 используются следующие обозначения:

t_нач,1, …, t_нач,λ, …, t_нач,h, - точки моментов начала показа этих траекторий;

f₁, …, f_λ, …, f_h - фиктивные точки указанных траекторий;

t_f - фиктивный момент времени: t_f<t_нач,1, например t_f<0.

Каждой фиктивной точке f_λ соответствует пара, состоящая из фиктивного момента времени t_f и пустого множества пикселей кадра.

Совокупность фиктивных точек каждой перенесенной траектории принимают в качестве начального фиктивного элемента Е₀ строящегося названного плана:

.

В соответствии с этим план формирования синтетических кадров примет вид:

где все величины определены выше.

Затем последовательно строят нефиктивные элементы этого плана, в каждом из которых имеется одна нефиктивная точка или набор нефиктивных точек перенесенных траекторий разных объектов, которые будут показываться в одном синтетическом кадре, содержащий не более одной точки из каждой перенесенной траектории. Каждая нефиктивная точка в этом наборе представлена парой

где µ - номер момента времени в γ-й траектории; µ=1,…, n;

t_µ(пер)=t_нaч,γ(λ) при µ=1;

остальные обозначения раскрыты выше.

Здесь

Где Δ_γ - величина переноса для траектории γ, определенная в формуле (4).

Для построения очередного элемента этого плана последовательно выполняют следующие четыре этапа действий, указанные ниже и обозначенные «a», «b», «c» и «d»:

а) если необходимость добавления объекта в расписание показа объектов возникла до окончания составления плана формирования синтетических кадров, то в последний сформированный элемент плана вводят фиктивную точку перенесенной траектории добавляемого объекта, после чего переходят к следующему этапу («b») действий; здесь эту фиктивную точку вводят для того, чтобы при построении последующих элементов плана этапы «b», «c» и «d» выполнялись для добавляемого объекта таким же образом, как и для других объектов, находящихся в указанном расписании показа, для которых все фиктивные точки указывают, как показано выше в формуле 5, в начальном фиктивном элементе E₀ следующего строящегося плана;

b) на каждой перенесенной траектории λ объекта выбирают точку , которая на временной оси t находится справа через одну от той точки этой траектории, которая указана в предыдущем элементе плана (фиг.5, этап «b»); то есть

где λ - относительный номер траектории в расписании показа; λ=1, 2, …, h;

c) среди этих выбранных точек всех траекторий находят точку, имеющую минимальный момент времени (t_ρ+2)_min (фиг.5, этап «с»);

d) для каждой перенесенной траектории λ выбирают точку t^(λ), по времени ближайшую слева от указанного минимального момента времени (t_ρ+2)_min (фиг.5, этап «d»), то есть

и совокупность этих точек траекторий, соответствующих моментам времени t^(λ), принимают в качестве очередного элемента плана.

Проверка условия допустимой взаимной заслоненности объектов

Для проверки условия допустимой взаимной заслоненности объектов выполняют следующую последовательность действий (блок 5):

- в каждом элементе указанного плана, содержащем очередной объект, проверяют наличие в изображении этого объекта и изображениях других объектов, входящих в этот элемент плана, пикселей, имеющих одинаковые координаты в кадре; и если количество этих пикселей для добавленного объекта и хотя бы одного из других объектов превышает порог заданный оператором, то фиксируют факт недопустимого пересечения добавленного объекта с другими объектами в этом элементе плана;

- в каждом элементе указанного плана, содержащем очередной объект, добавленный в расписание, проверяют наличие пространственного пересечения этого объекта с другими объектами, входящими в этот элемент плана;

- для каждого объекта, содержащегося в расписании, кроме добавленного, подсчитывают количество (А) элементов указанного плана, в которых этот объект пересекается с добавленным;

- для каждого объекта подсчитывают количество (В) элементов указанного плана, в которых он встречается;

- проверяют условия:

,

,

где i - номер объекта, за исключением объекта, добавленного в текущее расписание;

с - номер объекта, добавленного в текущее расписание;

A_i - количество элементов плана, в которых i-й объект пересекается с добавленным;

B_i - количество элементов плана, в которых встречается i-й объект;

B_c - количество элементов плана, в которых встречается добавленный объект;

α_i и α_c - константы, которые могут быть выбраны в зависимости от важности объекта для оператора; в частном случае α_i=α_c=const для всех i;

- если условия (11) и (12) выполняются одновременно, то подают сообщение о выполнении условия допустимой взаимной заслоненности объектов.

Формирование синтетического кадра

При формировании очередного синтетического кадра, соответствующего любому элементу плана формирования синтетических кадров, осуществляют следующие действия: (блок 6):

- находят кадры исходной последовательности, соответствующие точкам траекторий объектов, содержащимся в элементе указанного плана, соответствующем формируемому синтетическому кадру; для этого к моменту времени, соответствующему точке перенесенной траектории объекта, имеющей номер γ и указанной в этом элементе плана, прибавляют ранее запомненную величину переноса Δ_γ и по полученному моменту времени исходной траектории находят кадр исходной последовательности изображений;

- из этих кадров выбирают кадр, соответствующий объекту с наименьшим порядковым номером, в качестве опорного кадра, на основе которого будет строиться синтетический кадр;

- на основе опорного кадра формируют промежуточный кадр, содержащий показываемые объекты опорного кадра и фон, на котором они должны быть показаны;

- формируют очередной синтетический кадр добавлением в полученный промежуточный кадр изображений других объектов из других кадров, выбранных выше согласно указанному плану формирования синтетических кадров.

Поясним это на примерах, показанных на фиг.6 и фиг.7. Опорный кадр содержит объекты А и В, из которых в синтетическом кадре должен быть показан только объект А; поэтому в промежуточном кадре объект В закрывается соответствующим фрагментом фона (фиг.6). Синтетический кадр (фиг.7) формируется из промежуточного кадра, в который переносятся изображения объектов С и D из других исходных кадров.

Формирование фона синтетического кадра

Фон синтетического кадра складывается из фона опорного кадра и фрагментов фона, которыми заменяют объекты опорного кадра, которые не должны показываться.

Для формирования фона синтетического кадра (блок 6) фрагменты опорного кадра, занятые любыми объектами, кроме тех, которые должны быть показаны в формируемом синтетическом кадре, заменяют на незанятые объектами фрагменты из других кадров исходной последовательности, соответствующих точкам траекторий объектов, приведенным в элементе указанного плана, соответствующем формируемому синтетическому кадру.

Поясним эти действия на примере, показанном на фиг.8. В этом примере опорный кадр содержит изображение объекта В, которое не должно быть показано. Из числа кадров исходной последовательности, соответствующих точкам перенесенных траекторий объектов, приведенным в элементе формируемого плана, находят любой первый кадр, в котором на месте объекта В содержится незанятый объектами фрагмент, и заменяют этим «пустым» фрагментом объект B в опорном кадре.

Показ очередного сформированного синтетического кадра оператору

Каждый очередной сформированный синтетический кадр показывают оператору на экране (блок 7) через промежуток времени, длительность которого равна минимальной ненулевой разности между моментами времени регистрации любого объекта, представленного в предыдущем и очередном синтетических кадрах. Это условие накладывает ограничение на применение предлагаемого способа: каждый объект должен быть представлен как минимум на двух кадрах исходной последовательности изображений.

Изобретение относится к способам поиска объектов в последовательности изображений, полученных от стационарной видеокамеры, и основано на показе оператору синтетических кадров, в каждом из которых могут быть совмещены объекты, зарегистрированные в разных исходных кадрах. Техническим результатом является ускорение поиска, сокращение затрат памяти и объема вычислений. Для каждого из объектов, интересующих оператора, строят траекторию его движения, каждой точке которой соответствует положение объекта в кадре и момент времени его регистрации. Упорядочивают эти траектории, составляют обновляемое расписание показа заданного оператором числа объектов, для которого автоматически выбирают моменты времени показа каждой траектории, строят план формирования синтетических кадров с учетом условия допустимой взаимной заслоненности объектов, формируют соответствующие этому плану синтетические кадры и показывают их оператору. 6 з.п. ф-лы, 8 ил.

1. Способ поиска объектов в последовательности изображений, полученных от стационарной видеокамеры, состоящий в том, что:
в исходной последовательности кадров, полученных от стационарной видеокамеры и представляющих собой изображения и указания на моменты времени их регистрации, обнаруживают объекты, интересующие оператора;
для каждого из обнаруженных объектов строят траекторию его движения, каждой точке которой соответствуют положение объекта в кадре и момент времени регистрации этого кадра, причем положение объекта в кадре представлено множеством пикселей кадра, представляющих изображение этого объекта;
формируют очередь траекторий движения обнаруженных объектов;
составляют расписание показа обнаруженных объектов, в котором для траектории каждого объекта указывают момент времени, начиная с которого будут его показывать на экране;
по указанному расписанию строят план формирования синтетических кадров, в которых могут быть одновременно показаны несколько объектов в положениях, которые, в общем случае, зарегистрированы в разные моменты времени;
формируют очередной синтетический кадр, в соответствии с указанным планом;
при формировании синтетического кадра включают в него изображения объектов, которые в соответствии с указанным планом должны быть показаны в этом синтетическом кадре одновременно, и фон, на котором они должны быть показаны;
показывают оператору на экране сформированные синтетические кадры, отличающийся тем, что
в очереди траекторий движения объектов все траектории упорядочивают по возрастанию моментов времени появления соответствующего объекта в поле зрения видеокамеры;
порядковый номер траектории в упорядоченном наборе траекторий присваивают этой траектории и соответствующему ей объекту;
первоначально в расписание показа упорядоченных объектов включают только первый объект, а затем обновляют это расписание, удаляя из него объекты, траектории которых показаны полностью, и добавляя в него новые, причем число объектов, находящихся в расписании, не превышает значения, заданного оператором;
на основе указанного расписания при его создании и каждом его обновлении составляют указанный план формирования синтетических кадров, состоящий из элементов, в каждом из которых представлен набор точек траекторий разных объектов, которые будут показываться в одном синтетическом кадре.

2. Способ по п.1, отличающийся тем, что при обновлении расписания показа объектов в него добавляют очередной еще не показанный объект и выбирают подходящее время начала его показа, при котором выполняется условие допустимой взаимной заслоненности объектов во всех синтетических кадрах, формируемых на основе этого расписания, для чего последовательно по шагам проверяют выполнение этого условия для значений времени, просматриваемых по их возрастанию с заданной дискретностью в диапазоне от времени начала показа объекта с предыдущим порядковым номером до времени завершения показа всех объектов, находящихся в расписании, и на каждом шаге проверки очередного испытуемого значения времени строят пробное расписание показа объектов, в которое добавлен указанный очередной объект, и в качестве времени начала его показа указывают очередное испытуемое значение времени, затем по этому пробному расписанию строят план формирования синтетических кадров для всех объектов, находящихся в этом расписании, после чего проверяют условие допустимой взаимной заслоненности объектов на всех синтетических кадрах, и если это условие не выполняется, то переходят к шагу проверки следующего испытуемого значения времени, а если это условие выполняется, то принимают испытуемое значение в качестве времени начала показа добавленного объекта, а пробное расписание - в качестве обновленного расписания.

3. Способ по п.2, отличающийся тем, что для построения плана формирования синтетических кадров для всех объектов, указанных в расписании их показа, выполняют следующую последовательность действий:
преобразуют исходную траекторию каждого объекта в траекторию, перенесенную по временной оси влево так, что перенесенная траектория начинается с указанного в этом расписании момента времени начала показа этого объекта, и запоминают величину переноса, равную разности между моментом времени, соответствующим первой точке исходной траектории этого объекта, и моментом времени начала показа этого объекта;
в перенесенную траекторию каждого объекта добавляют фиктивную точку, соответствующую одинаковому для всех объектов фиктивному моменту времени, который меньше, чем время начала показа любого объекта в этом расписании;
совокупность фиктивных точек каждой перенесенной траектории, соответствующих указанному фиктивному моменту, принимают в качестве начального фиктивного элемента строящегося названного плана;
последовательно строят элементы этого плана, в каждом из которых представлен набор точек перенесенных траекторий разных объектов, которые будут показываться в одном синтетическом кадре, содержащий не более одной точки из каждой перенесенной траектории, и при этом для построения очередного элемента этого плана последовательно выполняют следующие действия:
если необходимость добавления объекта в расписание показа объектов возникла до окончания составления плана формирования синтетических кадров, то в последний сформированный элемент плана вводят фиктивную точку перенесенной траектории добавляемого объекта;
на каждой перенесенной траектории объекта выбирают точку, которая на временной оси находится справа через одну от той точки этой траектории, которая указана в предыдущем элементе плана;
среди этих выбранных точек всех траекторий находят точку, имеющую минимальный момент времени;
для каждой перенесенной траектории выбирают точку, по времени ближайшую слева от указанного минимального момента времени, и совокупность этих точек принимают в качестве очередного элемента плана.

4. Способ по п.2, отличающийся тем, что для проверки условия допустимой взаимной заслоненности объектов выполняют следующую последовательность действий:
в каждом элементе указанного плана, содержащем очередной объект, проверяют наличие пикселей, имеющих одинаковые координаты в кадре, в изображении этого объекта и изображениях других объектов, входящих в этот элемент плана, и если количество этих пикселей, общих для добавленного объекта и хотя бы одного из других объектов, превышает порог заданный оператором, то фиксируют факт недопустимого пересечения добавленного объекта с другими объектами в этом элементе плана;
для каждого объекта, содержащегося в расписании, кроме добавленного, подсчитывают количество (А) элементов указанного плана, в которых этот объект недопустимо пересекается с добавленным;
для каждого объекта подсчитывают количество (В) элементов указанного плана, в которых он встречается;
проверяют условия:
,
,
где i - номер объекта, за исключением объекта, добавленного в текущее расписание;
с - номер объекта, добавленного в текущее расписание;
А_i - количество элементов плана, в которых i-й объект недопустимо пересекается с добавленным;
B_i - количество элементов плана, в которых встречается i-й объект;
В_c - количество элементов плана, в которых встречается добавленный объект;
α_i и α_с - константы, которые могут быть выбраны в зависимости от важности объекта для оператора; в частном случае α_i=α_c=const для всех i;
если условия (11) и (12) выполняются одновременно, то подают сообщение о выполнении условия допустимой взаимной заслоненности объектов.

5. Способ по п.3, отличающийся тем, что при формировании очередного синтетического кадра, соответствующего любому элементу плана формирования синтетических кадров;
находят кадры исходной последовательности, соответствующие точкам перенесенных траекторий объектов, содержащимся в элементе указанного плана, соответствующем формируемому синтетическому кадру, по времени регистрации этих кадров, вычисляемому путем сложения запомненных величин переноса, соответствующих перенесенным траекториям этих объектов, с моментами времени, соответствующими указанным точкам этих траекторий;
из этих кадров выбирают кадр, соответствующий объекту с наименьшим порядковым номером, в качестве опорного кадра, на основе которого будет строится синтетический кадр;
на основе опорного кадра формируют промежуточный кадр, содержащий показываемые объекты опорного кадра и фон, на котором они должны быть показаны;
формируют очередной синтетический кадр добавлением в полученный промежуточный кадр изображений других объектов, точки траекторий которых указаны в элементе плана, соответствующем формируемому синтетическому кадру.

6. Способ по п.5, отличающийся тем, что для формирования фона синтетического кадра фрагменты опорного кадра, занятые любыми объектами, кроме тех, которые должны быть показаны в формируемом синтетическом кадре, заменяют на незанятые объектами фрагменты из других кадров исходной последовательности, соответствующих точкам траекторий объектов, приведенным в элементе указанного плана, соответствующем формируемому синтетическому кадру.

7. Способ по п.1, отличающийся тем, что каждый очередной сформированный синтетический кадр показывают оператору на экране через промежуток времени, длительность которого равна минимальной ненулевой разности между моментами времени регистрации любого объекта, представленного в предыдущем и очередном синтетических кадрах.