Способ показа объектов в последовательности изображений, полученных от стационарной видеокамеры Российский патент 2018 года по МПК G06K9/46 G06K9/66 G06F17/30 

Описание патента на изобретение RU2653322C1

Область техники, к которой относится изобретение

Изобретение относится к области видеонаблюдения, а именно к технологиям обнаружения объектов в последовательности изображений, полученных от стационарной видеокамеры.

В цифровых системах видеонаблюдения накапливают архив видеоданных, хранящий последовательность изображений, представленных видеокадрами, или, проще говоря, - кадрами. Каждый кадр содержит одно изображение и указание времени его регистрации. Этот архив используют для анализа событий, происшедших в поле зрения стационарной видеокамеры. Для этого анализа требуется поиск интересующих оператора событий, отображенных в последовательности изображений, хранящейся в этом архиве. Под событием понимается наличие тех или иных объектов, неподвижных или движущихся, их расположение, траектория их движения и другие признаки, интересующие оператора. Объектом может быть человек, животное, транспортное средство, например, машина, и любые предметы, передвигающиеся в поле зрения видеокамеры.

Поиск интересующих оператора событий осложняется тем, что длительность просмотра накопленного архива может достигать нескольких тысяч часов для одной видеокамеры. Поэтому одна из важнейших задач построения систем видеонаблюдения состоит в сокращении времени этого поиска.

Изобретение может найти применение в различных системах видеонаблюдения, например, в охранных системах, в аналитических системах для маркетинговых исследований и т.п.

Уровень техники

Очевидный способ поиска объектов основан на последовательном просмотре с постоянной скоростью всего накопленного архива видеоданных, то есть просмотра всей последовательности изображений, полученных от стационарной видеокамеры. Недостаток этого способа заключается в максимально высоких затратах времени, необходимого для поиска. В среднем, для поиска нужного события потребуется время, равное половине времени просмотра накопленного архива.

Из уровня техники известна технология распознания и обработки изображений, реализуемая с помощью устройства, способа, машиночитаемого носителя для извлечения данных об изображении (см. заявку US 2016/0148070 A1, G06K 9/46, опубл. 26.05.2016). В данной заявке раскрыты технологии идентификации объектов на изображении по категориям, поиска подобных областей изображений по схожести признаков. Недостатками данной технологии является невозможность отслеживания движения объекта на видеоизображениях.

Из уровня техники также известен способ отслеживания и сегментации объекта на изображениях (см. заявку US 2011/0158474 A1, G06K 9/00, опубл. 30.06.2011). В данной заявке раскрыт способ, который содержит этапы по определению начального контура для отслеживания объекта на изображениях и разбиение исходного контура на множество участков контура, а также включает в себя оценку взвешенной длину каждого из множества сегментов контура и генерацию желаемого контура, посредством объединения множества сегментов контура с множеством ребер изображения объекта с использованием оцененной взвешенной длины. Недостатками данной технологии является невозможность отслеживания движения объекта на видеоизображениях.

Из уровня техники также известен способ отслеживания объектов в сцене на изображениях во время каких-либо мероприятий (см. заявку US 2011/0135149 A1, G06K 9/00, опубл. 09.06.2011). В данном способе отслеживаются игроки в командной игре на изображениях, полученных с камер. Также осуществляется отслеживание движения объектов на видеоизображениях. Недостатками данной технологии является низкая точность детектирования движения объектов.

Прототипом предлагаемого способа является способ поиска объектов в последовательности изображений, полученных от стационарной видеокамеры (см. патент RU 2471231 C1, G06K 9/00, опубл. 27.12.2012).

Согласно данному способу, для каждого из объектов, интересующих оператора, строят траекторию его движения, каждой точке которой соответствует положение объекта в кадре и момент времени его регистрации. Упорядочивают эти траектории, составляют обновляемое расписание показа заданного оператором числа объектов, для которого автоматически выбирают моменты времени показа каждой траектории, строят план формирования синтетических кадров с учетом условия допустимой взаимной заслоненности объектов, формируют соответствующие этому плану синтетические кадры и показывают их оператору.

При этом визуальное качество изображения, формируемого известным способом-прототипом, сильно зависит от качества метаданных, т.е. от качества работы алгоритма обнаружения и межкадрового прослеживания объектов (алгоритм трекинга). Применение алгоритма трекинга эффективно для просмотра больших архивов по камерам, в поле зрения которых одновременно находится небольшое количество объектов: вместо часов оператор может затратить на поиск нужного фрагмента всего лишь несколько минут.

Однако алгоритм трекинга, раскрытый в способе-прототипе, не всегда работает идеально, и некоторые ошибки в работе алгоритма трекинга приводят к деградации качества работы самого алгоритма. К таким ошибкам работы алгоритма можно отнести, например, то, что, некоторые реальные объекты трекинг разрывает на несколько объектов (осколки).

Задачей заявленного изобретения является устранение по меньшей мере одного из недостатков предшествующего уровня техники.

Раскрытие изобретения

Техническим результатом заявленного изобретения является повышение качества синтетических кадров, показываемых оператру за счет «правильного» детектирования единого объекта, используя алгоритм отслеживания движения объекта (алгоритм трекинга), повышение скорости поиска нужного изображения в последовательности изображений за счет того, что при показе некоторые объекты объединяются, и показываемых объектов становится меньше, и тем самым время, необходимое на их просмотр, сокращается.

Данный технический результат достигается за счет предложенного способа показа объектов в последовательности изображений, полученных от стационарной видеокамеры, заключающегося в том, что:

- в исходной последовательности кадров, полученных от стационарной видеокамеры и представляющих собой изображения и указания на моменты времени их регистрации, обнаруживают объекты, интересующие оператора;

- для каждого из обнаруженных объектов строят траекторию его движения, каждой точке которой соответствуют положение объекта в кадре и момент времени регистрации этого кадра, причем положение объекта в кадре представлено множеством пикселей кадра, представляющих изображение этого объекта;

- формируют очередь траекторий движения обнаруженных объектов;

- составляют расписание показа обнаруженных объектов, в котором для траектории каждого объекта указывают момент времени, начиная с которого будут его показывать на экране;

- по указанному расписанию строят план формирования синтетических кадров, в которых могут быть одновременно показаны несколько объектов в положениях, которые, в общем случае, зарегистрированы в разные моменты времени;

- формируют очередной синтетический кадр, в соответствии с указанным планом;

- при формировании синтетического кадра включают в него изображения объектов, которые в соответствии с указанным планом должны быть показаны в этом синтетическом кадре одновременно, и фон, на котором они должны быть показаны;

- показывают оператору на экране сформированные синтетические кадры, при этом в очереди траекторий движения объектов все траектории упорядочивают по возрастанию моментов времени появления соответствующего объекта в поле зрения видеокамеры;

- порядковый номер траектории в упорядоченном наборе траекторий присваивают этой траектории и соответствующему ей объекту;

- первоначально в расписание показа упорядоченных объектов включают только первый объект, а затем обновляют это расписание, удаляя из него объекты, траектории которых показаны полностью, и добавляя в него новые, причем число объектов, находящихся в расписании, не превышает значения, заданного оператором;

- на основе указанного расписания при его создании и каждом его обновлении составляют указанный план формирования синтетических кадров, состоящий из элементов, в каждом из которых представлен набор точек траекторий разных объектов, которые будут показываться в одном синтетическом кадре;

Согласно заявленному изобретению, перед формированием синтетического изображения и в случае разделения единого объекта во время отслеживания его движения на несколько обнаруженных объектов - осколков, осуществляют склеивание траекторий движения осколков в единую траекторию движения, используя алгоритм, включающий этапы, на которых осуществляют:

- определение для каждой траектории движения времени ее жизни, представляющего собой длительность интервала времени от появления до исчезновения соответствующего объекта в исходной последовательности кадров;

- определение для каждого кадра из исходной последовательности кадров попарного расстояния между положениями всех обнаруженных на кадре объектов;

- определение времени близости для каждой пары траекторий движения, на протяжении которого расстояние между положениями соответствующих объектов было меньше первого заданного порогового значения;

- определение отношения найденного времени близости пары траекторий движения к времени жизни каждой из них;

- если одно из двух найденных отношений больше второго заданного порогового значения, принимают решение о том, что две траектории движения являются осколками, порожденными одним объектом.

Осуществление изобретения

Ниже будет приведено описание примерных вариантов заявленного изобретения. Однако настоящее изобретение не ограничивается только этими вариантами осуществления. Специалистам будет очевидно, что под объем заявленного изобретения, описанного в формуле, попадают и другие варианты.

Основные этапы предлагаемого способа

Предлагаемый способ оперирует с последовательностью изображений, полученных от стационарной видеокамеры и хранимых в памяти системы видеонаблюдения. Эту последовательность изображений будем называть исходной. Исходная последовательность изображений представлена в исходной последовательности кадров. Каждый кадр содержит одно изображение и указание момента времени его получения. Это изображение может содержать изображения одного или более объектов и всегда содержит фон, на котором находятся эти объекты. Для упрощения будем говорить, что изображение кадра содержит один или более объектов и фон, имея в виду, что под объектом здесь понимается его изображение. Под объектом понимается человек, автомобиль и т.п., передвигающееся в поле зрения видеокамеры.

Предлагаемый способ основан на формировании синтетических кадров из исходных кадров и показе их оператору. В одном синтетическом кадре совмещают изображения объектов, зарегистрированных в разные моменты времени, т.е. представленных в разных исходных кадрах. При помещении изображений этих объектов в один синтетический кадр должно быть обеспечено, чтобы они не заслоняли друг друга или заслоняли друг друга в допустимой степени.

Предлагаемый способ поиска объектов в последовательности изображений, полученных от стационарной видеокамеры, заключается в следующем.

Просматривают исходную последовательность кадров и обнаруживают в ней объекты, интересующие оператора.

Для каждого из обнаруженных объектов строят траекторию его движения. Каждой точке этой траектории соответствует положение объекта в кадре и момент времени регистрации этого кадра. Положение объекта в кадре представлено множеством пикселей («точек») кадра, представляющих изображение этого объекта.

Траектория обнаруженного объекта представляет собой последовательность его положений в кадрах. Каждому такому положению соответствует момент времени получения кадра.

Далее формируют очередь этих траекторий. В этой очереди все траектории движения объектов упорядочивают по возрастанию моментов времени появления объектов, соответствующих этим траекториям, в поле зрения видеокамеры. Иными словами, например, располагают эти траектории в памяти, в порядке, при котором сначала помещают траектории одного или нескольких объектов, одновременно появившихся в поле зрения видеокамеры, раньше всех других объектов. Следующими за ними помещают траектории объектов, одновременно появившихся в поле зрения видеокамеры позже указанных первых объектов, но раньше всех других объектов, и так далее.

Порядковый номер у траектории в их упорядоченном наборе присваивают этой траектории и соответствующему ей объекту.

После этого составляют расписание показа обнаруженных объектов для количества объектов, заданных оператором. В этом расписании для траектории каждого объекта, входящего в него, указывают момент времени, начиная с которого будут показывать этот объект на экране.

Первоначально в расписание показа упорядоченных объектов включают только первый объект из их упорядоченного набора, то есть объект с минимальным порядковым номером. Затем обновляют это расписание, удаляя из него объекты, траектории которых показаны полностью, и добавляя в него новые. При этом число объектов, одновременно находящихся в расписании, не превышает значения h, заданного оператором.

По каждому текущему расписанию строят план формирования синтетических кадров. В каждом синтетическом кадре могут быть одновременно показаны несколько объектов в положениях, которые, в общем случае, зарегистрированы в разные моменты времени. При этом на основе указанного расписания при его создании и каждом его обновлении составляют указанный план формирования синтетических кадров. Этот план состоит из элементов, в каждом из которых представлен набор точек траекторий разных объектов, которые будут показываться в одном синтетическом кадре. Точки в этом наборе могут быть представлены различным образом в зависимости от принятой реализации предлагаемого способа.

В соответствии с планом формируют очередной синтетический кадр.

При формировании очередного синтетического кадра строят его фон и накладывают на него изображения объектов, которые в соответствии с указанным планом должны быть показаны в этом синтетическом кадре одновременно.

В соответствии с этим планом формирования синтетических кадров показывают оператору на экране очередной сформированный синтетический кадр.

После этого проверяют, не закончен ли показ объектов, точки траекторий которых имелись в показанном синтетическом кадре. Если не закончен показ ни одного из этих объектов, то формируют новый (очередной) синтетический кадр в соответствии с планом и затем показывают его. Если закончен показ хотя бы одного из этих объектов, то проверяют, все ли обнаруженные объекты показаны оператору. Если показаны не все обнаруженные объекты, то удаляют показанный объект из текущего расписания показа и добавляют в него еще не показывавшийся объект, очередной по его номеру. Если оператору показаны на экране все обнаруженные объекты, то процесс формирования и показа синтетических кадров оператору заканчивается.

Выбор моментов времени начала показа объектов производят при обновлении расписания показа объектов. Обновление расписания объектов заключается в изменении набора объектов, находящихся в этом расписании. Это изменение может происходить путем добавления очередного еще не показанного объекта и путем удаления уже показанного объекта. При добавлении очередного, еще не показанного объекта, выбирают для него подходящее время начала его показа, при котором выполняется условие допустимой взаимной заслоненности объектов во всех синтетических кадрах, формируемых на основе этого обновленного расписания.

Этот выбор осуществляют из значений времени в диапазоне от времени начала показа объекта с предыдущим порядковым номером до времени завершения показа всех объектов, находящихся в обновленном расписании. Для этого последовательно по шагам проверяют выполнение этого условия заслоненности для значений времени из указанного диапазона следующим образом.

Просматривают эти значения времени по их возрастанию с заданной дискретностью и на каждом шаге проверки испытывают очередное из них в качестве времени показа добавленного объекта. Для этого на каждом шаге проверки очередного испытуемого значения времени строят пробное расписание показа объектов, в которое добавлен указанный очередной объект, и в этом пробном расписании в качестве времени показа этого объекта указывают очередное испытуемое значение времени.

Затем по этому пробному расписанию строят план формирования всех объектов, находящихся в этом расписании. После этого проверяют условие допустимой взаимной заслоненности объектов на всех синтетических кадрах, соответствующих этому плану. Если это условие не выполняется, то переходят к шагу проверки следующего испытуемого значения времени. Если же это условие выполняется, то принимают испытуемое значение в качестве времени начала показа этого добавленного объекта, а пробное расписание - в качестве обновленного расписания.

Таким образом, план формирования синтетических кадров строят для каждого пробного расписания, одно из которых принимают за обновленное.

При формировании очередного синтетического кадра, соответствующего любому элементу плана формирования синтетических кадров, осуществляют следующие действия:

- находят кадры исходной последовательности, соответствующие точкам траекторий объектов, содержащимся в элементе указанного плана, соответствующем формируемому синтетическому кадру; для этого к моменту времени, соответствующему точке перенесенной траектории объекта, имеющей номер γ и указанной в этом элементе плана, прибавляют ранее запомненную величину переноса Δγ и по полученному моменту времени исходной траектории находят кадр исходной последовательности изображений;

- из этих кадров выбирают кадр, соответствующий объекту с наименьшим порядковым номером, в качестве опорного кадра, на основе которого будет строиться синтетический кадр;

- на основе опорного кадра формируют промежуточный кадр, содержащий показываемые объекты опорного кадра и фон, на котором они должны быть показаны;

- формируют очередной синтетический кадр добавлением в полученный промежуточный кадр изображений других объектов из других кадров, выбранных выше согласно указанному плану формирования синтетических кадров.

Опорный кадр содержит объекты А и В, из которых в синтетическом кадре должен быть показан только объект А; поэтому в промежуточном кадре объект В закрывается соответствующим фрагментом фона. Синтетический кадр формируется из промежуточного кадра, в который переносятся изображения объектов С и D из других исходных кадров.

Фон синтетического кадра складывается из фона опорного кадра и фрагментов фона, которыми заменяют объекты опорного кадра, которые не должны показываться.

Для формирования фона синтетического кадра фрагменты опорного кадра, занятые любыми объектами, кроме тех, которые должны быть показаны в формируемом синтетическом кадре, заменяют на незанятые объектами фрагменты из других кадров исходной последовательности, соответствующих точкам траекторий объектов, приведенным в элементе указанного плана, соответствующем формируемому синтетическому кадру.

Например, опорный кадр содержит изображение объекта В, которое не должно быть показано. Из числа кадров исходной последовательности, соответствующих точкам перенесенных траекторий объектов, приведенным в элементе формируемого плана, находят любой первый кадр, в котором на месте объекта В содержится незанятый объектами фрагмент, и заменяют этим «пустым» фрагментом объект В в опорном кадре.

Каждый очередной сформированный синтетический кадр показывают оператору на экране через промежуток времени, длительность которого равна минимальной ненулевой разности между моментами времени регистрации любого объекта, представленного в предыдущем и очередном синтетических кадрах. Это условие накладывает ограничение на применение предлагаемого способа: каждый объект должен быть представлен как минимум на двух кадрах исходной последовательности изображений.

Как известно, различные реализации алгоритма обнаружения объектов в исходной последовательности кадров имеют различное качество работы. Например, некоторые реализации могут разделять единый объект CD на два - осколки С и D. Чтобы понизить влияние конкретной реализации алгоритма обнаружения на визуальное качество формируемых синтетических кадров необходимо перед формированием очереди траекторий склеить осколки С и D в единый объект, используя следующий алгоритм склеивания.

С помощью данного алгоритма осуществляют проверку на наличие ошибок при работе алгоритма отслеживания движения и, в случае обнаружения таких ошибок, осуществляют «правильное» детектирование единого объекта. Далее приведем пример осуществления такого детектирования.

Ниже приведены основные этапы алгоритма:

- определение для каждой траектории движения времени ее жизни, представляющего собой длительность интервала времени от появления до исчезновения соответствующего объекта в исходной последовательности кадров (1);

- определение для каждого кадра из исходной последовательности кадров попарного расстояния между положениями всех обнаруженных на кадре объектов (2);

- определение времени близости для каждой пары траекторий движения, на протяжении которого расстояние между положениями соответствующих объектов было меньше первого заданного порогового значения (3);

- определение отношения найденного времени близости пары траекторий движения к времени жизни каждой из них (4);

- если одно из двух найденных отношений больше второго заданного порогового значения, принимают решение о том, что две траектории движения являются осколками, порожденными одним объектом (5).

На этапе (1) имеется видеопоследовательность из 250 кадров, полученная с одной камеры, и содержащая изображения и указания на моменты времени их регистрации. Пусть в данной последовательности обнаружены объекты А, В, С и D. Для траектории движения вышеуказанных объектов определяют время их жизни, т.е. длительность интервала времени от появления до исчезновения объектов в исходной видеопоследовательности. Например, объект А имеет время жизни 40 секунд, объект В - 30 секунд, объект С - 20 секунд, объект D - 10 секунд.

На этапе (2) для каждого из 250 кадров видеопоследовательности определяют попарное расстояние между положениями всех обнаруженных объектов. Допустим, объект А присутствует на кадрах с номерами 100-140, объект В - 110-140, объект С - 120-140, объект D - 130-140. Расстояние между А и В на кадре 110 вычисляется как расстояние между положениями объектов А и В на этом кадре. Пусть вычисленное расстояние между А и В на кадре 110 равно 30 точек изображения, а между С и D на кадре 130 равно 100 точек изображения.

На этапе (3) определяют время близости для пары траекторий движения объектов А и В, на протяжении которого расстояние между положениями соответствующих объектов было меньше первого заданного порогового значения, например, меньше 50 точек изображения. Примем вычисленное таким образом время близости для А и В - 3 секунды, для С и D - 5 секунд.

На этапе (4) определяют отношение найденного времени близости пары траекторий движения А и В, С и D к времени жизни самой траектории. Для А и В получаются отношения 0,075 и 0,1, а для С и D - 0,25 и 0,5. Пусть величина второго порогового значения равна 0,33.

На этапе (5), определяют, если одно из двух найденных отношений больше второго заданного порогового значения, принимают решение о том, что две траектории движения являются осколками, порожденными одним объектом. То есть в нашем случае, осколки С и D являются осколками одного объекта. В дальнейшем осуществляют их склеивание и формируют синтетическое изображение с единым объектом CD.

Таким образом, предложенный способ предотвращает по меньшей мере одну ошибку при детектировании объектов, обеспечивая склеивание осколков объектов в единый объект и способствует повышению качества сгенерированного синтетического изображения.

Вышеупомянутые этапы способа осуществляются посредством программного обеспечения, аппаратных средств, программной логики или их комбинации. В примере осуществления программная логика, программное обеспечение или набор инструкций хранятся на одном из различных традиционных машиночитаемых носителей. В контексте данного документа «машиночитаемым носителем» может быть любая среда или средства, которые могут содержать, хранить, передавать, распространять или транспортировать инструкции для их использования системой выполнения инструкций, оборудованием или устройством, таким как компьютер. Машиночитаемый носитель может включать энергонезависимый машиночитаемый носитель данных, который может быть любой средой или средством, содержащим или хранящим инструкции для их использования системой выполнения инструкций, оборудованием или устройством, таким как компьютер, или для использования в связи с ними.

В одном из примеров осуществления может быть предложена схема, или схема пользовательского интерфейса, конфигурированная для обеспечения, по меньшей мере, некоторых функций управления, описанных выше.

Если необходимо по меньшей мере часть различных функций, рассмотренных в данном описании, может быть выполнена в отличном от представленного порядке и/или одновременно друг с другом. Кроме того, при необходимости одна или более из описанных выше функций могут быть опциональными или могут комбинироваться.

Похожие патенты RU2653322C1

название год авторы номер документа
СПОСОБ ПОИСКА ОБЪЕКТОВ В ПОСЛЕДОВАТЕЛЬНОСТИ ИЗОБРАЖЕНИЙ, ПОЛУЧЕННЫХ ОТ СТАЦИОНАРНОЙ ВИДЕОКАМЕРЫ 2011
  • Фаломкин Игорь Игоревич
  • Сучков Егор Петрович
RU2471231C1
СИСТЕМА И СПОСОБ ОТСЛЕЖИВАНИЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ ПО ВИДЕОДАННЫМ 2021
  • Маргарян Вардан Таронович
  • Алексеенко Григорий Олегович
  • Цей Нур Адибович
  • Сучков Егор Петрович
  • Ворончев Никита Викторович
RU2775162C1
СПОСОБ ПЕРЕДАЧИ ДВИЖЕНИЯ СУБЪЕКТА ИЗ ВИДЕО НА АНИМИРОВАННОГО ПЕРСОНАЖА 2019
  • Ашманов Станислав Игоревич
  • Сухачев Павел Сергеевич
RU2708027C1
СИСТЕМА И СПОСОБ ПОИСКА ОБЪЕКТОВ ПО ТРАЕКТОРИЯМ ДВИЖЕНИЯ НА ПЛАНЕ МЕСТНОСТИ 2018
  • Алтуев Мурат Казиевич
  • Скиба Никита Сергеевич
RU2701985C1
ГЕОИНФОРМАЦИОННАЯ СИСТЕМА В ФОРМАТЕ 4D 2017
  • Куделькин Владимир Андреевич
RU2667793C1
СИСТЕМА И СПОСОБ ОТОБРАЖЕНИЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ НА КАРТЕ МЕСТНОСТИ 2020
  • Алтуев Мурат Казиевич
  • Калугин Иван Юрьевич
RU2742582C1
СПОСОБ И УСТРОЙСТВО ДЛЯ СЕГМЕНТАЦИИ ФОНА НА ОСНОВЕ ЛОКАЛИЗАЦИИ ДВИЖЕНИЯ 2001
  • Бовырин Александр В.
  • Ерухимов Виктор Львович
  • Молинов Сергей А.
RU2276407C2
СПОСОБ ОБМЕНА ДАННЫМИ МЕЖДУ IP ВИДЕОКАМЕРОЙ И СЕРВЕРОМ (ВАРИАНТЫ) 2016
  • Алтуев Мурат Казиевич
RU2632473C1
УСТРОЙСТВО И СПОСОБ АВТОМАТИЗИРОВАННОГО КОНТРОЛЯ ОБСТАНОВКИ В ЗРИТЕЛЬНЫХ ЗАЛАХ 2005
  • Петричкович Ярослав Ярославович
  • Кан Илья Александрович
  • Сомиков Василий Петрович
  • Лядвинский Кирилл Викторович
  • Лунин Константин Вячеславович
  • Хамухин Анатолий Владимирович
  • Малистов Алексей Сергеевич
  • Солохин Антон Александрович
  • Ахриев Альберт Хаджиевич
  • Горбачев Евгений Владимирович
  • Мурга Сергей Леонидович
  • Болтнев Александр Александрович
RU2296434C2
СИСТЕМА И СПОСОБ ОБЪЕДИНЕНИЯ НЕСКОЛЬКИХ ВИДЕОИЗОБРАЖЕНИЙ В ОДНО ПАНОРАМНОЕ ВИДЕОИЗОБРАЖЕНИЕ 2019
  • Алтуев Мурат Казиевич
  • Сучков Егор Петрович
  • Калинин Роман Валерьевич
RU2706576C1

Реферат патента 2018 года Способ показа объектов в последовательности изображений, полученных от стационарной видеокамеры

Изобретение относится к области видеонаблюдения, а именно к технологиям обнаружения объектов в последовательности изображений, полученных от стационарной видеокамеры. Техническим результатом является повышение качества синтетических кадров за счет детектирования единого объекта, используя алгоритм отслеживания движения объекта. Предложен способ показа объектов в последовательности изображений, полученных от стационарной видеокамеры. Согласно способу, в исходной последовательности кадров обнаруживают объекты, для каждого из обнаруженных объектов строят траекторию его движения. Далее формируют очередь траекторий движения объектов, составляют расписание показа объектов, по которому строят план формирования синтетических кадров, формируют очередной синтетический кадр, показывают оператору на экране сформированные синтетические кадры. Перед формированием очереди траекторий движения объектов осуществляют склеивание траекторий движения осколков в единую траекторию движения.

Формула изобретения RU 2 653 322 C1

Способ показа объектов в последовательности изображений, полученных от стационарной видеокамеры, заключающийся в том, что:

в исходной последовательности кадров, полученных от стационарной видеокамеры и представляющих собой изображения и указания на моменты времени их регистрации, обнаруживают объекты, интересующие оператора;

для каждого из обнаруженных объектов строят траекторию его движения, каждой точке которой соответствуют положение объекта в кадре и момент времени регистрации этого кадра, причем положение объекта в кадре представлено множеством пикселей кадра, представляющих изображение этого объекта;

формируют очередь траекторий движения обнаруженных объектов;

составляют расписание показа обнаруженных объектов, в котором для траектории каждого объекта указывают момент времени, начиная с которого будут его показывать на экране;

по указанному расписанию строят план формирования синтетических кадров, в которых могут быть одновременно показаны несколько объектов в положениях, которые, в общем случае, зарегистрированы в разные моменты времени;

формируют очередной синтетический кадр, в соответствии с указанным планом;

при формировании синтетического кадра включают в него изображения объектов, которые в соответствии с указанным планом должны быть показаны в этом синтетическом кадре одновременно, и фон, на котором они должны быть показаны;

показывают оператору на экране сформированные синтетические кадры, при этом в очереди траекторий движения объектов все траектории упорядочивают по возрастанию моментов времени появления соответствующего объекта в поле зрения видеокамеры;

порядковый номер траектории в упорядоченном наборе траекторий присваивают этой траектории и соответствующему ей объекту;

первоначально в расписание показа упорядоченных объектов включают только первый объект, а затем обновляют это расписание, удаляя из него объекты, траектории которых показаны полностью, и добавляя в него новые, причем число объектов, находящихся в расписании, не превышает значения, заданного оператором;

на основе указанного расписания при его создании и каждом его обновлении составляют указанный план формирования синтетических кадров, состоящий из элементов, в каждом из которых представлен набор точек траекторий разных объектов, которые будут показываться в одном синтетическом кадре;

отличающийся тем, что перед формированием синтетического изображения и в случае разделения единого объекта во время отслеживания его движения на несколько обнаруженных объектов - осколков, осуществляют склеивание траекторий движения осколков в единую траекторию движения, используя алгоритм, включающий этапы, на которых осуществляют:

определение для каждой траектории движения времени ее жизни, представляющего собой длительность интервала времени от появления до исчезновения соответствующего объекта в исходной последовательности кадров;

определение для каждого кадра из исходной последовательности кадров попарного расстояния между положениями всех обнаруженных на кадре объектов;

определение времени близости для каждой пары траекторий движения, на протяжении которого расстояние между положениями соответствующих объектов было меньше первого заданного порогового значения;

определение отношения найденного времени близости пары траекторий движения к времени жизни каждой из них;

если одно из двух найденных отношений больше второго заданного порогового значения, принимают решение о том, что две траектории движения являются осколками, порожденными одним объектом.

Документы, цитированные в отчете о поиске Патент 2018 года RU2653322C1

СПОСОБ ПОИСКА ОБЪЕКТОВ В ПОСЛЕДОВАТЕЛЬНОСТИ ИЗОБРАЖЕНИЙ, ПОЛУЧЕННЫХ ОТ СТАЦИОНАРНОЙ ВИДЕОКАМЕРЫ 2011
  • Фаломкин Игорь Игоревич
  • Сучков Егор Петрович
RU2471231C1
статья А
КОРОБКОВ "Отслеживание объектов в видеопотоке
Методы построения траекторий", опубл
Переносная печь для варки пищи и отопления в окопах, походных помещениях и т.п. 1921
  • Богач Б.И.
SU3A1
Токарный резец 1924
  • Г. Клопшток
SU2016A1
Способ приготовления лака 1924
  • Петров Г.С.
SU2011A1
Способ приготовления лака 1924
  • Петров Г.С.
SU2011A1
Изложница с суживающимся книзу сечением и с вертикально перемещающимся днищем 1924
  • Волынский С.В.
SU2012A1
CПОСОБ АВТОМАТИЧЕСКОГО РАСПОЗНАВАНИЯ ОБЪЕКТОВ НА ИЗОБРАЖЕНИИ 2013
  • Ефремов Владимир Анатольевич
  • Тупиков Владимир Алексеевич
  • Московченко Леонид Васильевич
  • Павлова Валерия Анатольевна
  • Кудрин Михаил Иванович
  • Мананников Владимир Васильевич
  • Созинова Мария Владимировна
  • Крюков Сергей Николаевич
RU2528140C1

RU 2 653 322 C1

Авторы

Алтуев Мурат Казиевич

Фаломкин Игорь Игоревич

Сучков Егор Петрович

Даты

2018-05-07Публикация

2016-12-21Подача