ОЦЕНКА ОБЩЕГО И ЧАСТНОГО ДВИЖЕНИЯ Российский патент 2015 года по МПК H04N19/51 

Настоящее изобретение относится к области обработки изображений, а конкретнее - к области оценки движения в последовательности заснятых изображений.

Когда последовательность изображений снимается одно за другим датчиком, как, в частности, в случае видео, традиционно осуществляется оценка общего движения между изображениями. Эта оценка общего движения помогает определить общее движение, затрагивающее последовательность изображений между двумя изображениями, следующими друг за другом. Это может соответствовать определению перемещения линии визирования используемого датчика.

Такая оценка общего движения позволяет, в частности, стабилизировать подлежащие получению изображения либо также понизить уровень шума изображений, либо установить механизм сверхвысокого разрешения.

Однако этот тип механизма может в значительной степени нарушаться, когда снятое изображение относится к одному или более большим объектам, перемещающимся в течение последовательности заснятых изображений, или также, когда последовательность заснятых изображений имеет низкий контраст. Таким образом, в последнем случае, в частности, возможно, что общая оценка движения в итоге является некорректной.

Некоторые система обработки изображений основаны на последовательной реализации оценки общего движения и оценки частного движения либо также «оценки местного движения».

Оценка частного движения состоит из оценки движения в каждой точке изображений в заснятой последовательности между двумя следующими друг за другом изображениями. Когда оценка общего движения со следующей за ней оценкой частного движения осуществляются последовательно, последняя оценка может осуществляться на изображениях, которые компенсируются на основе предшествующей оценки общего движения.

Далее, оценка частного движения дает возможность вычислять остаточное движение в любой точке изображения. Для этой цели можно основываться на том факте, что подвижные объекты имеют траектории, которые изменяются медленно по отношению к скорости получения изображений. Это объединение оценки общего движения и оценки частного движения может обеспечить высококачественную оценку движения в случае, когда оценка общего движения сама по себе надежна.

Наоборот, когда оценка общего движения ненадежна, оценка движения, полученная в конце на выходе последующей оценки частного движения, не может быть надежной и высококачественной.

Изобретение помогает улучшить эту ситуацию.

Для этого первый объект изобретения предлагает способ оценки движения в серии изображений, заснятых датчиком изображений, причем упомянутая серия изображений включает в себя по меньшей мере одно предшествующее изображение и одно последующее изображение; упомянутый способ оценки включает в себя этапы, на которых:

(а) получают первое оцененное движение за счет осуществления оценки общего движения от предшествующего изображения к последующему изображению;

(б) получают скомпенсированное изображение на основе первого оцененного движения, начиная с любого из предшествующего и последующего изображений;

(в) получают второе оцененное движение за счет осуществления оценки частного движения между скомпенсированным изображением и другим из предшествующего и последующего изображений;

(г) находят остаточное значение общего движения (например на основе второго оцененного движения); и

(д) если остаточное значение движения меньше порогового значения, выдают второе оцененное движение или в противном случае повторяют этапы (а)-(д);

при этом первое оцененное движение находят за счет применения двоичной маски изображения; и

причем, при повторении этапов (а)-(д) с этапа (д), их осуществляют за счет применения двоичной маски изображения, обновленной в зависимости от второго оцененного движения.

Этапы (а)-(д), осуществляемые в первый раз (до какого-либо повторения), могут включать в себя нулевую маску (никакого маскирования) либо даже вообще не иметь маски. Такое отсутствие маскирования может давать возможность улучшить качество вследствие отказа от этапа маскирования (необязательного, когда последний включает в себя нулевую маску), за счет опционально более сложной реализации, включающей в себя конкретную обработку первой итерации.

Под выражением «предшествующее изображение» и «последующее изображение» в серии заснятых изображений подразумеваются два изображения, которые следуют в хронологическом порядке в рассматриваемой серии изображений. Эти два последовательных изображения могут быть подряд идущими или даже разнесенными на одно или более промежуточных заснятых изображений. На рассматриваемое здесь разнесение между предшествующим изображением и последующим изображением не накладывается никаких ограничений.

Под выражением «оценка общего движения» подразумевается оценка механизма движения, дающего возможность представить движение, затрагивающее серию заснятых изображений между предшествующим изображением и последующим изображением в общем виде. Это общее движение может соответствовать оценке движения линии визирования используемого датчика. Общее движение может также соответствовать, например, движению при трехмерном вращении или трехмерном переносе камеры, в которую встроен датчик изображений, по отношению к сцене, снимаемой упомянутой камерой. Никаких ограничений не накладывается на тип используемого здесь механизма оценки. Способ Люкаса-Канаде (Lucas-Kanade), опубликованный в 1984 году в работе «Generalized image matching by the method of differences)) («Обобщенное сопряжение изображений методом разностей») и первоначально используемый для оценивания частного движения, может быть пригоден для общего движения. Он состоит в нахождении ограниченного числа параметров (перенос, вращательное движение, масштабирование и т.п.) посредством среднеквадратичного решения уравнения видимого движения по характерным точкам изображения.

Под выражением «скомпенсированное изображение» подразумевается заснятое изображение, которое скомпенсировано на основе оцененного общего движения. Скомпенсированное изображение может, таким образом, соответствовать, например, оценке последующего изображения в зависимости от предшествующего изображения и оценке общего движения между предшествующим изображением и последующим изображением. В этом случае скомпенсированное изображение не обязательно идентично последующему изображению, поскольку оценка общего движения не обязательно позволяет точно вывести последующее изображение от предшествующего изображения. Например, оценка общего движения в целом дает указание усредненного движения и, как правило, не принимает во внимание подвижные элементы, опционально расположенные в снимаемой сцене. Положение этих подвижных элементов в скомпенсированном изображении, поэтому может быть некорректным.

Под выражением «оценка частного движения» подразумевается оценка механизма движения, дающего возможность представлять движение, затрагивающее серию заснятых изображений между предшествующим изображением и последующим изображением частным образом в пределах изображения. Иными словами, такой механизм оценки дает возможность получать векторы движения для каждого участка изображения более или менее точно. Оценку движения в изображении можно тем самым обеспечить, например, в каждой точке изображения. Сцена может быть поделена на различные участки, каждый из которых соответствует конкретному элементу сцены. Каждый участок может соответствовать наименьшему элементу изображения (точке, также именуемой пикселом). Но участок может также соответствовать и конкретной форме, представленной в изображении. Возможно, например, распознавать объекты, такие как автомобили, на серии изображений, заснятых радарным устройством на автомагистрали. Каждый автомобиль может далее соответствовать участку изображения. В двух следующих друг за другом изображениях эти участки не обязательно налагаются один на другой (даже в отсутствие общего движения), поскольку соответственные движения различных участков не обязательно одни и те же. Иными словами, относительные положения двух участков сцены в первом изображении и во втором изображении не обязательно одни и те же (например два участка могут находиться в первом изображении дальше один от другого, нежели во втором). Участки сцены могут исчезать (например, когда они покидают поле изображения), а другие - появляться. Можно определить различные участки с помощью координатной сетки изображения, например, регулярной координатной сетки в форме небольших прямоугольников. Участок изображения может далее соответствовать поднабору прямоугольников, имеющих общие характеристики движения (например, частное движение больше, чем конкретный порог для этого участка).

Данный тип оценки движения («оценка частного движения») обеспечивает второе оцененное движение, дающее возможность представлять, в частности, движение подвижных объектов, которые могут пересекать изображения в серии заснятых изображений. Среди традиционных способов, данных в литературе, известны, в частности, способы Люкаса-Канаде (Lucas-Kanade) и Хорна-Шунка (Horn-Schunck). Первый способ состоит в среднеквадратичном решении уравнения видимого движения в местном окне. Второй способ из статьи «Determining optical flow» («Нахождение оптического потока») (1981) состоит в минимизации функционалов, согласованное с данными, выражение которых соответствует квадрату уравнения видимого движения, а выражение регуляризации представляет собой квадрат местного изменения поля.

Второе оцененное движение может соответствовать тройке значений для каждого участка изображения (или каждой точки изображения): значение для вектора переноса в первом направлении U, значение для вектора переноса во втором направлении V, а также связанное значение N надежности. Таким образом, второе оцененное движение соответствует набору оцененных движений для каждого участка изображения в последовательности изображений. Например, это второе оцененное движение измеряет частное движение между скомпенсированным изображением и действительным изображением, что дает преимущество, т.к. обеспечивает эффективное измерение остаточного значения движения, давая возможность (если необходимо) эффективно сводить возможные итерации в релевантную оценку общего движения.

Под выражением «остаточное значение движения» подразумевается измерение, связанное с остаточным общим переносом, т.е. которое всегда присутствует на выходе этапа (в). Это остаточное значение движения можно найти, например, посредством вычисления среднего от данного движения переноса по всем точкам изображения, для которых поддерживаются значения U и V и надежность N которых превышает порог.

Такой способ оценки предлагает не только осуществлять последовательно оценку общего движения, за которой следует оценка частного движения, во время серии этапов (а)-(д), но и предлагает, кроме того, чтобы эта серия этапов была итеративной. Таким образом, данный способ оценки является итеративным способом, который гарантирует конкретный качественный уровень обнаружения.

С помощью данных предложений, возможно, комбинировать как механизм оценки общего движения, так и механизм оценки частного движения, таким образом, он является легким и дает высокое качество. Преимущественно, такая комбинация этих двух типов оценки движения обеспечивает релевантные результаты, даже если первое оцененное движение ненадежно во время некоторых итераций в серии этапов.

Возможно, что некоторые участки заснятых изображений имеют характеристики, которые не позволяют достичь релевантной оценки движения. Преимущественно предложено применять двоичную маску к последующей итерации, чтобы учесть только эти точки изображения, что дает возможность достичь надежного способа, который быстро сходится. Маску можно использовать, например, чтобы пренебречь участками скомпенсированного изображения (и изображения, с которым это скомпенсированное изображение сравнивается), соответствующими подвижным элементам заснятой сцены.

Таким образом, может быть выгодно не учитывать такие участки изображения. Тем самым в одном варианте осуществления предлагается применять двоичную маску изображения к одному из рассматриваемых изображений, чтобы учитывать только те участки изображения, которые релевантны оценке движения. В этом случае первое оцененное движение, соответствующее общему движению, находит применение двоичной маски изображения. Затем, если на этапе (д) решено повторить этапы (а)-(д), то эти этапы осуществляются путем применения двоичной маски изображения, которую обновляют в зависимости от второго оцененного движения.

В этой связи данную двоичную маску изображения можно инициализировать как 0 для первой итерации в серии этапов способа, т.е. первоначально не маскируется никакой участок изображения. Далее в конце каждой итерации в серии этапов, возможно, затем обновлять эту двоичную маску изображения на основе полученного второго оцененного движения. Таким образом, в последующей итерации можно применять обновленную двоичную маску изображения, чтобы получить надежную оценку общего движения. Таким образом, преимущественно предлагается применять для оценки общего движения двоичную маску изображения, которая обновляется на основе оценки частного движения. За счет этой процедуры, возможно, включить в механизм оценки общего движения информацию, получающуюся из механизма оценки частного движения. Данная комбинация итеративных механизмов обеспечивает надежные результаты, оставаясь простой в применении.

Двоичную маску можно получать следующим образом: остаточное значение движения вычисляется по набору точек, где осуществляется вычисление частной оценки. Затем двоичная маска задает значение 1 для точек, в которых частное движение отклоняется от упомянутого вычисленного остаточного значения на более чем заранее заданное пороговое значение.

В варианте осуществления настоящего изобретения, если этапы (а)-(д) повторяются, они применяются к тем же самым предшествующему и последующему изображениям. Таким образом, серия этапов повторяется на одних и тех же изображениях до тех пор, пока не будет достигнут качественный порог.

В этом случае на этапе (б) скомпенсированное изображение можно преимущественно получить путем компенсации последующего изображения на предшествующем изображении на основе первого оценочного движения, а на этапе (д) к предшествующему изображению может быть применена маска, являющаяся обновленной двоичной маской изображения.

Здесь, компенсация одного из последующего и предшествующего в двух изображениях осуществляется в хронологическом порядке, поскольку последующее изображение должно быть скомпенсировано на изображении, которое ему предшествует. Таким образом, преимущественно, обновленная двоичная маска изображения в этой связи может применяться непосредственно к предшествующему изображению во время следующей итерации серии этапов.

Может быть выгодным обеспечить более быструю реализацию такого способа оценки движения. Таким образом, в одном варианте осуществления настоящего изобретения, именуемого далее как «быстрый способ», если повторяются этапы (а)-(д), то в каждом повторении их применяют, рассматривая последующее изображение предыдущей итерации в качестве предшествующего изображения и рассматривая изображение, которое следует из упомянутого последующего изображения предшествующей итерации, в качестве последующего изображения.

Посредством этой процедуры преимущественно следующие друг за другом итерации серий этапов применяются на различных парах предшествующего изображения и последующего изображения. Действительно, здесь предлагается применять последующую итерацию к прежнему последующему изображению, которое затем рассматривается как предшествующее изображение, и к изображению, которое следует за ним в последовательности заснятых изображений, которое затем рассматривается как последующее изображение.

Данный вариант осуществления преимущественно пригоден к приложениям в реальном времени, которые требуют быстрой обработки.

В этой связи преимущественно можно предложить, чтобы на этапе (б) скомпенсированное изображение получалось компенсацией предшествующего изображения на последующем изображении на основе инверсии первого оценочного движения. Здесь возможно затем получить обновленную двоичную маску изображения, которая представляет собой маску для непосредственного применения к последующему изображению следующей итерации.

Посредством этой процедуры изображение компенсируется не в порядке хронологии. В данном случае, преимущественно, обновленная двоичная маска изображения может быть маской, подлежащей применению к последующему изображению в выполняемой в настоящее время итерации, которое становится предшествующим изображением в следующей итерации. В результате этого механизма, выполняемого не в порядке хронологии, применение способа значительно упрощается в быстром режиме.

Второй объект настоящего изобретения предлагает устройство обработки изображений, включающее в себя средство для реализации способа оценки движения в соответствии с первым объектом настоящего изобретения.

Третий объект настоящего изобретения предлагает компьютерную программу, включающую в себя команды для реализации способа в соответствии с первым объектом настоящего изобретения, при выполнении указанной программы процессором.

Четвертый объект настоящего изобретения предлагает носитель записи, на котором хранится компьютерная программа в соответствии с третьим объектом настоящего изобретения.

Другие признаки и преимущества изобретения станут понятны при прочтении нижеследующего описания. Оно является чисто иллюстративным и должно прочитываться со ссылкой на приложенные чертежи, на которых:

фиг.1 показывает основные этапы способа оценки движения в соответствии с вариантом осуществления настоящего изобретения;

фиг.2 показывает реализацию способа оценки в соответствии с вариантом осуществления настоящего изобретения;

фиг.3 показывает еще одну реализацию способа оценки в соответствии с вариантом осуществления настоящего изобретения;

фиг.4 показывает устройство обработки, включающее в себя средство, способное реализовать способ в соответствии с вариантом осуществления настоящего изобретения;

фиг.1 показывает основные этапы способа оценки движения в соответствии с вариантом осуществления настоящего изобретения.

Здесь рассматривается серия изображений I_i, где целое число i находится в диапазоне от 1 до N. Эта серия изображений содержит по меньшей мере одно предшествующее изображение I_n-₁ и одно последующее изображение I_n.

На этапе 101 получают первое оцененное движение Н путем осуществления оценки общего движения от предшествующего изображения I_n-1 до последующего изображения I_n. Первое оцененное движение может быть представлено в виде дробно-линейной компенсационной матрицы Н.

Затем на этапе 102 на основе первого оцененного движения получают скомпенсированное изображение I'_n-1 или I'_n соответственно от предшествующего изображения I_n-1 или из последующего изображения I_n. Далее на этапе 103 получают второе оцененное движение путем осуществления оценки частного движения между скомпенсированным изображением и другим от предшествующего и последующего изображений. Таким образом, предусматривается компенсировать предшествующее изображение, и оценить частное движение между скомпенсированным изображением и последующим изображением.

Можно также предусмотреть компенсацию последующего изображения и оценку частного движения между скомпенсированным изображением и предшествующим изображением. На выходе этого этапа доступны соответствующие значения для различных участков изображения для первого вектора U переноса, для второго вектора V переноса и для связанного коэффициента N надежности.

Далее, на этапе 104 находят остаточное значение r общего движения на основе среднего, вычисленного на наборе точек вычисления частных полей U и V, для которых надежность N больше, чем пороговое значение.

Наконец, на этапе 105, если остаточное значение r меньше порогового значения S, второе оцененное движение получают в ходе текущей итерации на этапе 106, в противном случае этапы 101-105 повторяют.

Во всех последующих разделах предусматривается реализовать способ с применением двоичной маски изображения. Однако из них легко выделить применение, в котором двоичная маска изображения не используется.

Фиг.2 показывает реализацию способа оценки по варианту осуществления настоящего изобретения.

В общем, здесь предлагается реализовать перемежающимся итеративным образом оценку общего движения, за которой следует оценка частного движения, причем каждую итерацию применяют на одних и тех же двух изображениях до тех пор, пока не достигнут заданного уровня качества.

Следует отметить, что преимущественно, в данном варианте осуществления, настоящее изобретение реализует двоичную маску М изображения, разумно избегая учета информации, связанной с некоторыми участками изображения. Первоначально двоичная маска изображения дает нулевое значение по отношению к каждому участку изображения. Тем самым применяемая двоичная маска изображения дает возможность первоначально учитывать изображение полностью. Двоичная маска изображения здесь обновляется на каждой новой итерации. Поэтому она имеет ссылочную позицию M(i).

Матрица, обеспечивающая моделирование общего движения изображения, обозначается Н. Эта матрица Н может, в частности, показывать первый и второй перенос, представляющий общее движение в первом и втором соответственных направлениях. Данная матрица H_{n-1, n} позволяет компенсировать изображение I_n дробно-линейно на изображении I_n-1.

Следующие этапы применяют итеративно к двум одним и тем же изображениям, заснятым последовательно, причем первое заснятое изображение имеет ссылочную позицию I_n-1, а следующее заснятое изображение имеет ссылочную позицию I_n.

На этапе 201 итерационный индекс i инициализируется на значение 0. Кроме того, предполагается, что М(0) является нулевой двоичной маской изображения, т.е. никакие точки изображения не маскируются во время первой итерации этапов этой процедуры.

Затем, на этапе 202 два изображения I_n-1 и I_n, которые следуют одно за другим в последовательности заснятых изображений, выбирают таким образом: на этапе 203 итерации i к изображению I_n-1 применяют маску M(i). Далее, на этапе 204 осуществляют оценку общего движения от I_n-1 к I_n. Эта оценка общего движения представлена дробно-линейной компенсационной матрицей H(i).

Затем, на этапе 205 изображение I_n компенсируют на I_n-1 на основе компенсационной матрицы H(i). На выходе данного этапа 205 получают скомпенсированное изображение $$I_n^{\text{'}}$$ .

Далее, на основе этой компенсации, т.е. используя изображения I_n-1 и $$I_n^{\text{'}}$$ на этапе 206, осуществляют оценку частного движения, т.е., например, находят значение для вектора U переноса и вектора V переноса, а также значение N надежности для этих значений векторов в каждой точке изображения I_n-1.

На этапе 207 на основе этих значений U, V и N осуществляют вычисление остаточного значения r общего движения, и сравнивают это значение с пороговым значением S. В случае, когда остаточное движение r меньше, чем пороговое значение S, этапы не повторяют, и получают последнее второе оцененное движение на этапе 208. Затем можно рассмотреть два следующих изображения из последовательности заснятых изображений и применить эту же самую процедуру.

В случае, когда остаточное движение больше, чем пороговое значение S, на этапе 209 обновляют двоичную маску M(i) изображения на основе второго оценочного значения.

Затем, на этапе 210 итерационный индекс i получает приращение, равное 1, и ранее описанные этапы осуществляются вновь на тех же самых изображениях I_n-1 и I_n.

Фиг.3 показывает еще одну реализацию настоящего изобретения по варианту его осуществления. В общем, здесь предлагается также осуществлять перемежающимся итеративным образом оценку общего движения, за которой следует оценка частного движения. Однако в настоящем контексте каждая итерация применяется к двум различным следующим одно за другим изображениям. Точнее, в предшествующей итерации предусматривается применять обработку к первому и второму следующим одно за другим изображениям, затем в следующей итерации ту же самую обработку применяют к данному второму изображению и к изображению, которое следует за вторым изображением в последовательности заснятых изображений.

Данный способ по варианту осуществления настоящего изобретения применяют к последовательности заснятых изображений I_i, где целое число i в диапазоне от 1 до N. Первая итерация серии этапов способа обработки применяется здесь к изображением I₁ и I₂. Вторая итерация серии этапов применяется к изображениям I₂ и I₃. Первая примененная двоичная маска изображения является нулевой маской.

Затем, нижеследующие разделы описывают в общих выражениях итерацию, примененную к следующим одно за другим изображениям в заснятой последовательности I_n-1 и I_n.

Таким образом, на этапе 301 рассматривают два изображения I_n-1 и I_n. Далее, на этапе 302 двоичную маску М(n-1) изображения применяют к изображению I_n-1. Применение этой маски дает возможность учитывать в изображении I_n-1 только те точки, которые полезны в отношении к процедуре оценки движения. Затем, на этапе 303 на двух изображениях I_n-1 и I_n осуществляют оценку общего движения, на основе которой находят дробно-линейную матрицу Н общего движения для движения из изображения I_n-1 к I_n.

Здесь предлагается разумно обрабатывать изображения не в порядке хронологии. Можно доказать, что данный механизм является очень уместным, в частности, в некоторых приложениях видеообработки. Здесь предлагается находить изображение, скомпенсированное из изображения I_n-1, чтобы была возможность осуществлять оценку частного движения из изображения I_n в скомпенсированное изображение I^' _n-1. За счет такой обработки преимущественно может быть найдена двоичная маска М(n) изображения для непосредственного применения к изображению I_n во время следующей итерации. Изображение I_n можно рассматривать как предшествующее изображение в следующей итерации. В результате следующую итерацию можно применять к изображению I_n и последующему изображению I_n+1 с двоичной маской М(n) изображения, пригодной для непосредственного применения к изображению I_n.

Для этой цели можно найти дробно-линейную матрицу общего движения для применения к изображению I_n-1 для его компенсации на изображении I_n. Эта матрица соответствует 1/Н, т.е. инверсии дробно-линейной матрицы Н.

На этапе 304 получают затем изображение I'_n-1 применением дробно-линейной матрицы 1/Н.

Далее, на этапе 305 осуществляют оценку частного движения из изображения I_n в скомпенсированное изображение I'_n-1. В каждой точке изображения I_n значение вектора U движения, значение вектора V движения и связанное с ними значение N надежности относительно изображения I_n выделяют из него. На основе этих значений выделяют остаточное значение u общего движения. Таким образом, на этапе 306 данное остаточное значение r движения сравнивают с пороговым значением S качества. Если остаточное значение r_n меньше, чем значение S, то серию этапов не повторяют, а процедура оценки выдает на выход следующие переменные:

- U_n,

- V_n,

- Н.

В противном случае, на этапе 308 находят двоичную маску М_(n-1), чтобы обеспечить ее применение к предшествующему изображению следующей итерации, причем это изображение соответствует изображению I_n предшествующей итерации. Затем, на этапе 309 индекс n получает приращение, равное 1.

Преимущественно здесь двоичная маска М изображения, полученная перед следующей итерацией серии этапов, непосредственно применима к изображению I_n-1 потому что ее находят на основе информации, относящейся к направлению против хронологии в последовательности заснятых изображений. Действительно, значения U, V и N, полученные на этапе оценки частного движения, находят при сравнении от изображения U_n к изображению I_n-1, т.е. рассмотрением двух изображений не в порядке хронологии по отношению к их порядку в последовательности заснятых изображений.

Фиг.4 показывает устройство обработки изображений, способное реализовать процедуру по варианту осуществления настоящего изобретения. Такое устройство может преимущественно соответствовать встроенной электронной плате.

Такое устройство включает в себя:

- первый блок 41 оценки, выполненный с возможностью получения первого оцененного движения за счет осуществления оценки общего движения от предшествующего изображения I_n-1 к последующему изображению I_n;

- блок 42 компенсации, выполненный с возможностью получения скомпенсированного изображения I'_n-1 или I'_n на основе первого оцененного движения из любого из предшествующего и последующего изображений I_n-1, I_n;

- второй блок 43 оценки, выполненный с возможностью получения второго оцененного движения U, V, N за счет осуществления оценки частного движения между скомпенсированным изображением и другим из предшествующего и последующего изображений;

- блок 44 определения, выполненный с возможностью нахождения остаточного значения г общего движения; и

- блок 45 управления, выполненный с возможностью, с одной стороны, запуска последовательности этапов за счет последовательного управления первым блоком оценки, блоком компенсации, вторым блоком оценки и блоком определения и, с другой стороны, решать, меньше ли остаточное значение, порогового значения S, для выдачи полученного последним второго оцененного движение U, V, N, а в противном случае перезапуска упомянутой последовательности этапов.

Первый блок 41 оценки может также учитывать двоичную маску М изображения, а блок 44 определения способен обновлять двоичную маску изображения в зависимости от второго оцененного движения.

Если последовательность этапов запускают вновь, эти этапы могут применяться к тем же самым предшествующему и последующему изображениям.

В варианте осуществления скомпенсированное изображение может выдаваться блоком 42 компенсации за счет компенсации последующего изображения I_n на предшествующем изображении I_n-1 на основе первого оцененного движения, а блок 44 определения может предоставлять обновленную двоичную маску изображения как маску, подлежащую применению к предшествующему изображению.

В варианте, когда этапы (а)-(д) повторяются, и на каждом их повторении применяют, рассматривая последующее изображение предыдущей итерации в качестве предшествующего изображения и рассматривая изображение, которое следует за упомянутым последующим изображением предшествующей итерации, в качестве последующего изображения.

В этом случае скомпенсированное изображение I'_n-1 можно получить посредством блока 42 компенсации за счет компенсации предшествующего изображения I_n-1 на последующем изображении I_n на основе инверсии первого оценочного движения, а блок 44 определения может предоставлять обновленную двоичную маску изображения в качестве маски, подлежащей применению к последующему изображению следующей итерации.

Изобретение относится к средствам оценки движения в последовательности изображений. Техническим результатом является повышение точности оценки движения в последовательности изображений. В способе получают (101) первое оцененное движение посредством оценки общего движения от предшествующего изображения к последующему изображению, получают (102) скомпенсированное изображение на основе первого оцененного движения из изображения предшествующего и последующего изображения, получают (103) второе оцененное движение оценкой частного движения между скомпенсированным изображением и изображением из предшествующего и последующего изображений, находят (104) остаточное значение общего движения, представляют второе оцененное движение, если (105) остаточное значение движения меньше порогового значения. В способе получают первое оцененное движение посредством применения двоичной маски изображения. 3 н. и 8 з.п. ф-лы, 4 ил.

1. Способ оценки движения в последовательности изображений, снятых датчиком изображений, причем упомянутая последовательность изображений включает в себя по меньшей мере одно предшествующее изображение (I_n-1) и одно последующее изображение (I_n);
содержащий этапы, на которых:
(а) получают (101) первое оцененное движение (Н) посредством оценки общего движения от предшествующего изображения (I_n-1) к последующему изображению (I_n);
(б) получают (102) скомпенсированное изображение (I′_n-1 или I′_n) на основе первого оцененного движения из одного изображения из изображения предшествующего и последующего изображения (I_n-1, I_n);
(в) получают (103) второе оцененное движение (U, V, N) посредством оценки частного движения между скомпенсированным изображением и другим изображением из предшествующего изображения и последующего изображения;
(г) находят (104) остаточное значение (r) общего движения; и
(д) представляют второе оцененное движение (U, V, N), если (105) остаточное значение движения меньше порогового значения (S), в противном случае повторяют этапы (а)-(д);
при этом получают первое оцененное движение посредством применения двоичной маски (М) изображения; причем
выполняют этапы (а)-(д), при их повторении на этапе (д), с применением двоичной маски изображения, обновленной на основании второго оцененного движения.

2. Способ оценки движения по п. 1, в котором применяют этапы (а)-(д), при их повторном выполнении, к тем же предшествующему и последующему изображениям.

3. Способ оценки движения по п. 2, в котором получают, на этапе (б) скомпенсированное изображение (I′_n) посредством компенсации последующего изображения (I_n) относительно предшествующего изображения (I_n-1) на основе первого оцененного движения, а на этапе (д) обновленная двоичная маска изображения является маской для применения к предшествующему изображению.

4. Способ оценки движения по п. 1, в котором применяют этапы (а)-(д), при каждом их повторном выполнении, так что последующее изображение предыдущей итерации рассматривают в качестве предшествующего изображения, а изображение, следующее за упомянутым последующим изображением предшествующей итерации, рассматривают в качестве последующего изображения.

5. Способ оценки движения по п. 4, в котором получают на этапе (б) скомпенсированное изображение (I′_n-1) посредством компенсации предшествующего изображения (I_n-1) относительно последующего изображения (I_n) на основе инверсии первого оцененного движения, при этом обновленная двоичная маска изображения представляет собой маску для применения к последующему изображению следующей итерации.

6. Устройство (40) обработки последовательности изображений, снятых датчиком изображений, причем упомянутая последовательность изображений включает в себя по меньшей мере одно предшествующее изображение (I_n-1) и одно последующее изображение (I_n); содержащее:
первый блок (41) оценки, выполненный с возможностью получения первого оцененного движения (Н), посредством оценки общего движения от предшествующего изображения (I_n-1) к последующему изображению (I_n);
блок (42) компенсации, выполненный с возможностью получения скомпенсированного изображения (I′_n-1 или I′_n) на основе первого оцененного движения из одного изображения из предшествующего изображения и последующего изображения (I_n-1, I_n);
второй блок (43) оценки, выполненный с возможностью получения второго оцененного движения (U, V, N), посредством оценки частного движения между скомпенсированным изображением и другим изображением из предшествующего изображения и последующего изображения;
блок (44) определения, выполненный с возможностью нахождения остаточного значения (г) общего движения; и
блок (45) управления, выполненный с возможностью запуска последовательности этапов, посредством последовательного управления первым блоком оценки, блоком компенсации, вторым блоком оценки и блоком обнаружения, и принятия решения в случае, если остаточное значение меньше порогового значения (S), о предоставлении полученного последним второго оцененного движения (U, V, N), а в противном случае о перезапуске упомянутой последовательности этапов;
при этом первый блок (41) оценки выполнен с возможностью применения двоичной маски (М) изображения, а блок (44) определения выполнен с возможностью обновления двоичной маски изображения на основании второго оцененного движения.

7. Устройство (40) обработки по п. 6, характеризующееся тем, что выполнено с возможностью применения последовательности этапов при их перезапуске к тем же предшествующему и последующему изображениям.

8. Устройство (40) обработки по п. 7, в котором блок (42) компенсации выполнен с возможностью предоставления компенсированного изображения (I′_n) посредством компенсации последующего изображения (I_n) относительно предшествующего изображения (I_n-1) на основе первого оцененного движения,
а блок (44) определения выполнен с возможностью предоставления обновленной двоичной маски, в качестве маски для применения к предшествующему изображению.

9. Устройство (40) обработки по п. 6, характеризующееся тем, что выполнено с возможностью применения этапов (а)-(д), при каждом их повторном выполнении так, что последующее изображение предыдущей итерации рассматривается в качестве предшествующего изображения, а изображение, следующее за упомянутым последующим изображением предшествующей итерации, рассматривается в качестве последующего изображения.

10. Устройство (40) обработки по п. 9, в котором блок (42) компенсации выполнен с возможностью предоставления компенсированного изображения (I′_n-1), посредством компенсации предшествующего изображения (I_n-1) относительно последующего изображения (I_n) на основе инверсии первого оцененного движения,
а блок (44) определения выполнен с возможностью предоставления обновленной двоичной маски изображения в качестве маски для применения к последующему изображению следующей итерации.

11. Носитель записи, хранящий компьютерную программу, включающую в себя команды для выполнения способа по п. 1, при выполнении указанной программы процессором.