СПОСОБ И УСТРОЙСТВО ДЛЯ ОБНАРУЖЕНИЯ ДВИЖУЩИХСЯ ОБЪЕКТОВ В ПОСЛЕДОВАТЕЛЬНОСТИ ВИДЕОИЗОБРАЖЕНИЙ Российский патент 2017 года по МПК G06T7/20 G06K9/64 

Настоящее изобретение относится к обнаружению движущихся объектов в последовательности видеоизображений, прежде всего способу, включающего в себя шаги:

а) установление характерных отличительных точек в изображении пары следующих друг за другом изображений последовательности видеоизображений,

б) определение математического преобразования для отображения одного из обоих изображений пары изображений на другое из обоих изображений пары изображений с использованием установленных на шаге а) характерных отличительных точек,

в) установление разностного изображения как разности между преобразованными друг относительно друга посредством определенного на шаге б) преобразования изображениями пары изображений,

г) установление характерных точек изменения изображения в установленном на шаге в) разностном изображении,

д) установление точек объекта из установленных на шаге г) характерных точек изменения изображения.

Подобные способы известны, например, из уровня техники для обнаружения подвижных объектов в последовательности изображений установленной на борту самолета поворотно-наклонной камеры. При этом обнаружение происходит с помощью так называемого обнаружения изменения (ʺchange detectionʺ), в случае которого следующие по времени друг за другом видеоизображения последовательности видеоизображений камеры сравниваются друг с другом и обнаруживаются возникающие изменения изображений. Затем из обнаруженных изменений изображений в реальном времени обнаруживаются движущиеся на снятом месте действия объект или объекты.

В отношении надежности или качества известных способов обнаружения проявились, прежде всего, следующие проблемы.

Если в течение соответствующей последовательности видеоизображений снятый «фрагмент изображения» как таковой изменяется, так как это, например, имеет место в случае перемещающейся и/или поворачивающейся и/или наклоняющейся камеры вследствие связанных в этим изменений угла зрения и/или расстояния наблюдения (например, при использовании воспринимающего изображение устройства на борту транспортного средства, прежде всего летательного аппарата), то образующиеся только из этого изменения изображения сначала компенсируются, что обозначается как «регистрация изображения». Однако при этой регистрации изображения в известных способах возникают значительные погрешности. Эта проблема относится, прежде всего, к вышеописанным шагам а) - в).

Кроме того, изменения во времени условий фотосъемки (например, освещения), а также не полностью предотвращаемые на практике погрешности фотосъемки (например, шумы снимков, выравнивание контраста) ухудшают надежность или качество способов обнаружения объектов. Этим могут быть обусловлены «ложные сигналы тревоги», то есть ложное обнаружение объектов.

Поэтому задача настоящего изобретения состоит в том, чтобы разработать процесс обнаружения объектов описанного в начале вида по возможности устойчивым к возмущающим воздействиям и при этом, прежде всего, обеспечить низкую интенсивность ложных сигналов тревоги.

Согласно первому аспекту настоящего изобретения, эта задача решена посредством способа обнаружения объектов по п. 1 формулы изобретения. Зависимые пункты формулы изобретения направлены на предпочтительные усовершенствования. Согласно этому аспекту изобретения шаг г), то есть обнаружение «характерных точек изменения изображения» в полученном перед этим разностном изображении, включает в себя следующие шаги:

г1) задание порогового значения изменения изображения и установление точек изменения изображения как тех мест установленного на шаге в) разностного изображения, абсолютная величина яркости изображения которых превышает пороговое значение изменения изображения,

г2) анализ качества установленных на шаге г1) точек изменения изображения на основании по меньшей мере одного заданного критерия качества,

г3) при выполнении критерия качества, задание установленных на шаге г1) точек изменения изображения в качестве установленных на шаге г) характерных точек изменения изображения, в противном случае повторение шагов г1) и г2) с измененным пороговым значением изменения изображения.

Основная идея этого выполнения способа заключается в том, чтобы при обнаружении характерных точек изменения изображения в полученном перед этим разностном изображении предусмотреть «адаптивное» пороговое значение изменения изображения, которое сначала задается каким-либо образом, чтобы на этой «испытательной основе» обнаружить точки изменения изображения, однако затем эта начальная установка по мере необходимости пересматривается и повторяется установление точек изменения изображения на основании изменено заданного порогового значения изменения изображения (если заданный критерий не выполняется). Предпочтительным образом, одно или, при необходимости, несколько подобных повторений шагов г1) и г2) с целью выполнения (или по меньшей мере «лучшего выполнения») критерия качества делают возможным улучшение надежности и уменьшение интенсивности ложных сигналов тревоги при обнаружении объекта.

Согласно одному варианту осуществления, для которого заявитель оставляет за собой право заявления независимой охраны (в смысле независимого второго аспекта изобретения), предусмотрено, что шаг а) включает в себя:

a1) обнаружение отличительных точек в одном из обоих изображений пары изображений, соответственно вблизи узлов заранее заданной, наложенной на это изображение сетки,

а2) установление характерных отличительных точек как выборки из обнаруженных на шаге a1) отличительных точек с использованием по меньшей мере одного заданного критерия выбора.

Согласно одному варианту осуществления, для которого заявитель оставляет за собой право заявления независимой охраны (в смысле независимого третьего аспекта изобретения), предусмотрено, что шаг б) включает в себя:

б1) установление векторов смещения для каждой установленной на шаге а) характерной отличительной точки за счет установления соответствующих характерных отличительных точек в другом из обоих изображений пары изображений,

б2) установление подлежащих в дальнейшем использованию векторов смещения как выборки из установленных на шаге б1) векторов смещения на основании по меньшей мере одного заданного критерия отбора,

б3) вычисление математического преобразования на основании выбранных на шаге б2) векторов смещения.

В одном варианте осуществления предусмотрено, что шаг в) включает в себя следующие шаги:

в1) использование математического преобразования для преобразования друг относительно друга обоих изображений пары изображений,

в2) установление разностного изображения за счет попиксельного вычитания значений яркости обоих изображений.

В одном варианте осуществления предусмотрено, что заданное на шаге г1) пороговое значение изменения изображения вычисляется в зависимости от (фактически) встречающихся в разностном изображении значений яркости изображения.

В одном варианте осуществления предусмотрено, что на шаге г2) в качестве критерия качества используется то, что число точек изменения изображения в форме изолированных пикселей и/или изолированных относительно небольших связанных пиксельных областей в разностном изображении не превышает заданное максимальное число.

В одном варианте осуществления предусмотрено, что один или несколько используемых в рамках способа обнаружения объекта критериев, прежде всего, например, используемый на шаге г2) критерий качества, является изменяемым посредством ввода данных пользователем.

В одном варианте осуществления предусмотрено, что на шаге д) точки объекта устанавливаются соответственно как области изображения из расположенных вблизи друг друга установленных на шаге г) точек изменения изображения.

Согласно еще одному аспекту изобретения предложено устройство для обнаружения движущихся объектов в последовательности видеоизображений, включающее в себя визуализирующий датчик для создания последовательности видеоизображений и вычислительное устройство с программным управлением, выполненное с возможностью осуществления описанного выше способа.

Предпочтительное использование подобного устройства или выполняемого с его помощью способа обнаружения объектов пригодно для пилотируемых и беспилотных летательных аппаратов, и при этом, прежде всего, в рамках так называемого обнаружения цели или преследования цели.

Изобретение будет далее описано посредством примера осуществления со ссылкой на прилагаемые рисунки. Показано на:

Фиг. 1 общая блок-схема способа обнаружения согласно одному примеру осуществления,

Фиг. 2 приведенное для примера «первое изображение» пары следующих друг за другом изображений снятой с помощью камеры последовательности видеоизображений, причем нанесены позиции обнаруженных «отличительных точек»,

Фиг. 3 «первое изображение» и «второе изображение» пары изображений в комбинированном представлении, причем нанесены определенные из попарно поставленных друг другу в соответствие характерных отличительных точек «векторы смещения»,

Фиг. 4 полученное попиксельным вычитанием значений плотности серого цвета (преобразованных ранее относительно друг другу изображений) «разностное изображение».

Фиг. 5 бинарная «картина изменения изображения» для наглядного представления обнаружения точек изменения изображения в разностном изображении, причем заданный для обнаружения изменения изображения критерий качества не выполняется,

Фиг. 6 «картина изменения изображения», аналогичная фиг. 5, причем, однако (после подходящего приспособления использованного при обнаружении изменений изображения порогового значения изменения изображения) заданный критерий качества выполняется, и

Фиг. 7 «второе изображение» пары изображений с выделенной в нем в качестве «подвижного объекта» областью изображения, позиция и величина которой определяются из характерных точек изменения изображения оптимизированной согласно фиг. 6 «картины изменения изображения».

На фиг. 1 показана блок-схема способа обнаружения подвижных объектов согласно одному примеру осуществления изобретения.

Выполненные в этом способе шаги обозначены через a1), а2), б1), б2), б3), в1), в2), г1), г2), г3) и д), и будут ниже подробно описаны.

Шаги a1) и а2) вместе образуют «шаг а)» для обнаружения характерных отличительных точек в изображении пары следующих друг за другом изображений последовательности видеоизображений.

Шаг a1): обнаружение отличительных точек в одном из обоих изображений пары изображений, соответственно вблизи узлов заданной ранее, наложенной на изображение сетки.

Понятие «отличительные точки» обозначает локально ограниченные области изображения, которые содержат какие-либо структуры изображения, то есть различия яркости изображения.

Фиг. 2 наглядно показывает обнаружение отличительных точек в снятом посредством базирующейся на самолете камеры видеоизображении. В рамках изобретения в принципе могут быть обработаны изображения от любых визуализирующих датчиков, в том числе не ограниченных электрооптическими датчиками света в видимой или инфракрасной спектральной области.

Для возможности обнаружения изменения во времени изображений последовательности видеоизображений требуются по меньшей мере два следующих друг за другом по времени (предпочтительно непосредственно) изображения. В дальнейшем эти изображения обозначаются как «первое изображение» (или «предшествующее» изображение) и как «второе изображение» (или «текущее» изображение) пары изображений.

Предпочтительно, представленный наглядно блок-диаграммой из фиг.1 процесс выполняется по одному разу для нескольких пар изображений последовательности видеоизображений.

Показанное на фиг.2 изображение является в этом смысле «первым изображением» пары изображений непосредственно следующих друг за другом изображений соответствующей последовательности видеоизображений.

В описанном здесь примере осуществления изображения последовательности видеоизображений имеют соответственно разрешение примерно 700×500 пикселей, причем соответствующий датчик изображения для каждого пикселя присваивает яркости изображения одно из в целом 256 разных значений яркости изображения (полутоновые изображения с глубиной цвета в 8 бит). В описанном при мере осуществления, например, имеются значения яркости от «0» до «255».

На фиг.2 позиции обнаруженных на шаге a1) отличительных точек промаркированы черными и белыми кругами. Определение отличительных точек может происходить напрямую на цветном или полутоновом изображении или на производных от них изображениях, таки как, например, градиентных изображениях, контурных изображениях и т.п. При этом определении должна покрываться по возможности большая часть изображения. Поэтому в представленном примере по всему изображению обрабатывается разновидность «координатной сетки». В примере на фиг.2 речь идет о квадратной сетке 11×8. В общем, предпочтительной является сетка по меньшей мере с 30, прежде всего по меньшей мере с 60 узлами сетки.

Исходя из этих «идеальных» узлов сетки посредством программного алгоритма в ближних окрестностях этих узлов сетки осуществляется поиск отличительных точек, в которых имеется относительно большой контраст. В качестве «контраста» может, например, привлекаться разность между наибольшим и наименьшим уровнем серого в области отличительных точек. В представленном примере отличительные точки определяются в форме области изображения размером 31×31 пикселей. Как результат шага a1), наряду с отличительными точками, сохраняются также соответствующие позиции этих отличительных точек (в координатах изображения).

Шаг а2): установление характерных отличительных точек как выборки из обнаруженных на шаге a1) отличительных точек с использованием по меньшей мере одного заданного критерия отбора.

На этом шаге производится отбор из находившихся ранее вблизи узлов сетки отличительных точек. В представленном примере на основании подходящего критерия определения некоторого качества отличительных точек выбирается та доля отличительных точек, которая удовлетворяет этому критерию.

Возможным критерием качества является, например, вычисленная для обнаруженных на шаге a1) отличительных точек количественная мера имеющегося в этой отличительной точке контраста. Результат применения этого критерия также понятен из фиг.2. Нанесенные на ней черные круги маркируют позиции выбранных на шаге а2) «характерных отличительных точек», в то время как белые круги маркируют не выбранные и, тем самым, больше не используемые для дальнейшей обработки (менее характерные отличительные точки).

В простейшем случае на шаге а2) отбирается жестко заданная доля обнаруженных на шаге a1) отличительных точек, которая может лежать в области от 10% до 50%. В представленном примере из 88 в общей сложности обнаруженных на шаге a1) отличительных точек на шаге а2) отбираются 27 характерных отличительных точек, что соответствует доле в 30%.

В отличие от представленного примера, на шаге а2) в качестве еще одного (предпочтительно подчиненного) критерия качества может быть также предусмотрено, что после отбора все еще по возможности большая часть изображения покрыта отобранными отличительными точками и/или отобранные отличительные точки более или менее равномерно покрывают все изображение, чтобы избежать сильного «перевешивания» частичной области изображения.

Более равномерное распределение получают, когда, например, требуют, чтобы в каждом из нескольких определенных деталей изображения (например, квадрантах изображения) соответственно отбиралась определенная доля (например, в диапазоне от 10% до 50%, например, около 30%) характерных отличительных точек.

Если бы в примере на фиг.2 был использован последний дополнительный критерий качества, то, например, в правой нижней области изображения (например, правый нижний квадрант) было бы отобрано больше отличительных точек, чем показано на фиг.2 (черным цветом).

Использование шага а2) значительно улучшает качество обнаружения объектов. Еще одно преимущество состоит в том, что необходимые для способа вычислительные затраты в следующих шагах обработки снижаются.

Шаги б1), б2) и б3) вместе образуют «шаг б)», который служит для того, чтобы установить (приблизительно рассчитать) математическое преобразование, которое позволяет отобразить оба изображения пары изображений друг относительно друга, то есть установить соответствующие преобразования координат изображений или их параметры.

Шаг б1): установление векторов смещения для каждой установленной на шаге а) характерной отличительные точки за счет установления соответствующих характерных отличительных точек в другом из обоих изображений пары изображений.

На этом шаге для каждой «характерной отличительные точки» с помощью соответствующего способа или посредством программного алгоритма определяется соответствующая позиция во «втором изображении» данной пары изображений (в координатах изображения). Для этого второе изображение может, например, обследоваться в определенном радиусе вокруг обнаруженных в первом изображении характерных отличительных точек в отношении подходящих (то есть очень похожих) отличительных точек. Каждая определенная таким образом позиция во втором изображении и соответствующая позиция в первом изображении определяют для каждой характерной отличительные точки «вектор смещения». Соответствующая отличительная позиция на втором изображении может быть, например, определена как позиция тех находящихся в обследуемом радиусе областей изображения 31×31, для которых получается максимальная корреляция (с обнаруженной в первом изображении характерной отличительной точкой).

Радиус поиска может быть, например, жестко задан. Если способ обнаружения объектов проводится в рамках так называемого преследования цели, то при наличии информации из уже проведенного раньше для другой пары изображений обнаружения объектов можно при необходимости прибегать к этой информации. Этим может быть, например, предпочтительно ограничен радиус поиска, чтобы ускорить этот шаг. Прежде всего, подобное ограничение поиска может происходить на основании векторов смещения, которые получались ранее при обнаружении на другой паре изображений.

Следовательно, каждый «вектор смещения» характеризует линейное перемещение, которое претерпевает отличительная точка из первого изображения в следующем за ним по времени втором изображении.

Эти определенные на шаге б1) векторы смещения нанесены в комбинированном представлении первого изображения и второго изображения согласно фиг.3 в виде черных стрелок. Они проходят соответственно между парой сопряженных друг с другом позиций (белые круги и черные круги на фиг.3) характерных отличительных точек.

Шаг б2): установление подлежащих использования в дальнейшем векторов смещения как выборки из установленных на шаге б1) векторов смещения на основании по меньшей мере одного заданного критерия отбора.

На этом шаге из установленных на шаге б1) векторов смещения с использованием подходящих критериев качества посредством программного алгоритма выбираются векторы смещения, которые будут использованы для последующей обработки.

Предпочтительно, используемый критерий качества при этом выбирается так, чтобы этим исключались «выпадающие значения», то есть векторы смещения, вклад которых и/или направление не согласуются с остальным векторным полем. В примере из фиг.3 путем применения этого критерия качества удаляется (то есть не выбирается), прежде всего, вектор смещения, направление которого и, прежде всего, вклад которого не согласуется с остальным векторным полем.

В представленном примере эти оставшиеся векторы смещения, как понятно из фиг.3, почти идентичны. Этот специальный случай векторного поля получается, например, тогда, когда перевозящий видеокамеру летательный аппарат пролетает над снимаемым местом действия на большой высоте, причем в ходе последовательности видеоизображений расстояние наблюдения изменяется лишь незначительно.

Совсем другой вид векторного поля получился бы, например, в случае совпадения направления полета и оси камеры (направление наблюдения). В этом случае могут, например, получаться векторы смещения, которые соответственно направлены в радиальном направлении относительно центра изображения от центра изображения и направлены к центру изображения.

Какой специальный случай имеет место, может быть предусмотрено для выполнения шага б1), например, посредством подходящего использования или оценки навигационных данных полета (или, в случае необходимости, данных, касающихся фактического поворота и/или наклона камеры). Альтернативно или дополнительно, рассматривается возможность для определения подлежащих использованию в дальнейшем векторов смещения на шаге б2) сначала использовать все векторное поле (совокупность полученных на шаге б2) векторов смещения), чтобы задать подлежащий использованию на шаге б2) критерий отбора в зависимости от результатов этой предыдущей оценки. Если подобная оценка даст, например, упомянутое выше векторное поле с «радиальными векторами смещения», то для вышеупомянутого исключения «выпадающих значений» предусматривается, что каждый определенный на шаге б1) вектор смещения сравнивается с ожидаемым вектором смещения и, при необходимости, (при слишком большом отклонении) исключается как «выпадающее значение».

Шаг б3): вычисление математического преобразования на основании выбранных на шаге б2) векторов смещения.

С помощью отобранных ранее векторов смещения вычисляется математическое преобразование координат изображения первого изображения на координаты изображения второго изображения.

При этом может быть, например, оценена полная томография или могут быть, например, определены лишь отдельные параметры преобразования (только перемещение в горизонтальном и/или вертикальном направлении изображения). При этом можно, например, прибегнуть к программным алгоритмам, которые сами по себе известны из уровня техники.

Шаги в1) и в2) служат для того, чтобы установить «разностное изображение» как разность между изображениями пары изображений, преобразованными друг относительно друга посредством установленного на шаге б) преобразования.

Шаг в1): использование математического преобразования для взаимного преобразования обоих изображений пары изображений.

На этом шаге первое изображение с помощью вычисленного ранее математического преобразования преобразуются в координаты изображения второго изображения. При этом получается область координат, в которой оба изображения перекрываются. На фиг.3 обрамления обоих изображений нанесены в виде черных линий.

Шаг в2): установление разностного изображения за счет попиксельного вычитания значений яркости изображения обоих изображений.

На этом шаге преобразованное первое изображение в области перекрывания вычитается из второго изображения. Из этого в представленном примере осуществления получается разностное изображение, которое соответственно степени смещения обоих отдельных изображений друг относительно друга имеет немного меньшей пикселей, чем каждое из обоих отдельных изображений. Однако глубина цвета разностного изображения по сравнению с глубиной цвета обоих отдельных изображений увеличивается. Для примера глубины цвета отдельных изображений в 8 бит образуется разностное изображение с глубиной цвета в 9 бит.

Вычисленное таким образом разностное изображение сохраняется.

Получающееся в настоящем примере разностное изображение показано на фиг.4. На фиг.4 пиксели со значениями яркости изображения в области около 0 показаны серыми, в противоположность этому пиксели с более положительными значениями яркости изображения - более светлыми (вплоть до белого) и пиксели с более отрицательными значениями яркости изображения - более темными (вплоть до черного).

Шаги г1), г2) и г3) служат для того, чтобы из установленного на шаге в) разностного изображения определить «характерные точки изменения изображения».

Шаг г1): установление порогового значения изменения изображения и установление точек изменения изображения как тех мест в установленном на шаге в) разностном изображении, абсолютная величина яркости изображения которых превышает пороговое значения изменения изображения.

В представленном примере отдельные изображения последовательности видеоизображений снимаются с глубиной цвета в 8 бит, соответственно, с 256 различными возможными величинами уровня серого. При кодировании этих величин уровня серого величинами от «0» до «255» в результате простого математического вычитания для получения разностного изображения на шаге в2) в полученном разностном изображении получается шкала величин уровня серого с возможными величинами уровня серого от «-255» до «+255». При первом выполнении шага г1) пороговое значение изменения изображения может быть, например, выбрано как находящееся примерно в середине шкалы величин уровня серого отдельных изображений пары изображений, то есть в описанном примере задано величиной примерно в 128.

Альтернативно, может быть рассмотрено вычисление заданного вначале на шаге г1) порогового значения изменения изображения в зависимости от (действительно) встречающихся в разностном изображении значений яркости изображения.

Затем абсолютные значения значений яркости изображения разностного изображения сравниваются пиксель за пикселем с этим пороговым значением изменения изображения. Для всех позиций изображения (пикселей) в разностном изображении, абсолютное значение яркости изображения которых не больше порогового значения яркости изображения, в полученную на шаге г1) «картину изменения изображения» (бинарное изображение) заносится, например, «0», а для всех позиций изображения, абсолютное значение яркости изображения которых превышает пороговое значения яркости изображения, заносится «1». Следовательно, в этой картине изменения изображения те области, которые промаркированы посредством «1», соответствуют установленным на шаге г1) точкам изменения изображения.

Получающаяся в приведенном примере после проведения шага г1) картина изменения изображения представлена на фиг.5. Изменения изображения, то есть области изображения со значение пикселя «1» представлены на фиг.5 белым цветом, а области со значением пикселя «0» - черным.

Шаг г2): анализ качества установленных на шаге г1) точек изменения изображения посредством по меньшей мере одного заданного критерия качества.

На этом шаге «измеряются» определенные характеристики содержащихся в картине изменения изображения изменений изображения и подвергаются оценке посредством по меньшей мере одного заданного критерия качества.

При этом с учетом предотвращения ложных сигналов тревоги в способе обнаружения согласно изобретению принимается во внимание, прежде всего, например, анализ того, сколько имеется расположенных «изолированно» в картине изменения изображения изменений изображения, то есть пикселей со значением «1». Под понятием «изолированно» может, прежде всего, подразумеваться случай, что все непосредственно соседние 8 пикселей обладают величиной «0». Поскольку подобные изолированные изменения изображения, как правило, следует рассматривать как (например, вызванные шумами изображения и т.п.) артефакты, то используемый на шаге г2) критерий качества может, прежде всего, предусматривать, что качество обнаруженных точек изменения изображения оценивается тем лучше (или выполняется соответствующий критерий качества), чем меньше подобных изолированных изменений изображения присутствует.

Альтернативно или дополнительно, может быть также использован критерий качества, который также оценивает качество картины изменения изображения тем более худшим, чем больше существует образованных из очень небольшого количества (например, до некоторого максимального числа) взаимосвязанных пикселей областей изображения со значением яркости изображения «1». И такие изменения изображения, как правило, следует рассматривать как артефакты. Подходящее для этого максимальное число может быть выбрано, например, в зависимости от общего числа пикселей отдельных изображений. Например, максимальное число может быть выбрано как определенный процент от суммарного числа пикселей.

Далее, оба вышеописанных критерия качества могут быть изменены в том отношении, что наличие «изоляции» не предполагает значение «0» для всех непосредственно соседних пикселей, а для этого достаточным является заранее заданное минимальное число непосредственно соседних пикселей (например, по меньшей мере 4, 5 или 6 непосредственно соседних пикселей).

Шаг г3): если критерий качества выполняется, утверждение установленных на шаге г1) точек изменения изображения в качестве установленных на шаге г) характерных точек изменения изображения, иначе повторение шагов г1) и г2) с иначе заданным пороговым значением изменения изображения.

В случае если выполнены использованные на шаге г2) критерий или критерии качества, обработка переходит далее к шагу д). В противном случае, следовательно, когда критерий или критерии качества не выполнены, причем отдельные или все подобные критерии могут быть предусмотрены при необходимости изменяемыми путем ввода данных пользователем, обработка возвращается назад к шагу г1), причем при подобном повторении шага г1) используется другое заданное пороговое значение изменения изображения.

Используемое при вычислении изменений изображения, которое снова проводится на (неизмененном) разностном изображении, пороговое значение изменения изображения, таким образом, заново устанавливается соответственно результату анализа из шага г2). Это делается в целью выполнения критерия или критериев качества (или по меньшей мере «лучшего выполнения» этих критериев) при повторном выполнении шагов г1) и г2).

Если, например, анализа качества в предыдущем шаге г2) показал, что качество находится ниже заданной границы приемлемости, то при повторении шагов г1) и г2) пороговое значение изменения изображения повышается (так что чувствительность обнаружения точек изменения изображения на шаге г1) соответственно снижается). Наоборот, если оценка качества приводит к результату, который превышает заданные границы приемлемости в определенной мере (например, заданной жестко или переменно), то может быть проведено повторение шагов г1) и г2) с уменьшенным пороговым значением изменения изображения (то есть с повышенной чувствительностью для обнаружения точек изменения изображения).

Таким образом, использование шагов г1), г2) и г3), предпочтительно, делает возможным многократное улучшение качества установленных на шаге г1) точек изменения изображения или полученной при этом картины изменения изображения.

После завершения этой оптимизации обработка переходит к шагу д). В случае если подобная многократная оптимизации не удастся, что, например, может быть предположено в случае, в котором достигается заранее установленное максимальное число повторений шагов г1) и г2) (без приемлемого улучшения качества), состоящая из шагов г1), г2) и г3) часть обработки может быть прервана как безрезультатная, что опять приводит к безрезультатному прекращению всего способа обнаружения объектов для соответствующей пары изображений.

В описанном здесь примере результатом этого многократного улучшения качества является показанная на фиг.6 картина изменения изображения. Как видно из фиг.6, теперь содержатся относительно большие взаимосвязанные и расположенные близко по соседству друг с другом изменения изображения, которые явно вызваны находящимся на этом месте изображения подвижным объектом.

Шаг д): установление точек объекта из установленных на шаге г) точек изменения изображения.

На этом шаге посредством подходящего способа в программно управляемом режиме из оставшихся, то есть находящихся в вычисленной в последний раз картине изменения изображения (фиг.6), изменений изображения обнаруживаются подвижные объекты.

На этом шаге, например, расположенные относительно близко по соседству друг с другом (то есть ближе, чем жестко заданная или задаваемая пользователем максимальная дистанция) и имеющие определенную минимальную величину (например, больше, чем жестко заданная или задаваемая пользователем минимальная величина) изменения изображения могут рассматриваться как сопряженные с определенным (подвижным) объектом. Соответственно этому, это установление точек объекта на шаге д) в представленном примере приводит к результату, что на основании соответствующей пары изображений обнаруживается движущийся объект (на фигурах виден примерно в центре изображения).

На фиг.7 показано «второе изображение» этой пары изображений, причем на нем позиционная рамка на основании результатов шага д) маркирует позицию и размер обнаруженного движущегося объекта.

Разумеется, что описанный выше в виде примера способ затем может быть применен к следующим парам изображений последовательности видеоизображений, причем «первое изображение» подобной последующей подлежащей обработке пары изображений может быть «вторым изображением» обработанной прежде пары изображений.

Особо предпочтительно, описанный способ обнаружения объектов может быть использован в рамках обнаружения цели или преследования цели, причем в случае нескольких обнаруженных движущихся объектов каждому объекту, предпочтительно, присваивается определенная идентификация.

Изобретение относится к технологиям обнаружения движущихся объектов в последовательности видеоизображений. Техническим результатом является повышение эффективности обнаружения движущихся объектов в последовательности видеоизображения, за счет анализа качества изменения изображения. Предложен способ обнаружения движущихся объектов в последовательности видеоизображений. Способ содержит этапы, на котором устанавливают характерные отличительные точки в изображении пары следующих друг за другом изображений последовательности видеоизображений. Далее осуществляют установление математического преобразования для отображения одного из обоих изображений пары изображений на другое из обоих изображений пары изображений с использованием установленных на шаге а) характерных отличительных точек. А также осуществляют установление разностного изображения в виде разности между преобразованными друг относительно друга посредством установленного на шаге б) преобразования изображениями пары изображений. 4 н. и 7 з.п. ф-лы, 7 ил.

1. Способ обнаружения движущихся объектов в последовательности видеоизображений, включающий в себя шаги:

а) установление характерных отличительных точек в изображении пары следующих друг за другом изображений последовательности видеоизображений,

б) установление математического преобразования для отображения одного из обоих изображений пары изображений на другое из обоих изображений пары изображений с использованием установленных на шаге а) характерных отличительных точек,

в) установление разностного изображения в виде разности между преобразованными друг относительно друга посредством установленного на шаге б) преобразования изображениями пары изображений,

г) установление характерных точек изменения изображения в установленном на шаге в) разностном изображении,

д) установление точек объекта из установленных на шаге г) характерных точек изменения изображения,

отличающийся тем, что шаг г) включает в себя следующие шаги:

г1) задание порогового значения изменения изображения и установление точек изменения изображения как тех мест установленного на шаге в) разностного изображения, абсолютная величина яркости изображения которых превышает пороговое значение изменения изображения,

г2) анализ качества установленных на шаге г1) точек изменения изображения на основании по меньшей мере одного заданного критерия качества,

г3) в случае выполнения критерия качества, задание установленных на шаге г1) точек изменения изображения в качестве установленных на шаге г) характерных точек изменения изображения, в противном случае повторение шагов г1) и г2) с измененным пороговым значением изменения изображения.

2. Способ по п. 1, причем шаг а) включает в себя следующие шаги:

a1) обнаружение отличительных точек в одном из обоих изображений пары изображений, соответственно вблизи узлов заранее заданной, наложенной на это изображение сетки,

а2) установление характерных отличительных точек как выборки из обнаруженных на шаге a1) отличительных точек с использованием по меньшей мере одного заданного критерия выбора.

3. Способ по п. 1, причем шаг б) включает в себя следующие шаги:

б1) установление векторов смещения для каждой установленной на шаге а) характерной отличительной точки за счет установления соответствующих характерных отличительных точек в другом из обоих изображений пары изображений,

б2) установление подлежащих в дальнейшем использованию векторов смещения как выборки из установленных на шаге б1) векторов смещения на основании по меньшей мере одного заданного критерия отбора,

б3) вычисление математического преобразования на основании выбранных на шаге б2) векторов смещения.

4. Способ по п. 1, причем шаг в) включает в себя следующие шаги:

в1) использование математического преобразования для преобразования друг относительно друга обоих изображений пары изображений,

в2) установление разностного изображения за счет попиксельного вычитания значений яркости обоих изображений.

5. Способ по п. 1, причем первоначально задаваемое на шаге г1) пороговое значение изменения изображения вычисляют в зависимости от имеющихся в разностном изображении значений яркости изображения.

6. Способ по п. 1, причем на шаге г2) в качестве критерия качества используют то, что число точек изменения изображения в форме изолированных пикселей в разностном изображении не превышает заданного максимального числа.

7. Способ по п. 1, причем используемый на шаге г2) критерий качества является изменяемым посредством ввода данных пользователем.

8. Способ по одному из предшествующих пунктов, причем на шаге д) точки объекта устанавливают соответственно как области изображения из близко расположенных друг к другу установленных на шаге г) точек изменения изображения.

9. Устройство для обнаружения движущихся объектов в последовательности видеоизображений, включающее в себя визуализирующий датчик для создания последовательности видеоизображений и вычислительное устройство с программным управлением, выполненное с возможностью осуществления способа по одному из пп. 1-8.

10. Способ обнаружения движущихся объектов в последовательности видеоизображений, включающий в себя шаги:

а) установление характерных отличительных точек в изображении пары следующих друг за другом изображений последовательности видеоизображений,

б) установление математического преобразования для отображения одного из обоих изображений пары изображений на другое из обоих изображений пары изображений с использованием установленных на шаге а) характерных отличительных точек,

в) установление разностного изображения в виде разности между преобразованными друг относительно друга посредством установленного на шаге б) преобразования изображениями пары изображений,

г) установление характерных точек изменения изображения в установленном на шаге в) разностном изображении,

д) установление точек объекта из установленных на шаге г) отличительных точек изменения изображения,

отличающийся тем, что шаг а) включает в себя следующие шаги:

a1) обнаружение отличительных точек в одном из обоих изображений пары

изображений, соответственно вблизи узлов заранее заданной, наложенной на это изображение сетки,

а2) установление характерных отличительных точек как выборки из обнаруженных на шаге a1) отличительных точек с использованием по меньшей мере одного заданного критерия выбора.

11. Способ обнаружения движущихся объектов в последовательности видеоизображений, включающий в себя шаги:

а) установление характерных отличительных точек в изображении пары следующих друг за другом изображений последовательности видеоизображений,

б) установление математического преобразования для отображения одного из обоих изображений пары изображений на другое из обоих изображений пары изображений с использованием установленных на шаге а) характерных отличительных точек,

в) установление разностного изображения в виде разности между преобразованными друг относительно друга посредством установленного на шаге б) преобразования изображениями пары изображений,

г) установление характерных точек изменения изображения в установленном на шаге в) разностном изображении,

д) установление точек объекта из установленных на шаге г) отличительных точек изменения изображения,

отличающийся тем, что шаг б) включает в себя следующие шаги:

б1) установление векторов смещения для каждой установленной на шаге а) характерной отличительной точки за счет установления соответствующих характерных отличительных точек в другом из обоих изображений пары изображений,

б2) установление подлежащих в дальнейшем использованию векторов смещения как выборки из установленных на шаге б1) векторов смещения на основании по меньшей мере одного заданного критерия отбора,

б3) вычисление математического преобразования на основании выбранных на шаге б2) векторов смещения.