СПОСОБ СЕЛЕКЦИИ ФРАГМЕНТА ИЗОБРАЖЕНИЯ ДЛЯ ТЕЛЕВИЗИОННЫХ КООРДИНАТОРОВ Российский патент 2008 года по МПК H04N7/18 

Изобретение относится к телевизионной технике, в частности к способу селекции объектов на сложном подстилающем фоне, и предназначено для систем автоматического определения координат объектов в различных сферах телевизионной автоматики.

Известны различные способы селекции изображений объектов или фрагментов изображений, находящихся на сложном подстилающем фоне. Эти способы предусматривают поэтапную (последовательную) селекцию по отдельным параметрам области объект-фон. К числу наиболее распространенных относятся методы селекции с помощью двумерных стробов, ограничивающих размеры изображения с целью исключения избыточности обрабатываемой информации. В качестве последующего этапа селекции успешно используют метод бинаризации изображения. По признаку яркости или контрастности формируют новое изображение, элементам которого присваивают значение «1», если данный элемент относится к селектируемому объекту, и «0» в противном случае. Стробы как правило имеют прямоугольную форму - с меньшими размерами для селекции объекта и с большими для выделения области объект/фон. Известным приемом является оптимальное обрамление изображения объекта, т.е. приведение размеров строба в соответствие с размерами изображения объекта таким образом, чтобы внутри строба минимизировать количество элементов изображения, принадлежащих фону. Такое решение принято в устройстве «Телевизионный координатный дискриминатор», авторское свидетельство СССР №1700766, кл. Н04 №7/18. Здесь, для адаптации размеров строба к размерам объекта устройство вырабатывает ряд стробов с дискретными значениями размеров. По периметру каждого строба формируется рамка толщиной в один элемент. Условием адаптации является заполнение строба бинарным сигналом, но при этом в пределах периферийного строба (рамки) бинарных элементов не должно содержаться. Обработка производится во всех стробах одновременно. Автоматически выбирается тот размер строба, в котором приведенное выше условие удовлетворяется.

Недостаток данного дискриминатора заключается в том, что бинарный сигнал для широкого класса наблюдаемых сюжетов не так компактен, чтобы укладываться в установленные условия. Такой факт имеет место с тем большей вероятностью, чем ниже контраст между объектом и фоном. Элементы бинарного изображения могут быть дисперсно расположены в стробах и условие может не выполняться. Кроме того, квадратная форма стробов для большинства случаев не оптимальна, а формирование множества прямоугольников с различными соотношениями сторон намного снижает эффективность данного принципа как по аппаратным затратам, так и по времени выполнения.

Известны корреляционные методы селекции. В стробе объекта записывают эталон, а в пределах строба фона осуществляют поиск объекта, смещенного в результате его перемещения по отношению к фону или смещения области объект-фон вследствие сдвига самого изображения относительно телевизионного растра. Поиск осуществляют по критерию максимального сходства между эталоном и текущим изображением. Корреляционный метод использует многоуровневую обработку изображения. Наряду с его явными преимуществами корреляционный метод имеет недостатки, которых яркостные и контрастные методы лишены. Поэтому корреляционные методы только дополняют рассматриваемые в настоящем описании методы селекции.

Эффективным методом выделения элементов яркости объекта на фоне является метод, использующий гистограмму яркости. Такой метод описан в статье «Сегментация изображения: методы пороговой обработки» в журнале «Зарубежная радиоэлектроника №10» за 1987 г., стр.6-24.

В этом методе сегментация изображения предусматривает анализ гистограммы, когда моды яркости фона и объекта различимы. При этом гистограмма изображает кривую, выделяющую в частном случае две моды яркости: объекта и фона, между которыми имеется впадина, условно обозначающая границу объект-фон. Интенсивности мод яркости зависят от соотношения площадей, занимаемых фоном и объектом соответственно, Априори эта характеристика изображения не известна, поэтому порог устанавливают по впадине. По этой границе устанавливают порог и формируют бинарное изображение присвоением значения «1» элементам яркости, принадлежащим объекту, и «0» остальным.

В качестве общего замечания можно указать на неоднозначность установления порога в межмодальной впадине гистограмм, поскольку в этой области с почти одинаковой вероятностью включаются элементы фона и теряются элементы объекта.

Еще один пример, когда установление порога обработки неоднозначно, - это случай с тримодальной гистограммой - случай, когда фон содержит контрастные перепады яркости, а яркость объекта отличается от них. Тогда по условию задачи селекции потребуется установить хотя бы два порога, что вдвое увеличивает неоднозначность порогов обработки.

Наиболее близким к предлагаемому изобретению аналогом, принимаемым за прототип, по технической сущности является метод сегментации изображения, описанный в статье «Телевизионная следящая система с байесовским дискриминатором цели», опубликованной в журнале «Зарубежная радиоэлектроника №10» за 1987 г. Стр.81...91. В этом способе селекцию изображения объекта производят методом сегментации отдельным объектовым стробом, предусматривающим заполнение строба изображением объекта. Это позволяет полностью изолировать объект от фона. Используют методы многопороговой обработки и формирования бинарного изображения. Сохранение в постоянстве соотношения размеров объект/фон в прототипе обеспечивают обозначением границ объекта по бинарному изображению, установив на них с четырех сторон отдельные следящие стробы и вычислив в каждом цикле попарное расхождение между положением стробов отдельно по каждой оси. При необходимости, регулируют размеры строба так, чтобы границы объекта совпали с границами строба.

Однако очевидно, что изображение объекта содержит неоднородности яркости, в том числе и совпадающие с элементами яркости фона. Поэтому бинарное изображение не может иметь четко выраженных границ, особенно при малом контрасте объект/фон. Кроме того, в процессе автосопровождения объекта стробом возникает смещение между положением строба в предыдущем телевизионном кадре (телевизионном поле) и новым положением в текущем. Это смещение тем больше, чем больше угловая скорость (а в некоторых системах угловое ускорение) оптической оси телевизионной камеры.

В прототипе вводят инерционное обновление гистограмм, в результате чего на некоторое время гистограмма в меньшей степени реагирует на появление в области объекта фоновых элементов. Другими словами, уменьшается риск появления в бинарном изображении элементов со значениями «0» в области объекта и «1» в области фона. Но все же остается неопределенной количественная мера инерционного обновления. Малая степень инерционности может быть недостаточно эффективной, наоборот, глубокая инерционность окажется вредной при быстрых изменениях фонообъектовой ситуации.

Для заполнения одиночных «нулевых» элементов «дырок» в области объекта и исключения одиночных «единичных» избыточных «ложных» элементов в области фона в прототипе применяется специальный фильтр с многоэлементной апертурой. Естественно (об этом пишут сами авторы) такой фильтр уменьшает по краям размер самой области бинарного изображения объекта и для его восстановления требуется еще один фильтр с другой фильтрующей функцией. Для обработки упомянутых одиночных элементов потребуется фильтр с апертурой 3×3 элемента. Такой же величины фильтр потребуется для восстановления краевых элементов. Следует отметить, что появление одиночных ложных «1» и «0» событие не типичное для качественного изображения. Природа ложных образований заложена в коррелированности изображений как фонов, так и объектов. В этом случае фильтры, устраняющие ложные двумерные образования, имеющие протяженную форму, потребуют гораздо больше аппаратных средств, а это другой класс сложной обработки изображений.

Предлагается способ селекции фрагмента изображения для телевизионных координаторов, заключающийся в предварительной обработке видеосигнала путем его оцифровки и построения гистограмм элементов яркости изображения и введением цепей их инерционного обновления в пределах площадных стробов, с помощью которых селектируют изображения объекта и его близлежащего фона в отдельности, установлении порога (порогов) селекции, по которым формируют бинарное изображение, и по нему определяют приращения координат селектируемого фрагмента относительно предшествующих значений его координат, например, по критерию "центра тяжести", далее вычисляют радиус компактности бинарного изображения, заключенного в пределах строба фрагмента, используя при этом совокупность взвешенных радиусов бинарных элементов, сравнивают его с эталоном, который представляет собой радиус идеально компактной фигуры, каковым является круг с площадью, равной площади полученного бинарного изображения, затем плавно уменьшают или увеличивают размах одной из гистограмм и повторяют вычисления радиуса компактности до тех пор, пока его значение максимально не приблизится к величине эталона, после чего определяют величину смещения (приращения) координат объекта путем сканирования области объект/фон бинарного изображения скользящим стробом объекта и нахождения положения с наименьший радиусом компактности. В качестве критерия достижения максимальной близости величины радиуса компактности к величине эталонного радиуса принимают результат, который повторяется несколько раз подряд, или когда радиус компактности от кадра к кадру изменяется меньше, чем на заданную величину. Постоянство отношения размеров строба объекта к размерам объекта, характеризуемым величиной его компактности, сохраняют путем масштабирования текущего изображения, причем масштабирование текущего изображения производят по каждой оси в отдельности путем определения вектора компактности объекта по разным направлениям координат. Инерционное обновление гистограммы элементов яркости изображения объекта осуществляют в зависимости от величины межкадрового смещения координат изображения объекта.

Техническим результатом является получение высокой селективности изображения объекта.

Технический результат достигается за счет того, что в процессе селекции изображения объекта методом гистограммной обработки, установления порога селекции по модам яркости и формирования бинарного изображения осуществляют анализ компактности бинарного изображения объекта и по полученным результатам плавно изменяют величину порога селекции до получения в области объекта максимально компактного изображения объекта, после чего производят адаптацию (путем уравнивания) размеров селектирующих стробов к размерам компактного бинарного изображения объекта, например, путем масштабирования и центровки изображения объекта относительно селектирующего строба.

На фиг.1 приведена блок-схема алгоритма, реализующего предложенный способ селекции фрагмента изображения для телевизионных координаторов.

На фиг.2 приведены иллюстрации фаз обработки изображения: обеспечения компактности бинарного изображения, адаптации его размеров к размерам строба и использования наиболее компактной области бинарного изображения для определения приращений координат объекта.

В предложенном способе критерием регулировки служат не границы объекта, поскольку четких границ не существует, а компактность бинарного изображения. При этом регулировку размеров строба осуществляют косвенным образом, т.е. изменяют не размеры строба, а масштаб исходного изображения, оставляя постоянными размеры стробов, что обеспечивает постоянство времени выполнения обработки при реализации метода. Для масштабирования отдельно определяют компактность по осям координат, что позволяет оптимальным образом обрамлять объект стробом. Кроме того, инерционное обновление гистограмм производят только касательно гистограммы объекта. Это необходимо потому, что следящий строб в большей или меньшей степени сохраняет информацию об объекте в его пределах, в то время как подстилающий фон может изменяться, например, вследствие перемещения объекта по нему.

В качестве меры инерционного обновления в предложенном способе используют величины межкадрового смещения изображения объекта. Например, произведение двух величин смещений по координатным осям, выраженное в тех же единицах измерения, что и строб (в элементах площади строба), может быть успешно использовано как мера инерционного обновления, показывающая, насколько объект вышел из пределов строба, а освободившую площадь заняли элементы фона. В эти кратковременные периоды времени увеличивают время инерционного обновления, а когда строб вновь заполняется изображением объекта, ускоряют процесс обновления.

Как показали результаты математического моделирования, эта мера объективно регулирует время инерционного обновления гистограммы.

Устранение неоднородности бинарного изображения с целью его идеализации путем подавления одних и восстановления других элементов бинарного изображения практически невозможное. В конце концов, по определению, на изображении объекта могут существовать элементы равной яркости с элементами фона. В этом случае при определении координат положения объекта важно иметь не только (и не столько) полный облик (силуэт) объекта. Более важным условием селекции с помощью гистограмм является максимально возможное выделение элементов яркости, принадлежащих исключительно объекту. Такая форма объекта более устойчивая и стабильная. При этом в стробе объекта остается минимальное количество фоновых элементов. Это способствует правильному определению смещения координат объекта, например, по «центру тяжести» плоской фигуры, следовательно, более точному определению его координат.

В предложенном способе используют мультипороговую обработку гистограмм. Она заключается в следующем. Каждое значение p интенсивности яркости в гистограмме Ho_p объекта сравнивают со значением той же интенсивности в гистограмме Hf_p фона. При этом формируют вектор Hys_p:

- если Но_р>Hf_p, то позиции р вектора Hys_p присваивают значение «1»;

- в противном случае - «0».

Затем по вектору Hys_p формируют бинарное изображение следующим образом. Для каждой из интенсивностей от 0 до р_max, анализируя исходное изображение В_{m, n}, рассматривают выполнение условия В_{m, n}=Hys_p. Если равенство имеет место, то бинарному изображению Bb_{m, n} присваивают «1», в противном случае - «0».

При формировании гистограмм следует учитывать, что площади стробов фона и объекта чаще всего не одинаковы. Это означает, что следовало бы по какому-то критерию (например, по соотношению площадей) нормализовать их интенсивности.

С одной стороны, наличие элементов яркости, относящихся как к фону, так и объекту, указывает на то, что гистограммы перекрываются. Тогда предполагаемая нормировка была бы неэффективной без априорных данных о перекрытии гистограмм.

С другой стороны, если допустить уменьшение размаха гистограммы объекта, наблюдается благоприятная тенденция уменьшения «общих» для обеих гистограмм перекрывающихся значений яркостей. В этом случае уменьшается количество элементов бинарного изображения, принадлежащих только объекту, но одновременно уменьшается и количество бинарных элементов, попадающих в область фона. Такой подход предоставляет возможность более компактно сосредоточить элементы бинарного изображения в области объекта (пусть, в частном случае, ценой уменьшения его собственных размеров).

Для обеспечения объективного уменьшения размаха гистограммы объекта (или, что то же самое, увеличения размаха гистограммы фона) в предложенном способе используют критерий компактности изображения Bb. В этом случае вычисляют компактность и сравнивают ее с заданным значением, выбираемым близким к идеальному (эталонному) значению. Изменения (регулировка) размаха гистограммы выполняют поэтапно, контролируя изменения компактности. Момент прекращения регулировки определяют либо по достижении установленного значения, либо если регулировка последующих этапов несущественно влияет на вычисляемую компактность.

В прототипе компактность определяется как

где S - суммарная площадь бинарного изображения;

L - суммарный периметр всех отдельных образований бинарного изображения.

Такое определение является эмпирическим и справедливо для детерминированных образов, имеющих ограниченные пропорции размеров. При случайных образованиях бинарного изображения определение компактности может оказаться неоднозначным из-за большого разброса между величинами S и L дисперсного бинарного изображения, что отрицательно может сказаться как при обрамлении объекта стробом, так и при определении его центра.

В предлагаемом способе компактность бинарного изображения определяют следующим образом:

где Rc - усредненная величина взвешенных радиусов, приведенных от центра координат строба до центра элемента бинарного изображения.

где m, n - переменные по координатам;

Bb - элемент бинарного изображения;

Sb - суммарная площадь бинарного изображения

Ret - радиус фигуры с идеальной компактностью - круга с радиусом Ro, площадь которого равна Sb. Однако радиус его компактности отличается от Ro.

Значение Ret в общем случае можно вычислить по формуле

где dS(R) - площади элементарных фигур, суммируемые (интегрируемые) от меньших значений до максимального So, например площади элементарных фигур, представляемых в виде колец с радиусом R и толщиной dR, таким образом

Интегрирование производят от нулевого радиуса кольца до максимального радиуса Ro. Поэтому, подставив (2) в (1), а затем приводя подобные, получаем

Интегрируя числитель и знаменатель (3), получаем

Последовательность действий при реализации предложенного способа происходит в соответствии с блок-схемой алгоритма, приведенной на фиг.1.

В блоке «1» производят оцифровку видеосигнала в некоторой области изображения, размеры которой больше установленных размеров строба фона. Соотношение этих размеров определяется принятой кратностью масштабирования при осуществлении адаптации размеров объекта к размерам строба объекта. Это соотношение имеет пределы, поскольку при изменении масштаба изображения в любую сторону происходит перераспределение яркостей из-за проявления или исчезновения (сжатия) элементов изображения. В результате компактная область бинарного изображения изменяет свою форму и размеры.

В блоке «2» устанавливают первоначальные коэффициенты масштабирования, а блок «3» осуществляет масштабирование по коэффициентам, поступающим на его входы.

Блок «4» распределяет стробы. Если строб объекта, то в блоке «5» формируют гистограмму объекта Но_p, в противном случае стробом фона в блоке «6» формируют гистограмму фона Hf_p.

В блоке «7» устанавливают коэффициент «а», с помощью которого регулируют размах гистограммы Но_р. Первоначальное значение этого параметра не строго определяют по соотношениям площадей стробов объекта и фона. В данном примере условно принято «а=1». В блоке «8» производят собственно изменение размаха гистограммы.

Блок «9» является компаратором, определяющим, какие уровни яркости объекта количественно преобладают над такими же уровнями фона. По результату сравнения строят вектор Hys_p, которому в блоке «10» присваивают «1», если условие выполняется, и в блоке «11» присваивают «0» в противном случае.

В блоке «12» осуществляют сравнение элементов изображения В_{m, n} с вектором Hys_p и по результатам формируют бинарное изображение Bb_{m, n}. Если уровень яркости изображения совпадает с одним из единичных значений вектора Hys_p, то в блоке «13» изображению Bb_{m, n} присваивают значение «1», в противном случае в блоке «14» изображению Bb_m,n присваивают «0».

В блоке «15» вычисляют компактность бинарного изображения в соответствии с формулой

а в блоке «16» сравнивают ее с некоторой величиной δ>1, учитывающей то, что случайная компактная фигура не может быть идеально компактной. Пока величина компактности превышает установленную величину δ, в блоке «17» проверяют величину изменения компактности в i-ом кадре по отношению к компактности, полученной в (i-1)-ом кадре. Если дальнейшие изменения компактности превышают некоторую заданную величину Δ, то в блоке «18» корректируют коэффициент «а» декрементом da<1 с тем, чтобы уменьшить размах гистограммы объекта. Если же изменения компактности не превышают заданную величину Δ, то в блоках «19» и «20» осуществляют m раз проверку, повторяя коррекцию коэффициента «а», после чего переходят к вычислению в блоке «21» приращений координат ΔХ, ΔY и координат X, Y. В блоке «22» осуществляют адаптацию размеров объекта к постоянным размерам строба объекта. В блоке «23» выбирают канал обработки. Если Y, то в блоке «24» определяют компактность по оси Y, а в блоке «25» сравнивают ее с некоторой величиной δ'y. Если по условию Comp Y больше δ′y, то в блоке «26» уменьшают коэффициент масштабирования My множителем νy<1, в противном случае в блоке «27» Comp Y сравнивают с величиной δ″y. Если по условию Comp Y меньше δ″y, то в блоке «28» увеличивают коэффициент масштабирования My множителем μy>1. Если ни одно из условий не выполняется, т.е. если значение Comp Y остается в пределах δ′>Comp Y>δ″y, то My остается без изменений. Если производится обработка канала X, то действия блоков «24»...«28» аналогичным образом переносятся на блоки «29»...«33». В приведенном примере коэффициенты масштабирования формируются по компактности бинарного изображения по каждой оси отдельно. Возможны и другие варианты определения Mx и My, которые могут быть успешно применены в рамках предложенного способа.

На фиг.2 приведена иллюстрация последовательности действий для достижения максимальной компактности бинарного изображения, адаптации размеров компактной области к размерам строба и определения величин смещения этой области относительно текущих координат (или центра системы координат области фона).

В первоначальный момент времени, когда размеры объекта не адаптированы к размерам строба, в пределы строба объекта попадают элементы яркости, принадлежащие как объекту, так и фону. В этом случае бинарное изображение принимает вид, приведенный на фиг.2а, компактность мала и условия удовлетворительности компактности не выполняются. Поэтому корректируют коэффициент «а».

На фиг.2б после коррекции размаха гистограммы объекта уменьшилось количество бинарных образований, принадлежащих фону, пусть даже ценой уменьшения и «прорезания» области объекта.

На фиг.2в произведена адаптация размеров бинарного изображения объекта к размерам строба путем масштабирования исходного изображения по двум осям координат в отдельности.

На фиг.2г показано, как определяются приращения координат ΔХ, ΔY путем сканирования стробом объекта всего фонового пространства. При этом фиксируются те координаты положения строба объекта, в котором находится самая компактная часть бинарного изображения.

Практическая реализация предложенного способа возможна на базе современных технологий, в частности микропроцессоров и программируемых логических интегральных схем (ПЛИС). Достоверность возможности реализации подтверждена результатами математического моделирования в среде MathCAD. Модель состоит из двух ветвей. В первой ветви имитируется исходное изображение, во второй реализуется алгоритм, приведенный на фиг.1. Модель изображения состоит из случайного поля яркостей с заданными статистическими характеристиками (дисперсией, интервалом корреляции и др.), имитирующего движущийся фон. Причем фон содержит резкие перепады яркости, имитирующие резкие переходы, например, из ярко освещенной области земной поверхности в теневую или пересечение линии горизонта. На фон наложено изображение объекта со случайным яркостным рельефом, на котором имеются области ярче или темнее подстилающего фона, также движущегося относительно фона в разных направлениях по диагонали. В результате объект совершает движения относительно движущегося фона в разных направлениях, пересекая контрастные перепады фона.

Модель предложенного способа реализована полностью за исключением адаптации размеров объект/фон. Эта часть алгоритма была реализована отдельно. На модели исследованы различные характеристики инерционного обновления гистограммы объекта, способов масштабирования и определения центра объекта по компактности его бинарного изображения.

Результаты моделирования полностью подтвердили состоятельность данного способа при использовании предложенной формулы вычисления компактности для осуществления сканирования «скользящим» стробом, определения приращений координат ΔX, ΔY, использования этих величин для управления цепями инерционного обновления и использования масштабирования для адаптации размеров объект/фон.

Вероятностная оценка полученных результатов показывает, что предложенный способ селекции обеспечивает почти в два раза более высокую надежность селекции объекта на сложном подстилающем фоне и во столько же более низкую флуктуационную ошибку по сравнению с известными методами селекции.

Изобретение относится к телевизионной технике, в частности к способу селекции объектов на сложном подстилающем фоне, и может быть использовано для систем автоматического определения координат объектов в телевизионной автоматике. Технический результат - получение высокой селективности изображения объекта - достигается тем, что оптимизируют порог обработки гистограмм с целью достижения минимального радиуса компактности бинарного изображения. Для этого вычисляют совокупность взвешенных радиусов бинарных элементов и полученный радиус компактности сравнивают с эталоном, который представляет собой радиус идеально компактной фигуры, каковым является круг с площадью, равной площади полученного бинарного изображения. Затем плавно уменьшают или увеличивают размах одной из гистограмм и повторяют вычисления радиуса компактности до тех пор, пока его значение максимально не приблизится к величине эталона. Величину смещения координат объекта определяют путем сканирования области объект/фон бинарного изображения скользящим стробом объекта и нахождения положения с наименьшим радиусом компактности. 4 з.п. ф-лы, 5 ил.

1. Способ селекции фрагмента изображения для телевизионных координаторов, заключающийся в предварительной обработке видеосигнала путем его оцифровки и построения гистограмм элементов яркости изображения и их инерционном обновлении в пределах площадных стробов, селектирующих изображения объекта и его близлежащего фона в отдельности, установлении порога (порогов) селекции, формировании бинарного изображения, последующем определении приращений координат этого фрагмента относительно предшествующих значений координат, например по критерию "центра тяжести" фрагмента изображения, отличающийся тем, что вычисляют радиус компактности бинарного изображения, заключенного в пределах строба фрагмента, используя совокупность взвешенных радиусов бинарных элементов, сравнивают его с эталоном, представляющим радиус идеально компактной фигуры в виде круга с площадью, равной площади полученного бинарного изображения, плавно уменьшают или увеличивают размах одной из гистограмм и повторяют вычисления радиуса компактности до тех пор, пока его значение максимально не приблизится к величине эталона, после чего определяют величину смещения координат объекта путем сканирования области объект/фон бинарного изображения скользящим стробом объекта и нахождения положения с наименьшим радиусом компактности.2. Способ по п.1, отличающийся тем, что в качестве критерия достижения максимальной близости величины радиуса компактности к величине эталонного радиуса принимают результат, который повторяется несколько раз подряд или когда радиус компактности от кадра к кадру изменяется меньше, чем на заданную величину.3. Способ по п.1, отличающийся тем, что постоянство отношения размеров строба объекта к размерам объекта, характеризуемым величиной его компактности, сохраняют путем масштабирования текущего изображения.4. Способ по п.3, отличающийся тем, что масштабирование текущего изображения производят по каждой оси в отдельности путем определения вектора компактности объекта по разным направлениям координат.5. Способ по п.1, отличающийся тем, что инерционное обновление гистограммы элементов яркости изображения объекта осуществляют в зависимости от величины межкадрового смещения координат изображения объекта.