Способ подавления временного шума сигналов изображений с тепловизионных оптико-электронных систем Российский патент 2024 года по МПК H04B15/00 H04N19/117 H04N19/80 G06V10/20 G02B23/12 

Заявляемый способ относится к средствам подавления временного шума на последовательности кадров изображений, полученных с помощью тепловизионных оптико-электронных систем и применяется для улучшения характеристик этих систем.

Конечной задачей любой тепловизионной системы является формирование температурного распределения сигналов сцены в видимом диапазоне спектра [Д.В. Сорокин, Д.Э. Драгунов, М.Ю. Ляпустин, Н.А. Семенченко, К.А. Шарганов. Методы скоростной обработки видеоизображений с большим разбросом яркостей с использованием ПЛИС // Прикладная физика. 2022. 1]. Практическое применение подобных систем связано с наблюдением за целями, которые сильно удалены от приемника излучения и на визуализируемом изображении имеют размер в несколько пикселей. Возможность наблюдать за удаленными целями на предельных расстояниях с помощью инфракрасных оптико-электронных систем связана с задачей подавления шумов, имеющихся на изображении наблюдаемой сцены, так как без подавления цель может быть утеряна.

При разработке способа была поставлена задача уменьшения временного шума изображений и упрощение реализации.

Оконные фильтры (фильтр Гаусса, медианная фильтрация и т.д.) хорошо исследованы [Рафаэль С. Гонсалес, Ричард Е. Вудс Цифровая обработка изображений - М.: Техносфера, 2012] и способны заметно снизить уровень шума на изображении. Однако, стоит отметить, что без введения дополнительных модификаций данный подход также снижает пространственное разрешение системы, что может повлечь за собой невозможность детектирования оператором тепловизионной системы малоразмерных объектов. Эти способы ограниченно применимы в таких системах. Альтернативным подходом является применение способов, основанных на обработке сигналов последовательности кадров [Д.А. Колчаев, А.И. Ефимов, Д.И. Устюков. Пространственно-временная фильтрация изображений от движущейся мобильной системы технического зрения. Известия ТулГУ. Технические науки. 2018. Вып. 2]. Такие фильтры не оказывают воздействия на пространственное разрешение и могут подавить значительную часть временного шума. Однако, такие методы требуют значительное количества вычислений, из-за чего их аппаратная реализации в электронике, чувствительной к ресурсам, может стать невозможной.

Задачей заявляемого изобретения является разработка способа подавление временного шума на ИК-изображениях с целью повышения вероятности обнаружения и распознавания малоразмерных объектов, и упрощение реализации такого способа.

Сущность решения задачи состоит в следующем.

Объект на изображении - это физический объект, спроецированный на двумерную плоскость изображения. В контексте изменения сигналов наблюдаемой сцены во времени, все объекты на изображении можно разделить на две категории:

1) статические объекты;

2) динамические объекты.

Для разделения этих двух категорий предлагается следующий критерий. Для каждого пикселя изображения вводится коэффициент корреляционной связи. Данная характеристика основана на вычислении средней разности между прямоугольными окрестностями размера N×N для двух последовательно идущих кадров и показывает величину изменения яркости пикселя с координатой (х, у) во времени:

где ƒ₀ - функция яркостей пикселей текущего кадра,

ƒ_-1 - функция яркостей пикселей предыдущего кадра.

Чем больше абсолютное значение коэффициента корреляционной связи, тем сильнее изменение яркости пикселя от кадра к кадру. Анализ тепловизионных изображений, произведенный при разработке данного способа, показал, что коэффициент корреляционной связи между фоном и динамическим объектом в несколько раз выше, чем между фоном и временным шумом. Именно на основании этой величины производится дифференциация динамических объектов и шума. Для этого вводится пороговое значение, рассчитываемое как среднее значение всех коэффициентов корреляционной связи по предыдущему кадру, помноженному на коэффициент воздействия l,

где l>0;

X и Y - число пикселей в кадре по вертикали и горизонтали соответственно.

Сравнение определенного коэффициента корреляционной связи с пороговым значением устанавливает, являются ли временные флуктуации в выбранном пикселе шумом или же динамическим объектом. На фиг. 1 и фиг. 2 показаны исходное изображение и результат детектирования движения на последовательности сигналов кадров для X=512, Y=640, l=3, N=3.

Выделение шумовой составляющей из временной неоднородности сцены позволяет построить способ, лишенный недостатка обычной временной фильтрации. Обработка сигнала пикселя с координатой (х, у) текущего кадра, начиная с третьего принятого (обработка осуществляется, начиная с третьего принятого кадра), осуществляется в соответствии с функцией:

где значения функций ƒ_a,ƒ_b,ƒ_c определяются следующим образом:

ƒ - результирующая функция яркостей пикселей кадра,

ƒ₀ - функция яркостей пикселей текущего кадра,

и - функции яркостей пикселей двух предыдущих относительно текущего обработанных кадров (при обработке третьего с начала приема кадров - это необработанные 1-й и 2-й кадры, при обработке четвертого с начала приема кадров - это необработанный 2-й кадр и обработанный 3-й кадр);

med - функция выбора медианного значения.

Определение корреляционной связи для двух кадров проводится следующим образом:

Таким образом, разработанный способ подавления временных шумов (временной фильтрации) реализуется следующими действиями:

по первым двум принятым кадрам: ƒ₀ и ƒ₁, устанавливают начальные параметры, функцию яркости пикселей (k-2)-го - кадра функцию яркости пикселей (k-1)-го кадра значение предыдущего порога threshold_k-1=0;

для каждого принятого кадра, начиная от кадра с номером k=2, осуществляют следующие действия:

- для каждого пикселя принятого кадра ƒ_k определяют степень корреляционной связи,

где N - размер квадратной окрестности пикселя (х, у), в пределах которой вычисляется коэффициент корреляционной связи;

- производят фильтрацию изображения в соответствии с формулой,

где med - функция, соответствующая выбору медианного значения;

- результирующая функция яркостей пикселей k-го кадра;

ƒ_a,ƒ_b,ƒ_c определяют:

- переопределяют пороговое значение threshold_k-1,

где l - произвольное целое число,

X и Y - число пикселей в кадре по вертикали и горизонтали соответственно:

- переопределяют параметры:

Для проверки результатов воздействия разработанного способа на изображения обрабатывались сцены с наличием временных флуктуаций сигнала и движущимися объектами малого размера. Временной шум оценивался статистической моделью нормального распределения Гаусса [В.Е. Гмурман. Теория вероятностей и математическая статистика. 12-е издание. 2016]. На фиг. 3 приведен фрагмент изображения с движущимся объектом размера 3×3 пикселя на зашумленном фоне. Как можно увидеть, разработанный способ (фиг. 5) снижает амплитуду временного шума. При этом в отличии от способа межкадровго усреднения сигналов (фиг. 4) способ пороговой временной фильтрации не искажает геометрические параметры объекта.

Осуществление способа на практике обеспечивается с помощью ПЛИС, с использованием статичной оперативной памяти, например, для кадра 640×512 - объем 16 Мбит, при частоте поступления кадров 50.

Способ внедрен в модуль цифровой обработки изображений (фиг. 6).

Для оценки результатов были произведены измерения шума изображений и эквивалентной шуму разности температур (ЭШРТ) на оптико-электронном модуле средневолнового инфракрасного диапазона спектра производства АО «НПО «Орион» [Д.Э. Драгунов, И.П. Курганов, А.В. Полесский, А.Д. Юдовская, А.Д. Деомидов, Н.А. Соломонова, П.С. Лазарев, К.О. Болтарь, К.А. Шарагнов. Оптико-электронный модуль средневолнового ИК-диапазона на основе отечественного InSb фотоприемного устройства формата 640`512 // Успехи прикладной физики. 2021. Т. 9. №5. С. 410.].

Исследование проводилось при помощи зеркального коллиматора с тест-объектом. Была проведена запись последовательности кадров до обработки с помощью способа, реализованного в блоке электронной обработки оптико-электронного модуля. После этого была записана последовательность сигналов кадров с применением разработанного способа. Измерение ЭШРТ осуществлялось в соответствии с ГОСТ Р 59606-2021 п. 4.27. Численное значение шума = среднее по пикселям кадру среднеквадратическое отклонения сигналов на пикселе, определялось по формуле:

где X - количество пикселей изображения по вертикале, Y - количество пикселей изображения по горизонтали, N - количество изображений, ƒ - функция яркости пикселя изображения.

Сравнение реализации с методом из прототипа показывает экономию вычислительных и ресурсов памяти заявляемого способа. Это происходит вследствие того, что метод из прототипа требует решения систем дифференциальных уравнений по каждому пикселю для каждого кадра, в сравнении с пооконными вычислениями, обычно размера 3×3, корреляционной связи по каждому пикселю для каждого кадра, в заявляемом способе.

Реализация прототипа использует решение систем дифференциальных уравнений с вычислением обратных матриц, построение пирамид изображений, выборку кадров для медианной фильтрации (K>15), что в совокупности требует более чем в 7 раз (оценка для 640×512 изображений) больший объем памяти, в сравнении с заявленным способом.

Вычислительная сложность заявленного способа оценивается произведением С * X * Y, в то время как вычислительная сложность прототипа С * X *Y * log(X), где X и Y - количество пикселей изображения по вертикали и горизонтали соответственно, С - константа, для 640×512 изображений составляет порядка ~10.

Изобретение относится к средствам подавления временных шумов на последовательности сигналов изображений, полученных с помощью тепловизионных оптико-электронных систем. Технический результат заключается в подавлении временного шума на ИК-изображениях для повышения вероятности обнаружения и распознавания малоразмерных объектов. Детектируют движущиеся объекты на наблюдаемой сцене с помощью корреляционной связи пикселей на следующих друг за другом кадрах, что позволяет выделить и подавить шумовую составляющую сигнала изображения. По первым двум принятым кадрам f₀ и f₁ устанавливают начальные параметры, функцию яркости пикселей (k-2)-го кадра, функцию яркости пикселей (k-1)-го кадра, значение предыдущего порога threshold_k-1=0. Для каждого пикселя принятого кадра f_k определяют степень корреляционной связи

где N - размер квадратной окрестности пикселя (х, у), в пределах которой вычисляется коэффициент корреляционной связи. Производят фильтрацию изображения. 6 ил.

Способ подавления временных шумов сигналов изображений с тепловизионных оптико-электронных систем, использующий детектирование движущихся объектов на наблюдаемой сцене с помощью корреляционной связи пикселей на следующих друг за другом кадрах, позволяющее выделить и подавить шумовую составляющую сигнала изображения, включает последовательность шагов: по первым двум принятым кадрам ƒ₀ и ƒ₁ устанавливают начальные параметры, функцию яркости пикселей (k-2)-го кадра функцию яркости пикселей (k-1)-го кадра значение предыдущего порога threshold_k-1=0;

для каждого принятого кадра, начиная от кадра с номером k=2, осуществляют следующие действия:

- для каждого пикселя принятого кадра ƒ_k определяют степень корреляционной связи

где N - размер квадратной окрестности пикселя (х, у), в пределах которой вычисляется коэффициент корреляционной связи;

- производят фильтрацию изображения в соответствии с формулой

где med - функция, соответствующая выбору медианного значения;

- результирующая функция яркостей пикселей k-го кадра;

ƒ_a, ƒ_b, ƒ_c определяют:

- переопределяют пороговое значение threshold_k-1

где l - произвольное целое число,

X и Y - число пикселей в кадре по вертикали и горизонтали соответственно;

- переопределяют параметры: