Способ компенсации геометрического шума в видеопоследовательности инфракрасных изображений, основанный на анализе наблюдаемой сцены Российский патент 2021 года по МПК G06T5/50 H04N5/357 G06K9/40 

Изобретение относится к области обработки цифровых изображений, в частности - фильтрации помех, и может быть использовано для улучшения визуального качества инфракрасных (ИК) изображений с выраженным геометрическим шумом (ГШ). Под ГШ понимают совокупность фиксированных отклонений значений выходных сигналов с различных каналов матричного фотоприемного устройства (МФПУ) при равномерной интенсивности излучения, которым облучается фотоприемник. Визуально ГШ проявляется на изображении в виде горизонтальных или вертикальных полос в зависимости от ориентации линеек фоточувствительных элементов (ФЧЭ) в МФПУ.

ГШ ИК камер в общем случае аналитически описывается нелинейной зависимостью от интенсивности падающего на МФПУ излучения (Borovytsky V.N. Residual error after non-uniformity correction // Semiconductor Physics, quantum electronics & optoelectronics. 2000. Vol. 3, No. 1. P. 102-105; Bekhtin Y.S., Lupachev A.A., Knyazev M.N. Estimating impulse parameters from point sources in onboard IR-sensor: in Proc. 6th Mediterranean Conf. on Embedded Comput. (MECO). Bar, Montenegro, 2017, P. 159-162). Однако для решения задач компенсации ГШ принято (Narendra, P. Reference-free nonuniformity compensation for IR imaging arrays // Proc. SPIE. 1980. Vol. 252. P. 10-17) упрощать данную модель до линейной:

где I_0ij и I_ij - соответственно яркости пикселя на пересечении i-й строки и j-го столбца в отсутствие ГШ и при его наличии, k_ij и b_ij - соответственно мультипликативная и аддитивная составляющие ГШ.

Аддитивная составляющая ГШ b_ij в основном определяется неоднородностью распределения темнового тока МФПУ, поэтому зависит от температуры матрицы и времени экспозиции, а мультипликативная составляющая ГШ k_ij связана с неоднородностью чувствительности фотоприемных элементов МФПУ.

Для составленных из вертикально расположенных линеек ФЧЭ МФПУ модель (1) может быть сведена к виду (Perry D.L., Dereniak E.L. Linear theory of nonuniformity correction in infrared staring sensors // Optical engineering. 1993. Vol. 32. P. 1854-1859):

где k_j и b_j - соответственно мультипликативная и аддитивная составляющие ГШ в j-й линейке ФЧЭ.

В источниках (Hardie R. Hayat М., Armstrong Е., Yasuda В. Scene-based nonuniformity correction with video sequences and registration // Applied Optics. 2000. Vol. 39, No. 8. P. 1241-1250; Zuo C, Chen Q., Gu G., Sui X., Ren J. Improved interframe registration based nonuniformity correction for focal plane arrays // Infrared Phys. Technol. 2012. Vol. 55, No. 4. P. 263-269) показано, что с целью упрощения решения задачи компенсации ГШ в модели (2) может быть оставлен только один подлежащий оцениванию параметр - постоянное смещения в j-м столбце b_j:

При этом коррекция аддитивного ГШ заключается в его оценивании для каждой линейки ФЧЭ и последующем вычитании.

Модель (3) справедлива, если в процессе съемки температура МФПУ ИК камеры не меняется.

Из уровня техники известны способы компенсации ГШ МФПУ (патент RU 2679547, опубликовано 11.02.2019, МПК: G06T 5/00 (2006.01), G06T 7/80 (2017.01), H04N 5/33 (2006.01), H04N 5/357 (2011.01); патент RU 2711723, опубликовано 21.01.2020, МПК: G06T 5/00 (2006.01), G06T 7/80 (2017.01), H04N 5/357 (2011.01)), оперирующие линейной моделью (2). Оба этих способа предполагают выполнение предварительной калибровки ИК камеры путем поочередного равномерного облучения ФЧЭ МФПУ от источника с низким и высоким уровнем излучения, запоминании в цифровой форме значений яркости элементов кадров изображений I₁ для низкого и I₂ для высокого уровней облучения соответственно и вычислении параметров k_ij и b_ij путем решения систем из двух линейных уравнений (2) для каждого пикселя ФЧЭ. При этом дополнительно цифровые значения яркости элементов кадра изображения I₁ в процессе калибровки запоминают при минимальном времени экспозиции t_min, задают при низком уровне равномерной облученности фотоприемника максимальное время экспозиции t_max и запоминают в цифровой форме получаемые при этом значения яркости элементов кадра изображения I_max, а затем вычисляют их среднее значение.

Рассмотренные способы компенсации ГШ обязательно предполагают выполнение предварительной калибровки ИК камеры с применением абсолютно черного тела. Поэтому их применимость ограничена только фото- и видеозаписями с той камеры, для которой была проведена калибровка по черному телу. Следовательно, для компенсации ГШ на фото- и видеоизображениях, снятых некалиброванной камерой, данные способы не применимы. Для решения таких задач необходимо применять способы компенсации ГШ, основанные на анализе наблюдаемой сцены.

Известны способ и система коррекции геометрического шума (патент US 8503821, опубликовано 06.08.2013, МПК: G06K 9/40 (2006.01)), в которых выполняется сопоставление двух кадров видеопоследовательности:

- оценка пиксельного смещения между первым и вторым кадрами по особым точкам сцены;

- определение различий яркости пикселей с первого и второго кадров, соответствующих одним и тем же объектам сцены;

- компенсация неоднородности яркости на основе различий в средней яркости кадров и информации о направлении смещения от кадра к кадру.

Недостатком способа является ограничение его применения для малоконтрастных изображений, на которых межкадровое смещение по особым точкам оценивается с большой ошибкой. Высокая ошибка при оценивании межкадрового смещения по особым точкам также характерна при наблюдении сцен с однородными текстурами.

Известны способы коррекции неоднородности сканирующих многоэлементных фотоприемных устройств по сигналам сцены (патент RU 2347324, опубликовано 28.05.2007, МПК: H04N 5/33 (2006.01); патент RU 2411684, опубликовано 10.02.2011, МПК: H04N 5/33 (2006.01), H04N 1/409 (2006.01)), в которых:

- производится последовательная регистрация элементов сцены соседними ФЧЭ МФПУ при сканировании, которое выполняется в направлении, перпендикулярном линейкам ФЧЭ;

- определяется зависимость сигналов каждого элемента от сигналов соседнего элемента и по этим зависимостям оцениваются параметры корректирующих функций: коэффициенты полиномов первого (патент RU 2347324, опубликовано 28.05.2007, МПК: H04N 5/33 (2006.01)) или второго порядка (патент RU 2411684, опубликовано 10.02.2011, МПК: H04N 5/33 (2006.01), H04N 1/409 (2006.01));

- после оценивания параметров функций последовательно осуществляется коррекция сигналов для каждого ФЧЭ МФПУ относительно предыдущего.

Недостатками рассмотренных способов являются:

- необходимость попадания световых потоков одних и тех же элементов сцены на соседние ФЧЭ МФПУ;

- большое время обработки, связанное с вычислением коэффициентов линейной регрессии для каждой пары соседних пикселей кадра.

От указанных недостатков свободен способ выравнивания неравномерной чувствительности фотоприемников сканирующих линеек тепловизоров (патент RU 2113065, опубликовано 10.06.1998, H04N 5/33 (1995.01)), который содержит следующие этапы:

- построчно разлагают видеосигнал с выходов фотоприемников,

- видеосигналы с выхода каждого фотоприемника суммируют вдоль каждой строки,

- сглаживают полученную последовательность суммарных сигналов в направлении кадровой развертки,

- для каждой строки вырабатывают корректирующий сигнал путем деления сглаженного суммарного сигнала для данной строки на соответствующий этой строке суммарный сигнал,

- формируют результирующий выровненный сигнал на каждой строке посредством умножения видеосигнала строки с выхода фотоприемника на соответствующий корректирующий сигнал.

Сглаживание последовательности суммарных сигналов в направлении кадровой развертки также может осуществляться заменой значений суммарных сигналов, полученных на интервале времени формирования строк, на значение суммы соседних с ним значений суммарных сигналов.

Способ, согласно его описанию, подразумевает направление считывания зарядовых пакетов с МФПУ по строкам, однако при изменении направления суммирования видеосигналов (со строки на столбец) и сглаживания суммарных сигналов (в направлении строчной развертки) также может быть применен и к МФПУ с вертикальным направлением считывания зарядовых пакетов.

К недостаткам способа следует отнести высокое качество коррекции геометрического шума только при съемке сцен с однородным фоном, при котором световой поток, падающий на все элементы МФПУ, приблизительно одинаков. При наличии в кадре протяженных (в направлении считывания заряда с ФЧЭ МФПУ) объектов с яркостью, отличной от яркости фона (большей или меньшей), выравнивание средней яркости в строках/столбцах МФПУ приводит к артефактам компенсации: появлению на участках фона полос (темных или светлых) с шириной, соответствующей ширине протяженного объекта. Аналогичный эффект характерен и для алгоритма компенсации ГШ, основанного на оценивании статистических характеристик изменения яркости вдоль строки изображения (Cao Y., Не Z., Yang J., Yang M.Y. Spatially adaptive column fixed-pattern noise correction in infrared imaging system using 1D horizontal differential statistics // IEEE Photonics Journal. 2017. Vol. 9, No. 5. P. 1-13).

Указанного недостатка лишен способ компенсации ГШ ИК изображений (патент RU 2688616, опубликовано 21.05.2019, МПК: G06T 5/50 (2006.01), H04N 5/33 (2006.01)), выбранный по совокупности признаков в качестве прототипа. В данном способе массив постоянных составляющих сигналов с ФЧЭ МФПУ получают в результате рекуррентного усреднения яркости пикселей совокупности ранее принятых n кадров:

для чего в каждом текущем кадре I^k случайным образом переставляют строки и формируют кадр I^*k. Далее во вспомогательном кадре N_k оценивают дисперсию градиента яркости в направлении строк (по горизонтали):

где оператором М{⋅} обозначено вычисление математического ожидания по полю кадра, и сравнивают с ее предыдущим максимальным значением . Если данное значение превышено, , обновляют максимальное значение дисперсии, , и выполняют запись кадра N_k в оперативную память, формируя калибровочный кадр K = N_k. Далее указанный кадр разделяют на низкочастотную (НЧ) K_НЧ и высокочастотную (ВЧ) b составляющие,

и считают оцененную ВЧ составляющую b геометрическим шумом, который сохраняют в памяти и компенсируют согласно модели ГШ (3).

Недостатком способа прототипа является то, что он обеспечивает компенсацию ГШ только в тех случаях, когда ГШ можно описывать моделью (3), т.е. при постоянной температуре МФПУ ИК камеры. Это справедливо для интервалов времени порядков единиц минут. Для видеопоследовательностей большей длины при изменении температуры МФПУ статистика ГШ может изменяться. Однако в формуле (4) вес каждого нового принятого кадра в формировании статистики ГШ пропорционален 1/n, откуда следует, что изменения темнового тока ФЧЭ МФПУ, происходящие, например, в финальных кадрах видеопоследовательностей большой длины (порядка десятков и сотен минут), не будут приводить к сколько-нибудь значимому изменению вспомогательного кадра N_k. Поэтому качество компенсации ГШ будет снижаться, т.к. его оценка для текущего k-го кадра по (4) и (5) будет являться смещенной.

Техническая проблема, решаемая созданием заявленного изобретения, заключается в необходимости разработки способа компенсации ГШ по анализу наблюдаемой сцены, в котором оценка ГШ будет адаптивно изменяться при изменении его статистики.

Технический результат заключается в формировании вспомогательного калибровочного кадра, который адаптивно изменяется при изменении темнового тока ФЧЭ МФПУ ИК камер.

Технический результат достигается тем, что вспомогательный кадр N_k оценивается не по выражению (4), а нелинейно:

где n - количество ранее принятых кадров, a N_ПОР - пороговое количество ранее принятых кадров.

Оценка вспомогательного кадра по (6) при большой длине последовательности, начиная с n = N_ПОР, эквивалентна алгоритму работы комплементарного фильтра,

где x^ф - отсчет на выходе фильтра, x - входной отсчет.

Коэффициент γ показывает, что даже при скачкообразном изменении фильтруемой величины переходной процесс фильтра (время релаксации) составит не более (1-γ)/γ отсчетов, т.е. в случае (6), где , это составит N_ПОР отсчетов.

Значение параметра N_ПОР в (6) следует выбирать из компромиссных соображений: при увеличении N_ПОР улучшается качество оценивания и компенсации ГШ при фиксированной температуре, и в то же время увеличивается длительность переходного процесса фильтра, что снижает качество компенсации при изменении статистики ГШ во времени. Для практического применения следует рекомендовать N_ПОР = 500…1000, при котором достигается как хорошее качество компенсации ГШ при статической температуре МФПУ ИК камеры (патент RU 2688616, опубликовано 21.05.2019, МПК: G06T 5/50 (2006.01), H04N 5/33 (2006.01)), так и динамика обновления вспомогательного кадра: при частоте кадров, например, 50 Гц, это эквивалентно времени переходного процесса в 10…20 с.

Изобретение относится к области обработки цифровых изображений и касается способа компенсации геометрического шума инфракрасных изображений от сенсоров с вертикальным расположением линеек фоточувствительных элементов. Техническим результатом является формирование вспомогательного калибровочного кадра, который адаптивно изменяется при изменении темнового тока матричного приемника инфракрасных камер. Предложен способ, при котором осуществляют прием кадра с инфракрасной камеры и выполняют вычитание из него оценки геометрического шума. Указанную оценку формируют в результате рекуррентного усреднения яркости пикселей ранее принятых кадров. При этом в каждом принимаемом кадре случайным образом переставляют строки, оценивают дисперсию градиента яркости вспомогательного кадра в направлении строк и сравнивают с ее предыдущим максимальным значением. Если данное значение превышено, выполняют запись вспомогательного кадра в память, разделяют его на низкочастотную и высокочастотную составляющие, сохраняют высокочастотную составляющую в памяти и вычитают ее из текущего кадра. Если значение не превышено, из текущего кадра вычитается ранее сохраненная высокочастотная составляющая. При этом вспомогательный кадр формируют рекуррентным усреднением ранее принятых кадров со случайным образом переставленными строками только до тех пор, пока их количество не превысит порогового значения N_ПОР. Далее вспомогательный кадр формируют по уравнению комплементарного фильтра с фиксированным весом каждого нового принятого кадра, равным 1/N_ПОР.

Способ компенсации геометрического шума в видеопоследовательности инфракрасных изображений, основанный на анализе наблюдаемой сцены, заключающийся в том, что осуществляют прием подлежащего регистрации потока инфракрасного излучения и выполняют вычитание из массива яркости пикселей входного изображения массива постоянных составляющих сигналов с фоточувствительных элементов, при этом оценку геометрического шума получают на основе преобразования вспомогательного кадра, сформированного по совокупности ранее принятых кадров, при этом в каждом принимаемом кадре случайным образом переставляют строки, оценивают дисперсию градиента яркости вспомогательного кадра в направлении строк и сравнивают с её предыдущим максимальным значением; если данное значение превышено, выполняют запись вспомогательного кадра в память, разделяют его на низкочастотную и высокочастотную составляющие, сохраняют высокочастотную составляющую в памяти и вычитают ее из текущего кадра, а если значение не превышено, из текущего кадра вычитается ранее сохраненная высокочастотная составляющая, отличающийся тем, что вспомогательный кадр формируют рекуррентным усреднением ранее принятых кадров со случайным образом переставленными строками до тех пор, пока их количество не превысит порогового значения N_ПОР, а затем вспомогательный кадр формируют по уравнению комплементарного фильтра с фиксированным весом каждого нового принятого кадра, равным 1/N_ПОР.