Способ компенсации геометрического шума матричного фотоприемника, инвариантный к времени экспозиции Российский патент 2024 года по МПК G06T5/00 G06T7/80 H04N25/60 

Изобретение относится к области прикладного телевидения, использующего регистрацию отраженного или излученного потока излучения в инфракрасном (ИК) диапазоне спектра.

Геометрический шум (ГШ) или в английской аббревиатуре FPN-шум (fixed pattern noise) является для конкретного фотоприемника детерминированной помехой, имеющей две составляющих: аддитивную и мультипликативную. Аддитивная составляющая обусловлена неравномерностью термогенерации носителей заряда в элементах матричного фотоприемника. Мультипликативная составляющая обусловлена неоднородностью чувствительности элементов матричного фотоприемника.

Математическая модель, описывающая сигнал с ГШ, представляет собой линейное уравнение с постоянными коэффициентами. В матричной форме записи эта модель имеет следующий вид: Y=KX+B, где Y - матрица выходных значений сигнала яркости матричного фотоприемника с ГШ, В - матрица аддитивной составляющей ГШ, характеризующая для каждого элемента неравномерность термогенерации, X - матрица значений сигнала яркости от элементов матричного фотоприемника без ГШ, а K - матрица коэффициентов, характеризующих неравномерность чувствительности для каждого из этих элементов. При этом KX - мультипликативная составляющая ГШ.

С ГШ обычно борются компенсационным методом, заключающимся в вычитании предварительно запомненных значений аддитивной составляющей В и умножением (или делением) на предварительно рассчитанные коэффициенты K компенсации мультипликативной составляющей.

Указанная выше математическая модель используется в известном способе компенсации ГШ, описанном, в частности, на с. 16-23 литературы Л.И. Хромов, Н.В. Лебедев, А.К. Цыцулин, А.Н. Куликов «Твердотельное телевидение. Телевизионные системы с переменными параметрами на ПЗС и микропроцессорах». М., «Радио и связь», 1986г. Данный способ предусматривает предварительную калибровку матричного фотоприемника видимого диапазона спектра, во время которой производят поочередное перекрытие потока излучения и равномерное облучение фотоприемника. Получаемые при этом значения в матрице сигнала яркости изображений Y₁ для перекрытого потока излучения и Y₂ для равномерно облученного фотоприемника запоминают. Затем рассчитывают для каждого элемента изображения коэффициенты K, характеризующие относительную чувствительность элементов фотоприемника по формуле K=Y₂/m₂, где m₂ средняя яркость изображения Y₂. При информативном облучении фотоприемника производят компенсацию ГШ в получаемых при этом цифровых значениях Y, формируя выходные значения яркости X по формуле X=(Y-B)/K, причем, B=Y₁. Недостатком данного способа является его низкая точность при работе в увеличенном динамическом диапазоне изменения сигнала.

Известен способ компенсации геометрического шума матричного фотоприемника, описанный на с. 3, 4 статьи авторов Брондз Д.С., Харитонова Е.Н., «Коррекция геометрического шума МФПУ с помощью аппроксимации методом наименьших квадратов передаточных характеристик матрицы полиномом Т-порядка» // Журнал радиоэлектроники, 2008, №11. С. 1-29.

Данный способ предусматривает нахождение коэффициентов K из системы уравнений: Y₁=KX₁+B и Y₂=KX₂+B. При этом Х₁ и Х₂ - исходные значения сигнала яркости от элементов матричного фотоприемника без ГШ при равномерном низком и высоком уровне облученности элементов фотоприемной матрицы, соответствующие средним значениям яркости m₁ и m₂ изображений Y₁ и Y₂. Из рассмотренной выше системы уравнений следуют значения K=(Y₂-Y₁)/(m₂-m₁) и B=(m₂Y₁-m₁Y₂)/(m₂-m₁) для каждого элемента фотоприемника. На практике обычно используют приближенное значение B=Y₁, поскольку для низкого уровня облученности фотоприемника при m₁→0 B→Y₁. Сущность данного способа заключается в предварительной калибровке матричного фотоприемника, выполняемой путем поочередного равномерного его облучения от источников с низким и высоким уровнем излучения. Получаемые при этом цифровые значения сигнала яркости кадров изображений Y₁ для низкого и Y₂ для высокого уровня облученности фотоприемника запоминают и рассчитывают средние значения яркости m₁ и m₂ для изображений Y₁ и Y₂, соответственно. Далее для каждого элемента матричного фотоприемника рассчитывают значения матрицы коэффициентов K по формуле K=(Y₂-Y₁)/(m₂-m₁). При информативном облучении фотоприемника производят компенсацию ГШ по формуле X=(Y-Y₁)/K+m₁. Добавление значения m₁ при этом обеспечивает восстановление средней яркости изображения, теряемой при вычитании значений Y₁. Данный способ в литературе известен, как двухточечная коррекция.

Недостатком данного способа является низкая точность компенсации ГШ фотоприемника при времени экспозиции (накопления), заданного во время информативной засветки, отличном от времени экспозиции, использованном в процессе калибровки. Низкая точность обусловлена тем, что, например, при увеличении времени t экспозиции фотоприемника в процессе его информативного облучения в пределах рабочего диапазона экспозиций t_min≤t≤t_max относительно минимального времени экспозиции t_min, использованного в процессе калибровки, возникает ошибка компенсации ГШ. Ошибка компенсации ГШ в свою очередь объясняется тем, что величина ГШ прямо пропорциональна времени накопления. На изображении ошибка компенсации проявляется в виде помехи - зернистой структуры. При этом, чем больше задаваемое время накопления t, тем больше ошибка компенсации и заметнее помеха.

Наиболее близким по технической сущности к заявляемому способу является способ компенсации геометрического шума матричного фотоприемника (см. патент РФ №2711723, G06T 5/00, G06T 7/80, H04N5/357 от 29.10.2019) - прототип.

Данный способ заключается в следующем. Производят предварительную калибровку фотоприемника путем поочередного равномерного облучения элементов фотоприемной матрицы от источника с низким и высоким уровнем излучения при минимальном времени экспозиции фотоприемника t_min. Полученные при этом значения сигнала яркости изображения Y_1min для низкого уровня облучения и изображения Y_2min для высокого уровня облучения запоминают в цифровой форме и вычисляют средние значение m_1min и m_2min сигнала яркости изображений Y_1min и Y_2min, соответственно. На этапе калибровки дополнительно задают максимальное время экспозиции t_max при низком уровне равномерной облученности фотоприемника. Получаемые при этом значения сигнала яркости изображения Y_1max запоминают в цифровой форме и вычисляют их среднее значение m_1max. Непосредственно перед информативной засветкой для заданного в пределах t_min≤t≤t_max времени t экспозиции фотоприемника вычисляют коэффициент a=(t-t_min)/(t_max-t_min), а также формируют матрицу эталонного изображения по формуле Y₀=aY_1max+(1-a)Y_1min и определяют его среднюю яркость m₀, а также коэффициенты K для каждого элемента матричного фотоприемника по формуле K=(Y_2min-Y_1min)/(m_2min-m_1min), принимая при этом значения Y_1min=Y₀.

Во время информативной засветки формирование выходных цифровых значений яркости X производят по формуле X=(Y-Y₀)/K+m₀.

Таким образом, идея способа-прототипа заключается в учете изменения аддитивной составляющей ГШ при смене времени экспозиции. Максимальное изменение аддитивной составляющей ГШ фиксируется при максимальном времени экспозиции t_max в эталонном изображении Y_1max. Промежуточные значения изменений аддитивной составляющей ГШ линейно интерполируются по формуле Y₀=aY_1max+(1-a)Y_1min при вычислении матрицы эталонного изображения по формуле Y₀, используемого при формировании выходного изображения X.

Однако помимо аддитивной составляющей в ГШ имеется мультипликативная составляющая, которая также как и аддитивная составляющая, изменяется при изменении экспозиции, что не учитывается в способе-прототипе. Отсутствие учета мультипликативной составляющей ведет к недостаточной точности компенсации ГШ при смене экспозиции, что особенно сильно сказывается при увеличении диапазона времени [t_min;t_max]. В результате способ-прототип оказывается работоспособен в весьма небольшом диапазоне времен экспозиции.

Задачей изобретения является повышение точности компенсации геометрического шума матричного фотоприемника в процессе двухточечной коррекции при смене времени экспозиции.

Технический результат заявляемого технического решения выражен в повышении точности компенсации геометрического шума матричного фотоприемника в процессе двухточечной коррекции при смене времени экспозиции.

Технический результат достигается тем, что в отличие от известного способа компенсации геометрического шума матричного фотоприемника, заключающегося в предварительной калибровке фотоприемника путем поочередного равномерного облучения элементов фотоприемной матрицы от источника с низким и высоким уровнем излучения при минимальном времени экспозиции фотоприемника t_min и запоминании в цифровой форме полученных при этом значений сигналов яркости изображения Y_1min для низкого уровня облучения и изображения Y_2min для высокого уровня облучения, вычислении средних значений m_1min и m_2min сигналов яркости изображений Y_1min и Y_2min, вычислении коэффициентов K для каждого элемента матричного фотоприемника по формуле K_min=(Y_2min-Y_1min)/(m_2min-m_1min), задании на этапе калибровки максимального времени экспозиции t_max при низком уровне равномерной облученности фотоприемника, запоминании в цифровой форме получаемых при этом значений сигнала яркости изображения Y_1max и вычислении их среднего значения m_1max, вычислении непосредственно перед информативной засветкой коэффициента a=(t-t_min)/(t_max-t_min) для заданного в пределах t_min≤t≤t_max времени t экспозиции фотоприемника, вычислении матрицы эталонного изображения по формуле Y₀=aY_1max+(1-a)Y_1min и определении его средней яркости m₀, формировании во время информативной засветки выходных цифровых значений яркости X в соответствии с выражением X=(Y-Y₀)/K+m₀, в процессе калибровки при максимальном времени экспозиции t_max устанавливают высокий уровень равномерной облученности фотоприемника, запоминают в цифровой форме значения яркости элементов изображения Y_2max и определяют их среднее значение m_2max, рассчитывают матрицу коэффициентов компенсации K_max по формуле K_max=(Y_2max-Y_1max)/(m_2max-m_1max), а значения матрицы K при формировании выходных цифровых значений яркости X вычисляют по формуле K=aK_max+(1-a)K_min.

Принцип работы заявляемого способа заключается в том, что в отличие от способа-прототипа производится учет изменения не только аддитивной, но и учет изменения мультипликативной составляющей ГШ. Это достигается за счет дополнительного запоминания в цифровой форме значений яркости элементов эталонного изображения Y_2max, получаемого на этапе калибровки при максимальном времени экспозиции t_max и высоком уровне равномерной облученности фотоприемника, и определения коэффициентов компенсации мультипликативной составляющей K_max для максимального времени экспозиции t_max. В свою очередь, используя значения коэффициентов компенсации мультипликативной составляющей K_min и K_max для границ диапазона [t_min;t_max] в заявляемом способе, в отличие от способа-прототипа, за счет дополнительной линейной интерполяции по формуле K=aK_max+(1-a)K_min вычисляются значения коэффициентов компенсации мультипликативной составляющей K для устанавливаемых времен экспозиции t. Указанные операции позволяют учесть изменения не только аддитивной, но и мультипликативной составляющей ГШ, происходящие при смене времени t экспозиции фотоприемника в пределах t_min≤t≤t_max, что обеспечивает повышение точности компенсации ГШ по отношению к способу-прототипу. Кроме этого, достигается расширение возможного диапазона экспозиции [t_min;t_max], при котором обеспечивается качественная компенсация ГШ, по сравнению со способом-прототипом.

Для достижения указанного выше технического результата предложен способ, включающий предварительную калибровку фотоприемника при минимальном времени экспозиции t_min путем поочередного равномерного облучения элементов фотоприемной матрицы от источника с низким и высоким уровнем излучения, запоминание в цифровой форме значений яркости элементов изображений Y_1min и Y_2min для низкого и для высокого уровня облучения, соответственно, а также предварительную калибровку фотоприемника при максимальном времени экспозиции t_max путем поочередного равномерного облучения элементов фотоприемной матрицы от источника с низким и высоким уровнем излучения, запоминание в цифровой форме значений яркости элементов изображений Y_1max и Y_2max для низкого и для высокого уровня облучения, соответственно, вычисление средних значений m_1min, m_2min, m_1max и m_2max яркости элементов изображений Y_1min, Y_2min, Y_1max и Y_2max, соответственно, вычисление для каждого элемента изображения матриц коэффициентов компенсации K_min и K_max по формулам K_min=(Y_2min-Y_1min)/(m_2min-m_1min) и K_max=(Y_2max-Y_1max)/(m_2max-m_1max), вычисление непосредственно перед информативной засветкой коэффициента a=(t-t_min)/(t_max-t_min) для устанавливаемого в пределах t_min≤t≤t_max времени t экспозиции фотоприемника, вычисление матрицы эталонного изображения для компенсации аддитивной составляющей Y₀=aY_1max+(1-a)Y_1min и его средней яркости m₀, вычисление матрицы коэффициентов для компенсации мультипликативной составляющей K=aK_max+(1-a)K_min, получение в процессе информативного облучения значений яркости элементов изображения Y и формирование выходных цифровых значений яркости X в соответствии с выражением X=(Y-Y₀)/K+m₀.

На фиг. 1 приведен пример структурной схемы устройства для реализации заявляемого способа, где:

1 - объектив;

2 - инфракрасная камера (ИК-камера);

3 - устройство видеозаписи;

4 - компьютер.

Изображения для низкого и высокого уровня облучения фотоприемников в процессе калибровки фотоприемника могут быть получены, например, путем последовательной съемки матричной ИК-камерой изображений излучателя по модели абсолютно черного тела (АЧТ) при его низкой и высокой температуре. Фиксация изображений в компьютере может осуществляться через стандартное устройство видеозаписи, например, типа BeholdTV, подключаемое к USB-порту компьютера. Результирующее изображение может быть получено, например, путем программирования в среде стандартного пакета MATLAB или путем создания специализированной программы, например, в среде С++.

Устройство содержит объектив 1, оптически связанный с матричной ИК-камерой 2, последовательно подключенной к устройству 3 видеозаписи и компьютеру 4.

Способ осуществляется следующим образом.

Поток излучения, проходит через объектив 1 на фотоприемник ИК-камеры 2. Время экспозиции t в пределах t_min≤t≤t_max задается в ИК-камере. Значения t, t_min и t_max вводятся в компьютер в ручном режиме. Калибровка камеры осуществляется при t=t_min и при t=t_max с использованием излучателя, формирующего равномерный фон при низкой и высокой температуре по модели абсолютно черного тела (АЧТ). Получаемые в процессе калибровки изображения Y_1min для t_min и Y_1max для t_max при низкой температуре АЧТ, а также Y_2min для t_min и Y_2max для t_max при высокой температуре АЧТ последовательно преобразуются ИК-камерой 2 в электрический сигнал, который в свою очередь преобразуется в цифровую форму стандартным устройством 3 видеозаписи и последовательно вводится в компьютер 4.

Введенные в компьютер исходные цифровые значения яркости элементов изображений Y_1min, Y_1max, Y_2min, Y_2max, а также значения t, t_min и t_max обрабатываются программным путем. При этом вычисляются средние значения m_1min, m_1max, m_2min, m_2max яркости элементов в кадрах изображений Y_1min, Y_1max, Y_2min, Y_2max, а также рассчитываются матрицы коэффициентов компенсации по формулам K_min=(Y_2min-Y_1min)/(m_2min-m_1min) и K_max=(Y_2max-Y_1max)/(m_2max-m_1max). Кроме этого определяют значение коэффициента а в соответствии с выражением a=(t-t_min)/(t_max-t_min) для устанавливаемого времени экспозиции и вычисляют интерполированные значения аддитивной составляющей ГШ в виде матрицы Y₀=aY_1max+(1-a)Y_1min и определяют ее среднее значение m₀, а также вычисляют интерполированные значения коэффициентов компенсации K=aK_max+(1-a)K_min мультипликативной составляющей. В процессе информативной засветки фотоприемника получают исходное изображение Y, содержащее аддитивную и мультипликативную составляющие геометрического шума. С использованием полученных интерполированных значений Y₀ и K производят двухточечную коррекцию исходного изображения Y, получая выходное изображение X в соответствии с выражением X=(Y-Y₀)/K+m₀.

Выходные цифровые значения яркости элементов откорректированного изображения X отображаются на экране дисплея компьютера. Таким образом, для реализации данного способа могут быть применены известные материалы и технические средства.

На фиг. 2 показаны профилограммы яркости выделенной строки изображения, полученного при облучении фотоприемника от АЧТ с температурой 20С и обработанного методом двухточечной коррекции без учета времени экспозиции (профилограммы 1), а также обработанного по способу-прототипу с учетом времени экспозиции (профилограммы 2).

На фиг. 3 показаны профилограммы яркости выделенной строки изображения, полученного при облучении фотоприемника от АЧТ с температурой 20С и обработанного методом двухточечной коррекции без учета времени экспозиции (профилограммы 1), а также обработанного по заявляемому способу с учетом времени экспозиции (профилограммы 2).

По горизонтальной оси графиков показаны номера элементов строки изображения, по вертикальной оси графиков показаны значения яркости в относительных единицах при 16-разрядном их кодировании. При этом калибровка производилась для низкого уровня облученности с температурой 10С и высокого уровня облученности с температурой 50С. Диапазон времени экспозиции задавался в пределах t_min=2мс и t_max=10мс. Информативная засветка производилась при t=9мс. Как видно из представленных графиков, с увеличением времени экспозиции при информативной засветке по отношению к времени экспозиции, использованному при калибровке, заявляемый способ обеспечивает существенное уменьшение уровня геометрического шума по сравнению со способом-прототипом, что позволяет в свою очередь существенно расширить диапазон используемых значений времени экспозиции. Так, например, компьютерное моделирование в среде MATLAB показывает, что если способ-прототип обеспечивает эффективную компенсацию ГШ в малом диапазоне времени экспозиции, не превышающем 2-5мс, то заявляемый способ обеспечивает не менее чем двукратное увеличение этого диапазона, а именно: до 2-10мс, при котором способ-прототип, как видно из графиков на фиг. 2, оказывается неэффективным.

Изобретение относится к способу компенсации геометрического шума матричного фотоприемника. Технический результат заключается в повышении точности компенсации геометрического шума матричного фотоприемника в процессе двухточечной коррекции при смене времени экспозиции. В способе производится учет изменения не только аддитивной, но и учет изменения мультипликативной составляющей ГШ за счет дополнительного запоминания в цифровой форме значений яркости элементов эталонного изображения Y_2max, получаемого на этапе калибровки при максимальном времени экспозиции t_max и высоком уровне равномерной облученности фотоприемника, и определения коэффициентов компенсации мультипликативной составляющей K_max для максимального времени экспозиции t_max. В свою очередь, используя значения коэффициентов компенсации мультипликативной составляющей K_min и K_max для границ диапазона [t_min; t_max] в заявляемом способе, в отличие от способа-прототипа, за счет дополнительной линейной интерполяции по формуле K=aK_max+(1-a)K_min вычисляются значения коэффициентов компенсации мультипликативной составляющей K для устанавливаемых времен экспозиции t. Указанные операции позволяют учесть изменения не только аддитивной, но и мультипликативной составляющей ГШ, происходящие при смене времени t экспозиции фотоприемника в пределах t_min≤t≤t_max. 3 ил.

Способ компенсации геометрического шума матричного фотоприемника, инвариантный к времени экспозиции, включающий его предварительную калибровку при минимальном времени экспозиции фотоприемника t_min путем поочередного равномерного облучения элементов фотоприемной матрицы от источника с низким и высоким уровнем излучения, запоминание в цифровой форме значений яркости элементов изображений Y_1min и Y_2min для низкого и для высокого уровня облучения соответственно, задание на этапе калибровки максимального времени экспозиции t_max при низком уровне равномерной облученности фотоприемника и запоминание в цифровой форме получаемых при этом значений яркости элементов изображения Y_1max, вычисление средних значений m_1min, m_2min и m_1max яркости элементов изображений Y_1min, Y_2min и Y_1max соответственно, вычисление для каждого элемента изображения матрицы коэффициентов компенсации K_min по формуле K_min=(Y_2min-Y_1min)/(m_2min-m_1min), вычисление непосредственно перед информативной засветкой коэффициента a=(t-t_min)/(t_max-t_min) для устанавливаемого в пределах t_min≤t≤t_max времени t экспозиции фотоприемника, вычисление матрицы эталонного изображения Y₀=aY_1max+(1-a)Y_1min и его средней яркости m₀, получение в процессе информативного облучения значений яркости элементов изображения Y и формирование выходных цифровых значений яркости X по формуле X=(Y-Y₀)/K+m₀, отличающийся тем, что в процессе калибровки при максимальном времени экспозиции t_max устанавливают высокий уровень равномерной облученности фотоприемника, запоминают в цифровой форме значений яркости элементов изображения Y_2max и определяют их среднее значение m_2max, рассчитывают матрицу коэффициентов компенсации K_max по формуле K_max=(Y_2max-Y_1max)/(m_2max-m_1max), а значения матрицы K при формировании выходных цифровых значений яркости X вычисляют по формуле K=aK_max+(1-a)K_min.