Способ компенсации геометрического шума матричного фотоприемника Российский патент 2020 года по МПК G06T5/00 G06T7/80 H04N5/357 

Изобретение относится к области прикладного телевидения, использующего регистрацию отраженного или излученного потока излучения в инфракрасном (ИК) диапазоне спектра.

Геометрический шум (ГШ) или в английской аббревиатуре FPN-шум (fixed pattern noise) является для конкретного фотоприемника детерминированной помехой, имеющей две составляющих: аддитивную и мультипликативную. Аддитивная составляющая обусловлена неравномерностью термогенерации носителей заряда в элементах матричного фотоприемника. Мультипликативная составляющая обусловлена неоднородностью чувствительности элементов матричного фотоприемника.

Математическая модель, описывающая сигнал с ГШ, представляет собой линейное уравнение с постоянными коэффициентами. В матричной форме записи эта модель имеет следующий вид: Y=KX+B, где Y - матрица выходных значений сигнала яркости матричного фотоприемника с ГШ, В - матрица аддитивной составляющей ГШ, характеризующая для каждого элемента неравномерность термогенерации, X - матрица значений сигнала яркости от элементов матричного фотоприемника без ГШ, а K - матрица коэффициентов, характеризующих неравномерность чувствительности для каждого из этих элемента. При этом KX - мультипликативная составляющая ГШ.

С ГШ обычно борются компенсационным методом, заключающимся в вычитании предварительно запомненных значений аддитивной составляющей В и умножением (или делением) на предварительно рассчитанные коэффициенты K компенсации мультипликативной составляющей.

Указанная выше математическая модель используется в известном способе компенсации ГШ, описанном, в частности, на с. 16-23 литературы Л.И. Хромов, Н.В. Лебедев, А.К. Цыцулин, А.Н. Куликов «Твердотельное телевидение. Телевизионные системы с переменными параметрами на ПЗС и микропроцессорах». М., «Радио и связь», 1986 г.

Данный способ предусматривает предварительную калибровку матричного фотоприемника видимого диапазона спектра, во время которой производят поочередное перекрытие потока излучения и равномерное облучение фотоприемника. Получаемые при этом значения в матрице сигнала яркости изображений Y₁ для перекрытого потока излучения и Y₂ для равномерно облученного фотоприемника запоминают. Затем рассчитывают для каждого элемента изображения коэффициенты K, характеризующие относительную чувствительность элементов фотоприемника по формуле K=Y₂/m₂, где m₂ средняя яркость изображения Y₂. При информативном облучении фотоприемника производят компенсацию ГШ в получаемых при этом цифровых значениях Y, формируя выходные значения яркости X по формуле X=(Y-B)/K, причем, B=Y₁.

Недостатком данного способа является его низкая точность при работе в увеличенном динамическом диапазоне изменения сигнала.

Известен способ компенсации геометрического шума матричного фотоприемника, описанный на с. 3, 4 статьи авторов Брондз Д.С., Харитонова Е.Н., «Коррекция геометрического шума МФПУ с помощью аппроксимации методом наименьших квадратов передаточных характеристик матрицы полиномом Т-порядка» // Журнал радиоэлектроники, 2008, №11. С. 1-29.

Данный способ также основан на использовании рассмотренной выше математической модели ГШ. Однако, в отличие от рассмотренного первого способа, данный способ предусматривает нахождение коэффициентов K из системы уравнений: Y₁=KX₁+B и Y₂=KX₂+B. При этом Х₁ и Х₂ - исходные значения сигнала яркости от элементов матричного фотоприемника без ГШ при равномерном низком и высоком уровне облученности элементов фотоприемной матрицы, соответствующие средним значениям яркости m₁ и m₂ изображений Y₁ и Y₂. Из рассмотренной выше системы уравнений следует значения K=(Y₂-Y₁)/(m₂-m₁) для каждого элемента фотоприемника.

Таким образом, сущность данного способа заключается в предварительной калибровке матричного фотоприемника, выполняемой путем поочередного равномерного его облучения от источников с низким и высоким уровнем излучения. Получаемые при этом цифровые значения сигнала яркости кадров изображений Y₁ для низкого и Y₂ для высокого уровня облученности фотоприемника запоминают и рассчитывают средние значения яркости m₁ и m₂ для изображений Y₁ и Y₂, соответственно. Далее для каждого элемента матричного фотоприемника рассчитывают значения коэффициентов K по формуле K=(Y₂-Y₁)/(m₂-m₁). При информативном облучении фотоприемника производят компенсацию ГШ по формуле X=(Y-Y₁)/K+m₁. Добавление значения m₁ при этом обеспечивает восстановление средней яркости изображения, теряемой при вычитании значений Y₁. Данный способ в литературе известен, как двухточечная коррекция.

Недостатком данного способа является низкая точность компенсации ГШ фотоприемника при времени экспозиции (накопления), отличном от времени экспозиции, использованном в процессе калибровки. Низкая точность обусловлена тем, что, например, при увеличении времени t экспозиции фотоприемника в процессе его информативного облучения в пределах рабочего диапазона экспозиций t_min≤t≤t_max относительно минимального времени экспозиции t_min, использованного в процессе калибровки, возникает ошибка компенсации ГШ. Ошибка компенсации ГШ в свою очередь объясняется тем, что аддитивная составляющая ГШ прямо пропорциональна времени накопления. На изображении ошибка компенсации проявляется в виде помехи - зернистой структуры. При этом, чем больше задаваемое время накопления t, тем больше ошибка компенсации и заметнее помеха.

Наиболее близким по технической сущности к заявляемому способу является способ компенсации геометрического шума матричного фотоприемника (см. патент РФ №2679547, G06T 5/00, от 11.02.2019) - прототип.

Данный способ заключается в следующем. Производят предварительную калибровку фотоприемника путем поочередного равномерного облучения элементов фотоприемной матрицы от источника с низким уровнем и высоким уровнем излучения при времени экспозиции фотоприемника t_min. Полученные при этом значения сигнала яркости изображения Y₁ для низкого и изображения Y₂ для высокого уровня облучения запоминают в цифровой форме. Далее вычисляют средние значение m₁ и m₂ сигнала яркости изображений Y₁ и Y₂, соответственно, а также коэффициенты K для каждого элемента матричного фотоприемника по формуле K=(Y₂-Y₁)/(m₂-m₁) для времени экспозиции фотоприемника t_min. На этапе калибровки дополнительно задают максимальное время экспозиции t_max при низком уровне равномерной облученности фотоприемника. Получаемые при этом значения сигнала яркости изображения Y_max запоминают в цифровой форме и вычисляют их среднее значение m_max.

Затем на этапе калибровки осуществляют преобразования полученных изображений Y₂, Y₁ и Y_max по формулам X₁=(Y₂-Y₁)K+m₁ и X₂=(Y₂-Y_max)K+m_max, соответствующим способу двухточечной коррекции, и запоминают полученные значения сигнала яркости кадров изображений Х₁ и Х₂. Полученные кадры изображения содержат остаточный ГШ, получаемый после указанных выше преобразований сигнала яркости изображения Y₂ при времени экспозиции t_min и t_max, соответственно.

Непосредственно перед информативной засветкой вычисляют коэффициент a=(t-t_min)/(t_max-t_min) для заданного в пределах t_min≤t≤t_max времени t экспозиции фотоприемника и формируют корректирующий кадр изображения Y₀ по формуле , а также определяют его среднюю яркость m₀.

Непосредственно при информативном облучении фотоприемника, получая изображение Y с установленным временем экспозиции t, производят двухточечную коррекцию по формуле X=(Y-Y₁)K+m_l с использованием отсчетов яркости Y₁ и коэффициентов K, вычисленных на этапе калибровки для времени экспозиции t_min. Далее окончательно выходное изображение Х₀ формируют в соответствии с выражениями X₀=X-Y₀+m₀, если t≠t_min и Х₀=Х, если t=t_min.

Таким образом, сущность способа-прототипа заключается в том, что вычисляются значения сигнала яркости интерполированного корректирующего кадра изображения Y₀ для времени экспозиции t. При информативной засветке значения Y₀ вычитаются из значений яркости соответствующих элементов выходного кадра X, формируемого по коэффициентам K, рассчитанным на этапе калибровки при времени экспозиции t_min.

Недостатком данного способа является то, что при реализации способа вычисления в процессе компенсации ГШ требуют увеличенного объема памяти для хранения эталонных изображений и коэффициентов компенсации. В частности, требуется память для хранения эталонных изображений Х₁, Х₂, Y₁ и матрицы коэффициентов компенсации K.

Задачей изобретения является уменьшение при реализации способа объема памяти, требуемой для хранения эталонных изображений и коэффициентов компенсации, получаемых в процессе калибровки.

Технический результат - уменьшение при реализации способа аппаратных затрат на требуемый объем памяти для хранения эталонных изображений и коэффициентов компенсации, получаемых в процессе калибровки.

Поставленная задача достигается тем, что в способе компенсации геометрического шума матричного фотоприемника, включающем его предварительную калибровку при минимальном времени экспозиции фотоприемника t_min путем поочередного равномерного облучения элементов фотоприемной матрицы от источника с низким и высоким уровнем излучения, запоминание в цифровой форме значений яркости элементов изображений Y₁ и Y₂, для низкого и для высокого уровня облучения, соответственно, вычисление средних значений m₁ и m₂ яркости элементов в изображениях Y₁ и Y₂, задание на этапе калибровки максимального времени экспозиции t_max при низком уровне равномерной облученности фотоприемника и запоминание в цифровой форме получаемых при этом значений яркости элементов изображения Y_max, вычисление непосредственно перед информативной засветкой коэффициента a=(t-t_min)/(t_max-t_min) для устанавливаемого времени t экспозиции фотоприемника в пределах t_min≤t≤t_max, вычисление значений яркости элементов эталонного изображения Y₀ по формуле и его средней яркости m₀, расчет значений коэффициентов компенсации K по формуле K=(Y₂-Y₁)/(m₂-m₁), получение в процессе информативного облучения, значений яркости элементов изображения Y и формирование выходных цифровых значений яркости X по формуле X=(Y-Y₁)/K+m₁, значения яркости элементов эталонного изображения Y₀, и значения коэффициентов K вычисляют при информативном облучении, причем, при вычислении Y₀ принимают X₂=Y_max, X₁=Y₁, а при вычислении коэффициентов компенсации K и выходных цифровых значений яркости X принимают Y₁=Y₀, а m₁=m₀, где m₀ - средняя яркость Y₀, вычисляемая непосредственно перед информативной засветкой по формуле ,

Иными словами, при информативной засветке вычисления производят по общей формуле: что позволяет уменьшить объем памяти, требуемой для хранения эталонных изображений и значений коэффициентов компенсации.

Действительно, в заявляемом способе для выполнения калибровки фотоприемника требуется объем памяти для хранения только трех изображений: Y₁, Y₂ и Y_max, в то время, как по способу-прототипу выполнение калибровки требует объема памяти для хранения трех изображений: Х₂, X₁, Y₁ и дополнительный объем памяти для хранения значений коэффициентов компенсации K, а также значений яркости элементов кадра интерполированного корректирующего изображения Y₀.

Технические решения, содержащие совокупность признаков, идентичную признакам изобретения, не выявлены, что определяет соответствие изобретения критерию «новизна».

Заявителем не выявлены какие-либо источники информации, содержащие сведения о влиянии отличительных признаков на достигаемый результат, что свидетельствует о соответствии изобретения критерию «изобретательский уровень».

На фиг. 1 приведен пример структурной схемы устройства для реализации заявляемого способа, где:

1 - объектив;

2 - инфракрасная камера (ИК-камера);

3 - устройство видеозаписи;

4 - компьютер.

Изображения для низкого и высокого уровня облучения фотоприемников в процессе калибровки фотоприемника могут быть получены, например, путем последовательной съемки матричной ИК-камерой изображений излучателя по модели абсолютно черного тела (АЧТ) при его низкой и высокой температуре. Фиксация изображений в компьютере может осуществляться через стандартное устройство видеозаписи, например, типа Aver EZ Capture фирмы Aver Media, подключаемое к PCI- шине компьютера. Результирующее изображение может быть получено, например, путем программирования в среде стандартного пакета MATLAB или путем создания специализированной программы, например, в среде С++.

Устройство содержит объектив 1, оптически связанный с матричной ИК-камерой 2, последовательно подключенной к устройству 3 видеозаписи и компьютеру 4.

Способ осуществляется следующим образом.

Поток излучения, проходит через объектив 1 на фотоприемник ИК-камеры 2. Время экспозиции t в пределах t_min≤t≤t_max задается в ИК-камере. Значения t, t_min, t_max и вводятся в компьютер в ручном режиме. Калибровка камеры осуществляется при t=t_min. Получаемые в процессе калибровки изображения Y₁ для t_min„ Y_max для t_max при низкой и Y₂ для t_min при высокой температуре АЧТ последовательно преобразуются ИК-камерой 2 в электрический сигнал, который в свою очередь преобразуется в цифровую форму стандартным устройством 3 видеозаписи и последовательно вводится в компьютер 4.

Введенные в компьютер исходные цифровые значения яркости элементов изображений Y₁, Y₂, Y_max, а также значения t, t_min и t_max обрабатываются программным путем с целью вычислении средних значений m₁, m₂ яркости элементов в кадрах изображений Y₁, Y₂ и получения значений коэффициентов а по формуле: a=(t-t_min)/(t_max-t_min) и интерполированного значения средней яркости по формуле .

При информативном облучении с временем экспозиции t в компьютер вводится изображение со значениями яркости элементов Y, которые обрабатываются программным путем с целью формирования выходных цифровых значений яркости X по общей формуле:

.

Выходные цифровые значения яркости элементов откорректированного изображения X отображаются на экране дисплея компьютера.

Таким образом, для реализации данного способа могут быть применены известные материалы и технические средства, что обуславливает соответствие изобретения критерию «промышленная применимость».

Изобретение относится к вычислительной технике. Технический результат заключается в уменьшении аппаратных затрат на требуемый объем памяти для хранения эталонных изображений и коэффициентов компенсации, получаемых в процессе калибровки. Способ включает предварительную калибровку геометрического шума при минимальном времени экспозиции фотоприемника t_min путем поочередного равномерного облучения элементов фотоприемной матрицы от источника с низким и высоким уровнем излучения, запоминание в цифровой форме значений яркости элементов изображений Y₁ и Y₂ для низкого и для высокого уровня облучения, соответственно, вычисление среднего значения m₁ и m₂ яркости элементов изображений Y₁ и Y₂, соответственно, задание на этапе калибровки максимального времени экспозиции t_max при низком уровне равномерной облученности фотоприемника и запоминание в цифровой форме получаемых при этом значений яркости элементов изображения Y_max, вычисление непосредственно перед информативной засветкой коэффициента a=(t-t_min)/(t_max-t_min) для устанавливаемого времени t экспозиции фотоприемника в пределах t_min≤t≤t_max, вычисление значений яркости элементов эталонного изображения Y₀ по формуле и его средней яркости , расчет значений коэффициентов компенсации K по формуле K=(Y₂-Y₁)/(m₂-m₁), получение в процессе информативного облучения значений яркости элементов изображения Y и формирование выходных цифровых значений яркости X по формуле X=(Y-Y₁)/K+m₀. Значения яркости элементов эталонного изображения Y₀ и значения коэффициентов K вычисляют непосредственно при информативном облучении. Для вычисления Y₀ принимают X₂=Y_max, X₁=Y₁, а для вычисления коэффициентов компенсации K и выходных цифровых значений яркости X принимают Y₁=Y₀, m₁=m₀. Формирование выходных цифровых значений яркости X производят в процессе информативной засветки по общей формуле: . 1 з.п. ф-лы, 1 ил.

1. Способ компенсации геометрического шума матричного фотоприемника, включающий его предварительную калибровку при минимальном времени экспозиции фотоприемника t_min путем поочередного равномерного облучения элементов фотоприемной матрицы от источника с низким и высоким уровнем излучения, запоминание в цифровой форме значений яркости элементов изображений Y₁ и Y₂ для низкого и для высокого уровня облучения, соответственно, вычисление среднего значения m₁ и m₂ яркости элементов изображений Y₁ и Y₂, соответственно, задание на этапе калибровки максимального времени экспозиции t_max при низком уровне равномерной облученности фотоприемника и запоминание в цифровой форме получаемых при этом значений яркости элементов изображения Y_max, вычисление непосредственно перед информативной засветкой коэффициента a=(t-t_min)/(t_max-t_min) для устанавливаемого времени t экспозиции фотоприемника в пределах t_min≤t≤t_max, вычисление значений яркости элементов эталонного изображения Y₀ по формуле и его средней яркости , расчет значений коэффициентов компенсации K по формуле K=(Y₂-Y₁)/(m₂-m₁), получение в процессе информативного облучения значений яркости элементов изображения Y и формирование выходных цифровых значений яркости X по формуле X=(Y-Y₁)/K+m₀, отличающийся тем, что значения яркости элементов эталонного изображения Y₀ и значения коэффициентов K вычисляют непосредственно при информативном облучении, причем для вычисления Y₀ принимают X₂=Y_max, X₁=Y₁, а для вычисления коэффициентов компенсации K и выходных цифровых значений яркости X принимают Y₁=Y₀, m₁=m₀.

2. Способ по п. 1, отличающийся тем, что формирование выходных цифровых значений яркости X производят в процессе информативной засветки по общей формуле: .