СПОСОБ КОРРЕКЦИИ НЕОДНОРОДНОСТИ МАТРИЧНЫХ ФОТОПРИЕМНЫХ УСТРОЙСТВ Российский патент 2007 года по МПК H04N5/33 

Изобретение относится к оптико-электронным системам формирования и обработки инфракрасных изображений, для которых актуальна задача устранения неоднородности сигналов, обусловленных различиями в чувствительности к входному потоку и в темновом токе элементов фотоприемных устройств (ФПУ). Изобретение может использоваться в тепловизионных системах с матричными ФПУ в условиях меняющейся сцены.

Известен способ [1] коррекции неоднородности матричных ФПУ (способ рассматриваем в качестве аналога), заключающийся в том, что калибруют по двухточечной схеме элементы ФПУ по периметру матрицы, регистрируют отсчеты элементов ФПУ, по отсчетам калиброванных элементов и отсчетам остальных, некалиброванных элементов, определяют коэффициенты коррекции элементов ФПУ по смещению и корректируют регистрируемые отсчеты элементов вычитанием коэффициентов из значений этих отсчетов.

Сущность способа состоит в том, что, используя зависимость между значениями отсчетов рядом расположенных элементов ФПУ, определяется оценка связи смещения каждого последующего соседнего элемента ФПУ, начиная с элементов по периметру, от смещений элементов, для которых смещение определено на предшествующих шагах. Так как выполнение этих действий начинается с элементов периметра ФПУ, для которых смещения определены калибровкой по эталонным сигналам, то последовательность действий приводит к определению смещений всех элементов ФПУ.

Недостаток способа состоит в том, что он применим только, когда неоднородность смещения доминирует в общей неоднородности сигнала. Помимо этого, применимость способа ограничивает необходимость использования эталонных сигналов для калибровки элементов периметра матрицы.

Известен [2] адаптивный к сигналам сцены способ коррекции неоднородности элементов матричного ФПУ по чувствительности и по смещению (способ рассматривается в качестве аналога), заключающийся в том, что по сигналам сцены регистрируют отсчеты элементов ФПУ, по этим текущим отсчетам и скорректированным предшествующим отсчетам определяют корректирующие коэффициенты по чувствительности и смещению элементов ФПУ и корректируют текущие отсчеты.

Сущность способа состоит в том, что, используя обратную связь, корректирующие коэффициенты элементов ФПУ определяются с помощью скорректированных предшествующих отсчетов элементов - учитывается обусловленная инерционностью сцены зависимость сигналов в текущий и предшествующий моменты времени, которая позволяет оценивать степень неоднородности значений отсчетов и вести подстройку корректирующих коэффициентов элементов ФПУ.

Недостаток способа вытекает из условия, что изменчивость сцены во времени не должна превышать способность к подстройке корректирующих коэффициентов - параметр "скорость обучения" по терминологии [2]. Быстрые изменения сцены дадут большой разброс корректирующих коэффициентов во времени, слабо связанный с изменением сцены. Этот фактор неустойчивости ограничивает применение способа. Также препятствует использованию способа и трудность получения аналитических оценок его работоспособности, решение о применимости возможно только на основании экспериментальной обработки и оценки различных сцен.

Наиболее близким по технической сущности к заявляемому изобретению является способ [3] двухточечной коррекции, который обеспечивает компенсацию по чувствительности и по смещению, так как использует для определения корректирующих коэффициентов сигналы двух эталонных источников - высокой и низкой интенсивности излучения.

Способ заключается в том, что регистрируют отсчеты элементов ФПУ по сигналам сцены, регистрируют отсчеты элементов ФПУ по сигналам эталонных источников, по отсчетам сигналов эталонных источников определяют корректирующие коэффициенты элементов ФПУ по чувствительности и смещению, корректируют отсчеты сигналов сцены вычитанием из значений отсчетов сцены корректирующих коэффициентов элементов по смещению и умножением разности на корректирующие коэффициенты по чувствительности.

Сущность способа состоит в следующем. При воздействии эталонного оптического сигнала низкого уровня, одинакового для всех элементов ФПУ, средние значения электрических сигналов низкого уровня для всех элементов МФПУ равны

где - среднее значение сигнала низкого уровня от i-го элемента,

i=1, 2, ..., N; N - число элементов ФПУ;

Т - интервал усреднения, t - номера отсчетов сигнала;

- сигнал i-го элемента на t-м отсчете;

А_i и B_i - чувствительность и смещение i-го элемента;

Р^н - поток эталонного излучения низкого уровня;

E_i - усредненный на интервале Т шум элемента, Т выбирают достаточно большим, чтобы можно было пренебречь влиянием этой составляющей.

При воздействии эталонного оптического сигнала высокого уровня, одинакового для всех элементов ФПУ, средние значения электрических сигналов высокого уровня равны

где Р^в - поток эталонного излучения высокого уровня.

При воздействии произвольных сигналов сцены текущие сигналы отдельных элементов S_i(t) равны

S_i=A_iР_i(t)+B_i+E_i(t).

Корректирование сигналов сцены осуществляется заменой исходных сигналов сцены S_i(t) на скорректированные сигналы сцены , определяемые следующим образом:

где ΔР^вн=(Р^в-Р^н) - разность эталонных потоков высокого и низкого уровней, i=1, 2, ..., N.

Корректирующими коэффициентами являются - коэффициенты по смещению, и - по чувствительности. Применение этих коэффициентов к сигналам сцены - вычитание из сигналов коэффициентов по смещению и умножение разностей на коэффициенты по чувствительности, обеспечивает однородность скорректированных сигналов: одну и ту же по всем элементам чувствительность - величина 1/ΔР^вн, и одно и то же смещение, равное (-Р^н/ΔР^вн).

Основным недостатком способа является то, что использование источников эталонных сигналов сопряжено с необходимостью их подстройки под сцену. Способ обеспечивает коррекцию при условии линейной зависимости сигналов элементов от оптического потока на их входе. Для того чтобы в пределах динамического диапазона наблюдаемой сцены отклонения от линейной зависимости были минимальными, диапазон значений эталонных потоков согласовывается с диапазоном значений сигналов сцены. Кроме того, требуется поддерживать однородность засветки элементов ФПУ эталонными источниками, так как от равномерности засветки зависит точность определения корректирующих коэффициентов. В некоторых случаях наличие эталонных источников неприемлемо по условиям размещения их в аппаратуре.

Целью настоящего изобретения является получение возможности коррекции неоднородности матричных фотоприемных устройств по двухточечной схеме коррекции без использования источников эталонных сигналов.

Цель достигается благодаря тому, что регистрируют отсчеты элементов ФПУ по сигналам сцены, по отсчетам сцены определяют корректирующие коэффициенты по чувствительности и смещению - вначале по множествам пар отсчетов сигналов соседних элементов S_i(t) и S_i+1(t), i∈N, N - множество элементов устройства, t - параметр времени, определяют отношения чувствительностей и относительные смещения соседних элементов из линейной регрессии выборки отсчетов сигналов S_i(t), t=1, 2, ..., T по выборке S_i+1(t), t=1, 2, ..., T и линейной регрессии отсчетов S_i+1(t) по S_i(t),

B_{i, i+1}=S_i-A_{i, i+1}S_i+1,

где A_{i, i+1} - отношение чувствительности i-го элемента к чувствительности соседнего (i+1)-го элемента;

ΔS_i(t)=S_i(t)-S_i, ΔS_i+1(t)=S_i+1(t)-S_i+1;

S_i и S_i+1 - средние значения сигналов соседних i-го и (1+1)-го элементов, определенные на интервале Т;

B_{i, i+1} - относительное смещение,

затем определяют корректирующие коэффициенты элементов матрицы по чувствительности - и по смещению - , i∈N, начиная с некоторого элемента в центре матрицы или непосредственной близости от центра, - ему присваивают индекс 0 и этот элемент называют образующим 1-квадрат элементов матрицы (квадрат со стороной в 1 элемент), для "нулевого" элемента полагают и для каждого из четырех соседних "нулевому" элементов 3-квадрата (квадрата со стороной в 3 элемента) - их обозначают 1-элементы (см. фиг.1) по числу путей в эти элементы из "нулевого" элемента и называют следующими из "нулевого" элемента, полагают и где индекс i проходит по 1-элементам, a j=0; для каждого из четырех 2-элементов (по числу путей в эти элементы из "нулевого" элемента) 3-квадрата, следующих из 1-элементов, полагают

где индекс i проходит по 2-элементам, индексы j₁ и j₂ соответствуют паре элементов, предшествующих i-му элементу, а номера i-x элементов, равные 2, берут равными сумме номеров предшествующих элементов; определяют корректирующие коэффициенты восьми 2-элементов периметра 5-квадрата, следующих из 2-элементов 3-квадрата: и , где индекс i соответствует следующим элементам, а индекс j - предшествующим, номер 2 i-м элементам присваивают по номерам предшествующих элементов; определяют корректирующие коэффициенты 5-элементов периметра 5-квадрата, каждому из которых предшествует три элемента и каждый из которых связан с "нулевым" элементом по пяти путям, по формулам

где индекс i проходит по 5-элементам, индексы j₁, j₂ и j₃ проходят по предшествующим элементам, номер 5 i-м элементам присваивают по сумме номеров предшествующих элементов; определяют корректирующие коэффициенты 4-элементов периметра 5-квадрата по формулам для случая двух предшествующих элементов; определяют корректирующие коэффициенты 5-элементов периметра 7-квадрата, следующие из 5-элементов периметра 5-квадрата; определяют корректирующие коэффициенты остальных элементов периметра 7-квадрата в порядке: 7-элементы, 11-элементы, 22-элементы; определяют корректирующие коэффициенты периметра 9-квадрата в порядке: 22-элементы, следующие из 22-элементов периметра 7-квадрата, 33-элементы, 40-элементы, 44-элементы, 85-элементы; по элементам периметра 9-квадрата с максимальным номером 85 определяются корректирующие коэффициенты следующих из них элементов периметра следующего, 11-квадрата, которым присваивается тот же номер; определяют корректирующие коэффициенты остальных элементов периметра 11-квадрата в порядке влево и вправо и вверх и вниз от 85-элементов; из элементов периметра 11-квадрата с максимальным номером - восьми угловых элементов, определяют следующие из этих элементов восемь элементов периметра 13-квадрата; по этим восьми элементам определяют угловые элементы 13-квадрата и по направлениям вверх-вниз и влево-вправо от этих восьми элементов определяют остальные элементы периметра 13-квадрата; определяют по элементам периметра 13-квадрата с максимальным номером - эти элементы находятся в середине сторон периметра, следующие из них элементы с таким же номером в 15-квадрате; определяют остальные элементы периметра 15-квадрата; определяют элементы с максимальным номером в 15-квадрате - они находятся в углах, определяют следующие из них элементы периметра 17-квадрата, определяют остальные элементы периметра 17-квадрата; определяют элементы 17-квадрата с максимальным номером, по ним определяют элементы с тем же номером 19-квадрата и так далее определяют элементы периметров квадратов увеличивающейся размерности, пока не будет достигнута одна или более границ матрицы, начиная откуда множество определяемых элементов наращивают только в трех или менее направлениях возможных движений от определенных к неопределенным элементам и так действуют до определения корректирующих коэффициентов всех элементов матрицы; корректируют отсчеты сигналов сцены вычитанием из значений отсчетов сцены корректирующих коэффициентов элементов по смещению и умножением разности на корректирующие коэффициенты по чувствительности

где S_i(t) - корректируемый сигнал, i∈N,

- скорректированный сигнал (относительно "нулевого" элемента).

Сущность способа состоит в следующем.

Используя статистическую связь сигналов соседних элементов ФПУ, определяются величины А_{i, i+1} - отношение чувствительностей i-го элемента к чувствительности соседнего (i+1)-го элемента и В_{i, i+1} - относительное смещение этих соседних элементов для всех 2VH-(V+H) пар соседних элементов матрицы, V - высота матрицы (в элементах), Н - ширина, VH=N, соседними являются элементы, принимающие и преобразующие сигнал от смежных участков сцены - в тепловизионном изображении участку сцены соответствует пиксел кадра, смежными данному являются участки (пикселы) в направлениях "вверх-вниз" и "влево-вправо",

С увеличением интервала Т - параметра статистической обработки величины B_{i, i+1} сходятся к величинам

B_i-(A_i/A_i+1)(1+ε_{i, i+1})B_i+1+А_i(Р_i-Р_i+1)+А_iР_i+1ε_{i, i+1},

где A_i и А_i+1 - чувствительности соседних, i-го и (i+1)-го элементов, Р_i и P_i+1 - средние значения потоков соответственно i-го и (i+1)-го элементов; а величины А_{i, i+1} сходятся к величинам

где ε_{i, i+1} - погрешность величины A_{i, i+1} относительно величины A_i/A_i+1;

- дисперсия полусуммы потоков i-го и (i+1)-го элементов;

- дисперсия полуразности потоков i-го и (i+1)-го элементов;

- дисперсия потока, эквивалентного шуму i-го элемента;

- дисперсия потока, эквивалентного шуму i+1-го элемента;

и - дисперсии потоков соответственно i-го и (i+1)-го элементов.

Определяющей погрешность величин A_{i, i+1} и B_{i, i+1} является величина ε_{i, i+1}, оценивающаяся при отношениях "сигнал/шум" и величиной, меньшей 0.05. С увеличением этих отношений "сигнал/шум" A_{i, i+1} стремится к A_i/A_i+1, а B_{i, i+1} стремится к B_i-(A_i/A_i+1)B_i+1.

Относительная погрешность корректирующих коэффициентов определяемая погрешностью величин А_{i, i+1} и B_{i, i+1}, оценивается в 2ε, где ε - средняя по множеству погрешностей ε_{i, i+1} величина, а оценка относительной погрешности скорректированных значений сцены составляет .

Увеличение погрешности корректирующих коэффициентов и элементов ФПУ относительно ε только в два раза обеспечивается тем, что при их определении происходит усреднение значений этих коэффициентов по всем путям, ведущим из "нулевого" элемента в остальные элементы ФПУ. И хотя разные пути, ведущие из "нулевого" элемента в некоторый другой элемент ФПУ, содержат и общие элементы, что работает на увеличение погрешности, однако фактор снижения погрешности из-за роста числа путей, с удалением от "нулевого" элемента, не уступает фактору увеличения.

На фиг.2 приведена схема устройства, реализующего предлагаемый способ, в сопоставлении с реализацией способа-прототипа [3].

На схеме обозначены:

1 - эталон сигнала низкого уровня;

2 - эталон сигнала высокого уровня;

3 - эталонный сигнал низкого уровня;

4 - сигнал сцены;

5 - эталонный сигнал высокого уровня;

6 - фотоприемное устройство;

7 - аналого-цифровой преобразователь сигналов;

8 - определитель корректирующих коэффициентов;

9 - корректор сигналов сцены.

Пунктиром выделены устройства и сигналы, необходимые при использовании способа-прототипа и не нужные для заявляемого способа.

Другие отличия, помимо отмеченных на чертеже пунктиром, состоят в определении коэффициентов коррекции неоднородности сигналов - в заявляемом способе эти коэффициенты определяются по сигналам сцены в два этапа, на первом определяются отношения чувствительностей и относительные смещения всех пар соседних элементов ФПУ, а на втором этапе по отношениям чувствительностей и относительным смещениям определяются корректирующие коэффициенты по чувствительности и по смещению для всех элементов ФПУ.

Источники информации

1. Bradley M.Ratliff, Majeed M.Hayat, J.Scott Tyo. Algorithm for radiometrically-accurate nonuniformity correction with arbitrary scene motion. Proc. of SPIE Vol.5076 (2003).

2. Sergio N. Torres, Esteban M.Vera, Rodrigo A.Reeves, Sergio K.Sobarzo. Adaptive Scene-Based Non-Uniformity Correction Method for Infrared-Focal Plane Arrays. Proc. of SPIE Vol.5076 (2003).

3. David L.Perry, Eustase L.Dereniak. Linear theory of nonuniformity correction in infrared staring sensors. - "OPTICAL ENGINEERING", August 1993, Vol.32, № 8, 1854-1859.

Изобретение относится к оптико-электронным системам формирования и обработки инфракрасных изображений, для которых актуальна задача устранения неоднородности сигналов, обусловленных различиями в чувствительности к входному потоку и в темновом токе элементов фотоприемных устройств (ФПУ). Изобретение может использоваться в тепловизионных системах с матричными ФПУ, в условиях меняющейся сцены. Технический результат - устранение неоднородности ФПУ в отсутствии источников эталонных сигналов достигается тем, что заявленный способ в качестве источника информации для определения корректирующих коэффициентов использует сигналы меняющейся сцены, по которым вначале определяются отношения чувствительностей и относительные смещения всех пар соседних элементов ФПУ, а на втором этапе по отношениям чувствительностей и относительным смещениям определяются корректирующие коэффициенты по чувствительности и по смещению элементов. 2 ил.

Способ коррекции неоднородности матричных фотоприемных устройств, заключающийся в том, что регистрируют отсчеты элементов фотоприемного устройства по сигналам сцены, корректируют отсчеты сигналов сцены вычитанием из значений отсчетов сигналов сцены корректирующих коэффициентов элементов по смещению и умножением разности на корректирующие коэффициенты по чувствительности, отличающийся тем, что для проведения коррекции определяют корректирующие коэффициенты элементов по чувствительности и смещению по отсчетам сцены - вначале по множествам пар отсчетов сигналов соседних элементов S_i(t) и S_i+1(t), i∈N, N - множество элементов устройства, t - параметр времени, определяют отношения чувствительностей и относительные смещения соседних элементов из линейной регрессии выборки отсчетов сигналов S_i(t), t=1, 2, ..., Т по выборке S_i+1(t), t=1, 2, ..., Т и линейной регрессии отсчетов S_i+1(t) по S_i(t),

B_{i, i+1}=S_i-A_{i, i+1}S_i+1,

где A_{i, i+1} - отношение чувствительности i-го элемента к чувствительности соседнего (i+1)-го элемента;

ΔS_i(t)=S_i(t)-S_i, ΔS_i+1(t)=S_i+1(t)-S_i+1;

S_i и S_i+1 - средние значения сигналов соседних i-го и (i+1)-го элементов, определенные на интервале Т;

B_{i, i+1} - относительное смещение,

затем определяют корректирующие коэффициенты элементов матрицы по чувствительности и по смещению i∈N, начиная с некоторого элемента в центре матрицы или непосредственной близости от центра - ему присваивают индекс 0 и этот элемент называют образующим 1-квадрат элементов матрицы (квадрат со стороной в 1 элемент), для "нулевого" элемента полагают и для каждого из четырех соседних "нулевому" элементов 3-квадрата (квадрата со стороной в 3 элемента) - их обозначают 1-элементы (см. фиг.1) по числу путей в эти элементы из "нулевого" элемента и называют следующими из "нулевого" элемента, полагают и где индекс i проходит по 1-элементам, a j=0; для каждого из четырех 2-элементов (по числу путей в эти элементы из "нулевого" элемента) 3-квадрата, следующих из 1-элементов, полагают

где индекс i проходит по 2-элементам, индексы j₁ и j₂ соответствуют паре элементов, предшествующих i-му элементу, а номера i-x элементов, равные 2, берут равными сумме номеров предшествующих элементов;

определяют корректирующие коэффициенты восьми 2-элементов периметра 5-квадрата, следующих из 2-элементов 3-квадрата: и где индекс i соответствует следующим элементам, а индекс j - предшествующим, номер 2 i-м элементам присваивают по номерам предшествующих элементов; определяют корректирующие коэффициенты 5-элементов периметра 5-квадрата, каждому из которых предшествует три элемента и каждый из которых связан с "нулевым" элементом по пяти путям, по формулам

где индекс i проходит по 5-элементам, индексы j₁, j₂ и j₃ проходят по предшествующим элементам, номер 5 i-м элементам присваивают по сумме номеров предшествующих элементов;

определяют корректирующие коэффициенты 4-элементов периметра 5-квадрата по формулам для случая двух предшествующих элементов; определяют корректирующие коэффициенты 5-элементов периметра 7-квадрата, следующие из 5-элементов периметра 5-квадрата; определяют корректирующие коэффициенты остальных элементов периметра 7-квадрата в порядке: 7-элементы, 11-элементы, 22-элементы; определяют корректирующие коэффициенты периметра 9-квадрата в порядке: 22-элементы, следующие из 22-элементов периметра 7-квадрата, 33-элементы, 40-элементы, 44-элементы, 85-элементы; по элементам периметра 9-квадрата с максимальным номером 85 определяются корректирующие коэффициенты следующих из них элементов периметра следующего, 11-квадрата, которым присваивается тот же номер; определяют корректирующие коэффициенты остальных элементов периметра 11-квадрата в порядке влево и вправо и вверх и вниз от 85-элементов; из элементов периметра 11-квадрата с максимальным номером - восьми угловых элементов, определяют следующие из этих элементов восемь элементов периметра 13-квадрата; по этим восьми элементам определяют угловые элементы 13-квадрата и по направлениям вверх-вниз и влево-вправо от этих восьми элементов определяют остальные элементы периметра 13-квадрата; определяют по элементам периметра 13-квадрата с максимальным номером - эти элементы находятся в середине сторон периметра, следующие из них элементы с таким же номером в 15-квадрате; определяют остальные элементы периметра 15-квадрата; определяют элементы с максимальным номером в 15-квадрате - они находятся в углах, определяют следующие из них элементы периметра 17-квадрата, определяют остальные элементы периметра 17-квадрата; определяют элементы 17-квадрата с максимальным номером, по ним определяют элементы с тем же номером 19-квадрата и так далее определяют элементы периметров квадратов увеличивающейся размерности, пока не будет достигнута одна или более границ матрицы, начиная откуда, множество определяемых элементов наращивают только в трех или менее направлениях возможных движений от определенных к неопределенным элементам и так действуют до определения корректирующих коэффициентов всех элементов матрицы.