СПОСОБ КОРРЕКЦИИ НЕОДНОРОДНОСТИ СКАНИРУЮЩИХ МНОГОЭЛЕМЕНТНЫХ ФОТОПРИЕМНЫХ УСТРОЙСТВ ПО СИГНАЛАМ СЦЕНЫ Российский патент 2011 года по МПК H04N5/33 H04N1/409 

Изобретение относится к оптико-электронным системам формирования и обработки инфракрасных изображений, для которых актуальна задача устранения неоднородности сигналов. Изобретение может использоваться в тепловизионных системах со сканирующими многорядными фотоприемными устройствами (ФПУ) и коррекцией неоднородности по сигналам сцены.

Известен способ трехточечной многотабличной калибровки для компенсации неоднородностей параметров элементов микроболометрического матричного ФПУ (Демидов В.М. Методы и средства цифровой коррекции изображения в оптико-электронных системах визуализации. Кандидатская диссертация, Москва, 2008 г.) - первый аналог, заключающийся в том, что поправочные коэффициенты определяют путем калибровки по трем температурам объекта для каждой из рабочих температур матрицы и записывают их в память устройства. Компенсация неоднородности осуществляется перерасчетом сигналов с помощью поправочных коэффициентов для соответствующих рабочих температур матрицы. Известный способ исходит из полиномиальной зависимости (полином 2-го порядка) сигнала элемента от температуры наблюдаемого объекта. Повышение степени модели сигналов элементов улучшает корректирующие возможности и повышает качество тепловизионного изображения в широком диапазоне температур. По использованию для определения поправочных коэффициентов трех значений температур наблюдаемого объекта известный способ относится к трехточечной коррекции неоднородности по опорным (эталонным) сигналам. Второй аналог - способ корректирующий по сигналам сцены (Соляков В.Н., С.И.Жегалов С.И., Сагинов Л.Д., Филачев A.M., Болтарь К.О., Бурлаков И.Д., Свиридов А.Н. Метод коррекции неоднородности многоэлементных фотоприемных устройств по сигналам сцены. Прикладная физика, №1, 2008 г.) предполагает использование полиномиальной модели сигнала элемента в зависимости от попадающего на него потока излучения. Но данный способ коррекции применим только для полинома 1-го порядка, которому соответствует двухточечная коррекция.

Наиболее близким по технической сущности к заявляемому изобретению является способ коррекции неоднородности ФПУ со сканированием (Патент на изобретение RU 2297728, Способ коррекции неоднородности многоэлементных фотоприемных устройств со сканированием, авторы Бурлаков И.Д., Жегалов С.И., Сагинов Л.Д., Свиридов А.Н., Соляков В.Н., Филачев A.M., опубликован 20.04.2007 г., Бюллетень № 11), принят в качестве прототипа. Способ заключается в том, что сканируют сцену и регистрируют отсчеты сигналов элементов фотоприемного устройства, определяют по отсчетам наблюдаемой сцены корректирующие воздействия, корректируют отсчеты сигналов сцены. Сцену сканируют в последовательности, обеспечивающей попадание потоков одних и тех же элементов сцены на соседние элементы фотоприемного устройства и попадание потоков соседних элементов сцены на один и тот же элемент устройства, для каждой пары соседних элементов фотоприемного устройства, i-го и i+1-го, по множеству пар отсчетов сигналов S_i(t) и S_i+1(t), i∈N, N - множество элементов фотоприемного устройства и t - параметр времени, где каждая пара отсчетов соответствует одному и тому же состоянию элемента сцены, с помощью аппроксимации определяют корректирующие воздействия - функции связи сигналов соседних элементов

S_i+1=F_i+1,i(S_i),

так чтобы эти функции имели наименьшее среднеквадратичное отклонение на множествах пар отсчетов S_i(t) и S_i+1(t) и отображали любое значение из диапазонов переменных s_i, соответствующего диапазону сигнала S_i(t), в значения переменных S_i+1, соответствующих значениям из диапазонов сигналов S_i+1(t), корректируют отсчеты сигналов сцены S_i(t) их заменой на , где S_i(t) - отсчеты сигналов i-го элемента, - скорректированные сигналы i-го элемента относительно j-го элемента, i,j∈N,

,

где F_j,i(S_i(t)) - корректирующее воздействие - функция коррекции сигнала S_i(t) относительно j-го элемента, которую получают последовательностью применения - начальный аргумент S_i(t), функций связей F_i+1,i(),F_i+2,i+1(),…,F_j,j-1() сигналов пар соседних элементов i+1,i;i+2,i+1;…j,j-1, составляющих путь от элемента i к элементу j, для i=j .

Сущность способа заключается в следующем.

Условие сканирования сцены - попадание потоков одних и тех же элементов сцены на соседние элементы фотоприемного устройства, позволяет из последовательностей отсчетов S_i(t) и S_i+1(t) определить с помощью аппроксимации корректирующие воздействия - функции связи соседних элементов F_i+1,i(),

S_i+1=F_i+1,i(S_i),

которые отображают значения отсчетов i-го элемента на значения отсчетов элемента i+1. Отображение означает, что значению s_i отсчета сигнала S_i(t), которому соответствует некоторое значение потока Р на его входе, ставится в соответствие значение s_i+1 отсчета сигнала S_i+1(t), которому соответствует то же самое значение потока Р на его входе.

Условие сканирования - попадание потоков соседних элементов сцены на один и тот же элемент фотоприемного устройства, обеспечивает полноту множества функций связи элементов F_i+1,i() такую, что для всех путей, связывающих с любым элементом фотоприемного устройства все остальные элементы устройства, будут определены функции связи всех пар соседних элементов этих путей.

Выполнение процедуры корректирования элементов фотоприемного устройства относительно j-го элемента состоит в определении значений функций коррекции F_j,i(S_i(t)) сигналов S_i(t), i,j∈N, определение каждой осуществляется последовательностью применений функций связи (последовательностью корректирующих воздействий) на пути от i-го к j-му элементу.

Первое в последовательности применений функций связи - применение функции F_i+1,i(S_i(t)), дает значение - скорректированное значение сигнала S_i(t) относительно элемента i+1,

.

Так как функция связи определяется на последовательности элементов сцены, общей для i-го и i+1-го элементов МФПУ, то подстановка в функцию аргумента S_i(t), которому соответствует некоторое значение потока элемента сцены, в качестве результата функции дает значение S_i+1(t), которому соответствует то же значение потока.

Для последующих применений, l=1, 2, …, j-i,

,

которые определяют - скорректированные относительно элементов i+1 значения сигнала S_i(t), и которые, следуя определениям функций связи, равны S_i+1(t). Начальному аргументу применения функций - S_i(t), которому соответствует некоторое значение потока элемента сцены, функции связи ставят в соответствие значения S_i+1(t), которым соответствует то же самое значение потока, что и сигналу S_i(t).

Это значит, что скорректированные по отношению к одному из элементов фотоприемного устройства сигналы остальных элементов будут одинаковы при одинаковых сигналах сцены по всем элементам ФПУ, что соответствует цели коррекции.

В случае небольших изменений сигналов в пределах сцены зависимости S_i+1(t) от S_i(t) близки к линейным и аппроксимируются прямыми

,

имеющими наименьшее среднеквадратичное отклонение

от измеренных зависимостей S_i+1(t) от S_i(t).

Корректирующие воздействия: коэффициенты линейных зависимостей

A_i+1,i - отношение чувствительностей соседних элементов, и B_i+1,i - относительное смещение соседних элементов, определяют по формулам,

,

B_i+1,i=S_i+1-A_i+1,iS_i=B_i+1-A_i+1,iB_i,

где T_i+1,i - множество пар отсчетов S_i(t) и S_i+1(t) по одним и тем же элементам сцены, упорядоченное по времени: значению t=1 соответствует первый по времени отсчет, t=2 - следующий и так далее до T_i+1,i-го отсчета; S_i и S_i+1 - средние значения сигналов i-го и i+1-го элементов на интервале T_i+1,i. При увеличении интервала отношение A_i+1,i стремится к A_i+1/A_i.

Формулы для определения отношений чувствительностей и относительных смещений пар соседних элементов получают из линейной регрессии отсчетов сигналов S_i(t) по отсчетам S_i+1(t) и линейной регрессии отсчетов S_i+1(t) по S_i(t).

Скорректированные относительно элемента j сигналы элементов i=1, 2, …, N определяют по исходным, некорректированным сигналам S_i(t) и коэффициентам A_i+1,i+1-1 и B_i+1,i+1-1, l=1, 2, …, j-i, следующим образом:

.

В случае значительных изменений сигналов зависимости S_i+1(t) от S_i(t) отличаются от линейных. Изменения сигналов обуславливаются как изменчивостью сцены, так и параметров элементов ФПУ. Эта изменчивость отрабатывается периодически выполняемой процедурой определения корректирующих коэффициентов (калибровкой).

Использование квадратичной зависимости для аппроксимации функций связи S_i+1=F_i+1,i(S_i) увеличивает диапазон отображаемых сигналов соседних элементов каждой отдельно взятой калибровки в сравнении с использованием линейной зависимости. Увеличение диапазона процедуры калибровки позволяет увеличить интервал между отдельными калибровками.

Задачей настоящего изобретения является увеличение интервала калибровки сканирующих многоэлементных фотоприемных устройств с коррекцией неоднородности по сигналам сцены.

Задача достигается благодаря тому, что сканируют сцену в последовательности, обеспечивающей попадание потоков одних и тех же элементов сцены на соседние элементы фотоприемного устройства и попадание потоков соседних элементов сцены на один и тот же элемент устройства, регистрируют отсчеты сигналов элементов фотоприемного устройства, корректируют отсчеты сигналов сцены по множеству пар отсчетов сигналов S_i(t) и S_i+1(t), i∈N, N - множество элементов фотоприемного устройства и t - параметр времени, с помощью аппроксимации определяют корректирующие воздействия - функции связи сигналов соседних элементов S_i+1=F_i+1,i(S_i) так, чтобы эти функции имели наименьшее среднеквадратичное отклонение на множествах пар отсчетов S_i(t) и S_i+1(t) и отображали любое значение из диапазонов переменных s_i, соответствующих диапазонам сигналов S_i(t), в значения переменных s_i+1, соответствующие значениям из диапазонов сигналов S_i+1(t), корректируют отсчеты сигналов S_i(t) их заменой на , где S_i(t) - отсчеты сигналов i-го элемента, - скорректированные сигналы i-го элемента относительно j-го элемента, i,j∈N,

,

где F_j,i(S_i(t)) - функция коррекции сигнала S_i(t) относительно j-го элемента, которую получают последовательностью применения - начальный аргумент S_i(t), функций связей F_i+1,i(),F_i+2,i+1(),…,F_j,j-1() сигналов пар соседних элементов i+1,i; i+2,i+1; …j,j-1, составляющих путь от элемента i к элементу j, для i=j . Функции F_i+1,i() аппроксимируют зависимостями вида

,

имеющими наименьшее среднеквадратичное отклонение

от измеренных зависимостей S_i+1(t) от S_i(t), корректирующие воздействия: C_i+1,i и A_i+1,i - корректирующие коэффициенты по отношениям чувствительностей соседних элементов, и корректирующий коэффициент B_i+1,i - относительное смещение соседних элементов, определяют по формулам

[KF_i+1,i]^Tr=[[S_i(t)]·[S_i(t)]^Tr]^-1·[S_i(t)]·[S_i+1(1),…,S_i+1(T_i+1,i)]^Tr,

где [KF_i+1,i]=[C_i+1,iA_i+1,iB_i+1,i]-(1×3) - матрица корректирующих коэффициентов,

- матрица сигналов i-го элемента,

Tr - транспонирование матрицы, []^-1 - обратная матрица,

[S_i+1(1),…,S_i+1(T_i+1,i)]-(1×T_i+1,i) - матрица сигналов i+1-го элемента,

T_i+1,i - множество пар отсчетов S_i(t) и S_i+1(t) по одним и тем же элементам сцены: значению t=1 соответствует первый по времени отсчет, t=2 - следующий и так далее до T_i+1,i-го отсчета; скорректированные относительно элемента j сигналы элементов i=1,2,…,N определяют по исходным, некорректированным сигналам S_i(t) и коэффициентам C_i+1,i+1-1, A_i+1,i+1-1 и B_i+1,i+1-1, 1=1,2,…,j-i, следующим образом:

Сущность способа заключается в следующем.

Условие сканирования сцены - попадание потоков одних и тех же элементов сцены на соседние элементы фотоприемного устройства, позволяет из последовательностей отсчетов S_i(t) и S_i+1(t) определить с помощью аппроксимации корректирующие воздействия - функции связи соседних элементов F_i+1,i(),

S_i+1=F_i+1,i(S_i),

которые отображают значения отсчетов i-го элемента на значения отсчетов элемента i+1. Отображение означает, что значению s_i отсчета сигнала S_i(t), которому соответствует некоторое значение потока Р на его входе, ставится в соответствие значение s_i+1 отсчета сигнала S_i+1(t), которому соответствует то же самое значение потока Р на его входе.

Условие сканирования - попадание потоков соседних элементов сцены на один и тот же элемент фотоприемного устройства - обеспечивает полноту множества функций связи элементов F_i+1,i() такую, что для всех путей, связывающих с любым элементом фотоприемного устройства все остальные элементы устройства, будут определены функции связи всех пар соседних элементов этих путей.

Указанные два условия сканирования сцены - попадание потоков одних и тех же элементов сцены на соседние элементы фотоприемного устройства и попадание потоков соседних элементов сцены на один и тот же элемент фотоприемного устройства - не являются в общем случае необходимыми для определения функций связи. Аппроксимацию проводят по выборке достаточной длины, и значения средних потоков на соседних элементах ФПУ с увеличением выборки, равно как и средние потоки соседних элементов сцены, сближаются и без этих условий. Но выполнение этих условий уменьшает необходимую длину выборки.

Выполнение процедуры корректирования элементов фотоприемного устройства относительно j-го элемента состоит в определении значений функций коррекции F_j,i(S_i(t)) сигналов S_i(t), i,j∈N, определение каждой осуществляется последовательностью применений функций связи (последовательностью корректирующих воздействий) на пути от i-го к j-му элементу.

Первое в последовательности применений функций связи - применение функции F_i+1,i(S_i(t)), дает значение - скорректированное значение сигнала S_i(t) относительно элемента i+1,

.

Так как функция связи определяется на последовательности элементов сцены, общей для i-го и i+1-го элементов МФПУ, то подстановка в функцию аргумента S_i(t), которому соответствует некоторое значение потока элемента сцены, в качестве результата функции дает значение S_i+1(t), которому соответствует то же значение потока.

Для последующих применений, l=1, 2, …, j-1,

,

которые определяют - скорректированные относительно элементов i+1 значения сигнала S_i(t), и которые, следуя определениям функций связи, равны S_i+1(t). Начальному аргументу применения функций - S_i(t), которому соответствует некоторое значение потока элемента сцены, функции связи ставят в соответствие значения S_i+1(t), которым соответствует то же самое значение потока, что и сигналу S_i(t).

Это значит, что скорректированные по отношению к одному из элементов фотоприемного устройства сигналы остальных элементов будут одинаковы при одинаковых сигналах сцены по всем элементам ФПУ, что соответствует цели коррекции.

Функции F_i+1,i() аппроксимируют зависимостями вида

,

имеющими наименьшее среднеквадратичное отклонение

от измеренных зависимостей S_i+1(t) от S_i(t).

Аппроксимирующие зависимости являются полиномом 2-й степени от значений аргумента ,

,

S_i(t)≥0 - это условие выполняется на практике, так как сигналы на выходе ФПУ оцифровываются в диапазоне целых чисел от нуля до 2^d-1, где d - разрядность аналого-цифрового преобразователя.

Для вычислений корректирующих коэффициентов C_i+1,i, A_i+1,i и B_i+1,i используют правила определения коэффициентов линейной регрессии,

[KF_i+1,i]^Tr=[[S_i(t)]·[S_i(t)]^Tr]^-1·[S_i(t)]·[S_i+1(1),…,S_i+1(T_i+1,i)]^Tr,

где [KF_i+1,i]=[C_i+1,iA_i+1,iB_i+1,i]-(1×3) - матрица оцениваемых коэффициентов,

- матрица сигналов i-го элемента, матрица должна иметь ранг 3 - в выборке сигналов i-го элемента должны быть три отличающихся друг от друга значения;

Tr - транспонирование матрицы, []^-1 - обратная матрица,

[S_i+1(1),…,S_i+1(T_i+1,i)]-(1×T_i+1,i) - матрица сигналов i+1-го элемента,

T_i+1,i - множество пар отсчетов S_i(t) и S_i+1(t) по одним и тем же элементам сцены: значению t=1 соответствует первый по времени отсчет, t=2 - следующий и так далее до T_i+1,i-го отсчета.

Скорректированные относительно элемента j сигналы элементов i=1,2,…,N определяются по исходным, некорректированным сигналам S_i(t) и коэффициентам C_i+1,i+1-1, A_i+1,i+1-1 и B_i+1,i+1-1, 1=1,2,…,j-i, следующим образом:

,

результат применения функции коррекции сигнала S_i(t) относительно j-го элемента, которую получают последовательностью применения - начальный аргумент , функций связей (аппроксимаций функций):

,

сигналов пар соседних элементов i+1,i; i+2,i+1; …j,j-1, составляющих путь от элемента i к элементу j, для i=j .

Способ используется в ФПУ с многорядными линейками формата m×N со сканером, где m - число рядов линейки, N - число строк линейки. Сканер работает со сдвигом на целую или половину строки линейки.

На фиг.1 приведена схема варианта устройства, реализующего предлагаемый способ.

На чертеже обозначены:

1 - сигнал сцены;

2 - сканер;

3 - фотоприемное устройство;

4 - аналого-цифровой преобразователь сигналов;

5 - определитель корректирующих коэффициентов;

6 - корректор сигналов сцены.

В предлагаемом способе корректирующие коэффициенты C_i+1,i, A_i+1,i и B_i+1,i определяются по сигналам сцены определителем корректирующих коэффициентов. В прототипе этот блок определяет пары корректирующих коэффициентов. В предлагаемом способе корректор сигналов сцены определяет скорректированные относительно элемента j сигналы элементов i=1, 2, …, N по исходным, некорректированным сигналам S_i(t) и коэффициентам C_i+1,i+1-1, A_i+1,i+1-1 и B_i+1,i+1-1, 1=1,2,…,j-i, и заменяет S_i(t) на . В прототипе корректор определяет скорректированные сигналы по исходным некорректированным сигналам S_i(t) и парам корректирующих коэффициентов и также заменяет некорректированные значения скорректированными.

Условие сканирования сцены в последовательности, обеспечивающей попадание потоков одних и тех же элементов сцены на соседние элементы фотоприемного устройства и попадание потоков соседних элементов сцены на один и тот же элемент устройства, поясним с помощью фиг.2, где представлен вариант расположения фоточувствительных элементов для многорядной линейки формата 4×N. Изображение сканируется в направлении, перпендикулярном линейкам фоточувствительных элементов A, B, …F, каждый пиксель изображения сцены регистрируется последовательно элементами A_i, B_i, C_i, D_i, а соседний пиксель - элементами E_i, F_i, G_i, H_i. При этом сигналы элементов A_i, B_i, C_i, D_i могут быть скорректированы по отношению к сигналам любого элемента этой группы, а сигналы элементов E_i, F_i, G_i, H_i могут быть скорректированы по отношению также любого элемента из этой группы. При втором сканировании изображение может быть сдвинуто на половину шага элементов в линейках. При этом последовательность пикселей, регистрируемых в первом сканировании элементами A_i, B_i, C_i, D_i, будет регистрироваться элементами B_i, F_i, G_i, H_i. Таким образом, можно скорректировать сигналы элементов E_i, F_i, G_i, H_i по отношению к элементам A_i, B_i, C_i, D_i, а также сигналы элементов A_i+1, B_i+1, C_i+1, D_i+1 по отношению к элементам E_i, F_i, G_i, H_i, и таким образом все элементы МФПУ связываются отношениями коррекции.

Изобретение относится к оптико-электронным системам формирования и обработки инфракрасных изображений, для которых актуальна задача устранения неоднородности сигналов, и может использоваться в тепловизионных системах со сканирующими фотоприемными устройствами (ФПУ) и коррекцией по сигналам сцены. Техническим результатом является обеспечение увеличения интервала калибровки сканирующих многоэлементных фотоприемных устройств с коррекцией неоднородности по сигналам сцены. Указанный технический результат достигается тем, что для проведения коррекции производится последовательная регистрация элементов сцены соседними фоточувствительными площадками при сканировании. При этом в диапазоне изменения входных сигналов от различных участков сцены с помощью трехпараметрической аппроксимации определяется зависимость сигналов каждого элемента от сигналов соседнего элемента. По этим зависимостям определяются корректирующие функции и последовательно осуществляется коррекция сигналов каждого последующего элемента ФПУ относительно предыдущего, так чтобы скорректированные сигналы всех элементов были одинаковы при одинаковых световых сигналах во всем диапазоне сигналов сцены. 2 ил.

Способ коррекции неоднородности сканирующих многоэлементных фотоприемных устройств по сигналам сцены, заключающийся в том, что сканируют сцену в последовательности, обеспечивающей попадание потоков одних и тех же элементов сцены на соседние элементы фотоприемного устройства и попадание потоков соседних элементов сцены на один и тот же элемент устройства, регистрируют отсчеты сигналов элементов фотоприемного устройства, корректируют отсчеты сигналов сцены по множеству пар отсчетов сигналов S_i(t) и S_i+1(t), i∈N, N - множество элементов фотоприемного устройства и t - параметр времени, с помощью аппроксимации определяют корректирующие воздействия - функции связи сигналов соседних элементов S_i+1=F_i+1,i(S_i) так, чтобы эти функции имели наименьшее среднеквадратичное отклонение на множествах пар отсчетов S_i(t) и S_i+1(t) и отображали любое значение из диапазонов переменных S_i, соответствующих диапазонам сигналов S_i(t), в значения переменных S_i+1, соответствующие значениям из диапазонов сигналов S_i+1(t), корректируют отсчеты сигналов S_i(t) их заменой на , где S_i(t) - отсчеты сигналов i-го элемента, - скорректированные сигналы i-го элемента относительно j-го элемента, i, j∈N,
,
где F_j,i(S_i(t)) - функция коррекции сигнала S_i(t) относительно j-го элемента, которую получают последовательностью применения - начальный аргумент S_i(t), функций связей F_i+1,i(), F_i+2,i+1(), …, F_j,j-1() сигналов пар соседних элементов i+1,i; i+2,i+1; …j,j-1, составляющих путь от элемента i к элементу j, для i=j , отличающийся тем, что функции F_i+1,i() аппроксимируют зависимостями вида , имеющими наименьшее среднеквадратичное отклонение

от измеренных зависимостей S_i+1(t) от S_i(t), корректирующие воздействия: C_i+1,i и A_i+1,i - корректирующие коэффициенты по отношениям чувствительностей соседних элементов, и корректирующий коэффициент B_i+1,i - относительное смещение соседних элементов, определяют по формулам
[KF_i+1,i]^Tr=[[S_i(t)]·[S_i(t)]^Tr]^-1·[S_i(t)]·[S_i+1(1),…,S_i+1(T_i+1,i)]^Tr,
где [KF_i+1,i]=[C_i+1,iA_i+1,iB_i+1,i]-(1×3) - матрица корректирующих коэффициентов,
- матрица сигналов i-го элемента,
Tr - транспонирование матрицы, []^-1 - обратная матрица,
[S_i+1(1),…,S_i+1(T_i+1,i)]-(1×T_i+1,i) - матрица сигналов i+1-го элемента,
T_i+1,i - множество пар отсчетов S_i(t) и S_i+1(t) по одним и тем же элементам сцены: значению t=1 соответствует первый по времени отсчет,
t=2 - следующий и так далее до T_i+1,i отсчета; скорректированные относительно элемента j сигналы элементов i=1, 2, …, N определяют по исходным, некорректированным сигналам S_i(t) и коэффициентам C_i+1,i+1-1, A_i+1,i+1-1 и B_i+1,i+l-1, i=1, 2, …, j-i, следующим образом: