СПОСОБ КОРРЕКЦИИ НЕОДНОРОДНОСТИ СКАНИРУЮЩИХ МНОГОЭЛЕМЕНТНЫХ ФОТОПРИЕМНЫХ УСТРОЙСТВ ПО СИГНАЛАМ СЦЕНЫ Российский патент 2009 года по МПК H04N5/33 

Изобретение относится к оптико-электронным системам формирования и обработки инфракрасных изображений, для которых актуальна задача устранения неоднородности сигналов, обусловленной различиями в чувствительности к входному потоку и в темновом токе элементов фотоприемных устройств (ФПУ), с использованием только сигналов сцены. Это дает возможность коррекции неоднородности без применения источников эталонных сигналов с их необходимостью подстройки под сцену и поддержания однородности эталонного сигнала. В некоторых случаях наличие эталонных источников неприемлемо по условиям размещения их в аппаратуре.

Изобретение может использоваться в тепловизионных системах со сканированием при использовании многорядных ФПУ.

Известен способ [1, 2] коррекции неоднородности многоэлементных МФПУ в сканирующих тепловизорах (его рассматриваем в качестве аналога), заключающийся в том, что сканируют сцену, регистрируют отсчеты сигналов элементов ФПУ от наблюдаемой сцены, по отсчетам сигналов усреднением определяют строчные корректирующие коэффициенты, корректирование осуществляют умножением значений отсчетов сигналов на соответствующие элементам строчные корректирующие коэффициенты.

Недостатком способа является то, что используется только один корректирующий коэффициент для компенсации сигнала, однородность которого зависит от двух параметров - чувствительности элемента и от смещения, обусловленного, в частности, темновым током. В случае простых сцен с плавным изменением яркости для поддержания корректирующей способности достаточно скользящего по изображению окна усреднения. По мере движения окна корректирующие коэффициенты строк меняют значения от характерных для высокой яркости до соответствующих низкой яркости. С усложнением сцен компенсация неоднородности затрудняется необходимостью использования более сложных окон усреднения. Этот фактор ограничивает применимость способа.

Наиболее близким по технической сущности к заявляемому изобретению является способ [3] коррекции неоднородности ФПУ со сканированием, его рассматриваем в качестве прототипа.

Способ заключается в том, что сканируют сцену и регистрируют отсчеты сигналов элементов фотоприемного устройства, определяют по отсчетам наблюдаемой сцены корректирующие воздействия, корректируют отсчеты сигналов сцены. Сцену сканируют в последовательности, обеспечивающей попадание потоков одних и тех же элементов сцены на соседние элементы фотоприемного устройства и попадание потоков соседних элементов сцены на один и тот же элемент устройства, для каждой пары соседних элементов фотоприемного устройства, i-го и i+1-го, по множеству пар отсчетов сигналов S_i(t) и S_i+1(t), i∈N, N - множество элементов фотоприемного устройства и t - параметр времени, где каждая пара отсчетов соответствует одному и тому же состоянию элемента сцены, с помощью аппроксимации определяют корректирующие воздействия - функции связи сигналов соседних элементов

S_i+1=F_i+1,i(S_i),

так чтобы эти функции имели наименьшее среднеквадратичное отклонение на множествах пар отсчетов S_i(t) и S_i+1(t) и отображали любое значение из диапазонов переменных s_i, соответствующих диапазону сигнала S_i(t), в значения переменных S_i+1, соответствующие значениям из диапазонов сигналов S_i+1(t), корректируют отсчеты сигналов сцены S_i(t) их заменой на , где S_i(t) - отсчеты сигналов i-го элемента, - скорректированные сигналы i-го элемента относительно j-го элемента, i,j∈N,

где F_j,i(S_i(t)) - корректирующее воздействие - функция коррекции сигнала S_i(t) относительно j-го элемента, которую получают последовательностью применения - начальный аргумент S_i(t), функций связей F_i+1,i(), F_i+2,i+1(), ..., F_j,j-1() сигналов пар соседних элементов i+1,i; i+2,i+1; ... j,j-1, составляющих путь от элемента i к элементу j, для i=j .

Условие сканирования сцены - попадание потоков одних и тех же элементов сцены на соседние элементы фотоприемного устройства, позволяет из последовательностей отсчетов S_i(t) и S_i+1(t) выбрать пары отсчетов от одних и тех же элементов сцены при одинаковом их состоянии (одинаковых потоках) и по множеству таких пар определить с помощью аппроксимации корректирующие воздействия - функции связи соседних элементов F_i+1,i(),

S_i+1=F_i+1,i(S_i),

которые отображают значения отсчетов i-го элемента на значения отсчетов элемента i+1. Отображение означает, что значению s_i отсчета сигнала S_i(t), которому соответствует некоторое значение потока Р на его входе, ставится в соответствие значение s_i+1 отсчета сигнала S_i+1(t), которому соответствует то же самое значение потока Р на его входе.

Условие сканирования - попадание потоков соседних элементов сцены на один и тот же элемент фотоприемного устройства, обеспечивает полноту множества функций связи элементов F_i+1,i() такую, что для всех путей, связывающих с любым элементом фотоприемного устройства все остальные элементы устройства, будут определены функции связи всех пар соседних элементов этих путей.

Выполнение процедуры корректирования элементов фотоприемного устройства относительно j-го элемента состоит в определении значений функций коррекции F_j,i(S_i(t)) сигналов S_i(t), i,j∈N, определение каждой осуществляется последовательностью применений функций связи (последовательностью корректирующих воздействий) на пути от i-го к j-му элементу.

Первое в последовательности применений функций связи - применение функции F_i+1,i(S_i(t)), дает значение - скорректированное значение сигнала S_i(t) относительно элемента i+1

Так как функция связи определяется на последовательности элементов сцены, общей для i-го и i+1-го элементов МФПУ, то подстановка в функцию аргумента S_i(t), которому соответствует некоторое значение потока элемента сцены, в качестве результата функции дает значение S_i+1(t), которому соответствует то же значение потока.

Для последующих применений, l=1, 2, ..., j-1,

которые определяют - скорректированные относительно элементов i+1 значения сигнала S_i(t), и которые, следуя определениям функций связи, равны S_i+1(t). Начальному аргументу применения функций S_i(t), которому соответствует некоторое значение потока элемента сцены, функции связи ставят в соответствие значения S_i+1(t), которым соответствует то же самое значение потока, что и сигналу S_i(t).

Это значит, что скорректированные по отношению к одному из элементов фотоприемного устройства сигналы остальных элементов будут одинаковы при одинаковых сигналах сцены по всем элементам ФПУ, что соответствует цели коррекции.

В случае небольших изменений сигналов в пределах сцены зависимости S_i+1(t) от S_i(t) близки к линейным и аппроксимируются прямыми

имеющими наименьшее среднеквадратичное отклонение

от измеренных зависимостей S_i+1(t) от S_i(t).

Корректирующие воздействия: коэффициенты линейных зависимостей А_i+1,i - отношение чувствительностей соседних элементов, и В_i+1,i - относительное смещение соседних элементов, определяются по формулам

B_i+1,i=S_i+1-A_i+1,iS_i=B_i+1-A_i+1,iB_i,

где Т_i+1,i - множество пар отсчетов S_i(t) и S_i+1(t) по одним и тем же элементам сцены, упорядоченное по времени: значению t=1 соответствует первый по времени отсчет, t=2 - следующий и так далее до Т_i+1,i - го отсчета;

S_i и S_i+1 - средние значения сигналов i-го и i+1-го элементов на интервале Т_i+1,i. При увеличении интервала отношение А_i+1,i стремится к А_i+1/А_i.

Формулы для определения отношений чувствительностей и относительных смещений пар соседних элементов получены из линейной регрессии отсчетов сигналов S_i(t) по отсчетам S_i+1(t) и линейной регрессии отсчетов S_i+1(t) по S_i(t). Для устранения смещения величин А_i+1,i по отношению к А_i+1/А_i из-за накопления шума в формулах используется перемножение соседних, некоррелированных по шуму, отсчетов.

Скорректированные относительно элемента j сигналы элементов i=1, 2, ..., N определяются по исходным, некорректированным сигналам S_i(t) и коэффициентам A_i+1,i+1-1 и В_i+1,i+1-1, l=1, 2, ..., j-i, следующим образом:

Способ используется в ФПУ с многорядными линейками формата m×N со сканером, где m - число рядов линейки, N - число строк линейки. Сканер работает со сдвигом на целую или половину строки линейки.

Половинный сдвиг используется с целью увеличения пространственного разрешения изображения вдвое в сравнении со сдвигом на строку. Но при этом снижается точность определения функций связи F_i+1,i() из-за неполного совпадения потоков на соседних элементах, при сдвиге на строку совпадение полное. Поясним причины несовпадения потоков с помощью фиг.1, где показывается соотношение потоков сцены и элементов линейки при работе со сдвигом в полстроки. На фиг.1:

1 - линейка ФПУ;

2 - сцена при нечетном ходе сканера;

3 - сцена при четном ходе сканера;

и - потоки, попадающие на верхние и нижние части элемента i-й строки линейки при нечетном ходе сканера;

и - потоки, попадающие на верхние и нижние части элементов i+1-й строки линейки при нечетном ходе сканера;

P_i,1(t) и P_i,2(t)- потоки, попадающие на верхние и нижние части элементов i-й строки линейки при четном ходе сканера

,

P_i+1,1(t) и P_i+1,2(t) - потоки, попадающие на верхние и нижние части элементов i+1-й строки линейки при четном ходе сканера

,

Потоки на соседних элементах линейки совпадают только частично - по нижней части i-го элемента при четном ходе и верхней части (i+1)-го элемента для нечетного хода.

Условия точного оценивания функции связи - равенства средних потоков соседних элементов, можно достичь либо использованием больших выборок, либо используя подходящие сцены. Но и то и другое задержит корректирование.

В заявляемом способе для сопоставимости потоков в общем случае перед определением корректирующих воздействий - функций связи, изменяют сигналы элементов четного хода по правилу

где

сигнал с i-го элемента при четном ходе;

- сигнал с i-го элемента при нечетном ходе;

А_i - чувствительность i-го элемента;

В_i - смещение i-го элемента;

, - шум при нечетном и четном ходе.

Правило изменения основывается на том, что градиент потоков на соседних элементах ввиду его малости точно аппроксимируется линейной зависимостью. В результате потоковые составляющие в сигналах и становятся сопоставимыми, что обеспечивает точность оценки функции связи соседних элементов или же отношения чувствительностей элементов в соседних строках линейки и относительных смещений - при линейном виде функций связи.

Целью настоящего изобретения является коррекция по сигналам сцены неоднородности сканирующих многоэлементных фотоприемных устройств для изображений с высоким пространственным разрешением.

Цель достигается благодаря тому, что сканируют сцену и регистрируют отсчеты сигналов элементов фотоприемного устройства, корректируют отсчеты сигналов сцены, причем для проведения коррекции сканируют в последовательности, обеспечивающей попадание потоков одних и тех же элементов сцены на соседние элементы фотоприемного устройства и попадание потоков соседних элементов сцены на один и тот же элемент устройства, для каждой пары соседних элементов фотоприемного устройства, i-го и i+1-го, i∈N, N - множество элементов фотоприемного устройства, определяют корректирующие воздействия - функции связи сигналов соседних элементов

S_i+1=F_i+1,i(S_i),

корректируют отсчеты сигналов S_i(t) их заменой на , где S_i(t) - отсчеты сигналов i-го элемента, - скорректированные сигналы i-го элемента относительно j-го элемента, i,j∈N, t - параметр времени

где F_j,i(S_i(t)) - функция коррекции сигнала S_i(t) относительно j-го элемента, которую получают последовательностью применения - начальный аргумент S_i(t), функций связей F_i+1,i(), F_i+2,i+1(), ..., F_j,j-1() сигналов пар соседних элементов i+1,i; i+2,i+1; ... j,j-1, составляющих путь от элемента i к элементу j, для i=j , аппроксимацию проводят по множеству пар отсчетов сигналов S_i+1(t) и исправленных отсчетов , где

- отсчет i-го элемента, соответствующий одному и тому же с отсчетом S_i(t) состоянию элемента сцены, аппроксимацию проводят так, чтобы функции связи имели наименьшее среднеквадратичное отклонение на множестве пар и S_i+1(t) и отображали любое значение из диапазонов переменных s_i, ответствующих диапазонам сигналов , в значения переменных s_i+1, соответствующие значениям из диапазонов сигналов S_i+1(t).

Изобретение поясняется следующими чертежами, где:

фиг.1 показывает соотношение потоков сцены и элементов линейки при работе со сдвигом в полстроки (относится к прототипу и изобретению);

фиг.2 приведена схема варианта устройства, реализующего предлагаемый способ;

фиг.3 представлен вариант расположения фоточувствительных элементов для многорядной линейки формата 4×N.

Сущность способа заключается в следующем.

Условие сканирования сцены - попадание потоков одних и тех же элементов сцены на соседние элементы фотоприемного устройства - позволяет из последовательностей отсчетов S_i(t) и отсчетов S_i+1(t) выбрать пары отсчетов, включающие одни и те же элементы сцены при одинаковом их состоянии (одинаковых потоках), заменить отсчеты S_i(t) на и по множеству пар и S_i+1(t) определить с помощью аппроксимации корректирующие воздействия - функции связи соседних элементов F_i+1,i()

S_i+1=F_i+1,i(S_i),

которые отображают значения отсчетов i-го элемента на значения отсчетов элемента i+1. Отображение означает, что значению s_i отсчета сигнала S_i(t), которому соответствует некоторое значение потока Р на его входе, ставится в соответствие значение s_i+1 отсчета сигнала S_i+1(t), которому соответствует то же самое значение потока Р на его входе.

Использование для аппроксимации пар и S_i+1(t), в которых

- отсчет i-го элемента, соответствующий одному и тому же с отсчетом S_i(t) состоянию элемента сцены, что приводит к сопоставляемым значениям потоков в парах и S_i+1(t) и, как следствие, к точной оценке функций связи.

Условие сканирования - попадание потоков соседних элементов сцены на один и тот же элемент фотоприемного устройства, как и в прототипе, обеспечивает полноту множества функций связи элементов F_i+1,i() такую, что для всех путей, связывающих с любым элементом фотоприемного устройства все остальные элементы устройства, будут определены функции связи всех пар соседних элементов этих путей.

Выполнение процедуры корректирования элементов фотоприемного устройства относительно j-го элемента производится, как и в прототипе, и состоит в определении значений функций коррекции F_j,i(S_i(t)) сигналов S_i(t), i,j∈N, определение каждой осуществляется последовательностью применений функций связи (последовательностью корректирующих воздействий) на пути от i-го к j-му элементу.

Первое в последовательности применений функций связи - применение функции F_i+1,i(S_i(t)), дает значение - скорректированное значение сигнала S_i(t) относительно элемента i+1

Аналогично, для последующих применений, l=1, 2, ..., j-1,

которые определяют - скорректированные относительно элементов i+1 значения сигнала S_i(t), и которые, следуя определениям функций связи, равны S_i+1(t). Начальному аргументу применения функций S_i(t), которому соответствует некоторое значение потока элемента сцены, функции связи ставят в соответствие значения S_i+1(t), которым соответствует то же самое значение потока, что и сигналу S_i(t).

Это означает, что скорректированные по отношению к одному из элементов фотоприемного устройства сигналы остальных элементов будут одинаковы при одинаковых сигналах сцены по всем элементам ФПУ, что соответствует цели коррекции.

В случае небольших изменений сигналов в пределах сцены зависимости S_i+1(t) от близки к линейным и аппроксимируются прямыми

имеющими наименьшее среднеквадратичное отклонение

от зависимостей S_i+1(t) от .

Корректирующие воздействия: коэффициенты линейных зависимостей А_i+1,i - отношение чувствительностей соседних элементов, и В_i+1,i - относительное смещение соседних элементов, определяются по формулам

где Т_i+1,i - множество пар измененных отсчетов и отсчетов S_i+1(t), соответствующих одним и тем же элементам сцены, упорядоченное по времени: значению t=1 соответствует первый по времени отсчет, t=2 - следующий и так далее до Т_i+1,i-го отсчета;

и S_i+1 - средние значения сигналов i-го и i+1-го элементов на интервале Т_i+1,i.

Скорректированные относительно элемента j сигналы элементов i=1, 2, ..., N определяются по исходным, некорректированным сигналам S_i(t) и коэффициентам A_i+1,i+1-1 и B_i+1,i+1-1, l=1, 2, ..., j-i, как и в прототипе:

На фиг.2 приведена схема варианта устройства, реализующего предлагаемый способ.

На фиг.2 обозначены:

1 - сканер;

2 - сигнал сцены;

3 - фотоприемное устройство;

4 - аналого-цифровой преобразователь сигналов;

5 - определитель корректирующих коэффициентов;

6 - корректор сигналов сцены.

Корректирующие коэффициенты A_i+1,i и В_i+1,i определяются по сигналам сцены определителем корректирующих коэффициентов. Перед определением осуществляется замена в парах сигналов соседних элементов отсчетов S_i(t) назначения по правилу

- отсчет, предшествующий в последовательности сканирования отсчету S_i(t).

В прототипе этот блок определяет корректирующие коэффициенты без операции замены в парах сигналов.

В предлагаемом способе корректор сигналов сцены определяет скорректированные относительно элемента j сигналы элементов i=1, 2, ..., N по исходным, некорректированным сигналам S_i(t) и коэффициентам A_i+1,i+1-1 и В_i+1,i+1-1, l=1, 2, ..., j-i и заменяет S_i(t) на . В прототипе корректор выполняет те же действия.

Условие сканирования сцены в последовательности, обеспечивающей попадание потоков одних и тех же элементов сцены на соседние элементы фотоприемного устройства и попадание потоков соседних элементов сцены на один и тот же элемент устройства, поясним с помощью фиг.3, где представлен вариант расположения фоточувствительных элементов для многорядной линейки формата 4×N. Изображение сканируется в направлении, перпендикулярном линейкам фоточувствительных элементов A, B, ... F, каждый пиксель изображения сцены регистрируется последовательно элементами А_i, В_i, С_i, D_i, а соседний пиксель - элементами Е_i, F_i, G_i, Н_i. При этом сигналы элементов А_i, В_i, С_i, D_i могут быть скорректированы по отношению к сигналам любого элемента этой группы, а сигналы элементов Е_i, F_i, G_i, Н_i могут быть скорректированы по отношению - также любого - элемента из этой группы. При втором сканировании изображение может быть сдвинуто на половину шага элементов в линейках. При этом последовательность пикселей, регистрируемых в первом сканировании элементами A_i, В_i, С_i, D_i, будет регистрироваться элементами Е_i, F_i, G_i, H_i. Таким образом, можно скорректировать сигналы элементов Е_i, F_i, G_i, H_i по отношению к элементам А_i, В_i, С_i, D_i, а также сигналы элементов A_i+1, B_i+1, С_i+1, D_i+1 по отношению к элементам Е_i, F_i, G_i, H_i, и таким образом все элементы ФПУ связываются отношениями коррекции.

Источники информации

1. Патент на изобретение 2113065 РФ. Способ выравнивания неравномерной чувствительности фотоприемников сканирующих линеек тепловизоров. Белоконев В.М., Дегтярев Е.В., Рудый И.В., Малышев И.А., Павлова В.А., Тетерин В.В., Демеш О.В., Кабанов В.Ф. - Опубл. 10.06.98, Бюллетень №16.

2. Павлова В.А. и др. «Иконический подход к решению проблемы коррекции неоднородностей чувствительности многоэлементных МФПУ в сканирующих тепловизорах», «Оптический журнал», том 64, №2, 1997.

3. Патент на изобретение 2297728 РФ. Способ коррекции неоднородности многоэлементных фотоприемных устройств со сканированием. Бурлаков И.Д., Жегалов С.И., Сагинов Л.Д., Свиридов А.Н., Соляков В.Н., Филачев A.M. Опубликован 20.04.07, Бюллетень №11.

Изобретение относится к оптико-электронным системам формирования и обработки инфракрасных изображений, для которых актуальна задача устранения неоднородности фотоприемных устройств (ФПУ) по сигналам сцены, и может использоваться в тепловизионных системах со сканирующими ФПУ. Техническим результатом является коррекция неоднородности для сканирующих ФПУ с половинным, относительно ширины строки линейки, сдвигом сканера. Результат достигается тем, что производится последовательная регистрация сигналов сцены элементами ФПУ при сканировании, по отсчетам пар сигналов соседних элементов определяются функции связи сигналов элементов ФПУ, и с их помощью корректируют неоднородность сигналов. 1 з.п. ф-лы, 3 ил.

1. Способ коррекции неоднородности многоэлементных фотоприемных устройств со сканированием, заключающийся в том, что сканируют сцену и регистрируют отсчеты сигналов элементов фотоприемного устройства, корректируют отсчеты сигналов сцены, причем для проведения коррекции сканируют в последовательности, обеспечивающей попадание потоков одних и тех же элементов сцены на соседние элементы фотоприемного устройства и попадание потоков соседних элементов сцены на один и тот же элемент устройства, для каждой пары соседних элементов фотоприемного устройства, i-го и i+1-го, i∈N, N - множество элементов фотоприемного устройства, определяют корректирующие воздействия - функции связи сигналов соседних элементов

S_i+1=F_i+1,i(S_i),

корректируют отсчеты сигналов S_i(t) их заменой на , где S_i(t) - отсчеты сигналов i-го элемента, - скорректированные сигналы i-го элемента относительно j-го элемента, i, j∈N, t - параметр времени,

,

где F_j,i(S_i(t)) - функция коррекции сигнала S_i(t) относительно j-го элемента, которую получают последовательностью применения - начальный аргумент S_i(t), функций связей F_i+1,i(), F_i+2,i+1(), ..., F_j,j-1() сигналов пар соседних элементов i+1,i; i+2,i+1; ... j,j-1, составляющих путь от элемента i к элементу j, для i=j отличающийся тем, что аппроксимацию проводят по множеству пар отсчетов сигналов S_i+1(t) и исправленных отсчетов , где

- отсчет i-го элемента, соответствующий одному и тому же с отсчетом S_i(t) состоянию элемента сцены, при этом функции связи имели наименьшее среднеквадратичное отклонение на множестве пар и S_i+1(t) и отображали любое значение из диапазонов переменных s_i, соответствующих диапазонам сигналов в значения переменных s_i+1, соответствующие значениям из диапазонов сигналов S_i+1(t).

,

имеющими наименьшее среднеквадратичное отклонение

от зависимостей S_i+1(t) от где исправленный отсчет определяют по правилу

- отсчет i-го элемента, соответствующий одному и тому же с отсчетом S_i(t) состоянию элемента сцены, корректирующие воздействия: коэффициенты линейных зависимостей A_i+1,i - отношение чувствительностей соседних элементов, и B_i+1,i - относительное смещение соседних элементов, определяются по формулам

где T_i+1,i - множество пар исправленных отсчетов и отсчетов S_i+1(t), соответствующих одним и тем же элементам сцены, упорядоченное по времени: значению t=1 соответствует первый по времени отсчет, t=2 - следующий и так далее до T_i+1,i-го отсчета; и S_i+1 - средние значения исправленных сигналов i-го и сигналов i+1-го элементов на интервале T_i+1,i, скорректированные относительно элемента j сигналы элементов i=1, 2, ..., N определяются по исходным, некорректированным сигналам S_i(t) и коэффициентам A_i+1,i+1-1 и B_i+1,i+1-1, 1=1, 2, ..., j-i, следующим образом: