УСТРОЙСТВО ВЫЯВЛЕНИЯ ЭЛЕКТРОННОГО ПОРТРЕТА ТЕПЛОВИЗИОННОЙ КАМЕРЫ Российский патент 2019 года по МПК H04N5/217 G06T1/00 H04N5/335 

Область техники, к которой относится изобретение

Все современные тепловизионные (как и телевизионные) камеры основаны на применении светочувствительных датчиков матричного типа, содержащих упорядоченную матричную структуру элементов (пикселов), которые являются преобразователями энергии излучения в электрический сигнал.

По технологическим причинам элементы этих матричных структур имеют неодинаковые свойства, которые вызывают появление на результирующем изображении искажений, по меньшей мере, двух видов.

Во-первых, это неоднородность уровня черного, т.е. неодинаковое напряжение пикселов при отсутствии источника излучения (при закрытом объективе).

Во-вторых, это неодинаковые коэффициенты передачи излучение-сигнал, которые приводят к возникновению шумовой составляющей в изображении.

Оба вида искажений охватываются понятием «электронный портрет» тепловизионной камеры.

Техническая задача состоит в том, чтобы выявлять электронные портреты камер, и, в конечном счете, устранять эти электронные портреты для повышения качества получаемого инфракрасного изображения.

Уровень техники

Известные устройства для выявления электронного портрета цифровой камеры фактически состоят из трех основных частей [1]:

- источника равномерного освещения матрицы цифровой камеры,

- собственно цифровой камеры и

- компьютера (процессора), на котором производятся операции обработки для формирования электронного портрета цифровой фотокамеры.

В [1] содержится подробная библиография по данной проблеме. Наиболее критичным элементом известных устройств выявления электронного портрета тепловизионной камеры является источник равномерного теплового излучения, в качестве которого используются сложные и громоздкие приборы - источники равномерной тепловой энергии. Подобные устройства фактически пригодны для использования только в лабораторных условиях.

Наиболее близким к предлагаемому является устройство выявления электронного портрета камеры, описанное в патенте США [2], которое и принимается за прототип.

В этом устройстве имеется цифровая камера, источник равномерного освещения светочувствительной матрицы камеры и компьютер, причем в камере имеется объектив, светочувствительная матрица, процессор сигнала и карта памяти, а компьютер снабжен специальным программным обеспечением, которое обеспечивает подавление случайных (шумовых) межкадровых помех в изображении, а также запоминание получаемого электронного портрета.

Для ослабления указанной случайной составляющей применяют усреднение снятой серии из n изображений (кадров) с последующим их усреднением, благодаря чему случайная шумовая составляющая ослабляется в раз. Как показал эксперимент, выполненный на фотокамерах, практически достаточно усреднения 8 фотоизображений, что дает улучшение отношения сигнал-шум на 9 дБ.

Основным недостатком прототипа является громоздкая система создания равномерного освещения светочувствительной матрицы цифровой фотокамеры, ограничивающая получение портрета сугубо лабораторными условиями.

Раскрытие изобретения

Предлагаемое устройство выявления электронного портрета тепловизионной цифровой камеры содержит собственно тепловизионную цифровую камеру и подключенный к ней компьютер, причем в камере имеется ИК-объектив, светочувствительная матрица ИК-диапазона, процессор сигнала и карта памяти, а компьютер реализует усреднение тепловизионных кадров путем суммирования группы из нескольких последовательных кадров, что обеспечивает подавление или ослабление случайных (шумовых) межкадровых помех в тепловом изображении.

Предлагаемое устройство отличается тем, что в него введены некалиброванный источник теплового излучения; рассеивающий фильтр ИК-диапазона, закрепляемый на объективе камеры; пространственный двумерный фильтр верхних частот тепловизионного сигнала, обеспечивающий подавление в выявляемом электронном портрете низкочастотных пространственных помех, возникающих из-за пространственной неоднородности теплового облучения матрицы; блок запоминания получаемого электронного портрета.

Предлагаемое устройство позволяет выполнять функцию выявления электронного портрета тепловизионных камер в произвольных, в том числе полевых условиях.

Краткое описание чертежей

Дальнейшее описание поясняется с помощью следующих фигур.

Фигура 1 - Структурная схема известного устройства выявления электронного портрета.

Фигура 2 - Структурная схема предлагаемого устройства выявления электронного портрета цифровой тепловизионной камеры.

Фигура 3 - Пример конструкции рассеивающего теплового фильтра, используемого в предлагаемом устройстве выявления электронного портрета.

Фигура 4 - Пояснения к процедуре двухточечной коррекции.

Фигура 5 - Фрагмент электронного портрета цифровой камеры.

Фигура 6 - Пояснения к формированию электронного портрета.

Осуществление изобретения

Имеется ряд публикаций по проблеме выявления электронного портрета цифровых камер (см. ссылки в [1]), из которых следует, что для выявления электронного портрета камеры необходимо выполнить следующую последовательность операций:

1) устранение аддитивной пиксельной неравномерности темнового напряжения в отсутствие источника теплового излучения (при закрытом объективе камеры);

2) создание равномерной засветки светочувствительной матрицы цифровой камеры;

3) первичная обработка полученного сигнала изображения (включая аналого-цифровое преобразование электрического сигнала от светочувствительной матрицы);

4) запоминание сигнала изображения;

5) подавление в полученном сигнале изображения случайных (шумовых) помех фотоэлектрического тракта цифровой камеры за счет усреднения нескольких последовательных кадров;

6) запоминание результирующего изображения - электронного портрета цифровой камеры, что позволяет устранить мультипликативную помеху в результирующем тепловизионном изображении.

Эту последовательность операций выполняет известное устройство, структурная схема которого показана на фиг. 1. Цифровая камера 1 содержит объектив 2, светочувствительную матрицу 3, процессор сигнала 4 и запоминающее устройство 5. Источник равномерного теплового облучения 6 обеспечивает облучение матрицы 3. Компьютер 7 с программным обеспечением 8 обеспечивает обработку сигнала изображения, необходимую для получения электронного портрета цифровой камеры.

Основным недостатком известного устройства является необходимость обеспечения совершенно равномерной засветки матрицы с тем, чтобы считываемый с нее сигнал изображения содержал информацию только о неоднородности чувствительности матрицы, т.е. об ее электронном портрете. Создание такого источника равномерной засветки является сложной технической и метрологической задачей, а конструкция такого источника получается сложной и громоздкой, непригодной для выполнения работы в полевых условиях.

Этот недостаток полностью устраняется в предлагаемом устройстве выявления электронного портрета. Структурная схема предлагаемого устройства выявления электронного портрета цифровой (тепловизионной) камеры представлена на фиг. 2.

Предлагаемое устройство содержит тепловизионную камеру 1 и подключенный к ней компьютер 7, причем в фотокамере имеется объектив 2, светочувствительная матрица 3, процессор сигнала 4 и запоминающее устройство (карта памяти) 5. Компьютер 7 снабжен специальным программным обеспечением 8 для подавления случайных (шумовых) помех в фотоизображении (путем усреднения группы последовательных кадров) и запоминания получаемого электронного портрета.

Предлагаемое устройство отличается тем, что в него введены некалиброванный источник теплового облучения 9 с невысокими требованиями к равномерности облучения светочувствительной матрицы 3, теплорассеивающий фильтр 10, закрепляемый на объективе фотокамеры, и двумерный пространственный фильтр верхних частот 11. Здесь термин «светочувствительная» используется в обобщенном смысле - т.е. чувствительная к оптическому или тепловому облучению, которые различаются только длиной волны. Совместное использование некалиброванного источника теплового облучения 9, теплорассеивающего фильтра 10 и двумерного пространственного фильтра верхних частот 11 позволяет получить адекватное описание электронного портрета камеры, т.е. описание неравномерности чувствительности (коэффициентов передачи излучение-сигнал) пикселов матрицы при неидеально равномерном тепловом облучении матрицы.

В качестве некалиброванного источника теплового облучения может использоваться нагреватель с инфракрасной лампой, бытовой (масляный) нагреватель, электроутюг и т.п.

На фиг. 3 приведен пример конструкции теплорассеивающего фильтра 10, предназначенного для установки на объективе 2 фотокамеры. Здесь показано сечение устройства фильтра, имеющего цилиндрическую конструкцию. Корпус фильтра 12 изготавливается из подходящего синтетического материала (например, капролактама). Собственно теплорассеивающий фильтр 13 может изготавливаться из веществ, прозрачных для инфракрасных лучей в практически интересном диапазоне волн 3-16 мкм. Требуемыми свойствами обладают, например, фторопласт (граница пропускания 8 мкм), полиэтилен высокого давления (граница около 20 мкм) [3], плексиглас (граница около 10 мкм). При необходимости поверхность теплорассеивающего фильтра может быть матирована. Как указано на фигуре, толщина теплорассеивающего фильтра может составлять 0,2-2 мм. На фигуре использованы следующие обозначения:

- d₁ - диаметр кольцевого углубления, предназначенного для фиксации фильтра на объективе;

- d₂ - диаметр рабочей зоны фильтра;

- d₃ - внешний диаметр теплорассеивающего элемента фильтра;

- d₄ внешний диаметр корпуса фильтра.

Известно, что для устранения аддитивной и мультипликативной неоднородностей ИК-матрицы требуется выполнить так называемую двухточечную коррекцию характеристик передачи свет-сигнал для всей матрицы теплочувствительных элементов (например, микроболометров), которые имеют естественный разброс по величине смещения ("темнового" напряжения) и усиления (коэффициента передачи) [4-6].

Общая идея двухточечной коррекции состоит в коррекции линейного графика передачи излучение-сигнал пиксела по двум точкам, и конкретно в компенсации темнового смещения пикселов в отсутствие облучения (аддитивная операция) и коррекции коэффициентов передачи излучение-сигнал пикселов (мультипликативная операция). Практически многие цифровые камеры реализуют автоматическую компенсацию темнового смещения при предварительно закрытом объективе камеры.

Общее выражение для двухточечной коррекции имеет вид

Здесь V_mn - "выходное" напряжение пиксела матрицы с индексами m и n;

V_смещ.mn - напряжение смещения сигнала пиксела с индексами m и n;

K_корр.mn - коэффициент коррекции усиления пиксела матрицы;

m, n - количество пикселов в матрице по горизонтали и вертикали;

V_{смещ.номин.} - номинальное напряжение смещения, добавляемое ко всем пикселам после коррекции, чтобы скорректированный график зависимости выходного напряжения от входного ИК-потока был возвращен в рабочую область выходных напряжений (не является обязательным).

Как правило, V_cшещ.mn составляет несколько процентов от V_mn, а K_корр.mn отличается на несколько процентов от единицы.

На фигуре 4 приводятся графики, иллюстрирующие двухточечную коррекцию характеристик камеры.

Три верхние прямые являются графиками передачи излучение-сигнал для трех исходных пикселов, а три нижних - графиками передачи для трех исходных пикселов после компенсации постоянного смещения (темнового напряжения).

Черной штриховой линией обозначен график после компенсации смещения и коррекции усиления. И, наконец, черной сплошной линией показан результирующий график передачи излучение-сигнал после добавления постоянного смещения для возврата в рабочую область выходных напряжений. В результате предлагаемое устройство обеспечивает требуемую коррекцию искажений тепловизионного изображения, возникающую из-за неодинаковой чувствительности пикселов матрицы камеры к тепловому излучению.

Общее представление о реальной неоднородности коэффициентов передачи излучение-сигнал пикселов матрицы дает фигура 5, где слева представлен фрагмент электронного портрета (размером 200×150 пикселов), полученный для современной цифровой фотокамеры (для удобства визуальной оценки к обоим изображениям прибавлено среднее значение яркости). В правой части фигуры для наглядности приведено изображение того же ЭП, контрастированное в 20 раз (на 26 дБ).

Следует заметить, что в микроболометрических ИК-камерах неоднородность матриц выше, чем в фотокамерах, и достигает нескольких процентов от размаха сигнала.

Как видно из фигуры 5, электронный портрет фактически не содержит «крупных» геометрических образований протяженностью более 5-7 пикселов по каждой из координат, т.е. не содержит низкочастотных составляющих двумерного спектра и является, по существу, «голубым» шумом [7]. Как будет показано далее, это позволяет получить адекватную информацию об электронном портрете тепловизионной камеры и на ее основе выполнить коррекцию электронного портрета в изображении, получаемом от тепловизионной камеры.

Работу предлагаемого устройства поясняют графики на фигуре 6. Для упрощения все графики выполнены в одномерном варианте в виде функций зависимости от горизонтальной координаты изображения х.

На графике (а) представлена интенсивность облучения матрицы некалиброванным (неидеальным) источником тепловой энергии, при которой возникает некоторая неоднородность теплового облучения матрицы.

На графике (б) показан типичный оптический коэффициент передачи объектива, из которого видно, что объектив неизбежно создает эффект виньетирования, т.е. уменьшения коэффициента передачи от центра изображения к его периферии.

На графике (в) показано результирующее распределение теплового облучения от некалиброванного источника с учетом действия объектива.

График (г) иллюстрирует распределение облучения после теплорассеивающего фильтра, который действует как двумерный пространственный фильтр низких частот, сглаживающий относительно резкие изменения интенсивности тепловой энергии облучения матрицы, вызываемые неравномерностью облучения.

На графике (д) показан результирующий сигнал изображения, отображающий распределение теплового облучения на матрице пикселов и учитывающий разброс чувствительности пикселов (т.е. электронный портрет матрицы). Как видно из этого графика, интенсивность вырабатываемого матрицей сигнала изображения содержит две спектральные составляющие -низкочастотную, отображающую неравномерность теплового облучения, и высокочастотную, отображающую разброс чувствительности пикселов матрицы к тепловому облучению.

Наконец, на графике (е) представлен "чистый" электронный портрет тепловизионной камеры, получаемый с помощью двумерного пространственного фильтра высоких частот, который подавляет низкочастотные составляющие теплового облучения. Указанный двумерный фильтр выполняет принципиальную функцию спектрального выделения полезного высокочастотного сигнала и подавления мешающих низкочастотных составляющих, обуславливаемых неравномерностью теплового облучения матрицы. Фильтр может реализовываться аппаратными, программными или аппаратно-программными средствами в процессоре камеры или в подключенном к ней компьютере.

Полученный электронный портрет может быть использован для коррекции тепловизионной камеры, т.е. для устранения неравномерности чувствительности тепловизионной матрицы, что обеспечивает повышение отношения сигнал-шум в тепловизионном изображении и тем самым повышает его качество. Удобный и простой метод коррекции электронного портрета цифровой камеры описан в патенте РФ [8].

В результате применения предлагаемого устройства достигается существенное упрощение процедуры выявления электронного портрета тепловизионной камеры, что позволяет обеспечить возможность выявления электронного портрета цифровых фотокамер практически в любых, в том числе полевых условиях.

Литература

1. Chen Mo, Fridrich Jessica, Goljan Miroslav, Jan. Determining Image Origin and Integrity Using Sensor Noise // IEEE Transactions on Information Forensics and Security, 2008, 3(1), March, p. 74-90.

2. Fridrich Jessica, Goljan Miroslav, Lukas Jan. Method and apparatus for identifying an imaging device. US Patent №7616237, C1. 348/241.

3. Ильясов С.Г., Будникова О.А. Исследование оптических характеристик полиэтилена. Проблемы полиграфии и издательского дела. - М.: 2004 - №2. - С. 48-56.

4. Budzier Helmut, Gerlach Gerald. Calibration of Infrared Cameras with Microbolometers. - 14th International Conference on Infrared Sensors & Systems, 2015, 1.1.

5. Бабкин П.С., Павлов Ю.Н., Перов A.H. Применение двухточечного метода калибровки для тепловизионных матриц фирмы ULIS. - Радиооптика. МГТУ им. Баумана. - Электронный журнал. - 2015. - №06. С. 13-26. DOI: 10.7463/rdopt. 0615.0820469.

6. Дахин A.M. Методы компенсации геометрического шума матричного фотоприемника в телевизионной камере на основе приборов с зарядовой связью с диодами Шоттки. Известия вузов России. Радиоэлектроника. - 2006. -Вып. 2. С. 52-58.

7. Улични Р.А. Рандомизация точечных структур голубым шумом. - ТИИЭР. - 1988. - Т. 76. - №1. - С. 63-88.

8. Патент РФ №2587148. Приоритет 31.08.2015. Зарегистрирован 23.05.2016.

Изобретение относится к преобразователям энергии излучения в электрический сигнал. Технический результат – упрощение процедуры выявления электронного портрета тепловизионной камеры и возможность осуществлять ее в полевых условиях. Устройство содержит тепловизионную камеру и подключенный к ней компьютер. Тепловизионная камера содержит объектив, светочувствительную матрицу, процессор сигнала и запоминающее устройство, а компьютер снабжен специальным программным обеспечением для подавления случайных шумовых помех в изображении путем усреднения нескольких последовательных кадров теплового изображения. При этом в устройство введены некалиброванный источник теплового облучения, теплорассеивающий фильтр, закрепляемый на объективе фотокамеры, и двумерный пространственный фильтр верхних частот для фильтрации получаемого теплового изображения. 6 ил.

Устройство выявления электронного портрета, содержащее цифровую тепловизионную камеру и подключенный к ней компьютер, причем в камере имеется объектив, светочувствительная матрица, процессор сигнала и карта памяти, а компьютер снабжен специальным программным обеспечением для подавления случайных шумовых помех в изображении путем усреднения нескольких последовательных кадров теплового изображения, отличающееся тем, что в него введены некалиброванный источник теплового облучения, теплорассеивающий фильтр, закрепляемый на объективе фотокамеры, и двумерный пространственный фильтр верхних частот для фильтрации получаемого теплового изображения.