СПОСОБ ОБРАБОТКИ ИНФРАКРАСНЫХ ИЗОБРАЖЕНИЙ ДЛЯ КОРРЕКЦИИ НЕОДНОРОДНОСТИ Российский патент 2019 года по МПК G06T7/30 G06K9/28 H04N5/33 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Настоящее раскрытие относится к области датчиков инфракрасного изображения, и, в частности, к способу и устройству для выполнения коррекций смещения и усиления в изображении, захваченном посредством матрицы пикселей, чувствительных к инфракрасному свету.

УРОВЕНЬ ТЕХНИКИ

В области техники формирования инфракрасных (IR) изображений, выполнение коррекции смещения в захваченных изображениях, без использования затвора или подобного затвору аппаратного средства, представляет большую проблему для неохлаждаемых устройств формирования IR изображений, таких как микроболометры, и также для охлаждаемых устройств формирования IR изображений. Такие устройства формирования изображений содержат матрицу чувствительных к IR детекторов, формирующих матрицу пикселей.

Пространственная неоднородность между пикселями из матрицы пикселей, которая ответственна за смещение, подлежащее коррекции в изображении, изменяется не только во времени, но также как функция температуры. Эта проблематика, в общем, решается с использованием внутреннего механического затвора в устройстве формирования изображений, и включает в себя периодический захват изображения, пока затвор закрыт, чтобы получать опорное изображение относительно однородной сцены, которое может затем использоваться для калибровки. Однако имеется несколько недостатков использования затвора, как, например, дополнительный вес и стоимость, и ломкость этого компонента. Дополнительно, для некоторых применений, использование затвора является неприемлемым вследствие времени, которое теряется, пока затвор закрыт и осуществляется калибровка. В течение этого периода калибровки, никакое изображение сцены не может захватываться.

Как альтернатива использованию затвора были предложены способы обработки изображений для коррекции смещения. Однако существующие способы являются сложными и/или не осуществляют адекватную коррекцию изображения. Имеется, таким образом, необходимость в данной области техники в улучшенном способе коррекции смещения в инфракрасном изображении.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

Является целью вариантов осуществления настоящего изобретения, по меньшей мере, частично решить одну или более потребностей в предшествующем уровне техники.

Согласно одному аспекту, обеспечивается способ обработки изображений, содержащий: прием, посредством обрабатывающего устройства, входного изображения, захваченного посредством матрицы пикселей, чувствительной к инфракрасному излучению, при этом матрица пикселей имеет множество столбцов пикселей, при этом каждый столбец пикселей ассоциирован с соответствующим опорным пикселем; определение, на основе входного изображения и на основе вектора столбцовой компоненты, представляющего столбцовый разброс, вводимый опорными пикселями, первого коэффициента масштаба посредством оценки уровня упомянутого столбцового разброса, присутствующего во входном изображении; генерирование значений смещения столбцов на основе произведения первого коэффициента масштаба на значения упомянутого вектора; определение, на основе входного изображения и на основе матрицы 2D вариации, представляющей 2D вариацию, вводимую матрицей пикселей, второго коэффициента масштаба посредством оценки уровня упомянутой 2D вариации, присутствующей во входном изображении; генерирование значения смещения пикселей на основе произведения второго коэффициента масштаба на значения упомянутой матрицы; и генерирование скорректированного изображения посредством применения упомянутых значений смещения столбцов и пикселей.

Согласно одному варианту осуществления, способ дополнительно содержит генерирование частично скорректированного изображения на основе значений смещения столбцов, при этом второй коэффициент масштаба генерируется на основе частично скорректированного изображения.

Согласно одному варианту осуществления, столбцовый вектор и матрица вариации определяются на основе опорного изображения, представляющего смещения, вводимые матрицей пикселей и ассоциированными опорными пикселями.

Согласно одному варианту осуществления, скорректированное изображение генерируется на основе уравнения: , где является входным изображением, является первым коэффициентом масштаба, является матрицей, содержащей в каждой из ее строк столбцовый вектор, является вторым коэффициентом масштаба, и является матрицей вариации.

Согласно одному варианту осуществления, столбцовый вектор представляет разность между первым столбцовым вектором на основе первого опорного изображения, взятого при первой окружающей температуре, и вторым столбцовым вектором на основе второго опорного изображения, взятого при второй окружающей температуре; матрица вариации представляет разность между первой матрицей вариации на основе первого опорного изображения и второй матрицей вариации на основе второго опорного изображения.

Согласно одному варианту осуществления, скорректированное изображение генерируется на основе уравнения: , где является входным изображением, является первым коэффициентом масштаба, является матрицей, содержащей в каждой из ее строк первый столбцовый вектор, является матрицей, равной , где является матрицей, содержащей в каждой из ее строк второй столбцовый вектор, является вторым коэффициентом масштаба, является первой матрицей вариации и является матрицей, равной , где является второй матрицей вариации.

Согласно одному варианту осуществления, способ дополнительно содержит определение на основе скорректированного изображения, по меньшей мере, одного значения смещения столбцового остатка.

Согласно одному варианту осуществления, определение упомянутого, по меньшей мере, одного значения смещения столбцового остатка содержит: определение весов, ассоциированных с, по меньшей мере, некоторыми из пикселей из скорректированного изображения, при этом веса генерируются на основе оценки однородности окрестности каждого из упомянутых, по меньшей мере, некоторых пикселей; вычисление, для каждого из упомянутых, по меньшей мере, некоторых пикселей, разности по отношению к значению пикселя в соответствующей строке смежного столбца; и применение весов к разностям и суммирование взвешенных разностей, чтобы генерировать упомянутое, по меньшей мере, одно значение смещения столбцового остатка.

Согласно одному варианту осуществления, оценка однородности окрестности каждого из упомянутых, по меньшей мере, некоторых пикселей основывается на значении градиента и на значении горизонтальной дисперсии, вычисленных для каждой окрестности.

Согласно одному варианту осуществления, определение первого коэффициента масштаба содержит: применение высокочастотного фильтра вдоль строк изображения; применение высокочастотного фильтра к столбцовому вектору; и определение столбцовых средних фильтрованного изображения, при этом первый коэффициент масштаба определяется на основе минимизации разностей между столбцовыми средними фильтрованного изображения и фильтрованными значениями столбцового вектора.

Согласно одному варианту осуществления, первый коэффициент масштаба определяется на основе следующего уравнения:

где T() представляет высокочастотный фильтр, примененный к столбцовому вектору V_COL и к строкам входного изображения .

Согласно одному варианту осуществления, определение второго коэффициента масштаба содержит: определение, для каждого пикселя входного изображения и для каждого элемента матрицы вариации, значения градиента на основе, по меньшей мере, одного смежного пикселя, при этом второй коэффициент масштаба определяется на основе минимизации разности между градиентами входного изображения и градиентами матрицы вариации.

Согласно одному варианту осуществления, второй коэффициент масштаба определяется на основе следующего уравнения:

где является входным изображением, является матрицей вариации, является значением градиента пикселя между смежными пикселями в направлении строк во входном изображении, и является значением градиента пикселя в направлении столбцов во входном изображении.

Согласно одному варианту осуществления, значения смещения столбцов и пикселей применяются к дополнительному входному изображению.

Согласно одному варианту осуществления, способ дополнительно содержит определение значения коррекции усиления посредством решения следующей задачи минимизации:

,

где var является дисперсией, является скорректированным изображением, и Gain является матрицей усиления.

Согласно дополнительному аспекту, обеспечивается устройство обработки изображений, содержащее: память, хранящую столбцовый вектор и матрицу вариации; обрабатывающее устройство, выполненное с возможностью: принимать входное изображение, захваченное посредством матрицы пикселей, чувствительной к инфракрасному излучению, при этом матрица пикселей имеет множество столбцов пикселей, при этом каждый столбец пикселей ассоциирован с соответствующим опорным пикселем; определять, на основе входного изображения и на основе столбцового вектора, представляющего столбцовый разброс, вводимый опорными пикселями, первый коэффициент масштаба посредством оценки уровня упомянутого столбцового разброса, присутствующего во входном изображении; генерировать значения смещения столбцов на основе произведения первого коэффициента масштаба на значения упомянутого вектора; определять, на основе входного изображения и на основе матрицы вариации, представляющей 2D вариацию, вводимую матрицей пикселей, второй коэффициент масштаба посредством оценки уровня упомянутой 2D вариации, присутствующей во входном изображении, генерировать значения смещения пикселей на основе произведения второго коэффициента масштаба на значения упомянутой матрицы; и генерировать скорректированное изображение посредством применения значений смещения столбцов и пикселей.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Вышеупомянутые и другие признаки и преимущества станут ясными из последующего подробного описания вариантов осуществления, данного в качестве иллюстрации и не ограничения, со ссылкой на сопровождающие чертежи, на которых:

Фиг. 1 схематически иллюстрирует устройство формирования изображений согласно одному иллюстративному варианту осуществления;

Фиг. 2 схематически иллюстрирует часть матрицы пикселей устройства формирования изображений из фиг. 1 более подробно согласно одному иллюстративному варианту осуществления;

Фиг. 3 схематически иллюстрирует блок обработки изображений устройства формирования изображений из фиг. 1 более подробно согласно одному иллюстративному варианту осуществления;

Фиг. 4 - это диаграмма последовательности операций, показывающая операции в способе обработки изображений согласно одному иллюстративному варианту осуществления;

Фиг. 5 - это диаграмма последовательности операций, иллюстрирующая операции в способе обработки изображения согласно одному дополнительному иллюстративному варианту осуществления;

Фиг. 6 - это диаграмма последовательности операций, иллюстрирующая операции в способе удаления столбцовых остатков согласно одному иллюстративному варианту осуществления; и

Фиг. 7 - это диаграмма последовательности операций, иллюстрирующая операции из фиг. 6 более подробно согласно одному иллюстративному варианту осуществления.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

В то время как некоторые из вариантов осуществления в последующем описании описаны по отношению к матрице пикселей типа микроболометра, специалистам в данной области техники должно быть ясно, что способы, здесь описанные, могут равным образом применяться к другим типам устройств формирования IR изображений, включающим в себя охлаждаемые устройства.

Фиг. 1 иллюстрирует устройство 100 формирования IR изображений, содержащее матрицу 102 пикселей, чувствительную к IR свету. Например, в некоторых вариантах осуществления матрица пикселей является чувствительной к длинноволновому IR свету, такому как свет с длиной волны между 7 и 13 μm.

Для легкости иллюстрации, на фиг. 1 проиллюстрирована матрица 102 пикселей, состоящая только из 144 пикселей 104, расположенных в 12 строках и 12 столбцах. В альтернативных вариантах осуществления матрица 102 пикселей может содержать любое количество строк и столбцов пикселей. Обычно, матрица, например, содержит 640 на 480, или 1024 на 768 пикселей.

Каждый столбец пикселей матрицы 102 ассоциирован с соответствующей опорной структурой 106. Хотя функционально не является элементом картинки, эта структура будет упоминаться здесь как "опорный пиксель" по структурной аналогии с пикселями 104 формирования изображений (или активными). Дополнительно, выходной блок 108 соединен с каждым столбцом матрицы 102 пикселей и с каждым из опорных пикселей 106, и обеспечивает исходное изображение I_B.

Схема 110 управления, например, обеспечивает сигналы управления в матрицу пикселей, в опорные пиксели 106, и в выходной блок 108. Исходное изображение I_B, например, обеспечивается в блок 112 обработки изображений, который применяет смещения и усиления к пикселям изображения, чтобы вырабатывать скорректированное изображение I_C.

Фиг. 2 иллюстрирует два столбца C1 и C2 матрицы 102 пикселей и их ассоциированные опорные пиксели и выходные схемы более подробно согласно одному примеру, в котором устройство формирования изображений является микроболометром.

Каждый столбец пикселей из матрицы 102 пикселей соединен с соответствующей столбцовой линией 202. Например, каждый пиксель 104 содержит переключатель 204, транзистор 206 и болометр 208, соединенные последовательно между соответствующей столбцовой линией 202 и узлом заземления.

Болометры хорошо известны в данной области техники, и, например, содержат мембрану, подвешенную над подложкой, содержащую слой IR абсорбирующего материала и имеющую свойство, что их сопротивление изменяется вследствие повышения температуры мембраны в связи с присутствием IR излучения.

Переключатели 204 пикселей каждой строки, например, управляются посредством общего сигнала выбора. Например, на фиг. 2, первая строка пикселей управляется посредством сигнала S1 управления, и вторая строка пикселей управляется посредством сигнала S2 управления.

Транзисторы 206 являются, например, транзисторами NMOS, принимающими на их вентилях напряжение смещения V_FID для управления падением потенциала на активных болометрах, посредством наведения устойчивого напряжения на одном из его концов, при этом другой конец является заземленным.

Опорный пиксель 106, ассоциированный с каждым столбцом, содержит транзистор 210 и слепой болометр 212, соединенный последовательно между соответствующей столбцовой линией 202 и снимающим напряжением VSK. Снимающее напряжение VSK устанавливает наивысший потенциал моста болометра, сформированного посредством активных и опорных пикселей, посредством наведения устойчивого напряжения на одном конце опорного болометра. Транзистор 210 является, например, транзистором PMOS, принимающим на его вентиле напряжение смещения GSK для управления падением потенциала на слепом болометре посредством наведения устойчивого напряжения на другом конце слепого болометра.

Слепые болометры 212, например, имеют структуру аналогичную активным болометрам 208 матрицы пикселей, но выполнены нечувствительными к излучению от сцены изображения, например, посредством использования экрана, сформированного из отражающего барьера и/или посредством использования теплоотвода согласно конструкции, например, посредством обеспечения высокой термической проводимости для подложки, при этом болометр, например, сформирован в прямом контакте с подложкой.

Каждая столбцовая линия 202 дополнительно соединена с выходной схемой, формирующей часть выходного блока 108 из фиг. 1. В примере из фиг. 2, каждая выходная схема содержит емкостный трансимпедансный усилитель (CTIA) 214, при этом его отрицательный входной терминал соединен с соответствующей столбцовой линией 202, и его положительный входной терминал принимает опорное напряжение V_BUS. Вывод усилителя 214 обеспечивает выходное напряжение V_OUT столбца. Конденсатор 216 и переключатель 218 соединены параллельно друг с другом между отрицательным входным терминалом и выходным терминалом усилителя 214.

В течение операции считывания матрицы 102 пикселей, строки пикселей, например, считываются одна за один раз, посредством активации и деактивации переключателя 218 каждой выходной схемы выходного блока 108, чтобы устанавливать в исходное состояние напряжение на конденсаторе 216, и активации соответствующего сигнала выбора S1, S2, и т.д. строки, подлежащей считыванию. Разность между текущим I_COMP в опорном пикселе и текущим I_AC в активном пикселе суммируется посредством конденсатора 216 в течение конечного времени суммирования, чтобы вырабатывать выходное напряжение V_OUT, представляющее значение пикселя.

Фиг. 3 иллюстрирует блок 112 обработки изображений из фиг. 1 более подробно согласно одному иллюстративному варианту осуществления.

Функции блока 112 обработки изображений, например, осуществляются в программном обеспечении, и блок 112 обработки изображений содержит обрабатывающее устройство 302, имеющее один или более процессоров, под управлением инструкций, сохраненных в памяти 304 хранения инструкций. В альтернативных вариантах осуществления, функции блока 112 обработки изображений могут осуществляться, по меньшей мере, частично посредством выделенного аппаратного обеспечения. В таком случае, обрабатывающее устройство 302, например, содержит ASIC (специализированную интегральную схему) или FPGA (программируемую пользователем вентильную матрицу), и память 304 хранения инструкций может опускаться.

Обрабатывающее устройство 302 принимает исходное входное изображение I_B, и генерирует скорректированное изображение I_C, которое, например, обеспечивается в устройство отображения (не показано) устройства формирования изображений. Обрабатывающее устройство 302 также соединено с памятью 306 данных, хранящей вектор V_COL, представляющий структурный столбцовый разброс, вводимый матрицей 102 пикселей, и матрицу I_DISP, представляющую 2D нестолбцовую структурную вариацию, вводимую матрицей 102 пикселей. Столбцовый разброс, например, главным образом проистекает из использования опорного пикселя 106 в каждом столбце, тогда как строка столбцовых опорных пикселей, в общем, не является идеально однородной. 2D нестолбцовая вариация, например, главным образом проистекает из локальных физических и/или структурных различий между активными болометрами матрицы пикселей, проистекающими, например, из вариации технологической обработки. Память 306 данных, например, также хранит матрицу усиления, описанную более подробно ниже.

Фиг. 4 - это диаграмма последовательности операций, иллюстрирующая операции в способе обработки изображений согласно одному иллюстративному варианту осуществления. Этот способ, например, осуществляется посредством блока 112 обработки изображений, описанного выше.

Предполагается, что исходное изображение I_B захватывается посредством матрицы 102 пикселей из фиг. 1, и что матрица пикселей имеет такой тип, что каждый столбец матрицы ассоциирован с соответствующим опорным пикселем.

Дополнительно, предполагается, что столбцовый вектор V_COL и матрица 2D вариации I_DISP являются доступными. Столбцовый вектор V_COL и матрица 2D вариации I_DISP, например, генерируются на основе одиночного опорного изображения I_REF(x,y), захваченного в течение начальной фазы настройки устройства формирования изображений. Опорное изображение является, например, изображением, которое было захвачено перед источником черное тело или однородной излучающей сценой и при управляемой температуре. Главным образом, чтобы устранить временной шум, опорное изображение, например, получается посредством усреднения множества кадров, как, например, около 50 кадров. Это опорное изображение I_REF(x,y), например, используется, чтобы получать структурный столбец и компоненты 2D вариации согласно следующему отношению:

где I_COL(x,y) является матрицей, представляющей опорный столбцовый разброс среди столбцов матрицы пикселей, и I_DISP(x,y) является матрицей, представляющей опорную 2D вариацию для каждого пикселя из матрицы пикселей.

Матрица I_COL может быть представлена посредством вектора V_COL, который имеет длину, равную количеству n столбцов в изображении. Например, матрица I_COL(x,y) имеет количество m строк, равное количеству строк изображения, и каждая строка содержит вектор V_COL. Генерирование вектора V_COL, например, включает в себя обработку опорного изображения I_REF, чтобы извлекать столбцовую компоненту. Она, например, равна, для каждого столбца, среднему значений пикселей столбца. Генерирование матрицы I_DISP, например, включает в себя вычитание, из каждого значения пикселя опорного изображения, соответствующего значения столбцового разброса V_COL(x).

В первой операции 401 из фиг. 4, определяется коэффициент масштаба , для исходного изображения I_B, представляющий уровень столбцового разброса V_COL в изображении I_B. В одном варианте осуществления значение коэффициента масштаба определяется на основе минимизации величины столбцовой компоненты I_COL в изображении I_B. Это может быть выражено как следующая функция минимизации:

где является аргументом, для которого заданная функция достигает ее минимальное значение. Как показано выше, матрица I_COL(x,y) может быть представлена как вектор V_COL(x), так как она определяет одиночное значение для каждого столбца. Чтобы обеспечивать решение этой задачи минимизации, и также упрощать вычисление, исходное изображение I_B также, например, размещается в форме вектора посредством взятия среднего каждого столбца. Дополнительно, в изображении горизонтально применяется высокочастотный фильтр, другими словами, например, в направлении строк, и также к вектору V_COL(x). Задача минимизации затем, например, вычисляется на основе среднего столбцов преобразованного изображения, следующим образом:

где T() представляет высокочастотный фильтр, примененный к столбцовому вектору V_COL и к входному изображению I_B(x,y), и m является количеством строк в изображении.

Например, фильтр-функция определяется как T(X)=X*hp, другими словами свертка матрицы X с горизонтальным высокочастотным фильтром hp. В одном примере, фильтр-функция hp определяется посредством коэффициентов [0,0456 -0,0288 -0,2956 0,5575 -0,2956 -0,0288 0,0456], применяемых к центральному пикселю внутри локального окна вдоль измерения x. Более широко, фильтр является, например, высокочастотным фильтром, выполненным с возможностью заострять вертикальные границы в изображении, другими словами извлекать столбцовый шум.

Задача минимизации, например, решается на основе следующего прямого решения для коэффициента масштаба :

Другими словами, определение коэффициента масштаба , например, включает в себя применение высокочастотного фильтра к исходному изображению вдоль его строк и также к опорному столбцовому вектору; определение столбцовых средних фильтрованного изображения, дающее в результате вектор такого же размера, что и опорный столбцовый вектор, и затем определение коэффициента масштаба в качестве минимизации разностей между упомянутыми двумя столбцовыми векторами, т.е. между столбцовыми средними фильтрованного изображения и фильтрованным столбцовым вектором.

Как будет описываться более подробно ниже, коэффициент масштаба обеспечивает возможность определения значений смещения столбцов .I_COL(x,y) для изображения.

Ссылаясь снова на фиг. 4, в последующей операции 402, определяется коэффициент масштаба , для исходного изображения I_B, представляющий уровень вклада компоненты опорной 2D вариации I_DISP в изображении.

Чтобы определять коэффициент масштаба , предполагается, что захваченные изображения являются естественными изображениями, например, с естественными статистиками сцен, и что локализованные высокие изменения между пикселями, т.е. изменения между пикселем и его окрестностью, являются результатом фиксированной 2D вариации. Значение коэффициента масштаба , например, определяется так, чтобы уменьшать влияние этой вариации по всему изображению. Принятый подход предназначен, например, чтобы минимизировать полную вариацию (TV) в изображении, на основе следующего уравнения:

где является значением градиента пикселя. В качестве хорошей аппроксимации задачи минимизации, она, например, трактуется как минимизация для:

Такая задача минимизации, например, решается на основе следующего прямого решения для коэффициента масштаба :

где является значением градиента пикселя между смежными пикселями в горизонтальном направлении в изображении, другими словами вдоль каждой строки, и является значением градиента пикселя между смежными пикселями в вертикальном направлении в изображении, другими словами вдоль каждого столбца.

Операция 402, поэтому, включает в себя определение, для каждого пикселя из исходного входного изображения и для каждого элемента матрицы опорной 2D вариации, значения градиента на основе, по меньшей мере, одного смежного пикселя; и определение коэффициента масштаба на основе минимизации разности между градиентами исходного входного изображения и градиентами матрицы опорной 2D вариации.

В этом примере, коэффициент масштаба определяется на основе исходного изображения I_B. Однако в альтернативных вариантах осуществления, коэффициент масштаба может определяться на основе изображения после того, как столбцовые смещения .I_COL(x,y) были удалены. Прямое решение для коэффициента масштаба , таким образом, становится:

где I_CC является изображением, в котором каждый пиксель (x,y) был скорректирован, например, на основе следующего уравнения:

где I_COL(x,y) является матрицей, содержащей, в каждой из ее строк, столбцовый вектор V_COL(x).

В некоторых вариантах осуществления, в вычислении операции 402, учитываются только значения градиентов пикселей, которые находятся ниже верхнего порога. В самом деле, например, предполагается, что очень высокие градиенты соответствуют границам, относящимся к сцене в изображении. Например, этот верхний порог выбирается так, чтобы быть приблизительно равным произведению трех на наивысшее значение градиента, вычисленное для матрицы опорной вариации I_DISP.

В последующей операции 403, скорректированное изображение генерируется на основе значений смещения столбцов, равных .I_COL(x,y), и значений смещения пикселей, равных .I_DISP(x,y). Например, скорректированное изображение вычисляется как:

В варианте осуществления, описанном выше, скорректированное изображение основывается на компонентах I_COL и I_DISP, взятых из одиночного опорного изображения I_REF. В альтернативных вариантах осуществления, чтобы увеличивать точность опорной коррекции, захватываются два опорных изображения, например, при разных температурах T0 и T1 детектора соответственно, вместо одиночного опорного изображения, и устройство, например, сохраняет в памяти 306 из фиг. 3 первый набор компонент и на основе опорного изображения, взятого при T0, и второй набор компонент и на основе опорного изображения, взятого при T1. В таком случае, значения скаляров и , например, определяются с использованием этих компонент посредством вычитания напрямую первой компоненты из входного изображения I_B(x,y) и, например, посредством вычисления и таким же образом, как описано по отношению к операциям 401 и 402, но на основе структурной столбцовой компоненты и компоненты 2D вариации . Скорректированное изображение затем, например, определяется как:

В некоторых вариантах осуществления, операции 401 по 403 могут обеспечивать достаточную коррекцию смещения, в этом случае скорректированное изображение обеспечивает изображение I_C на выходе блока 112 обработки изображений из фиг. 1. В альтернативных вариантах осуществления, дополнительная операция 404 и/или дополнительная операция 405, например, впоследствии выполняются, чтобы генерировать конечное изображение I_C.

В операции 404, коррекция усиления, например, применяется к изображению посредством вычисления коэффициента коррекции изображения из скорректированного изображения до вычитания его из этого изображения и умножения каждого значения пикселя результата на матрицу усиления. Например, это значение коррекции усиления получается посредством решения следующей задачи минимизации:

Прямое решение для коэффициента коррекции изображения , таким образом, становится:

где является средним матрицы X, и Gain является матрицей усиления, которая, например, хранится в памяти 306 вместе с вектором V_COL и матрицей I_DISP. Такая матрица усиления, например, определяется, как обычно для специалистов в данной области техники, из разности между двумя опорными изображениями, захваченными перед однородным источником, как, например, источником черное тело, при двух разных температурах.

Затем генерируется скорректированное изображение на основе умножения скорректированного изображения на усиление. Например, скорректированное изображение вычисляется как:

В операции 405, остатки смещения, такие как столбцовые остатки и/или остатки вариации, оставшиеся в изображении, например, удаляются.

Фиг. 5 - это диаграмма последовательности операций, иллюстрирующая операции в способе коррекции смещения в изображении согласно одному дополнительному иллюстративному варианту осуществления.

Как представлено посредством блока обработки (Вычисление ) 502, входное изображение I_B и столбцовый вектор V_COL, например, используются, чтобы генерировать коэффициент масштаба . Вектор V_COL затем умножается на коэффициент масштаба , чтобы генерировать значения смещения столбцов .V_COL(y). Эти значения смещения затем вычитаются из исходного изображения I_B, чтобы обеспечивать скорректированное изображение I_CC столбцового разброса.

Как представлено посредством блока обработки (Вычисление ) 504, скорректированное изображение I_CC столбцового разброса и матрица вариации I_DISP, например, используются, чтобы генерировать коэффициент масштаба . Матрица I_DISP затем умножается на коэффициент масштаба , чтобы генерировать значения смещения пикселей .I_DISP(x,y). Эти значения смещения затем вычитаются из изображения I_CC, чтобы генерировать скорректированное изображение .

Дополнительно, значения смещения .V_COL(y) и .I_DISP(x,y), например, складываются вместе, чтобы обеспечивать значения смещения опорного изображения (значения смещения RI) 506.

В то время как на фиг. 5 не проиллюстрировано, коррекция усиления, как описано выше по отношению к операции 404 из фиг. 4, необязательно затем применяется к скорректированному изображению , и коэффициент коррекции изображения применяется к изображению.

Как представлено посредством блока 508 обработки, коррекция столбцовых остатков затем, например, выполняется на основе скорректированного изображения , чтобы генерировать значения коррекции столбцовых остатков (значения смещения CR) 510, и изображение I_CR со скорректированными столбцовыми остатками. В самом деле, некоторые смещения, ассоциированные со столбцовой схемой каждого столбца могут все еще присутствовать в изображении, потенциально ведя к видимым вертикальным полосам в изображении. Коррекция столбцовых остатков, например, выполняется, чтобы удалять эти столбцовые артефакты.

Как представлено посредством блока 512, обработки коррекция остатков 2D вариации затем, например, выполняется на основе изображения I_CR со скорректированными столбцовыми остатками, чтобы генерировать значения смещения остатков 2D вариации (значения смещения DR) 514. Коррекция остатков вариации, например, достигается с использованием сохраняющего границы и уменьшающего шум сглаживающего фильтра, такого как фильтр анизотропной диффузии.

В примере из фиг. 5, значения смещения 506, 510 и 514 складываются вместе, чтобы обеспечивать сложенные значения смещения SOV(x,y), подлежащие применению к изображению. Эти значения смещения SOV(x,y) затем вычитаются из исходного изображения I_B. Однако преимущество определения сложенных значений смещения SOV(x,y) состоит в том, что эти смещения могут применяться к другому изображению, нежели изображению, использованному, чтобы сгенерировать их. Например, в случае, когда исходное изображение I_B является кадром видеопоследовательности, которая захватывается посредством устройства формирования изображений, значения смещения SOV(x,y), например, вычитаются из последующего изображения в последовательности. Это ведет к уменьшению во временной задержке между исходным изображением, которое захватываться, и скорректированным изображением, становящимся доступным.

В альтернативных вариантах осуществления, смещения 506 опорного изображения применяются к текущему или последующему исходному изображению, коррекция усиления выполняется над результирующим изображением , и значения остатков смещения столбцов и вариации, например, затем применяются к скорректированному посредством усиления изображению.

Коррекция столбцовых остатков, выполняемая в операции 508 из фиг. 5, теперь будет описываться более подробно со ссылкой на диаграммы последовательности операций из фиг. 6 и 7.

Фиг. 6 - это диаграмма последовательности операций, иллюстрирующая операции в способе вычисления смещений столбцовых остатков, подлежащих применению к изображению, например, к скорректированному изображению I_C, проистекающему из обработки, описанной выше. Эти операции, например, осуществляются посредством блока 112 обработки изображений из фиг. 3, описанной выше.

В первой операции 601, вычисляются веса w_x,y для каждого пикселя каждого столбца изображения, на основе оценки однородности в локальной зоне изображения, определенной посредством окрестности пикселя. Чем более высокой является однородность, тем более высоким является вес, ассоциированный с пикселем, так как более вероятно, что различие между столбцами происходит из-за структурного (фиксированного) столбцового остатка. Например, вычисление, для каждого пикселя, основывается на 9 на 3 окрестности пикселей, включающих в себя рассматриваемый пиксель, другими словами на прямоугольной зоне, определенной посредством вплоть до четырех пикселей на левой стороне и правой стороне рассматриваемого пикселя и вплоть до одного пикселя выше и ниже рассматриваемого пикселя. Однородность оценивается, например, посредством вычисления локального градиента и локальной горизонтальной дисперсии для окрестности каждого пикселя. В некоторых вариантах осуществления, веса вычисляются на основе изображения после того, как столбцы были отфильтрованы вертикально посредством низкочастотного фильтра, как будет описано более подробно ниже.

В последующей операции 602, средняя разность между каждым столбцом и следующим взвешивается посредством соответствующего веса, давая для каждого столбца соответствующее значение смещения столбца к столбцу . Например, вектор смещения столбца к столбцу определяется на основе следующего уравнения:

где w_x,y являются весами, вычисленными в операции 601 выше, I_x+1,y является значением пикселя в положении y следующего столбца x+1 и I_x,y является значением пикселя в положении y текущего столбца x. Другими словами, каждое значение смещения столбца к столбцу определяется как среднее взвешенных разностей между значениями пикселей столбца x и столбца x+1. Последнее значение смещения столбца строки, например, устанавливается на 0.

В качестве дополнительной операции, так как смещение столбца к столбцу представляет только прямое смещение между столбцом и следующим столбцом, каждый член вектора смещения, например, суммируется назад, т.е. начиная с последнего, но одного члена, каждое значение смещения столбца добавляется накопительным образом к предшествующему значению до тех пор, когда будет достигнут первый член, чтобы обеспечивать конечный член смещения столбца OffCol(x) следующим образом:

OffCol(n)=0, и OffCol(x-1)=OffCol(x)+

Эти значения смещения, например, обеспечивают значения смещения столбцовых остатков, помеченные 510 на фиг. 5, которые, например, складываются с другими смещениями, чтобы обеспечивать сложенные значения смещения SOV(x,y), подлежащие вычитанию из исходного изображения I_B или из последующего исходного изображения. Альтернативно, в последующей операции 603, значения смещения применяются к изображению , уже скорректированному на основе компонент столбцового разброса и 2D вариации V_COL, I_DISP, чтобы генерировать чистое изображение I_CR. Дополнительно, как представлено посредством пунктирной стрелки на фиг. 6, в некоторых вариантах осуществления операции 601 и 602 повторяются один или более раз на основе сгенерированного чистого изображения, чтобы удалять даже больше структурных столбцовых остатков.

Фиг. 7 - это диаграмма последовательности операций, иллюстрирующая операции из фиг. 6 более подробно согласно одному иллюстративному варианту осуществления.

Как проиллюстрировано, операция 601 из фиг. 6 вычисления весов на основе однородности зоны, в которой представлен пиксель, например, включает в себя подоперации 701 по 704.

Операция 701 включает в себя применение низкочастотного фильтра вертикально вдоль столбцов изображения. Применение такого низкочастотного фильтра, например, уменьшает влияние шума фиксированного шаблона (FPN), присущего датчикам изображений. Эта операция фильтрации является необязательной. Фильтр является, например, гауссовским фильтром, определенным с использованием размера ядра wG и его стандартного отклонения . В одном примере, фильтр имеет размер ядра wG, равный 9, и стандартное отклонение, равное 2.

Операция 702 включает в себя вычисление значения локального градиента и значения локальной горизонтальной дисперсии для каждого пикселя из изображения.

Локальный градиент , например, определяется на основе следующего уравнения:

где G_x и G_y являются операторами Собеля по x и y соответственно, и I является изображением, например, после фильтрации в операции 701.

Локальная горизонтальная дисперсия , например, определяется на основе следующего уравнения:

где является горизонтальной окрестностью пикселя, который рассматривается, является средним значений пикселей в горизонтальной окрестности и I(f) является соответствующим значением пикселя внутри горизонтальной окрестности. Горизонтальная окрестность , например, имеет размер 2*wV+1 из трех или более пикселей и, например, вплоть до 9 пикселей, и может, в общем, определяться как:

В операции 703, горизонтальное морфологическое расширение, например, выполняется над каждым из значений локальной горизонтальной дисперсии и локального градиента, например, на основе следующих уравнений:

где для заданного пикселя x, например, равняется , и является горизонтальной окрестностью пикселей для пикселя x. Окрестность , например, имеет размер 2*wD+1 из трех или более пикселей, и может, в общем, определяться как:

Горизонтальное морфологическое расширение имеет эффект уменьшения влияния размытости на вычисление весов (обычно вызываемой оптической аберрацией) в присутствии высоко контрастных вертикальных структур в сцене, посредством расширения на горизонтально соседние пиксели влияния зон с высокими значениями горизонтального градиента и/или высокими значениями дисперсии.

В операции 704, значения и , например, нормализуются для каждого столбца, так что, для одного столбца, их сумма равняется 1. Например, эти нормализации вычисляются на основе следующих уравнений:

Веса w_x,y затем, например, определяются посредством линейной комбинации этих нормализованных значений и , давая оценку однородности в локальной зоне изображения, определенного посредством окрестности пикселя. В некоторых вариантах осуществления, градиенту и значениям дисперсии может даваться равное влияние, в этом случае веса w_x,y, например, определяются посредством следующего уравнения:

Альтернативно, разное влияние может назначаться градиентам и значениям дисперсии, посредством применения скаляра к каждому значению. Например, веса определяются посредством следующего уравнения:

где a и b являются скалярами, и, например, a+b=1. Например, выбирая b большим, чем a, таким как в пять или более раз больше, может применяться влияние горизонтальной дисперсии.

Ссылаясь снова на фиг. 7, веса w_x,y формируют весовое преобразование 705. В некоторых вариантах осуществления, вес вычисляется для каждого пикселя изображения, в то время как в других вариантах осуществления операции 701 по 704 могут быть выполнены с возможностью обеспечивать веса только для некоторых пикселей, например, пикселей каждой второй, третьей или четвертой строки изображения, чтобы уменьшать время вычисления.

Последующая операция является операцией 602 из фиг. 6, в которой смещения столбца к столбцу , например, определяются на основе вышеуказанного уравнения:

Члены являются прямыми разностями между столбцом x и столбцом x+1, и они, например, вычисляются в операции 706 из фиг. 7, на основе изображения . В некоторых вариантах осуществления, только прямые разности, которые находятся ниже некоторого порога, учитываются в вычислении среднего для заданного столбца. В самом деле, значения выше некоторого порога могут рассматриваться как представляющие вертикальную границу в сцене изображения, которая не должна удаляться. Порог, например, выбирается, чтобы быть незначительно больше, чем максимальная ожидаемая столбцовая разность между одним столбцом и следующим. Значения смещения OffCol(x) затем, например, вычисляются посредством суммирования значений , как объяснено выше.

Как упомянуто выше, значения смещения вектора OffCol(x) могут, например, вычитаться из изображения в операции 603, чтобы генерировать чистое изображение I_CR, в котором столбцовые артефакты были удалены из изображения, или они могут добавляться к другому смещению, как представлено на фиг. 5.

Преимущество способов коррекции смещения, как здесь описано, состоит в том, что они не требуют использования механического затвора, и было установлено, что они являются очень эффективными.

В частности, настоящие изобретатели установили, что, в матрицах пикселей типа, здесь описанного, изменения пикселей и опорных пикселей вследствие температуры следуют уравнению Аррениуса, при этом энергия активации является, по существу, одной и той же для всех пикселей, и, по существу, одной и той же для всех опорных пикселей, что означает, что вариация между пикселями может рассматриваться как полностью, или, по меньшей мере, по существу, содержащаяся в пределах постоянных предварительных коэффициентов уравнения Аррениуса, описывающего каждый пиксель. Поэтому, посредством разложения смещений, вводимых матрицей пикселей, на 1D и 2D компоненты и вывода коэффициентов масштаба и , чтобы представлять эти компоненты, эффективная коррекция смещения может достигаться без использования механического затвора.

Таким образом, после описания, по меньшей мере, одного иллюстративного варианта осуществления, различные изменения, модификации и улучшения должны непосредственно быть ясными для специалистов в данной области техники.

Например, в то время как конкретный пример микроболометра был описан по отношению к фиг. 2, специалистам в данной области техники должно быть ясно, что способы, здесь описанные, могут применяться к различным другим вариантам осуществления микроболометра, или к другим типам устройств формирования IR изображений.

Дополнительно, специалисту в данной области техники должно быть ясно, что различные операции, описанные по отношению к различным вариантам осуществления, могут выполняться, в альтернативных вариантах осуществления, в разных порядках без влияния на их эффективность. Например, порядок, в котором определяются коэффициенты масштаба и , может изменяться.

Изобретение относится к области датчиков инфракрасного изображения. Технический результат заключается в повышении эффективности обработки изображений. Технический результат достигается за счет приема, посредством обрабатывающего устройства, входного изображения (I_B), захваченного посредством матрицы пикселей, чувствительной к инфракрасному излучению; определения, на основе входного изображения и на основе вектора столбцовой компоненты (V_COL), первого коэффициента масштаба (α) посредством оценки уровня столбцового разброса, присутствующего во входном изображении; генерирования значений смещения столбцов (α.V_COL(y)) на основе произведения первого коэффициента масштаба на значения вектора; определения, на основе входного изображения и на основе матрицы 2D вариации (I_DISP), второго коэффициента масштаба (β) посредством оценки уровня 2D вариации, присутствующей во входном изображении; генерирования значений смещения пикселей (β.I_DISP(x,y)) на основе произведения второго коэффициента масштаба на значения матрицы; и генерирования скорректированного изображения () посредством применения значений смещения столбцов и пикселей. 2 н. и 14 з.п. ф-лы, 7 ил.

1. Способ обработки изображений, содержащий:

прием, посредством обрабатывающего устройства (302), входного изображения (I_B), захваченного посредством матрицы (102) пикселей, чувствительной к инфракрасному излучению, при этом матрица пикселей имеет множество столбцов (C1, C2) пикселей, при этом каждый столбец пикселей ассоциирован с соответствующим опорным пикселем (106);

определение, на основе входного изображения и на основе вектора столбцовой компоненты (V_COL), представляющего собой столбцовый разброс, вводимый опорными пикселями (106), первого коэффициента масштаба () посредством оценки уровня упомянутого столбцового разброса, присутствующего во входном изображении;

генерирование значений смещения столбцов (.V_COL(x)) на основе произведения первого коэффициента масштаба на значения упомянутого вектора;

определение, на основе входного изображения и на основе матрицы 2D вариации (I_DISP), представляющей собой 2D вариацию, вводимую матрицей пикселей, второго коэффициента масштаба () посредством оценки уровня упомянутой 2D вариации, присутствующей во входном изображении;

генерирование значений смещения пикселей (.I_DISP(x,y)) на основе произведения второго коэффициента масштаба на значения упомянутой матрицы; и

генерирование скорректированного изображения () посредством применения упомянутых значений смещения столбцов и пикселей.

2. Способ по п. 1, дополнительно содержащий генерирование частично скорректированного изображения (I_CC) на основе упомянутых значений смещения столбцов, при этом упомянутый второй коэффициент масштаба генерируется на основе упомянутого частично скорректированного изображения.

3. Способ по п. 1, в котором упомянутый столбцовый вектор (V_COL) и матрица вариации (I_DISP) определяются на основе опорного изображения (I_REF), представляющего собой смещения, вводимые матрицей пикселей и ассоциированными опорными пикселями.

4. Способ по п. 1, в котором упомянутое скорректированное изображение () генерируется на основе уравнения:

,

где I_B(x,y) является входным изображением, является первым коэффициентом масштаба, I_COL(x,y) является матрицей, содержащей в каждой из ее строк столбцовый вектор, является вторым коэффициентом масштаба, и I_DISP(x,y) является матрицей вариации.

5. Способ по п. 1, в котором:

столбцовый вектор (V_COL) представляет собой разность между первым столбцовым вектором () на основе первого опорного изображения, взятого при первой окружающей температуре (T0), и вторым столбцовым вектором () на основе второго опорного изображения, взятого при второй окружающей температуре (T1);

матрица вариации (I_DISP) представляет собой разность между первой матрицей вариации () на основе упомянутого первого опорного изображения и второй матрицей вариации () на основе упомянутого второго опорного изображения.

6. Способ по п. 5, в котором упомянутое скорректированное изображение () генерируется на основе уравнения:

,

где I_B(x,y) является входным изображением, является первым коэффициентом масштаба, является матрицей, содержащей в каждой из ее строк первый столбцовый вектор, является матрицей, равной , где является матрицей, содержащей в каждой из ее строк второй столбцовый вектор, является вторым коэффициентом масштаба, является первой матрицей вариации, и является матрицей, равной , где является второй матрицей вариации.

7. Способ по п. 1, дополнительно содержащий определение, на основе упомянутого скорректированного изображения (), по меньшей мере, одного значения (510) смещения столбцового остатка.

8. Способ по п. 7, в котором определение упомянутого, по меньшей мере, одного значения смещения столбцового остатка содержит:

определение весов (w_x,y), ассоциированных с, по меньшей мере, некоторыми из пикселей упомянутого скорректированного изображения, при этом веса генерируются на основе оценки однородности окрестности каждого из упомянутых, по меньшей мере, некоторых пикселей;

вычисление, для каждого из упомянутых, по меньшей мере, некоторых пикселей, разности по отношению к значению пикселя в соответствующей строке смежного столбца; и

применение весов к упомянутым разностям и суммирование взвешенных разностей, чтобы генерировать упомянутое, по меньшей мере, одно значение смещения столбцового остатка.

9. Способ по п. 8, в котором оценка однородности окрестности каждого из упомянутых, по меньшей мере, некоторых пикселей основывается на значении градиента () и на значении горизонтальной дисперсии (), вычисленных для каждой окрестности.

10. Способ по п. 1, в котором определение первого коэффициента масштаба содержит:

применение высокочастотного фильтра вдоль строк изображения;

применение упомянутого высокочастотного фильтра к столбцовому вектору; и

определение столбцовых средних фильтрованного изображения, при этом первый коэффициент масштаба определяется на основе минимизации разностей между столбцовыми средними фильтрованного изображения и фильтрованными значениями столбцового вектора.

11. Способ по п. 1, в котором первый коэффициент масштаба определяется на основе следующего уравнения:

,

где T( ) представляет собой высокочастотный фильтр, примененный к столбцовому вектору V_COL и к строкам входного изображения I_B(x,y).

12. Способ по п. 1, в котором определение второго коэффициента масштаба содержит:

определение, для каждого пикселя входного изображения и для каждого элемента матрицы вариации, значения градиента на основе, по меньшей мере, одного смежного пикселя, при этом второй коэффициент масштаба определяется на основе минимизации разности между градиентами входного изображения и градиентами матрицы вариации.

13. Способ по п. 1, в котором второй коэффициент масштаба определяется на основе следующего уравнения:

,

где I_B является входным изображением, I_DISP является матрицей вариации, является значением градиента пикселя между смежными пикселями в направлении строк во входном изображении, и является значением градиента пикселя в направлении столбцов во входном изображении.

14. Способ по п. 1, в котором упомянутые значения смещения столбцов и пикселей применяются к дополнительному входному изображению.

15. Способ по п. 1, дополнительно содержащий определение значения коррекции усиления () посредством решения следующей задачи минимизации:

,

где var является дисперсией, является скорректированным изображением, и Gain является матрицей усиления.

16. Устройство обработки изображений, содержащее:

память (306), хранящую столбцовый вектор (V_COL) и матрицу вариации (I_DISP);

обрабатывающее устройство (302), выполненное с возможностью:

принимать входное изображение (I_B), захваченное посредством матрицы (102) пикселей, чувствительной к инфракрасному излучению, при этом матрица пикселей имеет множество столбцов (C1, C2) пикселей, при этом каждый столбец пикселей ассоциирован с соответствующим опорным пикселем (106);

определять, на основе входного изображения и на основе столбцового вектора, представляющего собой столбцовый разброс, вводимый опорными пикселями, первый коэффициент масштаба () посредством оценки уровня упомянутого столбцового разброса, присутствующего во входном изображении;

генерировать значения смещения столбцов (.V_COL(x)) на основе произведения первого коэффициента масштаба на значения упомянутого вектора;

определять, на основе входного изображения и на основе матрицы вариации, представляющей собой 2D вариацию, вводимую матрицей пикселей, второй коэффициент масштаба () посредством оценки уровня упомянутой 2D вариации, присутствующей во входном изображении;

генерировать значения смещения пикселей (.I_DISP(x,y)) на основе произведения второго коэффициента масштаба на значения упомянутой матрицы и

генерировать скорректированное изображение () посредством применения упомянутых значений смещения столбцов и пикселей.