СПОСОБ ПОДГОТОВКИ ИЗОБРАЖЕНИЙ В ВИЗУАЛЬНО НЕРАЗЛИЧИМЫХ СПЕКТРАЛЬНЫХ ОБЛАСТЯХ И СООТВЕТСТВУЮЩАЯ КАМЕРА И ИЗМЕРИТЕЛЬНАЯ АППАРАТУРА Российский патент 2015 года по МПК H04N5/33 G06T3/40 

Изобретение относится к способу подготовки изображений в визуально неразличимых спектральных областях, а также к соответствующей камере и соответствующей измерительной аппаратуре.

В качестве примера таких камер для съемки в визуально неразличимой спектральной области известны тепловизионные камеры (ТПВ-камеры).

В известных ТПВ-камерах зачастую было бы желательно улучшить четкость изображения, достигаемую с помощью имеющегося датчика.

Принципиальная возможность улучшения достигаемой четкости изображения заключается в увеличении числа пикселей датчика. Однако это дорого с конструктивной точки зрения и ведет к нежелательному росту расходов на изготовление ТПВ-камер.

Известны также УФ-камеры, терагерцевые камеры, микроволновые и другие камеры для съемки изображений в визуально неразличимых спектральных областях, в которых имеются аналогичные проблемы.

Из WO 2009/126445 А1 известен способ улучшения коротковолновых инфракрасных изображений, который использует высокоточную и локализованную аппаратуру, причем достигают более высокой четкости изображения путем следующей ближайшей интерполяции, билинейной интерполяции или бикубической интерполяции.

Из работы MOHAMMAD S ALAM ЕТ AL "Infrared Image Registration and High-Resolution Reconstruction Using Multiple Translationally Shifted Aliased Video Frames" IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT; IEEE SERVICE CENTER, PISCATAWAY. NJ, US, Bd. 49, Nr. 5, 1. Oktober 2000, известен способ для регистрации инфракрасных изображений и высокоточной реконструкции с применением нескольких смещенных видеокадров, имеющих дефекты из-за наложения спектров, при котором применяют основывающийся на градиенте регистрационный алгоритм для получения оценки смещений между снятыми кадрами, и применяют оценивающее следующее ближайшее значение для расположения кадров в стандартной сетке для получения высокочетких изображений.

Из работы MIN KYU PARK ЕМ AL "Super-resolution image reconstruction: a technical overview", IEEE SIGNAL PROCESSING MAGAZINE, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, Bd. 20, Nr. 3, 1 Mat 2003 (2003-05-01), S. 21-36 известен взгляд на воссоздание высокого разрешения изображений.

Из работы EUNCHEOL CHOL ЕТ AL "Super-resolution approach to overcome physical limitations of imaging sensors: an overview" INTERNATIONAL JOURNAL OF IMAGING SYSTEMS AND TECHNOLOGY, WILEY AND SONS, NEW YOUR, US, Bd. 14, Nr. 2, 1. Januar 2004 (2004-01-01), S. 36-46 известен взгляд на доступ с высоким разрешением для преодоления физических ограничений датчиков, принимающих изображения.

Из работы BAKER S ЕТ AL "Limites on super-resolution and how to break them", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, IEEE SERVICE CENTER, LOS ALAMITOS, CA, US, Bd. 24, Nr. 9, 1. September 2002 (2002-09-01), S. 1167-1183 известно применение при воссоздании высокого разрешения функций Гаусса в качестве функций растяжения точек.

Из труда FILIP SROUBEK ЕТ AL "A Unified Apporach to Superresolution and Multichannel Blind Deconvolution", IEEE TRANCACTIONS ON IMAGE PROCESSING, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, Bd. 16, Nr. 9, 1. September 2007 (2007-09-01), S. 2322-2332 известен стандартный подход к высокой четкости для многоканальной обратной свертки, при котором в процессе оптимизации рассчитывают функцию растяжения точек рекурсивным способом.

Из работы Steven W. Smith "The Scienttist and Engineer's Guide to Digital Signal Processing, Chapter 24: Linear Image Processing", 1. Januar 1997 (1997-01-01), S. 397-422 известны способы линейной обработки изображений для обработки изображений в видимой спектральной области, в которых описаны две технологии сокращения времени, необходимого для реализации; свертка путем разделимости и FFT-свертка.

Из работы ZOMET А ЕТ AL "Robust super-resolution", PROCEEDINGS 2001 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION. CVPR 2001. KAUAI, HAVAII, DEC. 8-14, 2001 [PROCEEDINGS OF THE IEEE COMPUTER CONFERENCE ON COMPUPTER VISION AND PATTERN RECOGNITION], LOS ALAMITOS, CA, IEEE COMP. SOC, US, Bd. 1, 8. Dezember 2001 (2001-12-08), S. 645-650 известен способ стабильного высокого разрешения, в котором надежный контрольный оценщик комбинируют в итерационном способе для получения алгоритма высокого разрешения, причем способ может повысить четкость изображения в областях с резко выпадающими значениями, в которых другие способы создания высокого разрешения в действительности ухудшают изображение.

Из труда RUSSELL С HARDIE ЕТ AL "Joint MAP Registration and High-Resolution Image Estimation Using a Sequence of Undersampled Images" IEEE TRANSACTIONS ON IMAGE PROCESSING, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, Bd. 6, Nr. 12, 1. Dezember 1997 (1997-12-01) известен способ основанной на опыте регистрации максимума А и оценки высокочеткого изображения, в котором используют серию субдискретизационных кадров.

Из работы ELAD М ЕТ AL "Fast and Robust Multiframe Super Resolution", IEEE TRANSACTIONS ON IMAGE PROCESSING, IEEE SERVICE CENTER, PISCATAWAY, NJ, US, Bd. 13, Nr. 10, 1. Oktober 2004 (2004-10-01), S. 1327-1344 известен способ для быстрого и надежного многокадрового суперразрешения, в котором высокочеткое изображение, полученное пробным путем, перед сверткой смещается с помощью функции растяжения точек.

Из работы Michael E. Tipping ЕТ AL "Bayesian Image Super-Resolution", Advancts in Neural Information Processing Systems, 1. Januar 2002 (2002-01-01), S. 1303-1310 известен способ байесовского высокочеткого изображения, в котором оценивается неизвестная функция растяжения точек.

Поэтому задачей изобретения является улучшение достигаемой четкости изображения в ТПВ-камере или в другой камере для приема изображений в визуально неразличимой спектральной области другим способом.

Согласно изобретению для решения этой задачи в указанном способе предусмотрены признаки п.1 формулы. В частности, предлагается, что во время и/или до и после случайного движения камеры для съемки NON-VIS-кадров в визуально неразличимой спектральной области принимается поток данных NON-VIS-изображений с приемной четкостью изображений и что путем совмещения снятых NON-VIS-кадров получают подготовленное SR-изображение с выходной четкостью изображения, причем выходная четкость изображения выше, чем приемная четкость изображения. Тем самым с помощью заявленного способа получают SR-изображение с более высокой четкостью в отличие от отдельных NON-VIS-кадров. Обработанное изображение может при этом содержать все результаты измерений или подмножество результатов измерений датчика.

Под NON-VIS-кадром подразумеваются одно-, двух-, трех- или многокоординатная система результатов измерений, которая передает, например, пространственную или пространственно-временную подчиненность результатов измерений. Особенно выгодно для изобретения, если NON-VIS-кадр представляет собой двухкоординатную систему результатов измерений.

При этом камера установлена, например, для съемки NON-VIS-кадров в IR-(инфракрасной), UV-(ультрафиолетовой), THz-(терагерцевой) и/или µ-(микроволновой) спектральной области.

Случайное движение можно создать с помощью множества способов. Например, камеру можно удерживать в руке, так чтобы получилось случайное движение в результате невольного движения рукой.

Можно также предусмотреть, чтобы камера была установлена на транспортном средстве. В этом случае случайное движение можно получить от движения транспортного средства, на котором установлена камера.

Случайное движение можно создать и другим способом.

Понятие «поток данных изображения», в общем, обозначает накопление и последовательность изображений, которые не обязательно должны присутствовать в непрерывном потоке видеоданных.

Отдельный случай применения представляет, что камера выполнена для съемки в инфракрасной спектральной области и тем самым она представляет собой ТПВ-камеру. В этом случае NON-VIS-изображения представлены в виде ИК-изображений в потоке ИК-кадров. Согласно изобретению в способе обработки ИК-кадров с улучшенной четкостью предусмотрено, что во время и/или до и после случайного движения преимущественно удерживаемой в руке ТПВ-камеры или случайного движения от движущегося транспортного средства, на котором установлена камера, принимается поток данных ИК-кадров с приемной четкостью изображения и что путем совмещения отснятых ИК-кадров получают обработанное SR-IR-изображение с выходной четкостью, причем выходная четкость изображения выше, чем приемная четкость изображения. Изобретение использует, таким образом, вывод о том, что в результате съемки нескольких ИК-кадров в потоке данных ИК-изображений во время движения ТПВ-камеры или до и после движения к дальнейшей обработке готовы ИК-кадры, которые незначительно отличаются друг от друга и которые тем самым дают возможность различить при совмещении ограничение четкости изображения с помощью элементов изображения датчика ТПВ-камеры. Для формирования потока данных изображения можно применять уже имеющуюся в сегодняшних ТПВ-камерах функцию съемки серий кадров. Временной интервал, необходимый для формирования более четких SR-IR-кадров, увеличивается по сравнению с отдельным снимком лишь незначительно, так как уже совмещение нескольких ИК-кадров показывает удовлетворительные результаты. Попросту говоря, в результате случайного движения датчик ТПВ-камеры между съемкой отдельных ИК-кадров потока данных ИК-изображений смещается на отрезок, который меньше, чем расстояние между элементами изображения датчика.

Используемое движение случайно, так как направление движения и отрезок движения для реализации способа неизвестны. При этом типичным случаем применения является удерживаемая рукой (тепловизионная) камера, которая по причине непроизвольных движений руки постоянно совершает случайные движения.

Другим примером применения служат (тепловизионные) камеры, которые применяются в качестве контрольных приборов в помощь водителям транспортных средств, например, сухопутных транспортных средств, таких как легковые автомобили, грузовые автомобили, двухколесные транспортные средства, гусеничные машины или т.п., воздушных судов, средств водного транспорта. Изобретение использует в этих случаях то, что даже жестко смонтированная на транспортном средстве (тепловизионная) камера подвержена во время передвижения транспортного средства случайным, непроизвольным движениям, которые можно использовать для заявленного способа. Тем самым SR-(IR)-кадр можно сформировать с помощью изобретения как улучшенное контрольное изображение. Можно предусмотреть, что для совмещения отснятых кадров в визуально неразличимых спектральных областях оптимизируется опция энергии, причем энергетическая функция оценивается по NON-VIS-кадрам, совмещенным с SR-изображением. Использование функции энергии предоставляет простой и легкий в обращении критерий, который при реализации оптимизации и всего способа можно применять в вычислительном устройстве и далее обрабатывать. С этим критерием оценки полученные пробным путем SR-изображения можно так изменять, что можно добиться оптимального критерия, например, максимума или минимума. Вместо оптимального значения можно также добиться такого состояния, при котором функция энергии меняется лишь незначительно, например, внутри заданного порогового значения.

Можно предусмотреть, что перед совмещением снятых NON-VIS-кадров для каждого NON-VIS-кадра определяют преобразование, с помощью которого осуществляют запись, в частности, субпиксельточную регистрацию NON-VIS-кадров между собой или относительно опорного изображения. Благодаря этому число возможных совмещений снятых NON-VIS-кадров уже четко ограничивается, в результате чего вычислительные возможности, необходимые для оптимизации, в частности, потребность в памяти и/или времени для вычислений, можно сократить таким образом, что способ можно реализовать также в вычислительных устройствах, имеющихся в сегодняшних ТПВ-камерах.

Для оценки полученных пробным путем SR-изображений и/или для формирования этих SR-изображений можно предусмотреть, что перед совмещением снятых NON-VIS-кадров каждому NON-VIS-кадру подчинена функция растяжения точек из приготовленного тестового набора функций растяжения точек, причем функции растяжения точек тестового набора моделируют оптические свойства отображения ТПВ-камеры для разных направлений съемки и/или разных положений съемки. Тестовый набор может быть сформирован с помощью различных функций растяжения точек и/или с помощью различных значений параметров функции растяжения точек. При этом изобретение полезно для известного применения функций растяжения точек в математическом описании процесса оптического отображения. Предпочтительно каждому NON-VIS-кадру потока данных NON-VIS-изображений придана та функция растяжения точек, которая наилучшим образом описывает положение съемки, принятое в момент съемки ТПВ-камерой соответствующего NON-VIS-кадра. Таким образом, можно использовать смещение, рассчитанное при регистрации, для смещения функций растяжения точек так, чтобы они точно совместили смещенные NON-VIS-кадры с областью изображения SR-кадра.

При этом не нужно знать действительную позицию съемки или направление съемки в момент съемки, а можно подчинить каждому NON-VTS-кадру ту функцию растяжения точек, которая соответствует преобразованию, определенному каждый раз при регистрации. При этом используют информацию о направлении съемки или положении съемки в момент съемки соответствующего NON-VTS-кадра, содержащуюся в параметрах вычисленного преобразования и необходимую для реализации заявленного способа.

Относительно небольшое пространство параметров для описания доступных преобразований, достаточное для многих случаев применения, возникает тогда, когда в тестовом наборе уже содержатся функции растяжения точек, с помощью которых описываются различные относительные смещения изображений. Тем самым возможна экономная, с точки зрения ресурсов, реализация заявленного способа. В частности, не нужна слепая обратная свертка.

В этом случае можно провести параметризацию функций растяжения точек с помощью соответствующих смещений изображений. При этом смещения изображений представляют собой сдвиги и/или повороты и/или спрямления и извивания. Особенно малое пространство параметров получается тогда, когда в тестовом наборе приготовлены функции растяжения точек, которые могут переходить друг в друга в результате отчетливого смещения. Значительные упрощения, с точки зрения техники, вычислений следуют тогда, когда двухкоординатные функции растяжения точек симметричны и/или сепарабельны, т.е. могут быть представлены в виде продукта из двух однокоординатных функций. Наиболее благоприятно, если функции растяжения точек определены с помощью дельта-функций. При этом простым образом используют положение центра дельта-функции для описания относительного смещения изображения.

Для оптимизации можно предусмотреть, чтобы функция энергии оценивала отличие снятых NON-VIS-кадров от пробного SR-изображения, отображенного с помощью каждый раз выбранной (т.е. для каждого NON-VIS-кадра) функции растяжения точек. Преимущественно отличие вычисляют путем формирования разности и абсолютного значения. Таким образом, можно добиться, чтобы функция энергии принимала оптимальное значение, если SR-изображение меньше всего отличается от окружающей картины, снятой с помощью потока данных NON-VIS-кадров. Математически это можно вычислить таким образом, что оптимальное SR-изображение для выбранных функций растяжения точек наилучшим образом передает NON-VIS-кадры, снятые в потоке данных NON-VIS-изображений.

В качестве отправной точки оптимизации функции энергии можно заполнить тестовую пиксельную матрицу выходной четкости изображения значениями изображения NON-VIS-кадров в зависимости от каждый раз вычисленных преобразований и/или каждый раз подчиненной функции растяжения точек и использовать в качестве рассчитанного пробным путем SR-изображения. Таким образом, для многих случаев применения можно добиться того, чтобы отправная точка находилась уже рядом с оптимальным значением, благодаря чему снова можно сэкономить на вычислительных ресурсах.

В качестве эталона для регистрации можно выделить из потока данных NON-VIS-изображений один NON-VIS-кадр в качестве опорного NON- VIS-кадра.

Если процесс нужно выполнять непрерывно, т.е. бесконечно, то можно предусмотреть, чтобы способ реализовался с помощью опорного NON-кадра, присутствующего внутри продвигающегося потока данных NON-VIS-изображений. При этом выгодно, что вызванные в результате случайного движения ТПВ-камеры смещения изображений NON-VIS-кадров относительно опорного изображения не слишком велики. Перед ограничением необходимой области памяти для заявленного способа можно предусмотреть, чтобы процесс реализовался непрерывно с помощью выбранных NON-VIS-кадров, присутствующих внутри продвигающегося потока данных NON-VIS-изображений. Ранее отснятые NON-VIS-кадры, таким образом, не принимаются во внимание, поскольку они больше не нужны для текущих расчетов высокочеткого SR-изображения. Если выходная четкость изображения SR-кадра равна SR_F-кратному значению четкости изображения NON-VIS-кадров, то в заявленном способе выбирают и оценивают по меньшей мере или определенно $$S{R}_F^2+1$$ NON-VIS-кадров. Для многих случаев уже достаточно $$S{R}_F^2$$ NON-VIS-кадров или даже SR_F NON-VIS-кадров.

Можно предусмотреть, чтобы во время оптимизации функции энергии SR-изображение менялось, например, методом градиента.

Альтернативно или дополнительно можно предусмотреть, чтобы во время оптимизации функции энергии изменялись функции растяжения точек, подчиненные NON-VIS-кадрам, например, путем смещения центра соответствующих функций растяжения точек.

Вычислительные ресурсы можно дополнительно сэкономить, если для каждого NON-VIS-кадра определить пиксельточную запись в двухэтапном процессе, причем на первом этапе получают неточную запись, а на втором этапе выявляют субпиксельточную запись с помощью оптического потока. Неточную запись, которая дает регистрацию NON-VIS-кадров между собой с точностью, равной примерно интервалу между пикселями датчика, можно выявить, например, методом корреляции фаз или другим способом. Благодаря двум этапам процесса можно ограничить затраты на вычисления для субпиксельточной записи.

Преимущественно субпиксельточную запись получают, регистрируя отдельные элементы изображения. При этом можно предусмотреть, чтобы в соответствующем NON-VIS-кадре были скрыты те значения элементов изображений, которые отличаются от полученной каждый раз записи сильнее, чем заданное пороговое значение, в частности, от среднего значения направления и величины смещения. Таким образом, можно предотвратить, чтобы так называемое «резко выпадающее» значение или также погрешность отображения снимающего объектива наносили вред процессу оптимизации или даже приводили к ошибочным результатам.

Для математической модели процесса отображения, в частности, при оценке функции энергии, можно предусмотреть, чтобы при отображении SR-изображений с участием выбранных функций растяжения точек была рассчитана свертка соответствующего SR-кадра с помощью соответствующей функции растяжения точек.

Для решения задачи заявленный способ должен применяться в ТПВ-камере, которая имеет датчик, предназначенный для формирования потока данных NON-VIS-изображений, блок обработки изображений, предназначенный для обработки потока данных NON-VIS-изображений, и устройство вывода, предназначенное для вывода обработанных SR-изображений, причем для реализации заявленного способа блок обработки изображений выполнен, например, с программой для вычислительного устройства, и, причем, приемная четкость изображения задана датчиком, и выходная четкость изображения выше, чем приемная четкость изображения. Можно предусмотреть, чтобы выходная четкость изображения была задана с помощью устройства вывода, например с помощью технических возможностей устройства вывода. Устройство вывода готовит, таким образом, четкость, которая выходит в виде обработанного SR-изображения или его фрагмента.

Вывод изображения можно осуществить, например, через интерфейс связи или дисплей.

Для решения задачи заявленный способ можно применять в измерительной аппаратуре, которая включает в себя камеру для съемки NON-VIS-кадров в визуально неразличимой спектральной области, в частности, тепловизионную камеру (ТПВ-камеру), причем камера имеет датчик, предназначенный для формирования потока данных NON-VIS-изображений, блок обработки изображений, предназначенный для обработки потока данных NON-VIS-изображений, и устройство вывода, выполненное для вывода обработанных SR-изображений, и которая, кроме того, отличается тем, что блок обработки изображений выполнен для реализации заявленного способа, причем приемная четкость изображения задана датчиком, а выходная четкость изображения выше, чем приемная четкость изображения. При этом, блок обработки изображений может быть встроен в камеру или находиться отдельно. Блок обработки изображений может функционировать во время работы камеры или после ее работы.

Изобретение описывается более подробно на одном примере выполнения, однако не ограничивается только этим примером. Другие примеры выполнения представлены с помощью сочетания между собой отдельных или нескольких признаков формулы изобретения и/или сочетания с отдельными или несколькими признаками примера выполнения.

В раскрываемом примере выполнения для упрощения предполагается, что камера является ТПВ-камерой. В других примерах выполнения также применяют камеру для съемки в другой визуально неразличимой спектральной области, например, для съемки изображений в ультрафиолетовой, терагерцевой и/или микроволновой спектральной области.

В описании примера выполнения для наглядности изобретения NON-VIS-кадры обозначены как ИК-кадры, поток данных NON-VIS-изображений - как поток данных ИК-изображений, камера для съемки в визуально неразличимой спектральной области -как ТПВ-камера, датчик - как ИК-датчик, а SR-изображение - как SR-ИК-изображение.

Фиг.1 заявленная тепловизионная камера (наклонена спереди),

Фиг.2 тепловизионная камера согласно Фиг.1 (наклонена сзади),

Фиг.3 схема последовательности этапов заявленного способа,

Фиг.4 принципиальное изображение заявленного способа.

Тепловизионная камера, представленная на Фиг.1 и Фиг.2 и в целом обозначенная позицией 1, имеет ИК-датчик 3, выполненный и расположенный известным образом позади ИК-объектива 2.

ИК-датчик 3 расположен для непрерывной съемки ИК-кадров 4, схематично показанных на Фиг.4, в потоке данных ИК-изображений 5. Для наглядного пояснения разложения изображения ИК-кадров 4 на элементы соответствующее содержание кадра заменялось испытательной таблицей в виде шахматного поля.

ТПВ-камера 1 выполнена в виде ручного устройства с ручкой 6, в которой для работы ТПВ-камеры 1 находится аккумулятор энергии 7, выполненный с возможностью его удаления из ручки.

ТПВ-камера имеет, кроме того, устройство вывода 8, выполненное в виде дисплея, который служит для передачи SR-ИК-кадра 9, схематично показанного на Фиг.4, который имеет большую четкость, чем ИК-кадры 4. Эта повышенная четкость данных изображения обозначает большее количество полей испытательной таблицы в виде шахматного поля.

Внутри ТПВ-камеры 1 имеется подробно не представленный здесь блок обработки изображений 10 в виде вычислительного устройства, которое предназначено для реализации заявленного способа, описанного ниже в связи с Фиг.4 и Фиг.5.

Во время или, по меньшей мере, до и после случайного движения ТПВ-камеры 1 с помощью ИК-датчика 3 принимается поток видеоданных ИК-изображений 5 происходящего вокруг процесса. Эти ИК-кадры 4 имеют приемную четкость изображения, которая дана благодаря расстоянию между элементами изображения 11 ИК-датчика.

ИК-кадры 4 потока видеоданных ИК-изображений 5, выбранные для обработки SR-IR-изображения 9, на первом этапе способа 12 подвергаются процессу неточной регистрации 13 относительно первого ИК-кадра 4 потока видеоданных ИК-изображений 5, выбранного в качестве опорного ИК-кадра 14. В описанном примере выполнения это происходит с помощью процесса корреляции фаз, однако в других примерах выполнения неточную запись можно рассчитать и другими способами.

На втором этапе способа 15 процесса регистрации 13 рассчитывают субпиксельточную запись ИК-кадров 4 между собой и относительно опорного ИК-кадра 14, определяя известным образом оптический поток между ИК-кадрами 4 по каждому элементу изображения.

В результате для каждого ИК-кадра 4 получают набор параметров, благодаря которому можно провести субпиксельточную регистрацию ИК-кадров 4 между собой и относительно опорного ИК-кадра 14. При этом понятие «субпиксельточная» означает регистрацию (запись), которая точнее, чем значение, заданное с помощью интервала между элементами изображения. 11. Преобразования математически описывают изменения ИК-кадров, которые могут быть вызваны изменениями условий съемки, в частности, сдвигами, поворотами, спрямлениями и извиваниями.

В памяти блока обработки изображений 10 содержится тестовый набор 16 функций растяжения точек 17.

Эти функции растяжения точек 17 математически описывают оптические свойства отображения ИК-объектива 2 и/или ИК-датчика 3 для разной направленности луча ТПВ-камеры 1.

Разным функциям растяжения точек 17 могут аналогичным образом соответствовать параметры упомянутых преобразований.

Согласно известному математическому описанию получается ИК-кадр 4, принятый ИК-датчиком для двухкоординатной функции, представляющей окружающую картину, путем свертки этой функции с такой функцией растяжения точек 17, которая характеризует действительные условия съемки.

Применяемые функции растяжения точек 17 показаны на Фиг.4 для упрощения в виде однокоординатных дельта-функций, причем в действительности применяемые двухкоординатные функции растяжения точек 17 получаются в виде продукта двух однокоординатных дельта-функций. Эти дельта-функции характеризуются положением их центра 18, т.е. их математического основания. Разные позиции центра 18 соответствуют разным смещениям изображения. Функции растяжения точек 17 могут переходить, таким образом, друг в друга в результате смещения.

С помощью разделяемого изображения функций растяжения точек 17 в виде продукта из двух дельта-функций функции растяжения точек являются автоматически симметричными. В других примерах выполнения применяют другие, также симметричные, то не разделяемые функции. Для разделяемых функций растяжения точек 17 в качестве дополнительного преимущества можно очень просто рассчитать двухкоординатные интегралы свертки. Этот расчет происходит предпочтительно с помощью алгоритма быстрого преобразования Фурье. Благодаря упрощениям функции растяжения точек вычисления можно выполнить даже на месте.

В заявленном способе согласно Фиг.3 на этапе распределения 19 каждому ИК-кадру потока ИК-видеоданных 5 соответствует та функция растяжения точек 17 из тестового набора 16, которая относится к преобразованию, вычисленному в процессе записи 13.

С помощью имеющихся теперь информации и данных можно выполнить заявленное совмещение 20 ИК-кадров 4 потока ИК-видеоданных 5 для получения SR-ИК-кадра 9.

Для этого тестовую пиксельную матрицу, имеющую выходную четкость изображения SR-ИК-кадра 9, сначала заполняют значениями изображения 24 ИК-кадров 4 таким образом, что положения элементов изображения, заполненных ИК-кадрами 4, по меньшей мере приблизительно передают смещение изображения соответствующего ИК-кадра 4 относительно опорного ИК-кадра 14.

Заполненная тестовая пиксельная матрица образует отправную точку для процесса оптимизации 21, в котором вычисляют оптимизированное SR-ИК-изображение 9. В процессе оптимизации 21 в контуре 22 SR-ИК-изображение 9 меняется, и для каждого прохождения контура на этапе оценки 23 оценивают функцию энергии. Для оценки функции энергии проводят свертку в действительности имеющегося в контуре 22 SR-ИК-изображения 9 для каждого ИК-кадра 4 с соответствующей функцией растяжения точек 17 и сравнивают с ИК-кадром 4. Таким образом, определяют, какой ИК-кадр мог бы получиться для SR-ИК-изображения 9, полученного для пробы в контуре 22 в условиях съемки, определенных в процессе записи 13. Отличия этого гипотетического ИК-кадра от действительно снятого ИК-кадра 4 затем оценивают путем формирования разности и абсолютного значения и суммируют для ИК-кадров в функции энергии.

Функция энергии может иметь другие уровни, моделирующие дополнительные влияния при оптическом отображении, например, шумы и/или погрешности отображения ИК-объектива 2 или датчика 3.

Можно использовать, например, функцию энергии согласно J. Flusser et al.: A Unified Approach to Superresolution and Multichannel Blind Deconvolution, IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 16, NO. 9, September 2007, S.2322-2332. С помощью представленного здесь упрощенного способа не требуется изменение SR-ИК-изображения и функции растяжения точек, достаточно одного из двух.

Поскольку процесс оптимизации 21 определяет оптимальное SR-ИК-изображение 9, оно поступает на устройство вывода 8 ТПВ-камеры 1 и представляется.

Заявленный процесс протекает непрерывно, причем ИК-кадры 4 потока ИК-видеоданных 5, выделенные для расчета SR-ИК-изображения 9, выбирают из «окошка», перемещающегося во время прохождения потока ИК-видеоданных.

Благодаря такому непрерывному выполнению заявленного способа на устройстве вывода 8 всегда есть наготове поток видеоданных SR-ИК-изображений 9, имеющих высокую четкость.

В тепловизионной камере 1 предусмотрено, что во время случайного движения ТПВ-камеры принимается поток ИК-видеоданных 5 ИК-кадров 4, и эти ИК-кадры 4 совмещаются для получения очень четких SR-ИК-изображений 9.

Изобретение относится к способу подготовки изображений в визуально неразличимых спектральных областях, а также к соответствующей тепловизионной камере (ТПВ-камере) и измерительной аппаратуре. Техническим результатом является улучшение четкости изображения в ТПВ-камере в визуально неразличимой спектральной области другим способом. Указанный технический результат достигается тем, что в тепловизионной камере (1) предусмотрено, что во время случайного движения ТПВ-камеры (1) принимается поток данных (5) изображения в инфракрасных лучах (4) и эти изображения в инфракрасных лучах (4) совмещаются для получения высокочеткого изображения в инфракрасных лучах (9). 2 н. и 8 з.п. ф-лы, 4 ил.

1. Способ подготовки ИК-кадров (4) для улучшения разрешения изображения, в котором во время и/или до или после случайного движения преимущественно удерживаемой рукой тепловизионной камеры (1) или случайного движения перемещающегося транспортного средства, на котором установлена тепловизионная камера (1), принимают поток данных (5) ИК-изображений из ИК-кадров (4) с приемным разрешением изображения и путем совмещения (20) снятых ИК-кадров (4) получают обработанное изображение супер-разрешения (9) (SR-ИК-изображение) с выходным разрешением изображения, которая выше, чем приемное разрешение изображения, причем перед совмещением (20) снятых ИК-кадров (4) для каждого ИК-кадра (4) определяют преобразование, с помощью которого проводят субпиксельточную регистрацию ИК-кадров (4) между собой или относительно опорного изображения (14) и перед совмещением (20) снятых ИК-кадров (4) каждому ИК-кадру (4) придают функцию рассеяния точек (17) из приготовленного тестового набора (16) симметричных и сепарабельных функций рассеяния точек (17), причем функции рассеяния точек (17) тестового набора (16) моделируют оптические свойства отображения тепловизионной камеры (1) для разных направлений съемки и/или разных положений съемки, причем каждому снятому ИК-кадру (4) соответствует та функция рассеяния точек (17), которая соответствует каждый раз полученному преобразованию, для совмещения (20) снятых ИК-кадров (4) оптимизируют функцию энергии, причем функцию энергии оценивают пробным путем по ИК-кадрам (4), совмещенным для получения SR-ИК-изображения (9), во время оптимизации (21) функции энергии соответствующие ИК-кадрам (4) функции рассеяния точек (17) варьиируют путем смещения центра (18) соответствующей функции рассеяния точек (17), причем в качестве отправной точки оптимизации (21) функции энергии заполняют тестовую пиксельную матрицу выходного разрешения изображения значениями изображения (24) ИК-кадров (4) в зависимости от каждый раз полученного преобразования и/или каждый раз соответствующей функции рассеяния точек (17) и применяют в качестве полученного пробным путем SR-ИК-изображения (9).

2. Способ по п.1, отличающийся тем, что в тестовом наборе (16) приготовлены функции рассеяния точек (17), с помощью которых описывают разные относительные смещения изображений, и/или в тестовом наборе (16) приготовлены функции рассеяния точек (17), которые могут переходить друг в друга в результате смещения и/или в тестовом наборе (16) приготовлены функции рассеяния точек (17), которые определяют с помощью дельта-функций.

3. Способ по п.1, отличающийся тем, что функция энергии оценивает отличие снятых ИК-кадров (4) от SR-ИК-изображения (9), полученного пробным путем и отображенного с помощью каждый раз выбранной функции рассеяния точек (17).

4. Способ по п.1, отличающийся тем, что ИК-кадр (4) выбирают из потока данных (5) ИК-изображений в качестве опорного ИК-изображения и/или процесс осуществляют непрерывно с помощью опорного ИК-изображения (14), перемещающегося внутри получаемого потока данных (5) ИК-излбражений, и/или с помощью выбранных ИК-изображений (4), перемещающихся внутри получаемого потока данных (5) ИК-изображений.

5. Способ по п.1, отличающийся тем, что выходное разрешение SR-ИК-изображения (9) представляет собой SR_F-кратное разрешение ИК-кадров (4) и заданное число выбираемых ИК-кадров (4), по меньшей мере, равно SR_F или, по меньшей мере, равно $$S{R}_F^2$$ или, по меньшей мере, равно $$S{R}_F^2+1$$ .

6. Способ по п.1, отличающийся тем, что во время оптимизации функции энергии SR-ИК-изображение вариируют.

7. Способ по п.1, отличающийся тем, что для каждого ИК-кадра (4) определяют субпиксельточную регистрацию в двухэтапном процессе (13), причем на первом этапе (12) определяют грубую запись, в частности, с помощью способа корреляции фаз, и/или на втором этапе (15) определяют субпиксельточную регистрацйю с помощью оптического потока.

8. Способ по п.1, отличающийся тем, что субпиксельточную регистрацию определяют по отдельным элементам изображения и/или значения элементов изображения скрывают в соответствующем ИК-кадре (4), которые отличаются от каждой полученной регистрации больше, чем заданное пороговое значение.

9. Способ по одному из пп.1-8, отличающийся тем, что при отображении SR-ИК-изображений (9) с помощью выбранных функций рассеяния точек (17) вычисляют свертку соответствующего SR-ИК-изображения (9) с помощью соответствующей функции рассеяния точек (17).

10. Тепловизионная камера, имеющая датчик (3) для формирования потока данных (5) ИК-изображений из ИК-кадров (4), блок обработки изображений (10), служащий для обработки потока данных (5) ИК-изображений и устройство вывода (8), предназначенное для вывода обработанных SR-ИК-изображений (9), отличающаяся тем, что блок обработки изображений (10) предназначен для осуществления способа по одному из пп.1-9, причем приемное разрешение изображения задано датчиком (3), а выходное разрешение изображения задано устройством вывода (8).