Способ совмещения изображений от матричных фотоприёмников различных спектральных диапазонов Российский патент 2022 года по МПК G06T3/00 G06T5/50 

Изобретение относится к способам цифровой обработки изображений, в частности - к совмещению цифровых изображений.

Отличительной особенностью совмещения кадров от разноспектральных камер является различная физическая природа формируемых ими изображений. Телевизионные камеры, фиксирующие излучение видимого диапазона длин волн (0,38-0,7 мкм), камеры ближнего (0,7-0,9 мкм) и коротковолнового (0,9-1,7 мкм) инфракрасных (ИК) диапазонов, а также камеры, фиксирующие ультрафиолетовое (0,2-0,38 мкм) излучение, воспринимают отраженный объектом свет, в то время как камеры средневолнового (3-5 мкм) и длинноволнового (8-14 мкм) ИК диапазонов - собственное тепловое излучение объекта.

Из уровня техники известен способ для совмещения изображений от телевизионных и тепловизионных камер и устройство для его реализации, в котором в качестве информативных признаков для совмещения используется контурный препарат (патент US 7620269, опубликовано 17.11.2009, МПК: G06K 9/32). Далее по результатам фазовой корреляции контурного препарата опорного изображения, которым, как правило, является телевизионное изображение, и контурных препаратов изображений других спектральных диапазонов находятся их сдвиги в пикселях по горизонтали и вертикали относительно опорного изображения. Недостатком такого способа совмещения является его работоспособность только при равном угловом разрешении камер.

Известен способ совмещения изображений, полученных с помощью различных фотодатчиков, и устройство для его реализации (патент RU 2435221, опубликовано 20.06.2009, МПК: G06T 3/00). В нем в оптическую систему дополнительно вводится светоделитель, за счет чего достигается разделение падающего света на два потока: видимого диапазона длин волн и волн ИК диапазона. Первый поток далее поступает на вход телевизионной камеры, второй - на вход тепловизионной камеры. В результате формируются соответственно телевизионное и тепловизионное изображения одной и той же сцены. Недостатками способа являются большие габариты, сложность механической юстировки и низкая светосила оптической системы разноспектральных камер из-за введения в нее светоделителя.

Известен способ совмещения изображений, полученных от цветной телевизионной камеры и монохромной камеры ближнего ИК диапазона, и устройство для его реализации (патент US 9692911, опубликовано 27.06.2017, МПК: H04N 5/33, G06T 7/33). В нем выполняется перевод цветного изображения в декоррелированное цветовое пространство. Затем выполняется поиск особых точек и их дескрипторов в ахроматических каналах телевизионного и ИК изображений. Далее выполняется поиск пар соответствий особых точек, по которым затем оценивается матрица проективного преобразования (матрица томографии) для совмещения. Недостатком способа является его применимость только к камерам ближнего ИК диапазона, поскольку лишь их изображение сильно коррелированно с изображением в видимом диапазоне длин волн.

Известен способ совмещения цифровых изображений различных спектральных диапазонов (патент RU 2684749, опубликовано 12.04.2019, МПК: G06K 9/32 (2006.01), G06T 7/80 (2017.01)). Указанный способ предполагает оценку матриц томографии для перехода из системы пиксельных координат камеры одного спектрального диапазона в систему пиксельных координат камеры другого спектрального диапазона. Оценка матриц томографии выполняется с помощью предварительной калибровки по изображениям автоматически распознаваемых в различных спектральных диапазонах маркеров, конструктивно размещенных на тестовом объекте в одной плоскости. При этом пространственные координаты маркеров, лежащих в плоскости тестового объекта, являются априорно известными, а при оценке матриц проективного преобразования изменяется только угловое и пространственное положение тестового объекта посредством его перемещения. Совмещение изображений достигается за счет проективных преобразований изображений с камер по матрицам томографии, оцениваемым по результатам предварительной калибровки с контрастным в каждом из спектральных диапазонов тестовым объектом для каждой пары камер, одна из которых выбрана в качестве опорной.

В качестве тестового шаблона в данном способе могут выступать, например, устройства, конструкция и принцип работы которых рассмотрены в следующих патентах и публикациях:

патент CN 204287725, опубликовано 22.04.2015, МПК: G03B 43/00 (2006.01), G01J 5/52 (2006.01);

патент CN 204301863, опубликовано: 29.04.2015, МПК G01J 5/00 (2006.01), G01M 11/00 (2006.01);

патент CN 204695399, опубликовано 07.10.2015, МПК: G06T 7/00 (2006.01);

патент US 9621823, опубликовано 11.04.2017, МПК: H04N 5/33 (2006.01), H04N 17/00 (2006.01);

патент RU 2672466, опубликовано 14.11.2018, МПК: G06T 7/80 (2017.01);

Vidas S., Lakemond R., Denman S., Fookes C., Sridharan S., Wark T. A mask-based approach for the geometric calibration of thermal-infrared cameras // IEEE Transactions on Instrumentation and Measurement. 2012. Vol. 61(6). P. 1625-1635;

Choinowski A., Dahlke D., Ernst I., Pless S. Automatic calibration and co-registration for a stereo camera system and a thermal imaging sensor using a chessboard // Proc. of the Int. Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, Vol. XLII-2/W13. Enschede, 2019. P. 1631-1635;

Alekseev A.P. Goshin E.V., Davydov N.S., Ivliev N.A., Nikonorov A.V. Visual-inertial odometry algorithms on the base of thermal camera // CEUR Workshop Proc. 2019. Vol. 2416. P. 183-188;

St-Laurent L. Mikhnevich M., Bubel A., Prevost D. Passive calibration board for alignment of VIS-NIR, SWIR and LWIR images // Quantitative InfraRed Thermography Journal. 2017. Vol. 14(2). P. 193-205;

Chen Y., Huang F.-Y., Shi F.M., Liu B.-Q. Plane chessboard-based calibration method for a LWIR ultra-wide-angle camera // Applied Optics. 2019. Vol. 58(4). P. 744;

Zoetgnande Y.W.K., Fougeres A.J., Cormier G., Dillenseger J.L. Robust low-resolution thermal stereo camera calibration // Proc. of 11th Int. Conf. on Machine Vision. Munich, 2018. P. 110411D.

Недостатком способа, заявленного в патенте RU 2684749, является отсутствие возможности оперативной калибровки разноспектральных камер при изменении конструктива мультиспектральной системы технического зрения либо при взаимных угловых и линейных перемещениях камер, например, из-за вибрации в ходе эксплуатации.

Данного недостатка лишен способ совмещения одновременно получаемых изображений от матричных фотоприемников разного спектрального диапазона (патент RU 2705423, опубликовано 07.11.2019, МПК: G06T 3/00 (2006.01)), выбранный в качестве прототипа как наиболее близкий по совокупности признаков. В указанном способе для совмещения изображений одновременно получают несколько изображений различных спектральных диапазонов, из числа этих изображений выбирают эталонное изображение, выбирают начало координат и четыре опорные точки на эталонном изображении, определяют координаты этих точек, находят те же точки на всех остальных изображениях и также определяют их координаты. Далее по полученным координатам вычисляют матрицы томографии. Данные матрицы применяют для приведения всех изображений к эталонному. При этом эталонное изображение выбирают с максимальным полем зрения и наибольшей разрешающей способностью, выполняют нормировку системы координат изображений, на эталонном изображении визуально выбирают четыре характерные точки наблюдаемых объектов в качестве опорных и определяют их пиксельные координаты. Далее визуально выбирают те же четыре точки наблюдаемых объектов на изображениях остальных спектральных диапазонов и определяют их пиксельные координаты. По парам соответствий оценивают элементы матриц томографии, запоминают их и затем производят совмещение каждой последующей серии изображений с использованием сохраненных параметров.

Совмещение по способу прототипа выполняется при наблюдении удаленных объектов, поскольку попиксельное совмещение их проекций на плоскости изображений с малыми абсолютными ошибками (порядка единиц пикселей) выполняется только в том случае, если приближенно можно считать, что расстояние от каждого из них до всех разноспектральных камер приблизительно одинаково (Hartley R., Zisserman A. Multiple View Geometry in Computer Vision: 2nd ed. - Cambridge: Cambridge University Press, 2003. - 656 p.).

При этом ни в формуле изобретения прототипа, ни в его описании не указано, по каким критериям следует выбирать опорные точки на изображениях различных спектральных диапазонов. Например, если на изображениях сцены Фиг. 1 (камера видимого диапазона, кадр 640×512 пикселей) и Фиг. 2 (камера коротковолнового ИК диапазона, кадр 640×512 пикселей), выбрать в качестве опорных точек, например, вершины антенн, изображения которых контрастны в обоих указанных диапазонах оптического спектра, то матрица томографии для приведения изображения Фиг. 2 к системе пиксельных координат изображения Фиг. 1, оцененная по четырем парам соответствий

1: (218, 154)↔(266, 130),

2: (226, 153)↔(276, 130),

3: (238, 162)↔(290, 140),

4: (532, 122)↔(631, 90)

с их последующим нормированием (Hartley R., Zisserman A. Multiple View Geometry in Computer Vision: 2nd ed. - Cambridge: Cambridge University Press, 2003. - 656 p.) к диапазону значений [-1, 1], равна

Результат ее применения к изображению Фиг. 2 для его приведения к системе координат изображения Фиг. 1,

где х₁ и х₂ - соответственно векторы однородных нормированных пиксельных координат изображений Фиг. 1 и Фиг. 2, показан на Фиг. 3.

Опорные точки на Фиг. 1 и Фиг. 2 промаркированы квадратами.

Число обусловленности матрицы Н в евклидовой норме (Петров И.Б., Лобанов А.И. Лекции по вычислительной математике: учеб. пособие. М.: БИНОМ, Лаборатория знаний, 2006. 523 с):

где σ_max и σ_min - соответственно максимальное и минимальное сингулярные числа матрицы.

Для матрицы Н из (1) вычисленное по (3) число обусловленности

μ=3597,46.

Поскольку выражение (2) является линейным матричным оператором, то величина μ фактически показывает, насколько (2) чувствительно к ошибкам на входе, т.е. к ошибкам при измерении координат опорных точек.

Напротив, при ином выборе четырех опорных точек, например, как на Фиг. 4 и Фиг. 5,

1': (218, 154)↔(266, 130),

2': (10, 459)↔(30, 486),

3': (521, 456)↔(621, 477),

4': (532, 122)↔(631, 90)

получим иную оценку матрицы томографии:

Ее число обусловленности

μ'=1,283.

Поэтому способ прототипа не позволяет априори оценить, будет ли ошибка совмещения пиксельных координат низкой или высокой для выбранных четверок пар соответствий опорных точек на изображениях каждого спектрального диапазона.

Техническая проблема, решаемая заявляемым изобретением, заключается в отсутствии критерия выбора опорных точек на изображениях различных спектральных диапазонов для оценивания матриц томографии.

Технический результат изобретения заключается в разработке алгоритма совмещения изображений различных спектральных диапазонов, в котором на этапе до оценивания матрицы томографии анализируется численный показатель, характеризующий качество совмещения изображений с ее помощью.

Технический результат достигается тем, что для фотоприемников N различных спектральных диапазонов, изображения от которых требуется совместить, на эталонном изображении - с наибольшим разрешением и полем зрения - выбирается n≥4 опорных точек. Далее для всех C_n⁴ сочетаний пар соответствующих координат на парах «эталонное изображение - изображение иного спектрального диапазона» оцениваются матрицы томографии и для каждой из них вычисляется число обусловленности μ. Находится минимальное значение μ, и матрица томографии с минимальным μ применяется для совмещения пары изображений «эталонное изображение - изображение иного спектрального диапазона» согласно формуле (2). Действия по оценке матриц томографии, вычислению чисел обусловленности и выбору матриц томографии с минимальными значениями μ повторяются для (N-1) пар «эталонное изображение - изображение иного спектрального диапазона».

Минимальные значения μ будут достигаться в тех случаях, когда опорные точки в совмещаемых кадрах будут выбираться по возможности ближе к углам кадра - по одной точке вблизи левого верхнего, левого нижнего, правого верхнего и правого нижнего углов - при условии, что в этих областях имеются однозначно выделяемые визуально сюжетные соответствия.

Также в способе прототипа не отражена специфика совмещения изображений, получаемых от разноспектральных камер с широким полем зрения. Для таких изображений характерна выраженная дисторсия. Поэтому если ее параметры, т.е. коэффициенты радиальной и тангенциальной дисторсии (Brown D.C. Close-range camera calibration // Photogrammetric Engineering. 1971. Vol. 37, No 8. P. 855-866), априорно известны или могут быть оценены в ходе фотограмметрической калибровки по тест-объекту, то до этапа выбора опорных точек и измерения их пиксельных координат необходимо выполнить компенсацию дисторсии для изображений всех N спектральных диапазонов.

Изобретение относится к области обработки цифровых изображений. Техническим результатом является обеспечение снижения ошибок при совмещении нескольких изображений различных спектральных диапазонов. Способ совмещения изображений от матричных фотоприемников N различных спектральных диапазонов заключается в том, что для удаленных объектов одновременно получают несколько изображений различных спектральных диапазонов и из них выбирают эталонное изображение с максимальным полем зрения и наибольшей разрешающей способностью. Далее на эталонном изображении выбирают начало координат и n≥4 опорных точек, определяют их пиксельные координаты, находят соответствующие им точки на всех изображениях остальных спектральных диапазонов и также определяют их пиксельные координаты. Для каждой пары «эталонное изображение - изображение иного спектрального диапазона» из C_n⁴ сочетаний опорных точек оценивают C_n⁴ матриц гомографии, для каждой из них вычисляют число обусловленности μ, находят минимальное значение μ и в памяти сохраняют соответствующую ему матрицу гомографии. Полученные матрицы гомографии сохраняют в памяти и производят совмещение изображений с использованием этих сохраненных параметров. 1 з.п. ф-лы, 6 ил.

1. Способ совмещения изображений от матричных фотоприемников N различных спектральных диапазонов, заключающийся в том, что для удаленных объектов одновременно получают несколько изображений различных спектральных диапазонов, из числа этих изображений выбирают эталонное изображение с максимальным полем зрения и наибольшей разрешающей способностью, выбирают начало координат и опорные точки на эталонном изображении, определяют пиксельные координаты этих точек, затем находят соответствующие им точки на всех изображениях остальных спектральных диапазонов и также определяют их пиксельные координаты, выполняют нормировку систем координат изображений, далее по полученным измерениям оценивают матрицы гомографии, которые применяют для проективного преобразования с целью приведения всех изображений к эталонному, запоминают полученные матрицы гомографии и затем производят совмещение каждой последующей серии изображений с использованием этих сохраненных параметров, отличающийся тем, что на изображениях всех диапазонов выбирают n≥4 точек, для каждой пары «эталонное изображение - изображение иного спектрального диапазона» из C_n⁴ пар сочетаний пиксельных координат опорных и соответствующих им точек оценивают матрицы гомографии, для каждой из них вычисляют число обусловленности μ, находят минимальное значение μ и в памяти сохраняют соответствующую ему матрицу гомографии и повторяют эти действия для всех (N-1) пар «эталонное изображение - изображение иного спектрального диапазона».

2. Способ по п. 1, отличающийся тем, что до этапа выбора опорных и соответствующих им точек для изображений всех N диапазонов выполняется коррекция дисторсии.