Способ совмещения одновременно получаемых изображений цветного видимого и ближнего ИК диапазонов Российский патент 2024 года по МПК G06T5/94 G06T3/14 H04N23/80 H04N5/45 

Предлагаемое изобретение является способом совмещения цифровых изображений, одновременно и синфазно формируемых цветной камерой видимого диапазона и монохромными камерами ближнего ИК диапазона для их последующего совместного наблюдения на экране монитора оператором с целью поиска в реальном масштабе времени замаскированных объектов.

Известны такие способы совмещения, как: слияние с управляемой фильтрацией, с выделением границ по Собелю, бинаризация с весовым наложением, рассмотренные в статье И.А. Петрикова, М.В. Недорезова, В.В. Ткаченко «Совмещение изображений с двух камер с различными диапазонами излучения» (Труды МФТИ. Том 13, №4, - 2021, с. 30-38.).

Недостатками этих способов является несовместимость изображений по яркости.

Известен способ совмещения цифровых изображений различных спектральных диапазонов (Патент РФ №2684749, опубл. 12.04.2019, МПК G06K 9/32, G06T 7/80). Способ выполняет оценку матриц томографии для перехода из системы пиксельных координат камеры одного спектрального диапазона в систему пиксельных координат камеры другого спектрального диапазона. Оценка матриц томографии производится с помощью предварительной калибровки по изображениям, различаемым в различных спектральных диапазонах маркеров, конструктивно размещенных на тестовом объекте в одной плоскости.

Недостатком способа является отсутствие совмещения изображений по яркости.

Известен способ совмещения изображений, полученных от цветной телевизионной камеры и монохромной камеры ближнего ИК диапазона, и устройство для его реализации (Патент США №9692911, опубл. 27.06.2017, МПК H04N 5/33, G06T 7/33). В указанном способе выполняется преобразование цветного изображения в ахроматическое, затем осуществляется поиск особых точек и их координат в ахроматических каналах телевизионного и ИК изображений. Далее выполняется поиск пар соответствий особых точек, по которым затем оценивается матрица проективного преобразования (матрица томографии) для совмещения.

Недостатком способа является отсутствие совместимости изображений по яркости.

Прототипом изобретения является способ совмещения изображений, полученных с помощью различных фотодатчиков, и устройство для его реализации (Патент РФ №2435221, опубл. 27.11.2011 г., МПК G06T 3/00).

Известный способ реализуется с помощью устройства, содержащего телекамеру видимого спектра, телекамеру инфракрасного спектра, светоделитель, последовательно соединенные блок попиксельного считывания первого изображения, переключатель записи пикселей, память совмещенного изображения и блок попиксельного считывания второго изображения. Световой поток, отраженный от исследуемых объектов, формируют в отдельные изображения и записывают их в общее изображение. По общему изображению судят о взаимном расположении объектов. Предварительно световой поток разделяют на два потока, из первого потока формируют изображение видимого спектра, из второго - изображение инфракрасного спектра, считывают пиксели первого и второго изображения и попеременно записывают в память общее изображение этих пикселей. Технический результат - повышение точности определения взаимного расположения фрагментов изображений и возможность вычисления их параметров положения.

Недостатком этого способа является отсутствие совмещения по яркости, так как не учитывается различие в чувствительности датчиков, принимающих сигнал в разных спектральных диапазонах.

Задачей, на решение которой направлено заявляемое изобретение, является создание способа совмещения изображений, формируемых разными телевизионными камерами, в разных спектральных диапазонах.

Техническим результатом является совмещение, в том числе и по яркости, изображений объектов, формируемых телевизионными камерами - цветной в видимом и монохромными в ближнем ИК диапазонах.

Совместимость по яркости необходима при совместном отображении изображений на одном мониторе для ускорения аккомодации глаз оператора и, соответственно, сокращения времени поиска замаскированных объектов в зоне наблюдения.

Это достигается тем, что способ совмещения одновременно получаемых изображений цветного видимого и ближнего инфракрасного диапазонов, полученных разными телевизионными камерами, отличается тем, что видеосигналы камер фильтруют фильтрами Гаусса, определяют взаимную корреляцию изображений в пространстве объектов поддиапазона красного видимого диапазона с ближайшим поддиапазоном ближнего ИК диапазона по различаемой форме общего наблюдаемого объекта, совмещают их изображения до достижения максимума корреляции, затем определяют взаимную корреляцию совмещенного поддиапазона ближнего ИК с изображением, полученным в режиме суммирования двух пикселей следующего за ним поддиапазона по общему наблюдаемому объекту с различаемой формой и совмещают их до достижения максимума корреляции.

Сущность предлагаемого способа поясняется графическим материалом, на котором показана блок-схема алгоритма предлагаемого способа.

Способ реализован фильтрацией видеосигнала красного R цветной камеры 1 видимого диапазона и видеосигналов монохромных камер 2, 3 ближнего ИК диапазона фильтрами Гаусса 4, 5, 6, поиском максимума взаимной корреляции изображений по двум координатам, повороту изображений и их яркости, который происходит в блоках 7, 8, а управляющие сигналы, влияющие как на положение камер друг относительно друга, так и на положение проекций наблюдаемых объектов на фотоприемных матрицах телевизионных камер, формируются в блоках 9, 10.

Таким образом реализовано последовательное совмещение изображений поддиапазонов с общей границей, что обеспечивает существенную корреляцию между изображениями одного и того же объекта в этих поддиапазонах. Фильтрация по Гауссу необходима не столько для подавления импульсных помех и повышения отношения сигнал/шум, сколько для сглаживания изображений с целью выявления их средней яркости, при этом оставляя возможность производить вычисление взаимной корреляции с поиском максимума с достаточной для совмещения точностью. Это обеспечивается соответствующим выбором размерности окна сканирования фильтров Гаусса.

Функционирование блоков управляющих сигналов определяется видом параметров, которые следует изменять для совмещения изображений по двум координатам, углу поворота и яркости, при этом имеется в виду, что параллельность оптических осей объективов камер и равенство их углов зрения обеспечены. Рассматриваемый способ не относится к способам попиксельного совмещения, поэтому шаг пикселей в фотоматрицах применяемых камер может быть произвольным, в частности, меньшим в два раза для камер ИК диапазона, что вызвано необходимостью повысить их чувствительность, так как чувствительность кремниевых фотоматриц, например, на длине волны 900 нм, в два раза ниже их чувствительности в видимом диапазоне.

Важность совмещения изображений по яркости объясняется не столько разными параметрами камер, сколько большей отражающей способностью одних и тех же объектов в ближней ИК области, по сравнению с видимой. Причиной этому является уменьшение отношения величины микронеровности поверхности одного и того же наблюдаемого объекта к длине волны с переходом от видимого к ближнему ИК диапазону, следовательно, уменьшению рассеивания и увеличению отражения. Именно этот эффект и потребовал введения совмещения изображений по яркости, что и реализовано в заявляемом способе.

Таким образом цель предлагаемого изобретения достигнута применением перечисленных операций.

Промышленная реализация способа возможна, так как не содержит неизвестных операций, не требует высокой скорости вычисления, может применяться как на стадии юстировки устройств с тестовыми объектами, так и в процессе реальной эксплуатации по реально наблюдаемым объектам, если юстировка сбивается, например, под действием вибрации.

Изобретение относится к области обработки изображений, а именно к способам совмещения цифровых изображений. Технический результат заявленного решения направлен на расширение арсенала средств того же назначения при совмещении изображений объектов, формируемых телевизионными камерами - цветной в видимом и монохромными в ближнем ИК диапазонах. Способ совмещения одновременно получаемых изображений цветного видимого и ближнего инфракрасного диапазонов, полученных разными телевизионными камерами, при этом видеосигналы камер фильтруют фильтрами Гаусса, определяют взаимную корреляцию изображений в пространстве объектов поддиапазона красного видимого диапазона с ближайшим поддиапазоном ближнего ИК диапазона по различаемой форме общего наблюдаемого объекта, совмещают их изображения до достижения максимума корреляции, затем определяют взаимную корреляцию совмещенного поддиапазона ближнего ИК с изображением, полученным в режиме суммирования двух пикселей следующего за ним поддиапазона по общему наблюдаемому объекту с различаемой формой, и совмещают их до достижения максимума корреляции.1 ил.

Способ совмещения одновременно получаемых изображений цветного видимого и ближнего инфракрасного диапазонов, полученных разными телевизионными камерами, отличающийся тем, что видеосигналы камер фильтруют фильтрами Гаусса, определяют взаимную корреляцию изображений в пространстве объектов поддиапазона красного видимого диапазона с ближайшим поддиапазоном ближнего ИК диапазона по различаемой форме общего наблюдаемого объекта, совмещают их изображения до достижения максимума корреляции, затем определяют взаимную корреляцию совмещенного поддиапазона ближнего ИК с изображением, полученным в режиме суммирования двух пикселей следующего за ним поддиапазона по общему наблюдаемому объекту с различаемой формой, и совмещают их до достижения максимума корреляции.