Способ совмещения одновременно получаемых изображений от матричных фотоприёмников разного спектрального диапазона Российский патент 2019 года по МПК G06T3/00 

Изобретение относится к способам цифровой обработки изображений, в частности к совмещению цифровых изображений.

Необходимость совмещения изображений связана с одновременным использованием оптико-электронных цифровых камер (видеоканалов) на базе фотоприемных датчиков разного спектрального диапазона, а также с требованиями вывода на общий экран комбинированного изображения, одновременно содержащего информационные признаки от совмещаемых изображений. Под фотоприемными датчиками понимаются фотоприемные матрицы, формирующие цифровые изображения. В настоящий момент промышленно выпускаются фотоприемные матрицы, которые могут быть включены в состав мультиспектральной видеосистемы, работающие в следующих спектральных диапазонах: ультрафиолетовый (УФ, 0,2-0,4 мкм), видимый или телевизионный (ТВ, 0,4-0,9 мкм), ближний инфракрасный (ближний ИК, 0,9-1,7 мкм), средний ИК (3-5 мкм) и дальний ИК или тепловизионный (ТП, 8-14 мкм). Известно, что фотоприемники, чувствительные в указанных диапазонах, изготавливаются по разным топологическим нормам и с использованием разных материалов. Соответствующая фокусирующая оптика, также выполняется из различающихся материалов, которые пропускают излучение в нужном диапазоне спектра (для УФ диапазона обычно применяют кварцевое стекло, для ТВ - оптическое стекло разных марок на основе оксида кремния, для оптики ИК диапазона применяют селенид цинка, для ТП диапазона - германий). Этот факт существенно затрудняет, а часто делает физически невозможным при текущем уровне технологий формирование комбинированных мультиспектральных изображений на одной фотоприемной фотоприемной матрице без необходимости процедуры совмещения их компонент, например, широко известным способом наложения RGB светофильтра-шаблона Байера на матричный фотоприемник для формирования цветного трехкомпонентного изображения (в данном случае видимый ТВ диапазон спектрально разделяется на 3 области: красную «R», зеленую «G» и синюю «В»). Если же спектральный диапазон системы технического зрения существенно шире или существенно отличается от ТВ диапазона, то физические и технологические ограничения могут требовать использование нескольких фотоприемников, которые, очевидно, будут формировать изображения в разных ракурсах, что делает задачу их совмещения актуальной.

Заявляемый способ может быть использован в рамках класса видеосистем, одновременно формирующих два и более цифровых изображения разного спектрального диапазона, которые совмещаются, затем комплексируются, и результирующее комбинированное изображение выводится на монитор.

В частности, способ может быть использован в мультиспектральных системах информационного обеспечения экипажей пилотируемой мобильной техники, когда комбинированное изображение подстилающей поверхности выводится на пилотажно-навигационный дисплей в кабине пилотов, и операторов беспилотной мобильной техники при управлении в сложных условиях видимости, так называемые многоканальные системы усиленного видения (СУВ, например, см. статью «Анализ алгоритмов совмещения видеоинформации в авиационных системах», Международный журнал Открытых информационных технологий (InJOIT), ISSN: 2307-8162, том. 4, №10, 2016); в пассивных системах оптико-электронной разведки; в системах охраны периметра объектов при сложных условиях наблюдения, когда все ключевые наблюдаемые объекты могут быть видимы только с помощью двух и более датчиков разного диапазона спектра; в видеосистемах неразрушающего контроля для автоматического сопоставления данных от разнородных фотоприемных датчиков и проведения спектрального анализа объектов, например комплексная диагностика воздушных линий электропередач одновременно в УФ (контроль утечки заряда) и ТП (контроль электропроводности) диапазонах (см, например, Завидей В.И., Вихров М.А., Крупенин Н.В., Голубев А.В. Электронно-оптическое оборудование при контроле технического состояния элементов сетей и подстанций на рабочем напряжении, // Электро, №1. - 2006. - С. 19-23.); в системах фотографического анализа документов на предмет скрытых деталей для исторической и криминалистической проверки, см., например, статью «Исследование документов в УФ и ИК лучах» // электронный pecypc,URL: https://studfiles.net/preview/2554887/page:5/.

В качестве аналога изобретения можно было бы выбрать способ совмещения изображений, полученных с помощью разнодиапазонных фотодатчиков (см. патент РФ №2538340, опубл. 10.01.2015 г.). Однако, на самом деле авторами заявляется способ комплексирования изображений за счет использования собственной терминологии, в отличие от принятой в рассматриваемой предметной области, например, «совмещение двух изображений в одно». При этом часть патентов, которые они приводят в качестве аналогов, являются именно способами комплексирования. Вообще, в большинстве источников (см., например, Бондаренко М.А. Разработка методов и алгоритмов совмещения 2D и 3D информации для авиационных систем улучшенного и синтезированного видения, дисс. канд. тех. наук: 05.13.11. - Москва, 2016. - 113 с.) под совмещением двух изображений понимается процедура их пространственной трансформация такая, что координаты объектов на одном изображении переходят в координаты им отвечающих объектов на другом. Под комплексированием же понимается процедура слияния, микширования или объединения двух и более изображений в одно с целью записать полезную информацию от нескольких изображений в общее изображение, называемое комбинированным. Часто в публикациях комплексирование изображений используют для наглядности представления результата их совмещения. Настоящая работа подтверждает это правило: в Приложении на фиг. 1, 2 и 3 изображены именно комбинированные изображения, только вот для получения комбинированного изображения на фиг. 1 не выполнялось предварительное совмещение его составляющих. Если все же при этом считать патент РФ №2538340 «способом совмещения изображений», то такой способ является непригодным для практического применения, так как, очевидно, чересстрочная запись двух изображений в одно с последующей интерполяцией элементов строк результирующего изображения не способна решить задачу совмещения изображений, отснятых в различающихся ракурсах.

Аналогом изобретения является способ совмещения изображений, полученных с помощью различных фотодатчиков, и устройство для его реализации, патент РФ №2435221, опубл. 27.11.2011 г. Заявленное устройство, содержит телекамеру видимого спектра, телекамеру инфракрасного спектра, светоделитель, последовательно соединенные блок попиксельного считывания первого изображения, переключатель записи пикселей, память совмещенного изображения и блок попиксельного считывания второго изображения. В заявляемом способе предварительно световой поток разделяют на два потока, из первого потока формируют изображение видимого спектра, из второго - изображение инфракрасного спектра, считывают пиксели первого и второго изображения и попеременно записывают в память общее изображение этих пикселей. На нечетных строках записывают последовательно пиксели первого и второго изображения, а на четных строках - последовательно пиксели второго и первого изображения. Технический результат - повышение точности определения взаимного расположения фрагментов изображений и возможность вычисления их параметров положения.

Основные недостатки аналога вытекают из наличия светоделителя, предварительно разделяющего световой поток от наблюдаемой сцены на две части: ослабленный входной сигнал за счет светоделения и невозможность масштабирования или реконфигурации видеосистемы путем замены видеодатчиков или их добавления, так как невозможно универсальным образом разделить световой поток для произвольного числа и типа датчиков, принимающих сигнал в разных спектральных диапазонах.

Другим аналогом является способ «предварительного грубого совмещения изображений» (см. статью Волегов Д.Б., Юрин Д.В. Предварительное грубое совмещение изображений по найденным на них прямым линиям для построения мозаик, сверхразрешения и восстановления трехмерных сцен // Программирование. - 2008. - Т. 34, №5. - С. 47-66.). Предлагаемый способ заключается в выделении контурного препарата (например, помощью известного фильтра Собеля) на совмещаемых изображениях, поиске параметрических линий с помощью быстрого варианта известного преобразования Хафа, вычислении параметров проективного матричного преобразования сцены, зависящего от параметров найденных прямых, которое находят путем минимизации суммы квадратов разности яркости элементов изображений в окрестности соответствующих прямых и применении найденного преобразования для одного из изображений.

Ключевым недостатком этого аналога для совмещения разноспектральных изображений является невозможность оценки точности совмещения по близости их соответствующих деталей по яркости, что говорит о применимости метода только для совмещения изображений одного спектрального диапазона. Этим же недостатком обладают классические корреляционно-экстремальные методы (см., например, книгу «Совмещение изображений в корреляционно-экстремальных навигационных системах» под ред. Л.Н. Костяшкина, М.Б. Никифорова, изд. Радиотехника: 2015, 208 с.), которые ищут искомое преобразование для совмещения также по мере соответствия яркости.

Известным зарубежным аналогом (владелец - компания Интел Корпорейшн, США) является способ совмещения игрового поля на основе модели (см. патент РФ №2480832, опубл. 27.04.2013, бюл. №12), который заключается в том, что выделяют ключевые точки на реальном изображении сцены, формируемого цифровой видеокамерой, и на совмещаемой проекции предварительно созданной трехмерной (3D) модели этой сцены определяют, достаточное ли количество точек было выделено, выполняют оценку изображения и затем генерируют томографическую матрицу преобразования изображения. При этом для оценки взаимного положения опорных точек используют цветовые характеристики фона: «…обработка включает в себя выполнение изучения доминирующих цветов и классификацию типа обзора…», линии разметки «игрового поля», найденные с помощью известного преобразования Хафа, и оценки движения объектов на последовательности изображений от видеокамеры.

Как видно из описания, подход Интел Корпорейшн для вычисления параметров совмещения не применим к рассматриваемой области техники (совмещение разноспектральных изображений), так как совмещаемые изображения, полученные в спектральных диапазонах, отличных от ТВ, не содержат по определению информацию о цвете и являются монохромными. Также предлагаемый способ ограничен применением для тех изображений, для которых заведомо известна их 3D модель определенного типа, при этом способ не может обеспечивать устойчивое совмещение для последовательности изображений, где нет однородного простого фона, движения объектов и характерных особенностей типа прямых линий, так как для выполнения необходимых действий способа не будет требуемых входных данных.

В качестве прототипа выбран способ совмещения изображений, формируемых видеосистемой, состоящей из нескольких независимых видеодатчиков. Способ изложен в статье (см. Новиков А.И., Саблина В.А., Горячев Е.О. Применение контурного анализа для совмещения изображений // Известия ТулГУ. Технические науки, 2013, Вып. 9, Ч. 1, стр. 260-269), который заключается в поиске на разноспектральных изображениях одних и тех же объектов, их сопоставлении и вычислении проективного преобразования томографии изображений к плоскости эталонного изображения по четверкам опорных точек в каждом видеоканале. При этом поиск опорных точек предлагается осуществлять путем выделения бинарных растровых контуров объектов на изображениях с последующим их векторным приближением с помощью поиска аппроксимирующего многоугольника с минимальным количеством вершин для тех точек контура, где достигается локальный максимум косинусов углов при вершинах. Окончательно полученные точки контуров сопоставляются с помощью оценки сходства углов при их вершинах и их взаимному расположению, что позволяет выбрать четверки опорных точек для получения искомых преобразований томографии.

Способ-прототип не накладывает ограничения на аппаратную конфигурацию видеосистемы, одновременно формирующей входные изображения, и позволяет их совмещать без использования специального оптико-электронного решения: использования светоделительных призм, особых зеркал, изготовления специальных объективов или заказных матричных фотоприемников.

Однако способ-прототип не гарантирует устойчивость совмещения изображений в каждый момент времени в условиях изменчивости сцены из-за неточностей при распознавании контуров и их аппроксимации многоугольниками и накладывает повышенные требования к вычислительной части видеосистемы. Также в прототипе отсутствуют указания на принцип выбора эталонного изображения, что может повлечь за собой потери разрешающей способности изображений видеоканалов при совмещении.

В цифровой обработке изображений, если не оговорено дополнительно, для вычисления координат элементов цифровых (растровых) изображений используется целочисленная дискретная система координат, «матрица из строк и столбцов» (см., например, Р. Гонсалес, Р. Вудс Цифровая обработка изображений, М.: Техносфера, 2005, с. 102), где ее начало совпадает с левым верхним элементом изображения, ось абсцисс (ось «X») параллельна столбцам изображений и направлена вниз, а ось ординат (ось «Y») параллельна их строкам и направлена вправо. Таким образом, еще одним недостатком является то, что в прототипе нет уточнений по выбору системы координат, в которой производится совмещение изображений: если она не нормированная (вещественные значения координат изображений меняются в диапазоне от 0 до 1, переход к такой системе осуществляется операцией нормировки: делением координаты «X» на число элементов изображения по ширине и делением координаты «Y» на число элементов изображения по высоте), то это не обеспечивает аппаратную независимость (возможность представления результатов совмещения на дисплеях разного разрешения) и может служить причиной появления артефактов дискретизации за счет преобразования координат в целых числах.

Задача изобретения заключается в непрерывном аппаратно независимом обеспечении совмещения изображений разного спектрального диапазона, формируемых матричными фотоприемниками, без потерь по разрешающей способности и в реальном масштабе времени.

Сущность изобретения заключается в том, что выбирают эталонное изображение с максимальным полем зрения, при этом выбранное изображение должно также иметь максимальную разрешающую способность как по ширине, так и по высоте, по сравнению с остальными (не эталонными) изображениями, иначе будут потери по разрешению, затем определяют его относительные размеры, нормируют координатную систему эталонного изображения по ширине и высоте, определяют размеры не эталонных изображений и преобразуют их координаты в нормированную координатную систему эталонного изображения, визуально вручную выбирают в качестве опорных точек четыре координаты на эталонном изображении, визуально находят на каждом из не эталонных изображений соответствующие четыре точки, которые принадлежат одним и тем же объектам, вычисляют проективные матричные преобразования томографии, их число равняется числу не эталонных изображений, преобразования имеют вид:

где (u_i ν_i,) - точки эталонного изображения, (x_i y_i) - точки одного из не эталонных изображений, i=1, 2, 3, 4; неизвестные коэффициенты а, b, с, d, е, f, g, h для каждого не эталонного изображения находят с помощью решения системы линейных уравнений (например, общеизвестным методом Гаусса):

что равносильно системе

затем запоминают полученные преобразования для каждого из не эталонных изображений и их применяют на каждом из входных изображений, кроме эталонного, для последующего формирования синтезированного изображения. Для вывода результата совмещения на цифровой дисплей произвольного разрешения и размеров последовательно применяют известные процедуры масштабирования, интерполяции и растеризации изображений.

Техническим результатом является обеспечение возможности одновременного вывода и сопоставления изображений, полученных от цифровых камер разного спектрального диапазона на одном дисплее, что достигается аппаратной независимостью предлагаемого способа, универсальностью его применения за счет работы в единой системе нормированных координат, простотой реализации, отсутствием потерь по разрешающей способности, а также его реализуемостью на компактных бортовых вычислителях с низким энергопотреблением за счет предварительного вычисления параметров совмещения. Выполненная программная реализация способа с использованием вычислительных ресурсов графического процессора показала скорость совмещения изображений в реальном масштабе времени - со скоростью не ниже скорости формирования изображений в видеоканалах.

Вариант реализации заявляемого способа совмещения изображений видеоканалов на примере оптико-электронной трехспектральной системы (ТВ, ближний ИК, ТП) заключается в том, что исходные растровые изображения, одновременно формируемые тремя видеоканалами, взаимное расположение которых не меняется при эксплуатации, преобразуют в текстуры (под текстурами здесь, как и в компьютерной графике, понимают плоские растровые изображения в нормированных вещественных координатах, подготовленные для наложения на выбранную полигональную поверхность), которые накладывают на общий полигон в режиме слияния их текселей (элемент текстуры, аналог пикселя цифрового (растрового) изображения: если изображение имеет, например, w элементов по ширине, h элементов по высоте, и размер элемента в обоих измерениях равен 1, то в нормированной системе координат тексель текстуры имеет размер 1/w по ширине и 1/h по высоте), выбирают в качестве эталонного видеоканала видеоканал с максимальным разрешением и полем зрения, переводят не эталонные изображения в нормированную систему координат эталонного изображения, визуально выбирают на эталонном изображении четыре точки и на не эталонных изображениях - им соответствующие точки, далее производят независимое перемещение четверок соответствующих точек текстур на изображениях от не эталонных видеоканалов, при этом перемещается та точка текстуры, к которой ближе курсор компьютерной мыши. Матричные преобразования и последующую линейную интерполяцию с растеризацией изображений-текстур производят в подпрограмме для видеокарты - пиксельном шейдере. Перемещение точек текстур изображений осуществляют при их предварительном визуальном совмещении на оптической мире, видимой одновременно всеми видеоканалами, так, чтобы целевые объекты на изображениях от разных видеоканалов совпадали. Коэффициенты искомых матричных преобразований томографии для изображений-текстур относительно изображения эталонного видеоканала находят путем решения соответствующей системы линейных уравнений известным методом Гаусса. Затем запоминают матричные преобразования томографии для видеоканалов, для эталонного видеоканала матричное преобразование единичное (тождественное), и загруженные настройки применяют в процессе эксплуатации. На фиг. 1 и 2 в Приложении показано наложение (комплексирование) видеоканалов без совмещения и с совмещением по предлагаемому способу. Процесс программного совмещения изображений видеоканалов показан на фиг. 3 в Приложении.

Изобретение относится к способам цифровой обработки изображений, в частности к совмещению цифровых изображений. Технический результат заключается в непрерывном аппаратно-независимом обеспечении совмещения изображений в реальном масштабе времени, которые одновременно формируются матричными фотоприемниками разного спектрального диапазона, для последующего вывода совмещенной информации на один дисплей без потерь по разрешающей способности. Указанный технический результат достигают тем, что заявляемый способ совмещения включает в себя действие выбора эталонного изображения с максимальным полем зрения и наибольшей разрешающей способностью, выполнение нормировки системы координат изображений, визуальный выбор на эталонном изображении четырех характерных точек наблюдаемых объектов в качестве опорных, определение их координат, визуальный выбор тех же четырех точек наблюдаемых объектов на всех остальных изображениях и определение их координат для вычисления проективных матричных преобразований гомографии с последующим запоминанием полученных параметров преобразований гомографии и осуществлением совмещения каждой последующей серии изображений с использованием этих сохраненных параметров. 3 ил.

Способ совмещения одновременно получаемых изображений от матричных фотоприемников разного спектрального диапазона, заключающийся в том, что одновременно получают несколько изображений разного спектрального диапазона, из числа этих изображений выбирают эталонное изображение, выбирают начало координат и четыре опорные точки на эталонном изображении, определяют координаты этих точек, затем находят те же точки на всех остальных изображениях и также определяют их координаты, далее по этим измерениям вычисляют параметры проективных матричных преобразований гомографии, полученные преобразования применяют для совмещения всех изображений к эталонному, отличающийся тем, что наблюдают картину удаленных объектов, эталонное изображение выбирают с максимальным полем зрения и наибольшей разрешающей способностью, выполняют нормировку системы координат изображений, на эталонном изображении визуально выбирают четыре характерные точки наблюдаемых объектов в качестве опорных и определяют их координаты, визуально выбирают те же четыре точки наблюдаемых объектов на всех остальных изображениях и определяют их координаты для определения проективных матричных преобразований гомографии, запоминают полученные параметры проективных матричных преобразований гомографии, а затем производят совмещение каждой последующей серии изображений с использованием этих сохраненных параметров.