Устройство для объединения изображений Российский патент 2024 года по МПК G06T11/60 G06T11/80 G06F17/17 

Изобретение относится к области вычислительной техники и может быть использовано в цифровых системах, автоматизированных системах, глобальных систем позиционирования и наблюдения.

Известно устройство объединения изображений в единую композицию сцены [Патент RU №2536675, МПК G06T 7/00, G06T 3/40, опубл. 27.12.2014]. Данное изобретение относится к устройству объединения изображений в единую композицию сцены. Устройство содержит соединенные между собой блок поиска контрольных точек, блок поиска соответствий, блок преобразования входных изображений, блок совмещения, блок хранения входной реализации, блок переноса контрольных точек на исходные изображения, блок детектора границ, блок поиска детализированных объектов, блок выделения детализированных областей, блок исключения ложных соответствий, блок масштабирования детализированных объектов, блок приведения к единому масштабу входных изображений, блок преобразования детализированных объектов, блок хранения выходной реализации, блок управления, генератором тактовых импульсов. Данное устройство позволяет повысить точность объединения изображений разного масштаба за счет автоматического выбора преобразований детализированных объектов, определения коэффициентов масштабирования и трансформации и исключения ложных соответствий.

Недостатками устройства являются:

- невозможность производить объединение изображений, фиксируемых в инфракрасном диапазоне;

- большие вычислительные затраты.

Известно устройство бесшовного объединения изображений в единую композицию с автоматической регулировкой контрастности и градиентом [Патент RU №2580473, МПК G06T 5/00, опубл. 10.04.2016]. Изобретение относится к информационно-измерительным устройствам и может быть использовано в системах управления и обработки сигналов. Устройство бесшовного объединения изображений содержит два блока загрузки изображения, тактовый генератор, два блока поиска контрольных точек, блок поиска точек объединения, блок вычисления матриц преобразования, два блока преобразования матрицы, блок заполнения нулями, блок выделения контуров, блок вычисления кривой, три блока наложения маски, блок нахождения маски, блок выделения области объединения, блок нахождения границы объединения, блок удаления областей, два блока регулировки контрастности, два блока применения градиента, блок объединения изображений, блок вывода результата. Устройство позволяет получить объединенное изображение со сглаженными границами перехода.

Недостатками устройства являются:

- появление границы между изображениями в результате объединения;

- невозможность производить объединение изображений, фиксируемых в инфракрасном диапазоне;

- появление двойных контуров объединяемых изображений.

Известно устройство объединения медицинских изображений [Патент RU №2614545, МПК G06T 5/00, опубл. 28.03.2017]. Изобретение относится к информационно-измерительным устройствам и может быть использовано в вычислительной технике, в системах управления и обработки сигналов. Устройство содержит: регистр хранения входной реализации первого изображения, регистр хранения входной реализации второго изображения, тактовый генератор, блок восстановления границ первого изображения, блок фильтрации первого изображения, блок фильтрации второго изображения, блок восстановления границ второго изображения, блок поиска контрольных точек на первом изображении и соответствий, блок поиска контрольных точек на втором изображении и соответствий, блок преобразования матрицы первого изображения, блок преобразования матрицы второго изображения, блок выделения контуров на изображениях, блок нахождения границы объединения изображений, блок исключения неперекрывающихся областей на изображениях, блок наложения градиента первого изображения, блок наложения градиента второго изображения, блок объединения изображений, регистр хранения выходной реализации. Устройство позволяет получить объединенное изображение со сглаженными границами перехода.

Недостатками известного устройства являются:

- в случае получения пары кадров при смещении камеры фиксации, повышается ошибка в наложении пар изображений;

- невозможность производить объединение изображений, фиксируемых в инфракрасном диапазоне;

- появление двойных контуров объединяемых изображений.

Наиболее близким к изобретению является устройство объединения инфракрасных изображений [Патент RU №2718211, МПК G06F 17/17, G06T 5/50, опубл. 31.03.2020], которое позволяет получить объединенную композицию за счет слияния пар изображений, полученных в инфракрасном диапазоне. Устройство объединения инфракрасных изображений, содержит первый и второй входы, являющиеся информационными входами устройства, которые подключены к входу регистра хранения входной реализации первого изображения и к входу регистра хранения входной реализации второго изображения, соответственно; выход регистра хранения входной реализации первого изображения подключен к входу блока фильтрации первого изображения; выход регистра хранения входной реализации второго изображения подключен к входу блока фильтрации второго изображения, регистр хранения выходной реализации, выход которого является информационным выходом устройства. Выход блока фильтрации первого изображения подключен к первому входу блока поиска базовых точек; выход блока фильтрации второго изображения подключен ко второму входу блока поиска базовых точек; первый выход блока поиска базовых точек подключен к входу блока упрощения изображений, первый выход которого подключен к входу блока поиска центров масс объектов, выход которого подключен к первому входу блока определения усредненных значений и выбора базовых точек, выход которого подключен к входу блока преобразований изображений, выход которого подключен к входу регистра хранения выходной реализации, выход которого является информационным выходом устройства; второй выход блока упрощения изображений подключен к входу блока поиска базовых точек упрощенных объектов, выход которого подключен ко второму входу блока определения усредненных значений и выбора базовых точек; второй выход блока поиска базовых точек подключен к третьему входу блока определения усредненных значений и выбора базовых точек. Данное устройство позволяет повысить скорость принятия решения и уменьшить вычислительные затраты за счет формирования комбинированных данных из пары изображений, фиксируемых в инфракрасном диапазоне.

Недостатками прототипа являются:

- при объединении изображений приоритет отдается участкам с высокодетализированными объектами которые могут находиться на одном участке изображения, вследствие чего сформированные точки связи будут создавать эффект воспринимаемого оператором искажения;

- не проводилось первичной обработки изображений, позволяющей осуществить уменьшение действия шума и влиять на изменение чувствительности обнаружителя высокодеталлизированных участков;

- использование в качестве входных данных, изображений полученных в дальнем инфракрасном диапазоне и обладающих шумовой компонентой, обрабатываются сразу без учета особенностей изображения, вследствие чего возможно появление размытия границ объектов, что приводит к неправильному объединению двух инфракрасных изображений в единое изображение.

Задачей, на решение которой направлено предлагаемое изобретение, является повышение качества объединения изображений.

Технический результат - создание единого информационного пространства и повышение скорости принятия решения за счет формирования более качественных объединенных изображений, фиксируемых с разных датчиков.

Технический результат достигается тем, что в устройстве для объединения изображений, содержащем первый и второй входы, являющимися информационными входами устройства, которые подключены к входу регистра хранения входной реализации первого изображения и к входу регистра хранения входной реализации второго изображения, соответственно; блок поиска базовых точек, блок преобразований изображений, выход которого подключен к входу блока хранения выходной реализации, выход которого является информационным выходом устройства; выход регистра хранения входной реализации первого изображения подключен к первому входу блока разделения изображений по слоям; выход регистра хранения входной реализации второго изображения подключен ко второму входу блока разделения изображений по слоям, выход которого подключен к входу блока поиска объектов на изображениях, первый выход которого подключен к входу блока поиска базовых точек, выход которого подключен к первому входу блока поиска соответствия между ключевыми точками; второй выход блока поиска объектов на изображениях подключен к входу блока поиска границ объектов, выход которого подключен ко второму входу блока поиска соответствия между ключевыми точками, выход которого подключен к входу блока определения области перекрытия, выход которого подключен к входу блока объединения изображений, выход которого подключен к первому входу блока определения коэффициентов трансформации; третий выход блока поиска объектов на изображениях подключен к блоку поиска однородных регионов, выход которого подключен ко второму входу блока определения коэффициентов трансформации, выход которого подключен к входу блока восстановления размытости, выход которого подключен к входу блока изменения яркости и контрастности, выход которого подключен к входу блока преобразований изображений.

На фиг. 1 представлена блок-схема предложенного устройства.

На фиг. 2 и фиг. 3 представлены объединяемые фрагменты рентгенографического снимка легких.

На фиг. 4 представлен рентгенографический снимок легких, полученный в результате объединения пар изображений с помощью предложенного устройства.

На фиг. 5 и фиг. 6 представлены объединяемые фрагменты фотографии.

На фиг. 7 представлена фотография, полученная в результате объединения пар изображений с помощью предложенного устройства.

Устройство для объединения изображений содержит первый и второй входы, являющимися информационными входами устройства, которые подключены к входу регистра хранения входной реализации первого изображения 1 и к входу регистра хранения входной реализации второго изображения 2, соответственно. Выход регистра хранения входной реализации первого изображения 1 подключен к первому входу блока разделения изображений по слоям 3. Выход регистра хранения входной реализации второго изображения 2 подключен ко второму входу блока разделения изображений по слоям 3, выход которого подключен к входу блока поиска объектов на изображениях 4. Первый выход блока поиска объектов на изображениях 4 подключен к входу блока поиска базовых точек 5, второй выход подключен к входу блока поиска границ объектов 6, третий выход подключен к блоку поиска однородных регионов 7. Выход блока поиска базовых точек 5 подключен к первому входу блока поиска соответствия между ключевыми точками 8. Выход блока поиска границ объектов 6 подключен ко второму входу блока поиска соответствия между ключевыми точками 8. Выход блока поиска соответствия между ключевыми точками 8 подключен к входу блока определения области перекрытия 9, выход которого подключен к входу блока объединения изображений 10, выход которого подключен к первому входу блока определения коэффициентов трансформации 11. Выход блока поиска однородных регионов 7 подключен ко второму входу блока определения коэффициентов трансформации 11. Выход блока определения коэффициентов трансформации 11 подключен к входу блока восстановления размытости 12, выход которого подключен к входу блока изменения яркости и контрастности 13, выход которого подключен к входу блока преобразований изображений 14, выход которого подключен к входу блока хранения выходной реализации 15, выход которого является информационным выходом устройства.

Предлагаемое устройство для объединения изображений позволяет получить объединенную композицию за счет слияния пар изображений, по оптимальной границе. Устройство реализует следующий алгоритм.

1) Загрузка пары изображений.

2) На следующем шаге, в случае участия оператора, выбираются точки, которые следует использовать при сшивании. В случае автоматической консолидации:

2.1) Фоновое изображение исключается из рассмотрения. В качестве методов определения фона может быть использован метод одного из подходов, основанный на анализе границ объектов и их взаимного расположения [Semenishchev, Е.A., et al. "Investigation of methods to search for the boundaries on the image and their use on lung hardware of methods finding saliency map." SPIE Sensing Technology + Applications. International Society for Optics and Photonics, 2015.]. Также возможно использование обученной нейронной сети, порогового метода и методов, основанных на карте значимости [Alqaraawi A. et al. Evaluating saliency map explanations for convolutional neural networks: a user study //Proceedings of the 25th International Conference on Intelligent User Interfaces. - 2020. - C. 275-285].

2.2) Далее производится поиск границ объектов на изображениях и границ во внутренней структуре этих объектов. Для этого используется пошаговый процесс. Многоуровневое исключение из анализа найденных на предыдущем шаге углов объектов и участков границы. На каждом шаге определяются небольшие (3-7 пикселей) отдельные границы и их расстояние до углов. Найденные на данном этапе алгоритма данные позволяют построить дерево графа.

2.3) Находятся масштабируемые малые области, для которых расстояния постоянны и одинаковы для пары изображений. Поиск ведется по анализу полученного древовидного графа. По анализу элементов и структуры объектов выделяются поля с непосредственной близостью границ или углов. Эти участки берутся за основу. В дальнейшем, при сшивании изображений, элементы из этих областей будут иметь максимальный вес.

2.4) Для повышения точности выбора базовых точек используется корреляционный анализ и производится поиск соответствий между элементами базовой области. В качестве точки анализа, используется центр масс, в пределах базовой области для каждой из соответствующих пар. Стабильной считается область с максимальной корреляцией.

3) Над парой изображений применяются проективные преобразования. Главное условие - максимальное совпадение опорных точек в зоне перекрытия.

4) В случае нечетких границ в замкнутом объекте используется алгоритм поиска средней линии.

5) Для устранения видимого перехода между изображениями в случае разности освещенности объектов или разницы экспозиции применяется градиентный подход к сшивке изображений. В качестве кривой переход будет использовать естественные границы объектов, расположенных на паре изображений. Определяется критерий для данной кривой. В этот критерий входит условие максимального направления кривой к центру области сшивания и прохождения по границам объектов.

6) На последнем этапе осуществляется цветокоррекция на одном из выбранных изображений. Ограничивается область изучения цвета. Выбирается пара одинаковых квадратных областей вокруг опорных точек, по которым будет объединение. Для них определяется гистограмма яркости. Определяется положение максимумов данной гистограммы и проводится коррекция пары выходных изображений. Коррекция будет производиться путем умножения на определенную константу для каждого из каналов. Для области без объектов применяется градиентный переход.

7) На финальном этапе производится сшивка изображений в единое изображение.

8) Сохранение результата.

Устройство для объединения изображений работает следующим образом. На первый и второй вход, являющиеся информационными входами устройства, которые подключены к входу регистра хранения входной реализации первого изображения 1 и к входу регистра хранения входной реализации второго изображения 2, соответственно, поступают два изображения. Далее изображения поступают в блок разделения изображений по слоям 3, где происходит исключение из рассмотрения фонового изображения. В качестве методов определения фона может быть использован метод одного из подходов, основанный на анализе границ объектов и их взаимного расположения [Semenishchev, Е.A., et al. "Investigation of methods to search for the boundaries on the image and their use on lung hardware of methods finding saliency map." SPIE Sensing Technology + Applications. International Society for Optics and Photonics, 2015.]. Также возможно использование обученной нейронной сети, порогового метода и методов, основанных на карте значимости [Alqaraawi A. et al. Evaluating saliency map explanations for convolutional neural networks: a user study //Proceedings of the 25th International Conference on Intelligent User Interfaces. - 2020. - C. 275-285]. Из блока разделения изображений по слоям 3 обработанные изображения поступают в блок поиска объектов на изображениях 4, в котором производится поиск границ объектов на изображениях и границ во внутренней структуре этих объектов. Для этого используется пошаговый процесс и многоуровневое исключение из анализа найденных на предыдущем шаге углов объектов и участков границы. На каждом шаге определяются небольшие (3-7 пикселей) отдельные границы в блоке поиска границ объектов 6 и их расстояние до углов в блоке поиска базовых точек 5. На основе найденных таким образом данных строится дерево графа и находятся масштабируемые малые области, для которых расстояния постоянны и одинаковы для пары изображений. При анализе полученного древовидного графа, а также элементов и структуры объектов выделяются поля с непосредственной близостью границ или углов, принимаемые за основу и имеющие максимальный вес при дальнейшем сшивании изображений в блоке объединения изображений 10. Для повышения точности выбора базовых точек "сшиваемые" изображения из блока поиска объектов на изображениях 4 дополнительно поступают в блок поиска однородных регионов 7, где, на основе корреляционного анализа, производится поиск соответствий между элементами базовой области. В качестве точки анализа используется центр масс в пределах базовой области для каждой из соответствующих пар. Стабильной считается область с максимальной корреляцией. Из блока поиска базовых точек 5 и блока поиска границ объектов 6 изображения поступают в блок поиска соответствия между ключевыми точками 8, где над парой изображений применяются проективные преобразования. Главное условие - максимальное совпадение опорных точек в зоне перекрытия - осуществляется в блоке определения области перекрытия 9. В случае нечетких границ в замкнутом объекте используется алгоритм поиска центральной линии. Далее из блока определения области перекрытия 9 изображения поступают в блок объединения изображений 10, где производится их сшивание, и далее - в блок определения коэффициентов трансформации 11, в котором определяется критерий для кривой, используемый в блоке восстановления размытости 12, для устранения видимого перехода между изображениями в случае разности освещенности объектов или разницы экспозиции. При сшивке изображений применяется градиентный подход. В качестве кривой переход будет использовать естественные границы объектов, расположенных на паре изображений. В определяемый критерий входит условие максимального направления кривой к центру области сшивания и прохождения по границам объектов. На последнем этапе из блока восстановления размытости 12 изображения поступают в блок изменения яркости и контрастности 13, в котором осуществляется цветокоррекция на одном из выбранных изображений. Операция цветокоррекции для всего изображения осуществляется на основе данных полученных в квадратных областях участков с центром в точке сопряжения изображений. Для квадратных малых объектов производится построение объединенной гистограммы цветовых градиентов. Далее определяются разностные данные и производится определение требуемых множителей для изменения цветового баланса одного из изображений. В случае отсутствия точек сопряжения (анализируются изображения пары калиброванных камер), применяется градиентный метод для изменения степени приоритета цветового пространства от одного изображения к другому. Далее в блоке преобразований изображений 14 происходит геометрические преобразования изображений, что позволяет совместить базовые точки для объединения двух изображений. Из блока преобразований изображений 14 объединенное изображение поступает в блок хранения выходной реализации 15, где оно сохраняется.

Применение предлагаемого устройства для объединения изображений позволяет повысить скорость принятия решения за счет формирования более качественных объединенных изображений, фиксируемых с разных датчиков, и создать единое информационное пространство.

Изобретение относится к области вычислительной техники. Технический результат направлен на повышение точности и скорости формирования качественных объединенных изображений. Устройство для объединения изображений, содержащее первый и второй входы, являющиеся информационными входами устройства, которые подключены к входу регистра хранения первого и второго изображений, блок поиска базовых точек, блок преобразований изображений, выход которого подключен к входу блока хранения выходной реализации, выход регистра хранения входной реализации первого изображения подключен к первому входу блока разделения изображений по слоям, выход регистра хранения входной реализации второго изображения подключен ко второму входу блока разделения изображений по слоям, выход которого подключен к входу блока поиска объектов на изображениях, второй выход блока поиска объектов на изображениях подключен к входу блока поиска границ объектов, выход которого подключен ко второму входу блока поиска соответствия между ключевыми точками, выход которого подключен к входу блока определения области перекрытия, выход которого подключен к входу блока объединения изображений. 7 ил.

Устройство для объединения изображений, содержащее первый и второй входы, являющиеся информационными входами устройства, которые подключены к входу регистра хранения входной реализации первого изображения и к входу регистра хранения входной реализации второго изображения, соответственно; блок поиска базовых точек, блок преобразований изображений, выход которого подключен к входу блока хранения выходной реализации, выход которого является информационным выходом устройства, отличающееся тем, что выход регистра хранения входной реализации первого изображения подключен к первому входу блока разделения изображений по слоям; выход регистра хранения входной реализации второго изображения подключен ко второму входу блока разделения изображений по слоям, выход которого подключен к входу блока поиска объектов на изображениях, первый выход которого подключен к входу блока поиска базовых точек, выход которого подключен к первому входу блока поиска соответствия между ключевыми точками; второй выход блока поиска объектов на изображениях подключен к входу блока поиска границ объектов, выход которого подключен ко второму входу блока поиска соответствия между ключевыми точками, выход которого подключен к входу блока определения области перекрытия, выход которого подключен к входу блока объединения изображений, выход которого подключен к первому входу блока определения коэффициентов трансформации; третий выход блока поиска объектов на изображениях подключен к блоку поиска однородных регионов, выход которого подключен ко второму входу блока определения коэффициентов трансформации, выход которого подключен к входу блока восстановления размытости, выход которого подключен к входу блока изменения яркости и контрастности, выход которого подключен к входу блока преобразований изображений.