Устройство объединения инфракрасных изображений Российский патент 2020 года по МПК G06F17/17 G06T5/50 

Изобретение относится к области вычислительной техники и может быть использовано в цифровых системах, автоматизированных системах, глобальных систем позиционирования и наблюдения.

Известно устройство объединения изображений в единую композицию сцены [Патент RU № 2536675, МПК G06T 7/00, G06T 3/40, опубл. 27.12.2014] . Данное изобретение относится к устройству объединения изображений в единую композицию сцены. Устройство содержит соединенные между собой блок поиска контрольных точек, блок поиска соответствий, блок преобразования входных изображений, блок совмещения, блок хранения входной реализации, блок переноса контрольных точек на исходные изображения, блок детектора границ, блок поиска детализированных объектов, блок выделения детализированных областей, блок исключения ложных соответствий, блок масштабирования детализированных объектов, блок приведения к единому масштабу входных изображений, блок преобразования детализированных объектов, блок хранения выходной реализации, блок управления, генератором тактовых импульсов

Недостатки известного устройства являются:

- невозможность производить объединение изображений, фиксируемых в инфракрасном диапазоне;

- большие вычислительные затраты.

Известно устройство бесшовного объединения изображений в единую композицию с автоматической регулировкой контрастности и градиентом [Патент RU № 2580473, МПК G06T 5/00, опубл. 10.04.2016]. Изобретение относится к информационно-измерительным устройствам и может быть использовано в системах управления и обработки сигналов. Устройство бесшовного объединения изображений содержит два блока загрузки изображения, тактовый генератор, два блока поиска контрольных точек, блок поиска точек объединения, блок вычисления матриц преобразования, два блока преобразования матрицы, блок заполнения нулями, блок выделения контуров, блок вычисления кривой, три блока наложения маски, блок нахождения маски, блок выделения области объединения, блок нахождения границы объединения, блок удаления областей, два блока регулировки контрастности, два блока применения градиента блок объединения изображений, блок вывода результата.

Недостатками известного устройства являются:

- появление границы между изображениями в результате объединения;

- невозможность производить объединение изображений, фиксируемых в инфракрасном диапазоне;

- появление двойных контуров объединяемых изображений;

Известно устройство объединения медицинских изображений [Патент RU № 2614545, МПК G06T 5/00, опубл. 28.03.2017]. Изобретение относится к информационно-измерительным устройствам и может быть использовано в вычислительной технике, в системах управления и обработки сигналов. Устройство содержит: регистр хранения входной реализации первого изображения, регистр хранения входной реализации второго изображения, тактовый генератор, блок восстановления границ первого изображения, блок фильтрации первого изображения, блок фильтрации второго изображения, блок восстановления границ второго изображения, блок поиска контрольных точек на первом изображении и соответствий, блок поиска контрольных точек на втором изображении и соответствий, блок преобразования матрицы первого изображения, блок преобразования матрицы второго изображения, блок выделения контуров на изображениях, блок нахождения границы объединения изображений, блок исключения неперекрывающихся областей на изображениях, блок наложения градиента первого изображения, блок наложения градиента второго изображения, блок объединения изображений, регистр хранения выходной реализации.

Недостатками известного устройства являются:

- в случае получения пары кадров при смещении камеры фиксации, повышается ошибка в наложении пар изображений;

- невозможность производить объединение изображений, фиксируемых в инфракрасном диапазоне;

- появление двойных контуров объединяемых изображений;

Известен способ формирования культурной интерактивной панорамы (культурамы) [Заявка на изобретение RU № 2006135228, МПК G09F 19/18, опубл. 20.04.2008]. Техническим результатом является отображение интерактивных компьютерных программ на большом рабочем участке с использованием девяти плоских экранов для построения одного бесшовного специализированного панорамного экрана. Обладает следующими преимуществами: простотой эксплуатации и обслуживания; простотой монтажа; удобной настройкой формы и рабочего участка дисплея; возможностью демонстрации любых видов визуального информационного содержимого как в свободном, так и в интерактивном режиме; возможностью применения в разных областях, например в образовании, в технике и в культуре, и содержащая множество проекторов (проекционную установку), предназначенных для проецирования панорамного изображения на приемное устройство, множество экранов (приемную установку), расположенных без швов перед проекционной установкой, один персональный (PC) компьютер, предназначенный для выполнения компьютерных программ и подключенный к проекционной установке через несколько плат VGA.

Недостатками известного способа и устройства его реализующего являются:

- появление границы между изображениями, имеющими неравномерное освещение, в результате объединения;

- невозможность производить объединение изображений, фиксируемых в инфракрасном диапазоне;

- искажения изображения в области объединения.

Наиболее близким к изобретению является устройство объединения медицинских изображений [Патент RU № 2614545, МПК G06T 5/00, опубл. 28.03.2017]. Рассматриваемое устройство - прототип предполагает:

В качестве входных данных используются пары входных инфракрасных изображений, обладающих единой областью перекрытия сцены. Данные поступают на входы устройства и записываются в регистр хранения входной реализации первого и второго изображения. На следующем шаге производится предварительная обработка изображений, при которой производится фильтрация высокочастотной помехи. Предварительное уменьшение действия шумовой составляющей повышает точность последующей обработки, связанной с поиском соответствий на изображениях. На следующем этапе производится восстановление границ объектов, смазанных на предыдущем этапе или полученных в результате фиксации, например, рентгенаппаратом. На следующем шаге на паре изображений производится поиск контрольных точек, обладающих высокой локальной информативностью, и их соответствий на паре исследуемых изображений, например, методом SURF. На следующем шаге по анализу положения базовых точек, производятся проективные преобразования над изображениями. Коэффициенты изменяются до тех пор, пока не произойдёт частичное (на величину не более 2 пикселей) или полное совмещение 5 точек в области перекрытия. На следующем шаге производится поиск контуров объектов на изображениях. Данная операция может быть выполнена, любым детектором границ, например методом Канни. На следующем этапе производится определение границы совмещения пары изображений. Данная операция основана на поиске кривой находящейся близко к центру области перекрытия, и разделяющая объекты, расположенные на кадрах проходя по их границам. Далее производится исключение областей левее области перекрытия и области фиксирующей сцену, для первого изображения, а также правее области перекрытия и области фиксирующей сцену, для второго изображения. Полученная граница является разделительной и установливается по кривой определённой на предыдущем этапе. По анализу яркости и контрастности производится определение градиентов цветового перехода для каждого изображения. На заключительном этапе производится совмещения пары медицинских изображений в единый контент, объединения пары изменённых входных изображений и их запись в регистр хранения выходной реализации для дальнейшей передачи на выход устройства.

Устройство объединения медицинских изображений содержит регистр хранения входной реализации первого изображения, регистр хранения входной реализации второго изображения, тактовый генератор, блок восстановления границ первого изображения, блок фильтрации первого изображения, блок фильтрации второго изображения, блок восстановления границ второго изображения, блок поиска контрольных точек на первом изображении и соответствий, блок поиска контрольных точек на втором изображении и соответствий, блок преобразования матрицы первого изображения, блок преобразования матрицы второго изображения, блок выделения контуров на изображениях, блок нахождения границы объединения изображений, блок исключения неперекрывающихся областей на изображениях, блок наложения градиента первого изображения, блок наложения градиента второго изображения, блок объединения изображений, регистр хранения выходной реализации.

Недостатками известного устройства-прототипа являются:

- невозможность производить объединение изображений, фиксируемых в инфракрасном диапазоне;

– зависимость эффективности восстановления от структуры изображения.

Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:

– Использование в качестве входных данных, изображений полученных в дальнем инфракрасном диапазоне, позволяющим фиксировать данные о температурном градиенте объектов, приводит к неправильному объединению данных, объединение двух инфракрасных изображений в единое изображение.

Технический результат изобретения – повышение скорости принятия решения и уменьшение вычислительных затрат, за счёт формирования комбинированных данных из пары изображений, фиксируемых в инфракрасном диапазоне.

Полученный результат комбинированного совмещения достигается в условиях неточного наложения контрольных точек при равномерной освещенности. Для этого в способе автоматически выделяются контуры на перекрывающихся изображениях, находится кривая совмещения, по найденным контурам производится создание маски для каждого изображения, формируется объединённое изображение.

На Фиг. 1 представлен пример объединения инфракрасных изображений.

На Фиг. 2 представлена схема устройства.

Устройство объединения инфракрасных изображений представленных на (фиг. 2) имеет первый и второй входы, являющимися информационными входами устройства, которые подключены к входу регистра хранения входной реализации первого изображения 1 и к входу регистра хранения входной реализации второго изображения 2, соответственно; выход регистра хранения входной реализации первого изображения 1 подключен к входу блока фильтрации первого изображения 3, выход которого подключен к первому входу блока поиска базовых точек 5; выход регистра хранения входной реализации второго изображения 2 подключен к входу блока фильтрации второго изображения 4, выход которого подключен ко второму входу блока поиска базовых точек 5; первый выход блока поиска базовых точек 5 подключен к входу блока упрощения изображений 6, первый выход которого подключен к входу блока поиска центров масс объектов 7, выход которого подключен к первому воду блока определение усреднённых значений и выбор базовых точек 9, выход которого подключен к входу блока преобразований изображений 10, выход которого подключен к входу регистра хранения выходной реализации 11, выход которого является информационным выходом устройства; второй выход блока упрощения изображений 6 подключен к входу блока поиска базовых точек упрощённых объектов 8, выход которого подключен ко второму входу блока определение усреднённых значений и выбор базовых точек 9; второй выход блока поиска базовых точек 5 подключен к третьему входу блока определения усреднённых значений и выбора базовых точек 9.

Предлагаемое устройство объединения инфракрасных изображений позволяет получить объединённую композицию за счет слияния пар изображений, полученных в инфракрасном диапазоне. Устройство реализуют следующий алгоритм.

1. Загрузка пары изображений, зафиксированных только в инфракрасном диапазоне.

2. Выполнение операции предварительной обработки: сглаживание (например (Двумерный способ наименьших квадратов и устройство для его реализации: пат. 2362207) или любой другой метод фильтрации).

4. Для каждой пары ИК-изображений находятся базовые точки на изображении. Поиск связанных точек на ИК изображениях выполняется по анализу максимальной корреляции. Операция поиска осуществляется только на границах объектов с перепадом температур более 2-5 градусов.

5. Для каждой из пар изображений используется алгоритм упрощения. Упрощение осуществляется путём совмещения смежных по интенсивности значений пикселей. Реализация блока позволяет осуществить битовое преобразование с изменением данных с 8 на 3 бита, что соответствует градации по 8 диапазонам.

Зафиксируем произвольное неотрицательное число . Пусть обозначает наименьшее возможное число кластеров, на которые все еще можно разбить множество , при условии, что конечность разбиения не превышает . Пусть -текущее количество пикселей, - количество пикселей, полученных в результате изменения. - начальное разбиение изображения на блоки, – новые разбиваемые кластеры, – размерность фрагментов пиксельных кластеров. ; – номер – ой координаты векторы вида где .

Использование алгоритма начинается с установки значения – верхнего предела конечности искомого разбиения множества . Примем как среднее арифметическое яркостей составляющих пикселей, . Затем находим – наименьшее возможное число кластеров, для которых еще есть разбиение конечности . Для этого мы знаем, что достаточно построить – разбиение и принять за число его кластеров. Задачу разбиения этого множества на кластеры с целью придания всем большим пикселям каждого кластера одного и того же нового значения яркости, найденного усреднением их яркостей по одной из следующих двух формул:

, (1)

(2)

Начальный раздел из множества выбирается таким образом, чтобы число больших пикселей в любых двух его кластерах отличалось не более чем на единицу. При этом условии наименьшее количество элементов кластера.

1) Присвоение;

2) Присвоение;

3) Примем как:

Рассчитаем и

4) Если , присвоение если – присвоение и ;

5) Если расчет завершен, и его окончательный результат является текущим Если то и выполняется переход к (3), если – переход к шагу (2).

Приняв и последовательно придавая переменной значения вычисляем вспомогательную величину и номер , где – текущий элемент изображения, а затем переходим к следующему значению . При использовании данной процедуры номер определится автоматически: рано или поздно очередное значение совпадёт с , после чего останется лишь выполнить присвоение . Отметим, что последовательность яркостей элементов множества строго убывает. Кластеризовав её, получим разбиение множества (здесь . Соответствующее ему разбиение множества имеет вид и является результатом изменения размерности изображения.

6. Определите дополнительных точек, по данным полученным на этапе 5. В случае появления объектов с замкнутым контуром, дополнительно находим центр масс этих объектов.

7. Поиск соответствий между определёнными на этапах 5, и 6 точек.

8. Операция изменения изображений, использование алгоритма проективного преобразования.

9. Выполнение операции объединения изображений.

10. Сохранение результата

Устройство объединения инфракрасных изображений работает следующим образом. На первый и второй вход, являющиеся информационными входами устройства, которые подключены к входу регистра хранения входной реализации первого изображения 1 и к входу регистра хранения входной реализации второго изображения 2, соответственно, поступают два инфракрасных изображения, далее происходит выполнение операции предварительной обработки: операция уменьшения действия шумовой компоненты выполняется в блоке фильтрации первого изображения 3 и в блоке фильтрации второго изображения 4, обработанные изображения поступают на входы блока поиска базовых точек 5. Для каждой пары ИК-изображений находятся базовые точки на изображении, операция может быть выполнена любым детектором углов, например методом Канни. Поиск связанных точек на ИК изображениях выполняется по анализу максимальной корреляции. Операция поиска осуществляется только на границах объектов с перепадом температур более 2-5 градусов; Далее в блоке упрощения изображений 6 для каждой из пар производится объединение смежных областей интенсивностей, таким образом, что области с малым количеством пикселей, совмещаются с ближайшим, тем самым формируя новое изображение меньшей битности. Далее определяются дополнительные точки, поиск которых происходит на границах вновь сформированных объектов. Дополнительно происходит поиск замкнутых объектов и областей, по данным полученным в блоке упрощения изображений 6. В случае появления объектов с замкнутым контуром, дополнительно находим центр масс этих объектов в блоке поиска центров масс объектов 7, в блоке поиска базовых точек упрощённых объектов 8 происходит выбор углов объектов, сформированных упрощённых инфракрасных изображениях. Далее в блоке определение усреднённых значений и выбор базовых точек 9 происходит совмещение данных, полученных в блоке поиска центров масс объектов 7 и блоке поиска базовых точек упрощённых объектов 8, совпадающие элементы принимаются за базовые и используются для определения точек совмещения двух ИК изображений. В блок преобразований изображений 10 происходит геометрические преобразования изображений, что позволяет совместить базовые точки для объединения двух изображений. Далее в регистре хранения выходной реализации 11 сохраняется полученное объединенное изображение, выход которого является информационным выходом устройства.

Изобретение относится к области вычислительной техники. Технический результат заключается в повышении скорости принятия решения и уменьшении вычислительных затрат за счёт формирования комбинированных данных из пары изображений, фиксируемых в инфракрасном диапазоне. Технический результат достигается за счет устройства объединения инфракрасных изображений, содержащего первый и второй информационные входы устройства, регистр хранения входной реализации первого изображения, регистр хранения входной реализации второго изображения, блок фильтрации первого изображения, блок фильтрации второго изображения, причем устройство дополнительно содержит блок поиска базовых точек, блок упрощения изображений, блок поиска центров масс объектов, блок определения усреднённых значений и выбора базовых точек, блок преобразований изображений. 2 ил.

Устройство объединения инфракрасных изображений, содержащее первый и второй входы, являющиеся информационными входами устройства, которые подключены к входу регистра хранения входной реализации первого изображения и к входу регистра хранения входной реализации второго изображения, соответственно; выход регистра хранения входной реализации первого изображения подключен к входу блока фильтрации первого изображения; выход регистра хранения входной реализации второго изображения подключен к входу блока фильтрации второго изображения, регистр хранения выходной реализации, выход которого является информационным выходом устройства, отличающееся тем, что выход блока фильтрации первого изображения подключен к первому входу блока поиска базовых точек; выход блока фильтрации второго изображения подключен ко второму входу блока поиска базовых точек; первый выход блока поиска базовых точек подключен к входу блока упрощения изображений, первый выход которого подключен к входу блока поиска центров масс объектов, выход которого подключен к первому входу блока определения усреднённых значений и выбора базовых точек, выход которого подключен к входу блока преобразований изображений, выход которого подключен к входу регистра хранения выходной реализации, выход которого является информационным выходом устройства; второй выход блока упрощения изображений подключен к входу блока поиска базовых точек упрощённых объектов, выход которого подключен ко второму входу блока определения усреднённых значений и выбора базовых точек; второй выход блока поиска базовых точек подключен к третьему входу блока определения усреднённых значений и выбора базовых точек.