УСТРОЙСТВО ОБЪЕДИНЕНИЯ ИЗОБРАЖЕНИЙ В ЕДИНУЮ КОМПОЗИЦИЮ СЦЕНЫ Российский патент 2014 года по МПК G06T7/00 G06T3/40 

Изобретение относится к области вычислительной техники и может быть использовано в системах видеонаблюдения, в медицине, при построении картографических изображений, при решении задач фотограмметрии.

Основная решаемая задача - создание алгоритма и устройства объединения цифровых изображений в мозаику, имеющих различные масштабы, освещенности и степень детализации.

Современные автоматизированные системы и комплексы, построенные на основе объединенных фото- и видеопотоков, получаемых с выходов светочувствительных матриц, требуют комплексного подхода к обработке и анализу получаемых данных. Особое значение для анализа визуальной информации имеют объединенные изображения мозаики, позволяющие наблюдать непрерывную сцену целиком вместо просмотра разрозненных ее частей.

Большинство используемых на практике алгоритмов не являются универсальными и в ряде случаев требуют участие оператора при выборе параметров и перенастройке системы. Применение изображений разного масштаба, а также их получение с различных точек, накладывает ограничения на использование применяемых алгоритмов, а в ряде случаев делает невозможным их применение.

Большинство существующих методов имеют следующий алгоритм построения мозаики:

1. Загрузка или фиксация изображения с выхода светочувствительной матрицы;

2. Поиск областей объединения (ручной или автоматический);

3. Определение границ и углов, определение соответствия между областями, определенными на предыдущем шаге;

4. Определение матриц преобразования. В случае панорамной съемки данный пункт может быть пропущен, в связи со съемкой из одной точки при фиксированном положении оптических линз;

5. Объединение (сшивание) изображений в единую композицию;

6. Сохранение результата.

В процессе анализа методов объединения изображений с перекрестными связями в единую композицию было выявлено, что существующие методы разработаны для различных ограничений на исходные данные. Такие ограничения естественным образом возникают при рассмотрении конкретных практических задач и меняются от задачи к задаче. Однако даже при одинаковых ограничениях методы могут существенно отличаться.

Известна система обработки изображения, основанная на мозаике (Mosaic based image processing system) [Patent US №6393163, Int. Cl. G06K 9/36, G06K 9/32]. Изобретение относится к системам обработки изображений, в частности, к системам, которые автоматически создают мозаику из отдельных изображений. Система последовательно выполняет процесс выравнивания, редактирования и объединения изображения таким образом, что из последовательности изображений система автоматически производит бесшовные мозаики для различных приложений. Выравнивание изображений осуществляется с использованием пирамиды Лапласиана. Процесс композиции мозаики содержит в себе два этапа: процесс отбора и процесс сочетания. В процессе отбора автоматически выбираются изображения, которые будут включены в мозаику. На этапе процесса сочетания отобранные изображения комбинируются друг с другом, чтобы сформировать мозаику. Процесс сочетания применяет различные методы обработки изображения, такие как объединение, фильтрация, улучшение качества изображения и т.д. для достижения бесшовного объединения изображений.

Алгоритм работы динамической системы построения мозаики:

1. Загрузка входного изображения;

2. Процесс выравнивания изображения (процесс преобразования);

3. Процесс отбора (при известной информации выравнивания изображений);

4. Процесс сочетания (объединения).

Признаки способа и системы - аналога, совпадающие с признаками заявляемого технического решения, следующие: автоматизированное создание мозаики из набора цифровых изображений.

Недостатками известного способа и системы являются: отсутствие возможности корректировки интенсивности, а также тоновой коррекции в области перекрытия изображений сцены. Невозможность использование алгоритма в случае различий в масштабах объединяемых изображений.

Известна система и метод смешивания изображений (System and method for blending images) [Patent US №7450137, Int. Cl. G09G 5/00]. Настоящее изобретение представляет метод объединения пары изображений, каждое из которых состоит из множества пикселей.

Смешиваемые границы считаются известными для каждого изображения. Каждая граница смешивания, которая включает в себя, по крайней мере, одну группу пикселей, находящихся в определенной позиции на изображении, и среднюю интенсивность пикселей границ объединения, определяется для каждого пикселя в каждом пиксельном положении. Метод включает в себя определение коэффициента масштабирования на основе соотношения между средней интенсивностью элемента и интенсивностью пикселей по меньшей мере одной группы объединяемых объектов каждому местоположению пикселя в каждом изображении. Область смешивания определяется для каждого изображения. Каждая область смешивания включает, по крайней мере, одну группу пикселей из каждой области смешивания каждого изображения. Область пикселей для каждого блока изображения, состоящей из, по крайней мере, одной группы масштабируется в соответствии с определенным коэффициентом масштабирования.

Процесс объединения состоит из следующих этапов:

1. Получение изображения;

2. Определение границ смешивания;

3. Определение средней интенсивности для каждой объединяемой группы пикселей;

4. Определение отношения смешивания для каждого совмещаемого блока;

5. Вычисление интенсивности пикселей в постепенном затемнении области каждого изображения, основанное на коэффициентах смешивания.

Признаки метода и системы-аналога, совпадающие с признаками заявляемого технического решения, следующие: объединение цифровых изображений, инвариантность к их масштабу.

Недостатками известной системы и метода являются: отсутствие тоновой коррекции в области перекрытия изображений сцены, невозможность их объединения в случае изменения точек фиксации кадров.

Известен способ формирования панорамных изображений [Патент RU №2365998, МПК G06T 9/00].

Изобретение относится к вычислительной технике и может быть использовано для формирования панорамных изображений из нескольких изображений, полученных цифровыми фото-, видеокамерами, с высокой точностью за счет автоматической корректировки искажений, вызванных радиальной дисторсией. Технический результат состоит в расширении области применения за счет использования минимального количества перекрывающихся изображений, без предварительной установки камеры в определенные позиции, а также в повышении точности путем коррекции радиальной дисторсии. Для этого в способе автоматически выделяют контуры на перекрывающихся изображениях, формируют множество контуров для каждого изображения, определяют множество контуров, идентичных на разных изображениях, и выбирают два калибровочных контура из этого множества на основе математического аппарата нечеткой логики, вычисляют центры тяжести калибровочных контуров на разных изображениях, рассчитывают коэффициент радиальной дисторсии, автоматическую коррекцию искажений, вызванных радиальной дисторсией, поворот и смещение одного изображения относительно другого для формирования панорамного изображения.

Признаки способа - аналога, совпадающие с признаками заявляемого технического решения, следующие: объединение цифровых изображений.

Недостатками известного способа являются: возможность применения данного способа только к заявленному устройству - камере с объективом типа «fish eye», соответственно узкая область применения, а также необходимость получения большого количества изображений для обеспечения высокой точности получения панорамных изображений. Невозможность объединения изображений различных масштабов.

Наиболее близким к изобретению является метод и устройство для объединения множества изображений (Apparatus and method for combining a plurality of images) [Patent US №5982951, Int. Cl. G06K 9/36]. Изобретение относится к области обработки изображений, и в частности к устройству и методу объединения нескольких изображений в одно панорамное изображение. Устройство для объединения изображений выделяет перекрывающиеся области двух входных изображений и определяет границу этих изображений. Предложенным методом производится установка тоновой коррекции областей, имеющей заданную ширину, такую, что границы двух изображений являются центром области и тоновая коррекция осуществляется в пределах области. Параметры тоновой коррекции определяются на основе набора с исключенными соответствующими точками, что увеличивает точность тоновой коррекции. Тон преобразования с помощью отдельной функции коррекции тона производится на каждом из R, G и В - изображениях. С целью устранения разницы в перспективе между изображениями используется аффинное преобразование. В соседней границе двух изображений в пределах области тоновой коррекции плотность изображения изменяется постепенно, таким образом, полученным результатом является изображение, на котором не заметны границы объединения.

Алгоритм процесса объединения изображений состоит в следующем:

1. Извлечение соответствующих точек;

2. Определение области обработки для поиска соответствий;

3. Установление найденной области перекрытия одного изображения на другом изображении;

4. Определение соответствующих точек;

5. Определение надежности;

6. Все шаги обработки должны быть выполнены, если они не выполнены, возврат к шагу 3.

Признаки метода и устройства - прототипа, совпадающие с признаками заявляемого технического решения, следующие: объединение цифровых изображений в единую композицию сцены, коррекция области объединения с целью приведения к одной цветовой гамме.

Недостатками известного метода и устройства являются: отсутствие возможности построения динамических мозаик, а также невозможность корректировки интенсивности в области перекрытия изображений сцены и объединения изображений разного масштаба.

Предлагаемое устройство объединения цифровых изображений в единую композицию сцены реализует следующий алгоритм (фиг.1). На первом этапе производится загрузка изображений. На втором этапе алгоритма осуществляется выделение границ. Данный шаг служит для реализации задачи поиска высокодетализированных объектов на изображении. Выполнение операции обнаружения границ может применяться любым детектором границ, примером служит обнаружитель основе алгоритма Канни [Гонсалес Р., Вудс Р., Эддинс С. Цифровая обработка изображений в среде MATLAB. - М.: Техносфера 2006. - 616 с.], который показывает наилучшие визуальные и количественные результаты при работе как на чистых изображениях, так и изображениях, подверженных различным искажениям.

Поиск объектов на изображениях с высокой степенью детализации осуществляется методом «Плотность». На первом шаге производится расчет общего коэффициента детализации на всем изображении, который определяется по формуле:

,

где: I(x,y) - значение пикселя с координатами x и y; i - количество строк; j - количество столбцов.

Данный коэффициент детализации определяется автоматически для каждого изображения и его подбор не требует эмпирического вмешательства.

Далее вычисляется плотность в каждом скользящем окне, как показано в выражении:

где: 0,1 - коэффициент усреднения, связанный с автоматическим выбором размера окна, равного 10% от общего изображения.

Далее P_общий и P_окна сравниваются, принимается решение о детализированном™ в данном окне, и окно сдвигается влево.

Следующим шагом является локализация областей с детализированными объектами (фиг.3 - области a1, b1, a2, b2). Определение коэффициента масштабирования, угла поворота, уровня яркости производится в данных областях.

Для реализации алгоритма необходимо определить контрольные точки. Поиск соответствий между контрольными точками может осуществляться различными методами и алгоритмами, примером такого метода может служить SURF [Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool, "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding (CVIU), Vol.110, No.3, pp.346-359, 2008]. Данный подход ищет особые точки на изображении и создает их дескрипторы, инвариантные к масштабу и вращению. Это значит, что описание ключевой точки будет одинаково, даже если образец изменит размер, и будет повернут. Процесс поиска осуществляется последовательным сравнением объектов первого изображения а1 и b1 со всеми выделенными элементами второго изображения а2 и b2 (фиг.3).

Следующим шагом является исключение ложных соответствий. В процессе поиска соответствий, кроме истинных точек определяются и ложные. Использование ложных точек при объединении приводят к ошибке при совмещении двух частей сцены, а именно неправильное объединение областей, появление двойных контуров и несоответствие частей сцены при объединении. Для исключения ложных соответствий можно применить метод RANSAC [Martin A. Fischler and Robert С. Bolles, «Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography», Comm. Of the ACM, vol. 24, juin 1981, p.381-395].

По количеству найденных соответствий между ключевыми точками объектов изображений а1 и а2, b2, а также b1 и а2, b2 производится определение соответствий областей, например а1-а2, b1-b2.

Для выполнения операции выравнивая в полученных на прошлом этапе высокодетализированных областях изображений строятся гистограммы яркости по каждому из каналов данных изображений (фиг.4б). Из полученных гистограмм определяется яркостный коэффициент между ними. Полученные гистограммы пропорционально сравниваются с гистограммами всего изображения (фиг.4а, в). Путем домножения одного из объединяемых изображений на полученный коэффициент, определенный в каждом из цветовых каналов, происходит выравнивание цветовой палитры в последующем объединяемом изображении.

На следующем шаге реализуется приведение детализированных объектов к единому масштабу и нахождение коэффициента масштабирования. Данный коэффициент показывает, во сколько раз объекты различаются по размеру между собой. Получив этот коэффициент, можно будет применить его к исходным изображениям. Определение коэффициента производится путем поиска центра масс с1-с4 (фиг.2) в определенной детализированной области и расстоянием от данной точки до краев объекта с детализацией, для каждого объекта a1, a2, b1, b2. Между соответствующими областями а1-а2 и b1-b2 рассчитывается масштабирующий коэффициент, удовлетворяющий условию минимального отклонения: всех точек края объекта a1 от центра масс области с1, к точкам края объекта a2 от центра масс области с3, аналогично расчет производится и для областей b1-с2 и b2-с4.

Этап «преобразование детализированных объектов» позволяет произвести преобразования, связанные с перспективными искажениями, изменением оптической оси съемки и фокуса объектива. Определенный на данном этапе коэффициент преобразования между детализированными объектами можно применить в дальнейшем к одному или более исходным изображениям.

Выбор преобразования будет определяться автоматически, исходя из критерия максимального совпадения границ во всех высокодетализированных объектах изображения 1 с границами соответствующих объектов изображения 2 (фиг.3). Возможно применение комбинации преобразований: линейные и нелинейные одновременно.

Полученные соответствия между определенными контрольными точками, коэффициенты масштабирования и трансформации переносятся на исходные изображения 1 и 2. По данным контрольным точкам и будет происходить непосредственно объединение.

На этапе совмещения изображений необходимо правильное наложение областей объединения. Совмещение будет проходить по найденным контрольным точкам и их соответствиям на обоих изображениях.

Заключительным этапом является сохранение результата.

Устройство объединения изображений в единую композицию сцены (фиг.2) содержит блок хранения входной реализации 1, вход которого является информационным входом устройства, выход которого подключен к второму входу блока переноса контрольных точек на исходные изображения 12 и входу блока детектора границ 4, выход которого подключен к первому входу блока поиска детализированных объектов 5, выход которого подключен к входу блока выделения детализированных областей 6, выход которого подключен к первому входу блока поиска контрольных точек 7, выход которого подключен к входу блока поиска соответствий 8, выход которого подключен к входу блока исключения ложных соответствий 9, выход которого подключен к третьему входу блока совмещения 15 и входу блока масштабирования детализированных объектов 10, выход которого подключен ко второму входу блока приведения к единому масштабу входных изображений 13 и входу блока преобразования детализированных объектов 11, выход которого подключен к второму входу блока преобразования входных изображений 14 и входу блока переноса контрольных точек на исходные изображения 12, выход которого подключен к первому входу блока приведения к единому масштабу входных изображений 13, выход которого подключен к первому входу блока преобразования входных изображений 14, выход которого подключен к первому входу блока совмещения 15, выход которого подключен к входу блока хранения выходной реализации 16, выход которого является информационным выходом устройства; выход блока управления подключен к вторым входам: блока поиска детализированных объектов 5, блока поиска контрольных точек 7, блока поиска соответствий 8 и блока совмещения 15; синхронность работы устройства обеспечивается генератором тактовых импульсов 3.

Устройство объединения изображений в единую композицию сцены работает следующим образом: пара объединяемых изображений поступает на вход блока хранения входной реализации 1. С выхода блока хранения входной реализации 1 они поочередно поступают на вход блока детектора границ 4. В данном блоке происходит поиск и выделение границ детализированных объектов на изображениях. Определенные на предыдущем шаге контура, с выхода блока детектора границ 4, поступают на вход блока поиска детализированных объектов 5, где на изображении по выделенным границам осуществляется поиск детализированных объектов. Полученные данные с выхода блока поиска детализированных объектов 5 поступают на вход блока выделения детализированных областей 6, в котором происходит их локализация. Блоком поиска контрольных точек 7 осуществляется поиск ключевых углов границ на полученных детализированных объектах. Блоком поиска соответствий 8 полученному набору контрольных точек на одном детализированном объекте ищутся соответствия контрольных точек на другом детализированном объекте (фиг.3 - области a1, b1, a2, b2). В блоке исключение ложных соответствий 9, на полученном наборе данных поступивших с выхода блока поиска соответствий 8, исключаются ложные связи. На основании полученных на предыдущих шагах данных, блоком масштабирования детализированных объектов 10 определяется масштабирующий коэффициент, который будет применен для изменения масштаба объединяемых изображений. Приведенные к одному масштабу детализированные объекты поступают на вход блока преобразования детализированных объектов 11, в котором происходит поиск коэффициентов преобразования, требуемых для компенсации перспективных искажений, и расчет гистограмм яркости для каждого детализированного участка. Полученные соответствия между определенными контрольными точками с исключенными ложными точками переносятся на исходные изображения в блоке переноса контрольных точек на исходные изображения 12. Полученные на предыдущих шагах данные поступают на вход блока приведения к единому масштабу входных изображений 13. Приведенные к одному масштабу входные изображения подаются с блока масштабирования детализированных объектов 10 на первый вход блока преобразования входных изображений 14, на второй вход которого подается полученный в блоке преобразования детализированных объектов 11 коэффициент преобразования. Блоком преобразования входных изображений 14 осуществляется выравнивание общей гистограммы панорамного изображения и компенсация перспективных искажений. Блоком совмещения 15 производится объединение преобразованных, приведенных к одному масштабу и гистограммам яркости изображений. Выход блока хранения входной реализации 16, на который поступает объединенное изображение с блока 15, является информационным выходом устройства. Блоком управления 2 производятся расчеты и в нем хранятся необходимые для объединения изображений коэффициенты. Синхронность работы устройства обеспечивается генератором тактовых импульсов 3.

Технический результат - объединение изображений в единую композицию сцены.

Изобретение относится к устройству объединения изображений в единую композицию сцены. Технический результат заключается в повышении точности объединения изображений разного масштаба за счет автоматического выбора преобразований детализированных объектов, определения коэффициентов масштабирования и трансформации и исключения ложных соответствий. Устройство содержит соединенные между собой блок поиска контрольных точек (7), блок поиска соответствий (8), блок преобразования входных изображений (14), блок совмещения (15), блок хранения входной реализации (1), вход которого является информационным входом устройства, блок переноса контрольных точек на исходные изображения (12), блок детектора границ (4), блок поиска детализированных объектов (5), блок выделения детализированных областей (6), блок исключения ложных соответствий (9), блок масштабирования детализированных объектов (10), блок приведения к единому масштабу входных изображений (13), блок преобразования детализированных объектов (11), блок хранения выходной реализации (16), выход которого является информационным выходом устройства, а также блок управления, при этом синхронность работы устройства обеспечивается генератором тактовых импульсов (3). 4 ил.

Устройство объединения изображений в единую композицию сцены (фиг.2), содержащее блок поиска контрольных точек (7), блок поиска соответствий (8), блок преобразования входных изображений (14), блок совмещения (15), отличающееся тем, что устройство содержит блок хранения входной реализации (1), вход которого является информационным входом устройства, выход которого подключен к второму входу блока переноса контрольных точек на исходные изображения (12) и входу блока детектора границ (4), выход которого подключен к первому входу блока поиска детализированных объектов (5), выход которого подключен к входу блока выделения детализированных областей (6), выход которого подключен к первому входу блока поиска контрольных точек (7), выход которого подключен к входу блока поиска соответствий (8), выход которого подключен к входу блока исключения ложных соответствий (9), выход которого подключен к третьему входу блока совмещения (15) и входу блока масштабирования детализированных объектов (10), выход которого подключен ко второму входу блока приведения к единому масштабу входных изображений (13) и входу блока преобразования детализированных объектов (11), выход которого подключен к второму входу блока преобразования входных изображений (14) и входу блока переноса контрольных точек на исходные изображения (12), выход которого подключен к первому входу блока приведения к единому масштабу входных изображений (13), выход которого подключен к первому входу блока преобразования входных изображений (14), выход которого подключен к первому входу блока совмещения (15), выход которого подключен к входу блока хранения выходной реализации (16), выход которого является информационным выходом устройства; выход блока управления подключен к вторым входам: блока поиска детализированных объектов (5), блока поиска контрольных точек (7), блока поиска соответствий (8) и блока совмещения (15); синхронность работы устройства обеспечивается генератором тактовых импульсов (3).