УСТРОЙСТВО БЕСШОВНОГО ОБЪЕДИНЕНИЯ ИЗОБРАЖЕНИЙ В ЕДИНУЮ КОМПОЗИЦИЮ С АВТОМАТИЧЕСКОЙ РЕГУЛИРОВКОЙ КОНТРАСТНОСТИ И ГРАДИЕНТОМ Российский патент 2016 года по МПК G06T5/00 

Предлагаемое изобретение относится к вычислительной технике и может быть использовано для формирования изображений, полученных цифровыми фото-, видеокамерами. Техническим результатом является бесшовное объединенное изображение с автоматически выравненной контрастностью и градиентом. Полученный результат совмещения достигается в условиях неточного наложения контрольных точек и неравномерной освещенности. Для этого в способе автоматически выделяются контуры на перекрывающихся изображениях с последующим выбором менее заметной границы объединения (оптимальный шов) и автоматическим выравниванием освещенности с применением градиента в области перекрытия и сравнением интенсивности в каждом из каналов R, G, B. На фиг. 1 представлен пример объединения изображений.

Упрощенная математическая модель результата объединения изображений в представляется в виде:

где: - первое изображение с областью объединения;

- второе изображение с областью объединения;

- первое изображение;

- второе изображение;

- область объединения;

Подставляя выражения для и в формулу (1) и введя параметр объединения, получаем следующий вид математической модели:

где: α - коэффициент смешивания областей.

Основная решаемая задача - получение объединенного изображения с незаметной пользователю границей совмещения и равномерной освещенностью.

Подобная задача может возникнуть: 1) в медицине при объединении снимков; 2) в радиотехнике при обработке двумерных сигналов; 3) в системах цифровой обработки изображений; 4) в телевизионных системах с цифровой обработкой.

В тех случаях, когда изображения имеют большое количество текстур мелких деталей, чаще всего на практике применяют методы совмещения изображений с использованием детекторов обнаружения углов (SURF, SIFT, RANSAC). В результате простого совмещения такими методами появляются дополнительные границы объектов (двойные контуры), появление шва из-за неравномерной освещенности или размытие.

Решение проблемы, связанной с появлением двойных контуров, достигается при использовании детекторов границ для удаления ненужных областей. Использование автоматической цветовой коррекции в перекрывающейся зоне позволяет устранить неравномерность освещенности, применение градиента улучшает визуально качество восприятия полученного изображения.

Известен способ автоматической компоновки ландшафтных изображений [Грузман Игорь Семенович (RU), Никитин Сергей Владимирович (RU), Шакенов Адильбек Кобланович (RU), Рычагов Михаил Николаевич (RU). Класс МПК: G06T 15/20, патент №2384882]. Изобретение относится к способам обработки изображений.

Сшивку изображений осуществляют посредством формирования квадратной сетки, по которой устанавливают соответствия для всех узлов с последующим удалением неправильно установленных соответствий путем применения процедуры верификации, в ходе которой выявляют изначальный порядок расположения сопряженных точек на сетке. После этого оценивают проективные преобразования между всеми изображениями с последующим формированием результирующего изображения посредством процедуры адаптивного смешивания. Способ позволяет получать полномасштабную ландшафтную панораму путем компенсации проективных изображений в автоматическом режиме.

Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: формирование сетки (матрицы) с помощью проективных преобразований, установление соответствий между узлами матриц, удаление неправильно установленных соответствий, смешивание области объединения.

Недостатками известного устройства являются:

- появление границы между изображениями в результате объединения;

- появление двойных контуров объединяемых изображений;

- размытие изображения в области объединения.

Причины, препятствующие достижению требуемого технического результата, заключается в следующем:

- если изображения имеют разную контрастность, то граница будет видимой;

- если расчет матриц преобразования изображений будет неправильным, то появится удвоение границ объектов на изображении;

- если изображения были неправильно совмещены, то в результате смешивания образуется размытие.

Структурная схема устройства, реализующего рассмотренный способ, содержит блок загрузки изображений в память компьютера в виде отдельных файлов, блок для вычисления матриц преобразования, блок для установления соответствий между узлами матриц, блок для верификации найденных соответствий, блок для сведения цифровых изображений в панораму, блок для осуществления смешивания областей цифровой панорамы.

Известен способ составного формирования изображения [Толстая Екатерина Витальевна (RU). Класс МПК: G06T 7/00, G06K 9/44, патент №2421814], который формирует составное изображение из нескольких частично перекрывающихся изображений, захваченных такими планшетными устройствами, как сканер или многофункциональное периферийное устройство. Техническим результатом является повышение скорости процесса совмещения изображений. Указанный технический результат достигается тем, что: анализируют составные элементы изображения и выявляют дескрипторы совместимых точек; выполняют попарное совмещение дескрипторов; совмещают дескрипторы с конечным изображением и восстанавливают параметры вращения/смещения; поочередно включают составные элементы в конечное изображение на основе восстановленных параметров вращения/смещения.

Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: при объединении изображений в составное изображение на перекрывающихся участках текущего объединяемого изображения и составного изображения определяют оптимальный шов, проходящий через расположенные на перекрывающихся участках пиксели, имеющие минимальные различия.

Недостатками известного устройства являются:

- появление границы между изображениями в результате объединения;

- появление двойных контуров объединяемых изображений;

Причины, препятствующие достижению требуемого технического результата, заключается в следующем:

- если изображения имеют разную контрастность, то граница будет видимой;

- если расчет матриц преобразования изображений будет неправильным, то появится удвоение границ объектов на изображении.

Известен способ подавления неравномерности распределения яркости изображений при получении панорамных изображений медицинских микропрепаратов [Никитаев Валентин Григорьевич (RU), Проничев Александр Николаевич (RU), Комаров Владимир Владимирович (RU), Чистов Кирилл Сергеевич (RU), Филиппов Антон Александрович (RU). Класс МПК: G06K 9/36, патент №2390842]. Техническим результатом данного изобретения является увеличение эффективности определения пороговых значений яркости пикселов и корреляция значений до заданных, пределов.

Способ сглаживания неравномерности распределения яркости изображений при получении панорамных изображений медицинских микропрепаратов состоит в том, что от внешнего устройства получают изображение неравномерно подсвеченного стекла предметного столика микроскопа на изображении фона без микропрепарата; определяют неравномерность значений яркости изображения стекла без микропрепарата (разделяют изображение на составляющие участки, фиксируют среднюю яркость каждого участка, фиксируют абсолютную и относительную разницу показателей яркости среди участков); затем с камеры производят захват изображения микропрепарата; разделяют полученное изображение на составляющие участки, фиксируют среднюю яркость каждого участка, фиксируют абсолютную и относительную разницу показателей яркости среди участков, для каждого участка изображения исследуемого микропрепарата производят непосредственное вычитание найденной ранее неравномерности значений яркости и с учетом этого сглаживают кромки исследуемого изображения.

Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: сглаживания неравномерности распределения яркости изображений при получении панорамных изображений.

Недостатками известного устройства являются:

- появление границы между изображениями в результате объединения;

- появление двойных контуров объединяемых изображений;

Причины, препятствующие достижению требуемого технического результата, заключается в следующем:

- если изображения имеют разную контрастность, то граница будет видимой;

- если расчет матриц преобразования изображений будет неправильным, то появится удвоение границ объектов на изображении.

Известен способ формирования изображения на телевизионном экране и устройство его осуществления [Бабошин Николай Павлович (RU). Класс МПК: H04N 7/00, патент №2090977]. Техническим результатом данного изобретения является разработка способа и устройства управления изображением на телевизионном экране, обеспечивающих телезрителю возможность: одновременного наблюдения на одном телевизионном экране нескольких движущихся изображений от несинхронизированных, в общем случае, друг с другом источников с возможностью выбора количественного и качественного состава матрицы изображений, выводимых на экран; осуществления практически плавного перемещения зоны просмотра (условно рамки телевизионного экрана) по заранее заданной матрице изображений, что обеспечивает развертку панорамы при трансляции по нескольким каналам изображения одной сцены или одного объекта, или постепенное переключение на просмотр других программ; выбора степени сжатия, т.е. масштаба изображений на телевизионном экране, что позволяет переходить от крупных планов к общим и обратно при передаче фрагментов одной сцены или одного объекта по нескольким каналам, или изменять число изображений, выводимых на экран одновременно.

Составное изображение формируется как фрагмент прямоугольной матрицы изображений нескольких телевизионных программ. Расположение изображения данной программы (или его фрагмента) в составном изображении зависит от горизонтального и/или вертикального смещения, а степень сжатия изображений от соответствующей величины степени сжатия, причем эти три величины задаются телезрителем с устройства задания сжатия и смещения.

Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: формирование составного изображения.

Недостатками известного устройства являются:

- получение составного изображения с видимой границей в области объединения.

Причины, препятствующие достижению требуемого технического результата, заключается в следующем:

- если изображения были неправильно совмещены, то в результате объединения образуется видимый контур.

Известен способ формирования культурной интерактивной панорамы (культурамы) [Салех Фахти Хассан (EG), Бадави Мохамед Фарук (EG). Класс МПК: G09F 19/18, патент №2006135228]. Техническим результатом является отображение интерактивных компьютерных программ на большом рабочем участке с использованием девяти плоских экранов для построения одного бесшовного специализированного панорамного экрана. Обладает следующими преимуществами: простотой эксплуатации и обслуживания; простотой монтажа; удобной настройкой формы и рабочего участка дисплея; возможностью демонстрации любых видов визуального информационного содержимого как в свободном, так и в интерактивном режиме; возможностью применения в разных областях, например в образовании, в технике и в культуре, и содержащая множество проекторов (проекционную установку), предназначенных для проецирования панорамного изображения на приемное устройство, множество экранов (приемную установку), расположенных без швов перед проекционной установкой, один персональный (PC) компьютер, предназначенный для выполнения компьютерных программ и подключенный к проекционной установке через несколько плат VGA.

Признаки устройства-аналога, совпадающие с признаками заявляемого технического решения, следующие: формирование составного изображения.

Недостатками известного устройства являются:

- появление границы между изображениями, имеющими неравномерное освещение, в результате объединения;

- искажения изображения в области объединения.

Причины, препятствующие достижению требуемого технического результата, заключается в следующем:

- если изображения были неправильно совмещены, то в результате смешивания образуется видимые области перекрытия.

Устройство бесшовного объединения изображений в единую композицию с автоматической регулировкой контрастности и градиентом является двухканальным устройством и содержит (фиг. 2) первый вход и второй вход, являющиеся информационными входами устройства, которые подключены к входу блока загрузки изображения 1 и к входу блока загрузки изображения 2 соответственно, выход блока загрузки изображения 2 подключен ко второму входу блока преобразования матрицы 9, к входу 2 блока нахождения маски 14, к входу 2 блока наложения маски 19, к входу 2 блока регулировки контрастности 21, к входу 2 блока применения градиента 23, к входу 4 блока объединения изображений 24 и к входу блока поиска контрольных точек 5, выход которого подключен к входу 1 блока поиска точек объединения 6, выход которого подключен к входу блока вычисления матриц преобразования 7, выход которого подключен к входу 1 блока преобразования матрицы 8 и к входу 1 блока преобразования матрицы 9, выход которого подключен к входу 1 блока заполнения нулями 10, выход которого подключен к входу 1 блока наложения маски 13 и к входу 1 блока нахождения маски 14, выход которого подключен к входу 1 блока выделения области объединения 15, выход которого подключен к входу блока нахождения границы объединения 16, выход которого подключен к входу 2 блока удаления областей 17 и входу блока выделения контуров 11, выход которого подключен к входу блока вычисления кривой 12, выход которого подключен к входу 1 блока удаления областей 17, выход которого подключен к входу 1 блока наложения маски 18 и к входу 1 блока наложения маски 19, выход которого подключен к входу 1 блока регулировки контрастности 21, выход которого подключен к входу 1 блока применения градиента 23, выход которого подключен к входу 2 блока объединения изображений 24, выход которого подключен к входу блока вывода результата 25, выход которого является информационным выходом устройства; выход блока загрузки изображений 1 подключен к входу 3 блока объединения изображений 24, к входу 2 блока применения градиента 22, к входу 2 блока регулировки контрастности 20, к входу 2 блока наложения маски 18, к входу 2 блока наложения маски 13, к входу 2 блока преобразования матрицы 8 и к входу блока поиска контрольных точек 4, выход которого подключен к входу 2 блока поиска точек объединения 6; выход блока преобразования матрицы 8 подключен к входу 2 блока заполнения нулями 10; выход блока наложения маски 13 подключен к входу 2 блока выделения области объединения 15; выход блока наложения маски 18 подключен к входу 1 блока регулировки контрастности 20, выход которого подключен к входу 1 блока применения градиента 22, выход которого подключен к входу 1 блока объединения изображений 24; синхронность работы устройства обеспечивается тактовым генератором 3.

Устройство бесшовного объединения изображений в единую композицию с автоматической регулировкой контрастности и градиентом реализуется следующим образом. Значения входных реализаций поступают на входы устройства и записываются в регистр хранения входной реализации. В блоках поиска контрольных точек находится соответствие между входными данными с помощью детектора обнаружения базовых точек, затем определяются их соответствия и вычисляются матрицы преобразования. На следующем шаге матрицы преобразуются и заполняются нулями в недостающих фрагментах для получения единой размерности. Полученные результаты поступают в блоки нахождения маски. На следующем шаге находится область объединения и граница, выделяются контуры, по которым определяется кривая объединения, необходимая для исключения части фрагментов относительно кривой. На следующем этапе происходит автоматическая регулировка контрастности за счет анализа гистограмм интенсивностей в каналах RGB. Для визуального уменьшения различий в областях объединения определяется градиент и выполняется объединение изображений. Результат записывается в регистр хранения выходной реализации и поступает на выход устройства.

Устройство бесшовного объединения изображений в единую композицию с автоматической регулировкой контрастности и градиентом работает следующим образом. Пара изображений с выходов светочувствительных матриц или устройств хранения поступают на входы устройства и записываются в регистры хранения входной реализации 1 и 2 соответственно. Между ними с помощью детекторов обнаружения углов 4 и 5 находится базовые точки и сопоставления между входными данными, определяются наилучшие соответствия блоком 6 и вычисляются матрицы преобразования блоком 7. Затем исследуемые объекты по найденным точкам искажаются в блоке преобразования матриц 8 и 9. Для получения панорамного изображения происходит получение матриц единой размерности, при котором недостающие участки заполняются нулями с правой стороны для первого изображения и с левой стороны для второго изображения блоком 10. Нахождение масок блоками 13 и 14 для изображений включает несколько этапов: определяются область объединения изображений блоком 15 и граница объединения блоком 16; с помощью детектора Канни происходит выделение контуров блоком 11; находится кривая по найденным контурам, позволяющая исключить часть объектов на изображениях блоком 17. Применение результатов масок осуществляется для первого изображения блоком 18 и второго изображения блоком 19. Далее осуществляется регулировка контрастности путем выравнивания гистограмм яркости по всем каналам RGB для первого изображения блоком 20 и второго изображения блоком 21. На следующем шаге к областям, находящимся около границы объединения, применяется градиент совмещения для первого изображения, нарастающий блоком 22, и второго изображения, спадающий блоком 23. На следующем шаге происходит объединении маскированных изображений блоком 24. Результат записывается в регистр хранения выходной реализации 25 и поступает на выход устройства. Синхронность работы устройства осуществляется тактовым генератором 3.

Изобретение относится к информационно-измерительным устройствам и может быть использовано в системах управления и обработки сигналов. Технический результат - получение объединенного изображения со сглаженными границами перехода. Устройство бесшовного объединения изображений содержит два блока загрузки изображения, тактовый генератор, два блока поиска контрольных точек, блок поиска точек объединения, блок вычисления матриц преобразования, два блока преобразования матрицы, блок заполнения нулями, блок выделения контуров, блок вычисления кривой, три блока наложения маски, блок нахождения маски, блок выделения области объединения, блок нахождения границы объединения, блок удаления областей, два блока регулировки контрастности, два блока применения градиента блок объединения изображений, блок вывода результата. 2 ил.

Устройство бесшовного объединения изображений в единую композицию с автоматической регулировкой контрастности и градиентом, содержащее блоки загрузки изображений, входы которых являются информационными входами устройства, блок вывода результата, выход которого является информационным выходом устройства, отличающееся тем, что выход блока загрузки второго изображения подключен ко второму входу блока преобразования матрицы второго изображения, к второму входу блока нахождения маски, к второму входу блока наложения маски второго изображения, к второму входу блока регулировки контрастности второго изображения, к второму входу блока применения градиента второго изображения, к четвертому входу блока объединения изображений и к входу блока поиска контрольных точек второго изображения, выход которого подключен к первому входу блока _t поиска точек объединения, выход которого подключен к входу блока вычисления матриц преобразования, выход которого подключен к первому входу блока преобразования матрицы первого изображения и к первому входу блока преобразования матрицы второго изображения, выход которого подключен к первому входу блока заполнения нулями, выход которого подключен к первому входу блока наложения маски и к первому входу блока нахождения маски, выход которого подключен к первому входу блока выделения области объединения, выход которого подключен к входу блока нахождения границы объединения, выход которого подключен к второму входу блока удаления областей и входу блока выделения контуров, выход которого подключен к входу блока вычисления кривой, выход которого подключен к первому входу блока удаления областей, выход которого подключен к первому входу блока наложения маски первого изображения и к первому входу блока наложения маски второго изображения, выход которого подключен к первому входу блока регулировки контрастности второго изображения, выход которого подключен к первому входу блока применения градиента второго изображения, выход которого подключен к второму входу блока объединения изображений, выход которого подключен к входу блока вывода результата, выход которого является информационным выходом устройства; выход блока загрузки первого изображения подключен к третьему входу блока объединения изображений, к второму входу блока применения градиента первого изображения, к второму входу блока регулировки контрастности первого изображения, к второму входу блока наложения маски первого изображения, к второму входу блока наложения маски, к второму входу блока преобразования матрицы первого изображения и к входу блока поиска контрольных точек первого изображения, выход которого подключен к второму входу блока поиска точек объединения; выход блока преобразования матрицы первого изображения подключен к второму входу блока заполнения нулями; выход блока наложения маски подключен к второму входу блока выделения области объединения; выход блока наложения маски первого изображения подключен к первому входу блока регулировки контрастности первого изображения, выход которого подключен к первому входу блока применения градиента первого изображения, выход которого подключен к первому входу блока объединения изображений; синхронность работы устройства обеспечивается тактовым генератором.