СПОСОБ СРАВНЕНИЯ ЦИФРОВЫХ ИЗОБРАЖЕНИЙ Российский патент 2018 года по МПК G06T5/50 G06T7/223 G06K9/64 

Изобретение относится к способам сравнения цифровых изображений. Преимущественно к сравнению путем их поэлементного вычитания. В частности, относится к сравнению последовательно полученных изображений для выявления изменений наблюдаемой сцены между экспозициями, а также сравнению изображений получаемых при разных условиях их формирования в системе наблюдения.

В литературе отмечается, что значительная часть вычислительной мощности процессоров, входящих в системы технического зрения (СТЗ), расходуется на выполнение алгоритмов установления соответствия при обработке последовательностей кадров и стереопар. (Гришин В.А. Снижение вычислительных затрат на процесс установления соответствия при обработке последовательностей кадров и стереопар. «Цифровая обработка сигналов» №1, 2010)

Известны различные способы сравнения изображений, которые широко применяются для решения множества задач. В частности, известны различные способы анализа изменения состава наблюдаемых сцен.

Известен способ обнаружения изменений объектов на изображениях заключающийся в том, что пару снимков освещают излучением взаимно дополнительных цветов, при этом совмещают их в результирующее изображение, а по изменению наблюдаемой цветности судят о наличии изменений. (Патент РФ №1134887 от 15.01.1985, МПК G01C 11/00).

Сравнение текущей видеоинформации с эталонным фоновым изображением используется в системах обнаружения и сопровождения объектов, в охранных системах обеспечения безопасности.

Известен способ видеомониторинга, который основан на выделении в изображении контролируемого объекта не менее двух зон: контролируемой и компенсирующей, сравнении значений яркости пикселей выделенных зон изображения с заранее установленными пороговыми значениями и анализе одновременно выявленных отличий изменений значений яркости в обеих выделенных зонах. На основе полученных значений изменений яркостных характеристик исследуемых зон изображения принимают решение о фиксации события на контролируемом объекте. (Патент РФ №2159960 от 22.12.1998, МПК G08B).

Известны способы анализа видеопоследовательностей для обнаружения оставленных предметов заключающийся в оценивании изменений наблюдаемой сцены по сравнению с запоминаемым изображением стационарного фона. (Иванов В.А., Киричук B.C., Орлов С.И. Пространственно-временной анализ видеопоследовательностей для обнаружения оставленных предметов. «Автометрия» №1, т. 47, 2011, с 30).

Известен способ обнаружения появления объектов на изображениях. В этом способе из видеопоследовательности выбирают соседние кадры, из этих отобранных кадров вычитают постоянную составляющую, затем измеряют энергетический спектр данных кадров и представляют их в виде матрицы предыдущего и матрицы текущего кадров, по ним определяют характеристики предыдущего и текущего кадров, затем определяют разности отношений двух соседних кадров и сравнивают полученную разность с порогом, принимая решение о появлении объекта в текущем кадре изображения. (Патент РФ №2465649 от 20.05.2011, МПК G06T 7/20).

Известен способ получения изображения объекта для обнаружения и сопровождения. Он основан на обработке последовательности изображений, включая запоминание опорного изображения, разбивание на фрагменты, вычисления взаимно-корреляционной функции опорного и последующих изображений для соответствующих фрагментов, для которых вычитают среднее значение, а разностные сигналы подвергают пороговой обработке. (Патент РФ №2243591 от 27.12.2004, МПК G06T 5/50).

Известен способ обнаружения движущихся объектов, при котором формируют кадры видеопоследовательности. Запоминают первый и второй кадр, затем из первого кадра формируют два кадра, в одном из них принудительно обнуляются последние или первые пиксели в строках и столбцах, другой кадр формируют из первого без изменений. Из второго кадра таким же образом формируют тоже два кадра. Затем определяют разность частотных характеристик для одинаково сформированных кадров. Находят разность полученных разностей и определяют экстремальные значения полученных двойных разностей. Затем из тех же первого и второго кадров формируют по два новых кадра, но количество обнуленных пикселей увеличено на один в каждой строке и столбце. Находят экстремальные значения двойных разностей и сравнивают их с ранее полученными. (Патент РФ №2461067 от 10.09.2012, МПК G06T 7/20).

Известен способ обнаружения движущихся транспортных средств, заключающийся в получении последовательности кадров, вычислении разности между кадрами, бинаризации по порогу, выполнения морфологической операции, вычисление оператора Собеля для определения границ, при этом порог бинаризации определяют по гистограмме яркости (Патент РФ №2262661 от 20.10.2005, МПК G01B 11/03, G08G 1/01).

Известен способ обнаружения объектов, который содержит операции последовательного получения кадров изображения сцены, последующее вычисление разности межу текущим и фоновым кадром, бинаризацию и пространственную фильтрацию для обнаружения объекта (Патент РФ№2395787 от 27.07.2010, МПК G01B 11/03, G01S 17/66).

Известен способ выделения объекта в изображении, при котором формируют последовательно два оптических изображения помещая при этом в оптическом тракте плоскопараллельные пластины разной толщине, регистрируют их матричным фотоприемником, а затем формируют разностное изображение. (Патент РФ №2483354 от 27.05.2013, МПК G06K 9/46).

Известен способ автоматического распознавания объектов на изображении, при котором формируют эталонные изображения, запоминают их и сравнивают текущее изображения с эталонным используя их взаимно корреляционную функцию. (Патент РФ №2528140 от 10.09.2013, МПК G06K 9/48, G06T 7/40).

Известен способ сравнения цифровых графических изображений для выявления областей, содержащих отличные друг от друга элементы в цифровых графических изображениях, который состоит в том, что совмещение цифровых графических изображений осуществляют путем наложения анализируемого цифрового графического изображения на эталонное цифровое графическое изображение, а далее осуществляют изменение видимости изображений, а по визуальному восприятию видимости меняющихся изображений и оценивают различия между эталонным и анализируемым цифровыми графическими изображениями. (Патент РФ №:2424570 от 22.12.2009, МПК G06T 7/00).

Известны способы, использующие вычитания изображений для повышения качества изображений, уменьшения их динамического диапазона и улучшения отображения мелких деталей. В частности, способы основанные на пространственной фильтрации нерезкой маской. Изготовление нерезкой копии снимка и вычитание этой нерезкой копии из полученного изображения (способ нерезкой маски) широко используется при обработке изображений для уменьшения неравномерности освещения на снимках и повышения читаемости мелких деталей. (Михайлов В. Я. Фотография и аэрофотография. Геодезиздат, 1952).

Известен способ формирования сигнала изображения с повышением четкости мелких деталей заключающийся в формировании видеосигнала нерезкого изображения и вычитание его из исходного видеосигнала для улучшения получаемого изображения (А.с. СССР №1157703 от 23.05.1985, МПК H04N 5/14).

Известен способ уменьшения шума электронного изображения. В способе выделяют высокочастотную составляющую значений пикселов компоненты изображения, вычитают из исходных значений пикселов компоненты изображения соответствующие значения их низкочастотной составляющей, вычисляют математическое ожидание и среднеквадратическое отклонение высокочастотной составляющей всех пикселов, а изображение с уменьшенным шумом формируют суммированием значений низкочастотной составляющей и откорректированных значений высокочастотной составляющей. (Патент РФ №2491629 от 27.08.2013, МПК G06K 9/40).

Известны различные способы сравнения видеоинформации, применяемые при медицинской диагностике, в частности, при рентгеновском обследовании.

Известен способ ретроспективного анализа рентгеновских снимков легких, при котором выполняют рентгенографию дважды через определенный интервал времени и затем последующее сравнение полученных изображений вычитанием идентичных фрагментов изображений, по результатам которого выявляют клинические изменения (Патент РФ №2233118 от 27.07.2004, МПК А61В 6/00, G03C 5/16).

Известен способ получения радиологического изображения пациента, при котором сначала получают базовое изображение, затем пациенту вводят путем ингаляции газовые компоненты и вычитают базовое изображение из изображения, полученного после ингаляции. (Патент РФ №2112424 от 10.06.1998, МПК А61В 6/00).

Известны способы субтракционноного ангиографического обследования сосудов при которых в кровеносную систему вводится рентгеноконтрастное вещество, получают последовательность рентгеновских изображений и по сравнению пар последовательных снимков, наблюдая перемещение введенного вещества, анализируют состояние и проходимость сосудов. Он применяется при хирургических вмешательствах на сосудах в реальном времени. Снимок до инъекции инвертируется, а затем совмещается со снимком после инъекции, в результате чего наблюдается только сосудистая система. (И.И. Камалов, Перспективные направления дигитальной (цифровой) рентгенографии. «Вестник современной клинической медицины» 2011, Том 4, вып. 2, с. 44).

Известны видеоинформационные способы сравнения, применяемые в производстве для оценки качества выпускаемой продукции.

Известен способ автоматизированного управления качеством, реализованный в системе автоматического оптического контроля компании Camtec, заключающийся в том, что для обнаружения различий (в данном случае такие различия будут являться дефектами печатной платы) проверяемая деталь сканируется, после чего получается ее оцифрованное изображение, которое проверяется на наличие различий с имеющимся шаблонным цифровым изображением (М. Лев, Н. Дери, У. Эфрат, Системы автоматического оптического контроля компании Camtec, «Компоненты и технологии», №4, 2003 г., с. 27).

Известен также способ, выполняемый при прямом сравнении объекта с эталонным изображением при контроле качества печатных плат, в котором для ускорения процесса оценки предлагается выборочная проверка скользящим окном. (Овчинников А. Концепция построения бюджетных схем оптической инспекции качества монтажа печатных плат.«Технологии в электронной промышленности» №8, 2009).

Известен способ сравнивания изображений с различными уровнями контрастности использующий отношение производной уровня серого в системах цифровой радиографии для промышленного контроля. (Патент РФ №2367022 от 10.09.2009, МПК G05T 5/40).

Известны способы сравнения изображений, используемые при мониторинге в дистанционном зондировании, в области охраны природы.

Известен метод обнаружения по данным дистанционного зондирования высокого разрешения незначительных пространственных изменений на поверхности Земли, вызванных антропогенными воздействиями. Метод основан на попиксельном формировании разностных кадров за счет оценки согласованности изменения во времени одинаковых по яркости отсчетов изображений. (С.М. Борзов, О.И. Потатуркин. Обнаружение выборочных рубок леса по данным дистанционных измерений высокого пространственного разрешения. «Исследование Земли из космоса», 2014, №4, с. 87).

Известен способ выявления изменений по снимкам при проведении мониторинга при котором выполняют получение разновременных снимков, производят квантование их на два уровня (вода и суша) и их вычитания для определения сезонной заростаемости акватории по полученному изображению при сравнении двух растрированных снимков, который описан в разделе «Методика выявления изменений по снимкам» в книге (Использование данных дистанционного зондирования для мониторинга экосистем ООПТ. Методическое пособие / Лабутина И.А., Балдина Е.А.; (WWF России). Проект ПРООН/ГЭФ/МКИ «Сохранение биоразнообразия в российской части Алтае-Саянского экорегиона» - М., 2011).

Известен способ ранней лесопатологической диагностики в лесном хозяйстве. Он заключается в том, что получают цифровые изображения R (красной) и G (зеленой) в зонах спектра и затем вычисляют попиксельное отношение между этими зонами, а по результатам определяют контуры участков с разной степенью поражения. (Патент РФ №2189732 от 27.09.2002, МПК A01G 23/00, G01V 8/00, G06F 19/00).

Основными недостатками этих известных способов является низкая оперативность для быстрого реагирования, недостаточная эффективность и сложность их реализации.

За прототип принят способ обнаружения объектов на сложных фонах путем сравнения опорного и текущего изображения. Он заключается в том, что получают первое, опорное изображение сцены, затем второе изображение той же сцены, разделяют эти изображения на фрагменты, равные или больше размеру пикселей получаемого изображения, затем вычитают из значений сигналов для фрагментов соответствующие сигналы фрагментов опорного изображения, сравнивают полученную разность с выбранным порогом и по результатам формируют управляющие сигналы, пропускающие или блокирующие соответствующие сигналы для результирующего изображения. (Патент РФ №2250478 от 20.04.2005, МПК G01S 17/06, H04N 7/18).

Целью изобретения является повышение оперативности и упрощение технологии сравнения пар цифровых изображений наблюдаемых сцен.

Сущность изобретения заключается в том, что получают первое дискретизованное и квантованное изображение наблюдаемой сцены, которое при необходимости запоминают в промежуточной памяти. Затем получают второе дискретизованное и квантованное изображение той же сцены. Исходные изображения для сравнения могут быть получены, как изображения одной и той же сцены в последовательные моменты времени с разным интервалом или изображения, полученные одновременно при разных условиях наблюдения. В частности, изображения полученные в различных длинах волн, при разной поляризации или при различной фокусировке, например.

После этого поэлементно сравнивают каждый элемент одного изображения с соответствующими элементами второго изображения, которое было получено ранее и хранилось в памяти или получено одновременно при других условиях наблюдения.

При этом, для выполнения сравнения квантованные оба изображения преобразуют к послойно бинарной форме, а сравнение выполняют логическими операциями между бинарными составляющими всего набора квантованных уровней. По результатам этого сравнения формируют изображение содержащее только различия, которые имеются в изображениях сцены между двумя наблюдениями.

Способ осуществляется следующим образом. В процессе наблюдения получают первое, а затем второе дискретизованное и квантованное изображение наблюдаемой сцены в виде матрицы значений амплитуд соответствующих отображаемой яркости этой сцены. Преобразуют представление значений амплитуд видеосигнала этих изображений в соответствующий этой величине набор единичных логических значений, размещенных по уровням квантования, заполняя остальные логическими нулями. Для каждого уровня квантования изображение характеризует бинарная матрица, а в совокупности будем иметь набор бинарных матриц соответственно числу используемых уровней квантования. При этом число единиц в соответствующих по своему положению элементах, в полном наборе бинарных матриц, будет равно значению амплитуды тех же элементов в исходной матрице изображения.

Затем, для составляющих значений одного из этих изображений, представленного набором бинарных матриц, логической операцией НЕ инвертируют полученные значения (единиц и нулей) во всех бинарных матрицах полученного набора в соответствии с числом уровней квантования. После этого, оба полученных набора бинарных матриц (один из которых изменен), соответствующих паре полученных изображений, совмещают в общий массив бинарных матриц соответственно положению составляющих его элементов изображения (пикселей). Общее число слоев бинарных матриц Р в полученном массиве при этом будет соответствовать сумме уровней квантования первого и второго изображений. В полученном таким образом видеоинформационном массиве уровни квантования отдельных исходных составляющих изображений будут перемешаны.

Затем, для получения правильной структуры распределения видеоинформации по уровням квантования в полученном общем массиве бинарных матриц, для каждого элемента суммарного изображения сортируют размещение единиц по уровням, перенося их на нижние уровни и заполняя верхние уровни нулями.

Полученная после сортировки структура размещения единичных значений в массиве бинарных матриц будет соответствовать распределению амплитуд формируемого разностного изображения. Таким образом, величина амплитуды полученного изображения для каждого элемента дискретизации будет равна сумме единичных значений всего набора бинарных матриц, сформированных по уровням квантования

Операция сортировки может выполняться известными способами. Например, она может быть выполнена широко известным методом пузырька или другим подобным. (Методы сортировок и их реализации: методические указания /сост. И.В. Беляева, К.С.Беляев. Ульяновск: УлГТУ, 2006). Известно также устройство для сортировки двоичных чисел (Патент РФ 2264645 от 20.11.2005 МПК G06F7/06), а также устройство сортировки цифровой двоичной информации, которое осуществляет подсчет количества одинаковых чисел и символов (Патент РФ №2382396 от 20.02.2010 МПК G06F 17/30, G06F 7/08), например.

Операцию сортировки, после выполнения логической операции НЕ с одним из изображений, можно также эффективно производить с помощью последовательного выполнения логических операций И и ИЛИ между всеми парами уровней квантования, начиная с нижнего уровня. При этом результат операции ИЛИ между двумя уровнями (К и К+1) относят к нижнему уровню (К) в каждой паре, а результат операции И между теми же уровнями (К и К+1) относят к верхнему уровню (К+1). Этот цикл сравнений повторяют Р-1 раз, уменьшая число сравниваемых уровней при каждом шаге на 1, как показано на рис 5. Эта процедура сортировки была эффективно использована в способе увеличения динамического диапазона (Патент РФ №2578799 от 27/03.2016 МПК H04N/225, G06T 5/50).

Для пояснения существа предложенного технического решения рассмотрим пример реализации предлагаемого способа сравнения цифровых изображений. Моделирование предложенных операций технологии сравнения цифровых изображений было выполнено на цифровых снимках реальной сцены. Цифровой камерой была выполнена съемка двух последовательных кадров тестовой сцены, в которой между кадрами были произведены изменения состава наблюдаемой сцены, а именно, перемещение вазы с цветами. На рис. 1 показано первое из полученных изображений. На рис. 2 показано второе изображение той же сцены после изменения ее содержания. На рис. 3 показан результат применения предложенного способа к информации двух последовательно полученных снимков. Как и следовало ожидать, на изображении видны те детали, которые изменились между сеансами съемки. Кроме перемещения вазы с цветами наблюдается также некоторые изменения, вызванные вращением маятника в часах. На рис. 4 показана общая функциональная схема выполнения операций при реализации предлагаемого способа сравнения пары изображений.

Предлагаемый способ не содержит сложных математических процедур. Так как основные операции способа сводятся к бинарным структурам, то его реализация легко и эффективно может быть выполнена аппаратно, на элементах простой логики НЕ, ИЛИ, И. На рис. 5 представлена функциональная схема использованная при осуществлении предлагаемого способа сравнения пары изображений с применением только логических операций НЕ, ИЛИ, И, выполненная программным путем.

Такая схема может быть легко организована на программируемых логических матрицах, например. Аппаратная реализация способа цифровых изображений на логических функциях может функционировать в темпе поступления видеоинформации и будет за счет этого обладать высоким быстродействием.

Предлагаемый способ сравнения цифровых изображений может эффективно использоваться в различных системах технического зрения, для контроля продукции на производстве, в системах управления движением на транспорте, для анализа стереопар снимков, при создании рентгеновских и ангиографических комплексов для медицинской диагностики, в системах обнаружения и наведения, охранных и других подобных системах. Предлагаемый способ может также использоваться для оперативной целевой обработки видеоинформации, получаемой в разных каналах специализированной аппаратуры (спектрометрической, поляриметрической и др.), уменьшению объемов передаваемой видеоинформации.

Изобретение относится к области сравнения цифровых изображений. Технический результат – повышение оперативности сравнения пар цифровых изображений наблюдаемых сцен. Способ сравнения цифровых изображений заключается в том, что получают первое дискретизованное и квантованное изображение сцены, затем получают второе дискретизованное и квантованное изображение той же сцены, после чего поэлементно сравнивают оба изображения и по результатам сравнения получают изображение сравнения, причем каждое из полученных дискретизованных и квантованных изображений преобразуют к многослойной структуре в виде набора слоев бинарных изображений соответственно уровням их квантования, при этом полученные бинарные составляющие одного из изображений инвертируют логической операцией НЕ, а затем оба полученных набора слоев бинарных изображений совмещают в общую структуру, после чего сортируют размещение единиц и нулей по уровням квантования, перемещая в полученном суммарном наборе слоев бинарных изображений значения единиц на нижние уровни, а затем формируют амплитуду сигнала изображения сравнения в соответствии с количеством единиц, полученным для каждого элемента этого изображения. 5 з.п. ф-лы, 5 ил.

1. Способ сравнения цифровых изображений, заключающийся в том, что получают первое дискретизованное и квантованное изображение сцены, затем получают второе дискретизованное и квантованное изображение той же сцены, после чего поэлементно сравнивают оба изображения и по результатам сравнения получают изображение сравнения,

отличающийся тем, что каждое из полученных дискретизованных и квантованных изображений преобразуют к многослойной структуре в виде набора слоев бинарных изображений соответственно уровням их квантования, при этом полученные бинарные составляющие одного из изображений инвертируют логической операцией НЕ, а затем оба полученных набора слоев бинарных изображений совмещают в общую структуру, после чего сортируют размещение единиц и нулей по уровням квантования, перемещая в полученном суммарном наборе слоев бинарных изображений значения единиц на нижние уровни, а затем формируют амплитуду сигнала изображения сравнения в соответствии с количеством единиц, полученным для каждого элемента этого изображения.

2. Способ сравнения цифровых изображений по п. 1, отличающийся тем, что операцию сортировки размещения единиц и нулей по уровням квантования в полученном суммарном наборе слоев бинарных изображений производят циклическим выполнением логических операций ИЛИ и И между каждой парой квантованных уровней.

3. Способ сравнения цифровых изображений по п. 1, отличающийся тем, что изображения одной и той же сцены получены в последовательные моменты времени.

4. Способ сравнения цифровых изображений по п. 1, отличающийся тем, что изображения одной и той же сцены получены в разных длинах волн.

5. Способ сравнения цифровых изображений по п. 1, отличающийся тем, что изображения одной и той же сцены получены при разной поляризации.

6. Способ сравнения цифровых изображений по п. 1, отличающийся тем, что изображения одной и той же сцены получены при различной фокусировке.