СПОСОБ И УСТРОЙСТВО ДЛЯ ИДЕНТИФИКАЦИИ ЦЕЛЕВОГО ОБЪЕКТА НА ИЗОБРАЖЕНИИ Российский патент 2017 года по МПК G06K9/46 

Область техники

Данное изобретение касается технологии обработки изображений и, в частности, способа и устройства для идентификации целевого объекта на изображении.

Предпосылки создания изобретения

В настоящее время при рассмотрении изображения только изображение, которое сформировано исходной съемкой, может рассматриваться непосредственно, а в некоторых сценариях специального применения пользователи хотят иметь возможность сосредоточить внимание на рассмотрении определенного объекта на группе изображений, например, это, возможно, будет сосредоточение внимания на зданиях на изображениях при изучении архитектуры.

Если пользователь должен сосредоточиться на рассмотрении некоторого объекта на изображении, он может выполнять только визуальный поиск объекта на изображении, так что при недостаточной опытности пользователя, вероятно, будут пропуски.

Сущность изобретения

Формы осуществления данного изобретения предлагают способ и устройство для идентификации целевого объекта на изображении, чтобы осуществлять идентификацию целевого объекта на изображении и выделять его на экране дисплея.

Согласно одному аспекту данного изобретения предлагается способ идентификации целевого объекта на изображении, который включает следующее:

изображение анализируется, и точки на изображении разделяют на множество подмножеств согласно областям и линиям на изображении;

проводится сравнение данных в каждом подмножестве с данными целевого объекта, которые хранятся в базе данных, и определяют подмножества, степень соответствия которых превышает заданный порог; и

области и линии, соответствующие подмножествам, которые превышают заданный порог, выделяют.

Согласно другому аспекту данного изобретения предлагается устройство для идентификации целевого объекта на изображении, содержащее:

блок разделения, сконфигурированный так, чтобы анализировать изображение и разделять точки на изображении на множество подмножеств согласно областям и линиям на изображении;

блок сравнения, сконфигурированный так, чтобы проводить сравнение данных в каждом подмножестве с данными целевого объекта, которые хранятся в базе данных, и определять те подмножества, для которых степень соответствия превышает заданный порог; и

блок отображения, сконфигурированный так, чтобы выделять на экране дисплея области и линии, соответствующие подмножествам, которые превышают заданный порог.

Формы осуществления данного изобретения предлагают способ и устройство для идентификации целевого объекта на изображении. Способ включает следующее: точки на изображении разделяют на множество подмножеств согласно областям и линиям на изображении; затем проводится сравнение данных в каждом подмножестве с данными целевого объекта, которые хранятся в базе данных, так что целевой объект, соответствующий данным в базе данных, выбирается из изображения; тогда области и линии, соответствующие подмножествам, которые превышают заданный порог, выделяют, и, следовательно, целевой объект выделяется, таким образом целевой объект на изображении идентифицируется и выделяется на экране дисплея.

Описание чертежей

На фиг. 1 показана блок-схема способа идентификации целевого объекта на изображении согласно форме осуществления данного изобретения.

На фиг. 2 показана блок-схема предпочтительного способа идентификации для целевого объекта на изображении согласно форме осуществления данного изобретения.

На фиг. 3 показана структурная схема устройства для идентификации целевого объекта на изображении согласно форме осуществления данного изобретения.

Подробное описание форм осуществления изобретения

Формы осуществления данного изобретения предлагают способ и устройство для идентификации целевого объекта на изображении. Способ включает следующее: точки на изображении разделяют на множество подмножеств согласно областям и линиям на изображении; затем проводится сравнение данных в каждом подмножестве с данными целевого объекта, которые хранятся в базе данных, так что целевой объект, соответствующий данным в базе данных, выбирается из изображения; тогда области и линии, соответствующие подмножествам, которые превышают заданный порог, выделяются, и следовательно, целевой объект выделяется на экране дисплея, таким образом целевой объект на изображении идентифицируется и выделяется на экране дисплея.

Как показано на фиг. 1, форма осуществления данного изобретения предлагает способ идентификации целевого объекта на изображении, включающий:

шаг S101, изображение анализируется, и точки на изображении разделяют на множество подмножеств согласно областям и линиям на изображении;

шаг S102, проводится сравнение данных в каждом подмножестве с данными целевого объекта, которые хранятся в базе данных, и определяются подмножества, степень соответствия которых превышает заданный порог; и

шаг S103, области и линии, соответствующие подмножествам, которые превышают заданный порог, выделяют.

Следовательно, когда изображение необходимо отобразить, сначала изображение анализируется и определяются данные областей и линий, соответствующих данным в базе данных, и затем области и линии выделяют, чтобы облегчить пользователю идентификацию целевого объекта.

На шаге S101 выполняется анализ изображения, так что точки на изображении разделяют на различные подмножества, которые включают изолированные точки, непрерывные кривые или непрерывные области. Общие способы для анализа изображения включают вычисление лапласиана над гауссианом (Laplacian Of Gaussian, LOG), алгоритм Оцу (максимизации дисперсии между классами), алгоритм Бернсена, бинаризации на основе значения локального экстремума (Local Extreme Value Based Binarization, LEVBB) и т.д.

Здесь алгоритм Оцу будет создавать погрешность бинаризации для гистограммы, которая является изображением с одним пиком или несколькими пиками с перемежающимися значениями уровня серого целевого и фонового пикселей; алгоритм Бернсена может правильно выполнять бинаризацию, но он создает большое количество паразитных изображений, чувствителен к шуму и имеет недостатки и проблемы, такие как пропуски частей цели и паразитные изображения; и алгоритм LEVBB имеет лучшие результаты, может эффективно устранять паразитные изображения, создаваемые алгоритмом Бернсена, и нечувствителен к шуму, но при сильном изменении освещенности часть результатов будет неправильна, и будет происходить слипание символов в тексте.

Алгоритм LOG может противостоять сильному изменению освещенности и шумовым помехам, и хорошо сохранять оригинальную форму цели, чтобы получать лучший результат. С использованием алгоритма LOG выполняется обнаружение края изображения на основе перехода лапласиана через нуль, определение, принадлежат цели или фону пиксели с двух сторон края в точке перехода через нуль, и определение атрибутов однородных областей (фона или цели) на изображении согласно атрибутам окрестностей. Способ может преодолеть проблему пропуска частей цели и паразитных изображений в алгоритме Бернсена, и он также преодолевает недостаток восприимчивости к шуму и неравномерной освещенности алгоритма Оцу, и алгоритм LOG дает лучший результат, чем алгоритм LEVBB.

В случае когда система имеет высокие уровни в отношении скорости обработки, емкости памяти и стабильности, характерная точка LOG будет идеальным выбором, и разделение на подмножества может быть реализовано извлечением характерных точек LOG.

Таким образом, на шаге S101 шаг анализа изображения и разделения точек на изображении на множество подмножеств согласно областям и линиям на изображении, в частности, включает:

изображение анализируется алгоритмом вычисления лапласиана над гауссианом (LOG), и точки на изображении разделяются на множество подмножеств согласно областям и линиям на изображении.

Соответственно, на шаге S102 данные характерного образца LOG определенного целевого объекта сохраняются в базе данных и хранящиеся данные образца охватывают влияния различных изменений окружающей среды (масштаб, вращение, освещенность, разбиение на блоки и т.д.) на изображение, и в общем хранящиеся данные образца могут гарантировать изменения, имеющие высокую адаптируемость и устойчивость. Например, при выполнении контролируемого обучения для характерных образцов LOG изображения, с использованием папоротникового (ferns) классификатора, составленного древовидной структурой принятия решений, это может дополнительно гарантировать, что хранящиеся образцы данных могут обеспечивать изменения, имеющие высокую адаптируемость и устойчивость.

На шаге S103, шаг выделения на экране дисплея областей и линий, соответствующих подмножествам, которые превышают заданный порог, включает, в частности, следующее:

выполняется улучшенная визуализация для областей и линий, соответствующих подмножествам, которые превышают заданный порог; и/или

отображается информация, соответствующая подмножествам, которые превышают заданный порог.

Здесь при выполнении улучшенной визуализации ввод данных в устройство визуализации может быть матрицей положений и вывод данных из устройства воспроизведения может быть данными изображения после улучшенной визуализации.

Для идентифицированного целевого объекта может отображаться релевантная информация, то есть информация, соответствующая подмножествам, которые превышают заданный порог. Релевантная информация содержит символы, изображения, телевизионные и звуковые сигналы. Когда никакая релевантная информация не хранится в базе данных, пользователь может вводить релевантную информацию и при этом перед шагом отображения информации, соответствующей подмножествам, которые превышают заданный порог, включаются также следующие шаги:

из базы данных получается информация, соответствующая подмножествам, которые превышают заданный порог; или

получается информация, вводимая пользователем и соответствующая подмножествам, которые превышают заданный порог.

Конечно, есть много способов выделения целевого объекта, например отображение специальных меток и очерчивание рамкой, которые не описываются здесь исчерпывающе.

Когда изображение является панорамным изображением, оно требует анализа каждого кадра изображения в панорамном изображении по отдельности, что, в частности, включает:

когда изображение является панорамным изображением, на шаге S101 шаг анализа изображения и разделения точек на изображении на множество подмножеств согласно областям и линиям на изображении, в частности, включает следующее:

каждый кадр на панорамном изображении анализируется, и точки в каждом кадре изображения разделяют на множество подмножеств согласно областям и линиям на изображении; и

на шаге S103 шаг выделения на экране дисплея областей и линий, соответствующих подмножествам, которые превышают заданный порог, в частности, включает:

определение, отображены ли на предыдущем кадре изображения области и линии, являющиеся теми же самыми, что и области и линии, соответствующие подмножествам, которые превышают заданный порог в текущем кадре изображения, и если да, то области и линии, соответствующие подмножествам, которые превышают заданный порог в текущем кадре изображения, не отображают, а если нет, то области и линии, соответствующие подмножествам, которые превышают заданный порог на текущем кадре изображения, выделяют.

Способ идентификации целевого объекта на изображении согласно формам осуществления данного изобретения будет описан ниже подробно с идентификацией целевого объекта на панорамном изображении в качестве примера, как показано на фиг. 2, этот способ включает:

шаг S201, характерная информация каждого кадра изображения на панорамном изображении анализируется, извлекают характерные точки LOG, и точки на изображении разделяют на множество подмножеств согласно областям и линиям на изображении;

шаг S202, проводится сравнение данных в каждом подмножестве с данными целевого объекта, которые хранятся в базе данных, и определяют подмножества, степень соответствия которых превышает заданный порог. Для учета влияния различных изменений окружающей среды (масштаб, вращение, освещенность, разбиение на блоки и т.д.) на изображение во время сравнения выполняется контролируемое обучение на характерных образцах LOG изображения с использованием папоротникового (ferns) классификатора, составленного древовидной структурой принятия решений, так чтобы гарантировать алгоритм, имеющий высокую адаптируемость и устойчивость к изменениям при достаточном контролируемом обучении, таким образом идентификация сцены завершается;

шаг S203, выполняется операция улучшенной визуализации для идентифицированного целевого объекта, и отображается релевантная информация об идентифицированном целевом объекте, причем релевантная информация может содержать символы, изображения, телевизионные и звуковые сигналы;

в течение процесса улучшенной визуализации следует обратить внимание на операцию стыковки предыдущих и последующих кадров изображения: если предыдущий кадр изображения отображает информацию целевого объекта, то последующий кадр изображения не будет отображать информацию целевого объекта;

шаг S204, для идентифицированного целевого объекта принимается релевантная информация, вводимая пользователем; релевантная информация может содержать символы, изображения, телевизионные и звуковые сигналы.

Формы осуществления данного изобретения предлагают также устройство для идентификации целевого объекта на изображении. Соответственно, как показано на фиг. 3, устройство включает:

блок разделения 301, сконфигурированный, чтобы анализировать изображение, разделяя точки на изображении на множество подмножеств согласно областям и линиям на изображении;

блок сравнения 302, сконфигурированный, чтобы проводить сравнение данных в каждом подмножестве с данными целевого объекта, которые хранятся в базе данных, и определять подмножества, для которых степень соответствия превышает заданный порог; и

блок отображения 303, сконфигурированный, чтобы выделять области и линии, соответствующие подмножествам, которые превышают заданный порог.

Здесь блок разделения 301, в частности, сконфигурирован так, чтобы анализировать изображение алгоритмом вычисления лапласиана над гауссианом (LOG) и разделять точки на изображении на множество подмножеств согласно областям и линиям на изображении.

Блок отображения 303 сконфигурирован, в частности, чтобы выполнять улучшенную визуализацию для областей и линий, соответствующих подмножествам, которые превышают заданный порог; и/или

блок отображения 303 сконфигурирован, в частности, чтобы отображать информацию, соответствующую подмножествам, которые превышают заданный порог.

Блок отображения 303 сконфигурирован также, чтобы перед отображением информации, соответствующей подмножествам, которые превышают заданный порог, получать информацию, соответствующую подмножествам, которые превышают заданный порог, из базы данных; или

блок отображения 303 сконфигурирован, чтобы перед отображением информации, соответствующей подмножествам, которые превышают заданный порог, получать данные, вводимые пользователем и соответствующие подмножествам, которые превышают заданный порог.

Когда изображение является панорамным изображением, блок разделения 301, в частности, конфигурируется так, чтобы анализировать каждый кадр в панорамном изображении и разделять точки на каждом кадре изображения на множество подмножеств согласно областям и линиям на изображении; и

блок отображения 303 конфигурируется, в частности, так, чтобы определять, отображены ли на предыдущем кадре изображения области и линии, являющиеся теми же самыми, что и области и линии, соответствующие подмножествам, которые превышают заданный порог в текущем кадре изображения, и если да, то области и линии, соответствующие подмножествам, которые превышают заданный порог в текущем кадре изображения, не отображают, а если нет, то области и линии, соответствующие подмножествам, которые превышают заданный порог на текущем кадре изображения, выделяют.

Формы осуществления данного изобретения предлагают способ и устройство для идентификации целевого объекта на изображении. Способ включает следующее: точки на изображении разделяют на множество подмножеств согласно областям и линиям на изображении; затем проводится сравнение данных в каждом подмножестве с данными целевого объекта, которые хранятся в базе данных, так что целевой объект, соответствующий данным в базе данных, выбирается из изображения; тогда области и линии, соответствующие подмножествам, которые превышают заданный порог, выделяют, следовательно, целевой объект выделяется, таким образом целевой объект на изображении идентифицируется и выделяется.

Специалистам в данной области техники будет понятно, что форма осуществления изобретения может быть реализована как способ, система или программное изделие для компьютера. Поэтому данное изобретение может принимать форму осуществления полностью аппаратными средствами, полностью программными средствами или форму осуществления, комбинирующую программные и аппаратные аспекты. Кроме того, данное изобретение может принимать форму программного изделия для компьютера, которое реализуется на одном или нескольких пригодных для использования компьютером носителях хранения данных (включая, но не ограничиваясь этим, запоминающее устройство на магнитных дисках, постоянное запоминающее устройство на компакт-диске (Compact Disc Readonly Memory, CD-ROM) и оптическим запоминающее устройство), содержащих пригодные для использования компьютерами коды программы.

Данное описание изобретения ссылается на схему алгоритма и/или блок-схему программного изделия для компьютера, устройства (системы) и способа. Должно быть понятно, что каждый поток данных и/или блок на схеме алгоритма и/или блок-схеме, а также комбинация потоков данных и/или блоков на схеме алгоритма и/или блок-схеме может быть реализован посредством команд компьютерной программы. Эти команды компьютерной программы могут подаваться на универсальный компьютер, специализированный компьютер, встраиваемый процессор или процессор других программируемых устройств обработки данных, чтобы генерировать машину, такую как устройство, сконфигурированное для осуществления функции, определяемой в одном или нескольких потоках данных на схеме алгоритма, и/или блок-схеме, и/или в одном или нескольких блоках на блок-схеме, посредством команд, выполняемых процессором других программируемых устройств обработки данных или компьютера.

Эти команды компьютерной программы также могут храниться на машиночитаемом накопителе данных, способном к управлению компьютером или другим программируемым устройством обработки данных, чтобы работать определенным образом, так чтобы команды, хранящиеся на машиночитаемом накопителе данных, генерировали изделие, включая командное устройство, которое осуществляет функцию, определяемую в одном или нескольких потоках на схеме алгоритма и/или в одном или нескольких блоках на блок-схеме.

Эти команды компьютерной программы также могут загружаться в компьютер или другие программируемые устройства обработки данных, чтобы выполнять серию рабочих шагов на компьютере (или других программируемых устройствах обработки данных), чтобы генерировать реализуемую компьютером обработку, поэтому команды, выполняемые на компьютере (или других программируемых устройствах), обеспечивают шаги для осуществления функции, определяемой в одном или нескольких потоках на схеме алгоритма и/или в одном или нескольких блоках на блок-схеме.

Хотя описываются предпочтительные формы осуществления изобретения, специалисты в данной области техники могут предложить альтернативные изменения и разновидности для этих форм осуществления, когда они узнают основную идею изобретения. Поэтому предполагается, что формула изобретения интерпретируется как включающие предпочтительные формы осуществления и все изменения и разновидности, входящие в пределы объема изобретения.

Очевидно, что специалисты в данной области техники могут осуществить различные изменения и улучшении для данного изобретения без отступления от его объема. Таким образом, если все изменения и улучшения находятся в объеме формулы данного изобретения и подобных технологий, данное изобретение предполагает включение этих изменений и улучшений.

Изобретение относится к способу и устройству для идентификации целевого объекта на изображении, которые касаются технологии обработки изображений. Технический результат заключается в повышении точности идентификации объекта на изображении. Способ включает следующее: точки на изображении разделяют на множество подмножеств согласно областям и линиям на изображении; затем выполняется сравнение данных в каждом подмножестве с данными целевого объекта, которые хранятся в базе данных, так что целевой объект, соответствующий данным в базе данных, выбирается из изображения; тогда области и линии, соответствующие подмножествам, которые превышают заданный порог, выделяют на экране дисплея, поэтому целевой объект выделяется на экране дисплея, благодаря чему целевой объект на изображении идентифицируется и выделяется на экране дисплея. 2 н. и 6 з.п. ф-лы, 3 ил.

1. Способ идентификации целевого объекта на изображении, включающий:

анализ изображения и разделение точек на изображении на множество подмножеств согласно областям и линиям на изображении;

выполнение сравнения данных в каждом подмножестве с данными целевого объекта, которые хранятся в базе данных, и определение тех подмножеств, степень соответствия которых превышает заданный порог; и

выделение областей и линий, соответствующих тем подмножествам, которые превышают заданный порог;

когда изображение является панорамным изображением, шаг анализа изображения и разделения точек на изображении на множество подмножеств согласно областям и линиям на изображении включает:

анализ каждого кадра в панорамном изображении и разделение точек в каждом кадре изображения на множество подмножеств согласно областям и линиям на изображении; и

шаг выделения областей и линий, соответствующих подмножествам, которые превышают заданный порог, включает:

определение, отображены ли на предыдущем кадре изображения области и линии, являющиеся теми же самыми, что и области и линии, соответствующие подмножествам, которые превышают заданный порог в текущем кадре изображения, и если результат определения положителен, то области и линии, соответствующие подмножествам, которые превышают заданный порог в текущем кадре изображения, не отображают, а если результат определения отрицателен, то области и линии, соответствующие подмножествам, которые превышают заданный порог в текущем кадре изображения, выделяют.

2. Способ по п. 1, отличающийся тем, что шаг анализа изображения и разделения точек на изображении на множество подмножеств согласно областям и линиям на изображении включает:

анализ изображения алгоритмом вычисления лапласиана над гауссианом (LOG) и разделение точек на изображении на множество подмножеств согласно областям и линиям на изображении.

3. Способ по п. 1, отличающийся тем, что шаг выделения на экране дисплея областей и линий, соответствующих подмножествам, которые превышают заданный порог, включает:

выполнение улучшенной визуализации для областей и линий, соответствующих подмножествам, которые превышают заданный порог; и/или

отображение информации, соответствующей подмножествам, которые превышают заданный порог.

4. Способ по п. 3, отличающийся тем, что перед отображением информации, соответствующей подмножествам, которые превышают заданный порог, он включает также:

получение информации, соответствующей подмножествам, которые превышают заданный порог, из базы данных; или

получение информации, вводимой пользователем и соответствующей подмножествам, которые превышают заданный порог.

5. Устройство для идентификации целевого объекта на изображении, содержащее:

блок разделения, сконфигурированный, чтобы анализировать изображение и разделять точки на изображении на множество подмножеств согласно областям и линиям на изображении;

блок сравнения, сконфигурированный, чтобы проводить сравнение данных в каждом подмножестве с данными целевого объекта, которые хранятся в базе данных, и определять те подмножества, для которых степень соответствия превышает заданный порог; и

блок отображения, сконфигурированный, чтобы выделять на экране дисплея области и линии, соответствующие подмножествам, которые превышают заданный порог;

когда изображение является панорамным изображением,

блок разделения дополнительно сконфигурирован так, чтобы анализировать каждый кадр на панорамном изображении и разделять точки в каждом кадре изображения на множество подмножеств согласно областям и линиям на изображении; и

блок отображения дополнительно сконфигурирован так, чтобы определять, отображаются ли на предыдущем кадре изображения области и линии, являющиеся теми же самыми, что и области и линии, соответствующие подмножествам, которые превышают заданный порог в текущем кадре изображения, и если результат определения положителен, то блок отображения не конфигурирован для отображения областей и линий, соответствующих подмножествам, которые превышают заданный порог на текущем кадре изображения, а если результат определения отрицательный, то блок отображения конфигурирован для выделения областей и линий, соответствующих подмножествам, которые превышают заданный порог на текущем кадре изображения.

6. Устройство по п. 5, отличающееся тем, что блок разделения дополнительно сконфигурирован для анализа изображения алгоритмом вычисления лапласиана над гауссианом (LOG) и разделения точек на изображении на множество подмножеств согласно областям и линиям на изображении.

7. Устройство по п. 5, отличающееся тем, что

блок отображения дополнительно сконфигурирован, чтобы выполнять улучшенную визуализацию для областей и линий, соответствующих подмножествам, которые превышают заданный порог; и/или

блок отображения дополнительно сконфигурирован, чтобы отображать информацию, соответствующую подмножествам, которые превышают заданный порог.

8. Устройство по п. 7, отличающееся тем, что

блок отображения дополнительно сконфигурирован так, чтобы перед отображением информации, соответствующей подмножествам, которые превышают заданный порог, получать из базы данных информацию, соответствующую подмножествам, которые превышают заданный порог; или

блок отображения дополнительно сконфигурирован так, чтобы перед отображением информации, соответствующей подмножествам, которые превышают заданный порог, получать информацию, вводимую пользователем и соответствующую подмножествам, которые превышают заданный порог.