Способ распознавания объектов на изображении Российский патент 2019 года по МПК G06T7/00 

Предлагаемое изобретение относится к способам обработки визуальной информации и может быть использовано в системах технического зрения при решении задач поиска, слежения, наведения, диагностирования, контроля и распознавания объектов на изображении.

Известны способ и устройство распознавания реального изображения, основанный на распознавании пространственной структуры изображений (см. патент США изобретение US 2017193299, M.кл. G06K 9/00, G06K 9/62, G06T 7/00, опубл. 06.07.2017 г.). В данном способе для обеспечения реальности создаваемого изображения производят анализ местности, осуществляют сегментацию изображения, полученного с камеры наблюдения, после чего производят классификацию выделенных сегментов по нескольким зонам (фон, структурный элемент). Далее производят выбор зон интереса для дальнейшего извлечения 3D информации об объектах. Способ позволяет частично выделить объекты интереса на изображении и сократить объемы вычислений для последующей обработки.

Однако для выполнения операций сегментации и классификации на изображении случайным образом выделяются прямоугольные области, сегментация проводится путем вычисления разницы в яркостях и цветовых характеристиках соседних регионов, при этом классификация отдельных объектов может быть затруднена. Так, в случае попадания нескольких объектов в прямоугольную область, они могут быть оценены как один объект, и построенная по данному способу пространственная структура изображения окажется несоответствующей реальной картине. В результате точность и достоверность обнаружения объектов на изображении невысоки.

Известен способ обработки изображений (см. патент на изобретение РФ №2322694, M.кл. G06T 7/00, опубл. 20.04.2008 г.), включающий построение пирамиды описаний, деление изображений, выделение структурных элементов и связей, при этом деление (разбиение) исходного изображения производят на равные по площади области Gj, каждой из которых ставится в соответствие матрица ||mij|| "визуальных" масс, где μn, m - яркость изображения, индексы n, m, перебираемые по области Gj, в результате реализуют отображение исходного изображения в абсолютно гладкое многообразие, формируют слои описания изображения, как системного целого, первого пирамидального уровня многокомпонентным вектором градиентов над абсолютно гладким многообразием, выделяют структурные элементы и связи между компонентами упомянутого вектора с образованием первого уровня пирамиды описаний, затем выделяют информационные подобласти внимания на анализируемом изображении, с повторным описанием подобласти внимания с использованием перечисленных действий для образования следующего уровня иерархии описания.

В частности, в способе предусмотрено разбиение исходного изображения на шестнадцать равных по площади областей, формирование шестнадцати слоев описания изображения, как системного целого, пятнадцати компонентным вектором градиентов.

В качестве структурных элементов в данном способе предлагается использовать множество бинарных двумерных операторов, составленных из компонент вектора яркостей изображения, а также два типа алгебраических групп, выявляющих взаимные связи между тремя или четырьмя компонентами упомянутого вектора яркостей изображения.

Однако используемый в данном способе подход к описанию структуры изображения не включает описание геометрической формы объектов, что может усложнить дальнейшее их распознавание, особенно в условиях разной освещенности и при изменении метеоусловий съемки.

Кроме того, в данном способе параллельно осуществляется шестнадцать дифференциальных преобразований, что значительно усложняет его реализацию.

Данный способ выбран в качестве прототипа.

Техническим результатом предлагаемого изобретения является повышение точности и достоверности распознавания объектов на изображении в условиях разной освещенности и изменении метеоусловий съемки путем осуществления структурного описания геометрической формы объектов при одновременном упрощении реализации способа.

Достижение указанного результата обеспечивается в предлагаемом способе распознавания объектов на изображении, при котором полученное с камеры наблюдения изображение разделяют на зоны, производят выделение структурных элементов для каждой из выделенных зон, отличающемся тем, что разделение изображения на зоны осуществляют путем фильтрации объектов на бинарном контурном изображении по принципу восьмисвязности, представляющему собой последовательный анализ всех точек изображения, поиска связанных точек, принадлежащих к одному объекту изображения, среди 8-ми соседних точек и сохранение координат всех выделенных точек одного объекта, а последующее выделение структурных элементов осуществляют путем определения значимых точек для каждого выделенного объекта - концевых точек, точек пересечения и перегибов линий, причем для определения концевых точек вычисляют количество пикселей, принадлежащих объекту в апертуре 3×3 вокруг текущей точки, и отмечают те концевые точки, для которых количество точек объекта в апертуре 3×3 вокруг текущей точки не более трех, и при этом все точки являются соседними, для определения точек пересечения нескольких линий производят анализ зоны 5×5 вокруг каждой точки объекта с выделением пикселей, для которых количество линий, выходящих за пределы апертуры, более двух, для определения точек перегибов текущей линии определяют максимальное расстояние от одной из точек текущего отрезка до прямой, соединяющей границы этого отрезка и сравнивают это расстояние с заданным порогом, после этого сохраняют информацию о параметрах первичных связей каждой пары выделенных значимых точек - направлении, длине и угле наклона линии связи между точками и координатах точек, далее на выделенных объектах производят поиск окружностей методом Хафа, для чего для каждой точки объекта вычисляют возможные ее параметры (a, b, R) для разных значений радиуса R окружности в допустимом диапазоне, по вычисленным параметрам дополняют соответствующую ячейку в таблице ячеек накопления, после обработки каждой точки, принадлежащей объекту, производят анализ таблицы для поиска параметров, для которых значение в таблице выше заданного порога, а выделение на изображении объектов прямоугольной формы и простых замкнутых фигур осуществляют путем анализа сохраненной информации о параметрах первичных связей каждой пары выделенных значимых точек, запоминают полученную в результате анализа информацию о вторичных связях - соотношениях между каждой парой значимых точек выделенных объектов - расстояниях, углах наклона линии связи между точками, типах объектов, полученное описание сцены изображения в виде информации об объектах на изображении и связей между ними используют для распознавания зоны на изображении, соответствующей заданным параметрам эталонной сцены.

Достижение указанного технического результата предлагаемыми отличиями можно пояснить следующим образом.

Разделение изображения на зоны путем фильтрации объектов на бинарном контурном изображении по принципу восьмисвязности дает возможность выделять отдельные объекты изображения для последующего анализа, что позволяет повысить точность распознавания объектов.

Выделение структурных элементов путем определения значимых точек для каждого выделенного объекта - концевых точек, точек пересечения и перегибов линий, обеспечивает получение информации о первичных связях каждой пары выделенных значимых точек с последующим их сохранением в таблице первичных связей, что дает возможность сопоставления сцены с эталоном по расположению значимых точек независимо от ракурса и угла поворота текущей сцены относительно эталонной.

Поиск окружностей на изображении объекта путем преобразований Хафа и выделение на изображении объектов прямоугольной формы и простых замкнутых фигур путем анализа сохраненной информации о первичных связях дает возможность построения таблицы вторичных связей, включающей в себя информацию о типах объектов, а также расстояниях, углах между объектами. В результате исключаются все незначительные элементы сцены изображения, описание сцены представляется в сжатом виде, что повышает эффективность и достоверность распознавания изображения.

Кроме того, использование простых операций (анализ зоны внутри апертуры, использование таблиц ячеек накопления) позволяет достичь упрощения реализации предлагаемого способа.

Предлагаемый способ поясняется чертежами, где на фиг. 1 приведен пример структурной схемы устройства для реализации предлагаемого способа, на фиг. 2 приведена блок-схема алгоритма построения структурного описания изображения, на фиг. 3 приведена блок-схема алгоритма построения таблицы первичных связей, на фиг. 4 приведена блок-схема алгоритма построения таблицы вторичных связей.

В соответствии с фиг. 1 устройство для реализации предлагаемого способа содержит: 1 - камеру наблюдения, 2 - блок цифровой обработки изображения, 3 - блок фильтрации объектов, 4 - блок выделения значимых точек, 5 - блок выделения простых фигур, 6 - блок построения структурного описания, 7 - запоминающее устройство, 8 - устройство графического вывода информации, 9 - блок распознавания.

При этом выходная шина камеры 1 видеонаблюдения соединена со входной шиной блока 2 обработки изображения, которой является входная шина блока 3 фильтрации объектов, соответствующие выходные шины которого подключены к входным шинам блока 4 выделения значимых точек и блока 5 выделения простых фигур, выходные шины блоков 4 и 5 подключены к соответствующим входным шинам блока 6 построения структурного описания, выходные шины которого, являющиеся выходными шинами блока 2 цифровой обработки изображения, подключены соответственно к входным шинам запоминающего устройства 7 и устройства 8 графического вывода информации, выходная шина запоминающего устройства 7 соединена с входной шиной блока 9 распознавания, выходная шина которого соединена с соответствующей входной шиной устройства 8 графического вывода информации.

Осуществление предлагаемого способа поясним с помощью фиг. 1, 2, 3, 4.

Текущее изображение с камеры видеонаблюдения 1 поступает на блок 2 обработки изображения, в котором в блоке 3 осуществляется разделение на зоны путем фильтрации объектов по принципу восьмисвязности, информация о каждом выделенном объекте передается на блоки 4 и 5 для выделения структурных элементов изображения - значимых точек и простых фигур соответственно и построения таблицы первичных связей. По выделенным в блоках 4 и 5 данным производится построение структурного описания изображений в блоке 6: выделение простых фигур и построение таблицы вторичных связей. Полученное описание изображения сохраняется в памяти устройства 7, а также передается на устройство 8 графического вывода для вывода результата на экран. Для выполнения распознавания зоны на изображения, соответствующей заданным параметрам эталонной сцены, из запоминающего устройства 7 построенное структурное описание изображения передается на блок 9 распознавания, результат распознавания передается на устройство 8 графического вывода.

Предлагаемый способ распознавания изображений может быть реализован с использованием средств персонального компьютера с помощью блок-схем алгоритмов, приведенных на фиг. 2, 3, 4. Так, в качестве камеры видеонаблюдения 1 может быть использована камера типа BHV-1000. Блок 2 обработки изображения может быть реализован на основе цифровых сигнальных процессоров общего назначения. В качестве устройства 8 графического вывода может быть использован монитор персонального компьютера.

Предлагаемое изобретение относится к способам обработки визуальной информации и может быть использовано в системах технического зрения при решении задач поиска, слежения, наведения, диагностирования, контроля и распознавания объектов на изображении. Технический результат заключается в повышении точности и достоверности распознавания объектов на изображении в условиях разной освещенности и изменении метеоусловий съемки. В способе осуществляют разделение изображения на зоны и выделение структурных элементов, при этом разделение изображения на зоны осуществляют путем фильтрации объектов на бинарном контурном изображении по принципу восьмисвязности. Последующее выделение структурных элементов осуществляют путем определения значимых точек для каждого выделенного объекта - концевых точек, точек пересечения и перегибов линий, после этого сохраняют информацию о параметрах первичных связей каждой пары выделенных значимых точек. А выделение на изображении объектов прямоугольной формы и простых замкнутых фигур осуществляют путем анализа сохраненной информации о параметрах первичных связей каждой пары выделенных значимых точек, запоминают полученную в результате анализа информацию о вторичных связях - соотношениях между каждой парой значимых точек выделенных объектов. 4 ил.

Способ распознавания объектов на изображении, при котором полученное с камеры наблюдения изображение разделяют на зоны, производят выделение структурных элементов для каждой из выделенных зон, отличающийся тем, что разделение изображения на зоны осуществляют путем фильтрации объектов на бинарном контурном изображении по принципу восьмисвязности, представляющему собой последовательный анализ всех точек изображения, поиска связанных точек, принадлежащих к одному объекту изображения, среди 8-ми соседних точек и сохранение координат всех выделенных точек одного объекта, а последующее выделение структурных элементов осуществляют путем определения значимых точек для каждого выделенного объекта - концевых точек, точек пересечения и перегибов линий, причем для определения концевых точек вычисляют количество пикселей, принадлежащих объекту в апертуре 3×3 вокруг текущей точки, и отмечают те концевые точки, для которых количество точек объекта в апертуре 3×3 вокруг текущей точки не более трех, и при этом все точки являются соседними, для определения точек пересечения нескольких линий производят анализ зоны 5×5 вокруг каждой точки объекта с выделением пикселей, для которых количество линий, выходящих за пределы апертуры, более двух, для определения точек перегибов текущей линии определяют максимальное расстояние от одной из точек текущего отрезка до прямой, соединяющей границы этого отрезка, и сравнивают это расстояние с заданным порогом, после этого сохраняют информацию о параметрах первичных связей каждой пары выделенных значимых точек - направлении, длине и угле наклона линии связи между точками и координатах точек, далее на выделенных объектах производят поиск окружностей методом Хафа, для чего для каждой точки объекта вычисляют возможные ее параметры (a, b, R) для разных значений радиуса R окружности в допустимом диапазоне, по вычисленным параметрам дополняют соответствующую ячейку в таблице ячеек накопления, после обработки каждой точки, принадлежащей объекту, производят анализ таблицы для поиска параметров, для которых значение в таблице выше заданного порога, а выделение на изображении объектов прямоугольной формы и простых замкнутых фигур осуществляют путем анализа сохраненной информации о параметрах первичных связей каждой пары выделенных значимых точек, запоминают полученную в результате анализа информацию о вторичных связях - соотношениях между каждой парой значимых точек выделенных объектов - расстояниях, углах наклона линии связи между точками, типах объектов, полученное описание сцены изображения в виде информации об объектах на изображении и связей между ними используют для распознавания зоны на изображении, соответствующей заданным параметрам эталонной сцены.