СПОСОБЫ ПРЕЦИЗИОННОЙ ИДЕНТИФИКАЦИИ ГРАНИЧНЫХ И УГЛОВЫХ ТОЧЕК НА ПЛОСКОМ ИЗОБРАЖЕНИИ И В ОБЛАКЕ ТОЧЕК Российский патент 2025 года по МПК G06T7/13 

Область техники, к которой относится изобретение

Изобретение относится к области обработки изображений, и, более конкретно, к способам прецизионной идентификации граничных и угловых точек на плоском изображении и в облаке точек.

Уровень техники

Задачи идентификации углов и границ на анализируемом изображении имеют множество различных известных решений. Например, одним из таких решений, где определяют с субпиксельной точностью границы, является cпособ автоматического распознавания объектов на изображении (RU 2528140 C1), в котором формируют и запоминают контурные эталонные и текущие изображения, представляют их в виде полутоновых дистантных изображений, где яркость пикселов пропорциональна расстоянию до ближайшего контура, выделяют на изображениях участки возможного наличия объекта сканированием контурным эталоном с подсчетом для каждого положения эталона суммы яркостей точек дистантного полутонового изображения, накрытых контурами эталона, оставляют точки, где суммы яркостей меньше заданного порога, на выбранных участках изображений вычисляют взаимно корреляционную функцию текущих и эталонных изображений, производят сравнение выделенных участков текущих изображений с эталонными полутоновыми дистантными изображениями этих участков, определяют положение эталона на выделенных участках, при котором достигается экстремум взаимно корреляционной функции, определяют место нахождения объекта по положению экстремума взаимно корреляционной функции.

Известно, что высокую точность при определении границ на изображении обеспечивают способы, применяющие вычисление статистических моментов.

Например, известен способ сегментации контура объекта на изображении (JP 2008511366 A), в котором получают первое входное изображение, имеющее по меньшей мере набор двумерных пиксельных данных, содержащий по меньшей мере один объект, и опорную точку в объекте входного изображения. Далее формируют координатную карту параметров расстояний между пикселями входного изображения и опорной точкой; и анализируют входное изображение для обнаружения границ в пределах входного изображения. Далее вычисляют по меньшей мере один статистический момент параметра расстояния для пикселя входного изображения, ядро фильтра, определенное на изображении обнаружения границы, и оконную функцию с центром в заданном пикселе. Затем вычисляют весовой коэффициент. После этого анализируют по меньшей мере один статистический момент для оценки объекта.

Также известны, например, публикации Feipeng Da et al. “Sub-pixel edge detection based on an improved moment” и Edward P. Lyvers et al. “Subpixel Measurements Using a Moment-Based Edge Operator”, в которых описываются методы субпиксельного определения границ, основанные на вычислении моментов.

Данные способы не обеспечивают приемлемое сочетание скорости обработки и высокой точности, особенно при больших уровнях зашумленности (т.е. при низком соотношении сигнал/шум).

Соответственно, в уровне техники имеется потребность в совершенствовании способов идентификации границ на изображении для оперативного получения результата с высокой точностью.

Сущность изобретения

Настоящее изобретение направлено на создание способов и устройств, позволяющих устранить по меньшей мере некоторые из указанных выше недостатков предшествующего уровня техники.

В частности, предложен способ прецизионной идентификации граничных и угловых точек на плоском изображении, содержащий этапы, на которых:

получают плоское изображение;

для каждого пикселя изображения задают круговую окрестность S с предварительно заданным радиусом R и центром в данном пикселе и выполняют следующие этапы:

- вычисляют пиксельные маски различного размера для заданной окрестности;

- вычисляют статистические моменты m₀₀, m₁₀, m₀₁, m₁₁, m₂₀, m₀₂ в заданной окрестности на основе наложения вычисленных масок на разные участки изображения для получения карты активаций, характеризующей схожесть масок с этими участками;

- вычисляют канонические моменты M₀₀, M₁₀, M₂₀, M₀₂ для заданной окрестности на основе вычисленных статистических моментов;

- вычисляют набор параметров для линейной модели границы и для угловой модели границы на основе вычисленных канонических моментов, причем набор параметров содержит предполагаемые координаты линейной или угловой границы в пределах этого пикселя, а также меры соответствия границы и пороговые значения; и

- на основе значений меры соответствия границы и пороговых значений определяют, содержится ли в этом пикселе линейная или угловая граница, и при ее наличии выводят ее координаты.

В одном из вариантов осуществления для нахождения моментов всей заданной круговой окрестности вычисляют моменты в пределах сектора круга размером в четверть заданной окрестности, а моменты в остальных частях окрестности вычисляют путем симметричного отражения.

В одном из вариантов осуществления набор параметров для линейной модели границы содержит параметры t и угол θ, вычисляемые, если канонический момент M₁₀ = 0, параметры а, b и предполагаемые субпиксельные координаты линейной границы , вычисляемые, если .

В одном из вариантов осуществления набор параметров для угловой модели границы содержит параметр р, вычисляемый, если канонический момент M₀₀≠0 и больше порогового значения h_c, параметр t, вычисляемый, если , параметры а, b и ϕ, вычисляемые, если , предполагаемые субпиксельные координаты угловой границы и меру симметрии М_S для заданной окрестности S, вычисляемые, если больше порогового значения , и меры соответствия границы, вычисляемые, если больше порогового значения .

Кроме того, в настоящем изобретении предложен способ прецизионной идентификации граничных и угловых точек в облаке точек, содержащий этапы, на которых:

получают облако точек;

определяют совокупность точек окрестности заданной точки в глобальной системе координат;

преобразуют совокупность точек из глобальной системы координат в смещенную локальную систему координат;

определяют функцию f(x,y) относительно совокупности точек окрестности заданной точки в смещенной локальной системе координат;

вычисляют маски различного размера для упомянутой преобразованной совокупности точек;

вычисляют статистические моменты m₀₀, m₁₀, m₀₁, m₁₁, m₂₀, m₀₂ в упомянутой преобразованной совокупности точек на основе наложения вычисленных масок на разные участки облака точек для получения карты активаций, характеризующей схожесть масок с этими участками;

- вычисляют канонические моменты M₀₀, M₁₀, M₂₀, M₀₂ для упомянутой преобразованной совокупности точек на основе вычисленных статистических моментов;

- вычисляют набор параметров для линейной модели границы и для угловой модели границы на основе вычисленных канонических моментов, причем набор параметров содержит предполагаемые координаты линейной или угловой границы в пределах заданной точки, а также меры соответствия границы и пороговые значения; и

- на основе значений меры соответствия границы и пороговых значений определяют, содержится ли в заданной точке линейная или угловая граница, и при ее наличии выводят ее координаты в глобальной системе координат.

В одном из вариантов осуществления преобразование совокупности точек содержит этапы, на которых:

вычисляют матрицу преобразования из глобальной системы координат в локальную систему координат с использованием совокупности ;

вычисляют совокупность точек в локальной системе координат путем преобразования совокупности точек в локальную систему координат;

вычисляют тензор второго порядка, характеризующий преобразование из локальной системы координат в смещенную локальную систему координат;

вычисляют совокупность точек в смещенной локальной системе координат путем преобразования совокупности точек в смещенную локальную систему координат.

Предлагаемый способ прецизионной субпиксельной идентификации углов и границ позволяет находить и верифицировать с повышенной субпиксельной точностью координаты и другие характеристики границы на изображениях, в том числе на изображениях с очень большим количеством пикселей, несущих информацию об облаке точек с переменной плотностью расположения, даже в условиях низкого соотношения сигнал/шум из-за плохой погоды, запыленности, освещенности, иных причин.

Эти и другие преимущества настоящего изобретения станут понятны при прочтении нижеследующего подробного описания со ссылкой на сопроводительные чертежи.

Краткое описание чертежей

Фиг. 1 – Блок-схема предложенного способа при определении параметров линейной модели границы в точке с заданными координатами.

Фиг. 2 – Иллюстрация круговой окрестности с различным размером вблизи проверяемого пикселя.

Фиг. 3 – Схема функциональной зависимости канонических моментов.

Фиг. 4 – Блок-схема предложенного способа при вычислении угловой модели границы в точке с заданными координатами.

Фиг. 5 – Блок-схема для подтверждения угловой точки.

Фиг. 6 – Блок-схема для подтверждения линейной точки.

Фиг. 7 – Блок-схема способа идентификации углов и границ в облаке точек.

Фиг. 8 – Блок-схема для подтверждения угловой точки в облаке.

Фиг. 9 – Блок-схема для подтверждения линейной точки в облаке.

Фиг. 10 – Пример результата обнаружения углов на изображении предложенным способом.

Подробное описание

Изобретение относится к распознаванию изображений и компьютерному зрению и предназначено для идентификации (или определения, выявления, поиска) углов и границ на изображении. Принципы, предложенные в настоящем изобретении, в общем случае применимы для решения множества различных прикладных задач. В качестве неограничивающего примера, описанные здесь подходы могут использоваться для идентификации материальных объектов окружающего пространства (сцены) в системе компьютерного зрения беспилотных летательных аппаратов (БПЛА).

Идентификация граничных и угловых точек на плоском изображении

Далее со ссылкой на Фиг. 1-6 будет описан способ прецизионной идентификации граничных и угловых точек на плоском изображении. В общих чертах, способ содержит получение изображения и его обработку, в которой вычисляется набор масок, на их основе для каждого пикселя определяются статистические моменты, затем канонические моменты, а после этого вычисляется набор параметров и по значениям определяется, имеется ли в этом пикселе линейная граница или угловая граница, и если да, то выводятся ее субпиксельные координаты. Термин «субпиксельная точность» в данном документе обозначает, что определение положения и ориентации границы выполняется даже внутри пикселя изображения.

Сначала получают плоское изображение, на котором необходимо выявить углы и границы – например, изображение рельефа местности, полученное с камеры БПЛА. В общем случае это может быть любое изображение, содержащее углы и/или границы. Получение изображения может включать в себя как прием уже имеющегося изображения из внешних блоков, таких как память или приемник, так и формирование изображения с помощью устройства формирования изображений, такого как камера, видеокамера, тепловизор, рентгеновский аппарат, генеративная нейросеть и т.д.

Если полученное изображение не является растровым, выполняется его преобразование в растровое. Алгоритмы подобного преобразования известны специалисту в данной области и не являются предметом настоящего изобретения.

Когда плоское растровое изображение получено, начинается его попиксельная обработка. В частности, для каждого пикселя изображения задают круговую окрестность S с предварительно заданным радиусом R и центром в данном пикселе и выполняют следующие этапы:

- вычисляют пиксельные маски различного размера для заданной окрестности;

- вычисляют статистические моменты m₀₀, m₁₀, m₀₁, m₁₁, m₂₀, m₀₂ в заданной окрестности на основе наложения вычисленных масок на разные участки изображения для получения карты активаций, характеризующей схожесть масок с этими участками;

- вычисляют канонические моменты M₀₀, M₁₀, M₂₀, M₀₂ для заданной окрестности на основе вычисленных статистических моментов;

- вычисляют набор параметров для линейной модели границы и для угловой модели границы на основе вычисленных канонических моментов, причем набор параметров содержит предполагаемые координаты линейной или угловой границы в пределах этого пикселя, а также меры соответствия границы и пороговые значения; и

- на основе значений меры соответствия границы и пороговых значений определяют, содержится ли в этом пикселе линейная или угловая граница, и при ее наличии выводят ее координаты.

Более подробно, блок-схема работы предложенного способа при определении параметров линейной границы в точке с заданными координатами изображена на Фиг. 1.

Сначала на этапе 101 вычисляются маски различного размера, обеспечивающие наискорейшей расчет статистических моментов. Осуществляются вычисления с помощью соотношений, представленных далее.

Для нахождения моментов всей заданной круговой окрестности вычисляют моменты в пределах сектора круга размером в четверть заданной окрестности, а моменты в остальных частях окрестности вычисляют путем симметричного отражения.

А именно, i и j – это относительные (локальные) координаты пикселей изображения вблизи проверяемого пикселя, которые характеризуют маску, с помощью которой далее будет последовательно проверяться все изображение. Для нахождения моментов всей области необходимо вычислить только моменты одной из частей окружности (i, j ≥0), а остальные можно найти путем симметричного отражения. Иллюстрация круговой окрестности с различным размером вблизи проверяемого пикселя с локальными координатами (i, j) показана на Фиг. 2.

В таком случае, с учетом того, что , , :

1) Когда пиксели (i, j) будут являться внешними по отношению к окрестности S, то справедливо .

2) Когда пиксели (i, j) выступают в роли внутренних по отношению к окрестности S, то: .

3) Когда пиксели (i, j) характеризуются граничным состоянием по отношению к окрестности S (то есть находятся на границе окрестности), в таких ситуациях периоды рассчитываются так:

(1)

(2)

(3)

(4)

(5)

(6)

где ;

– это статистический момент функции f(х,у) в конечной области S, имеющий канонический порядок (p+q);

p и q ϵ Z.

Далее на этапе 102 реализуется наложение на разные участки изображения фильтров (масок различной размерности) для получения карты активаций, характеризующей близость схожести фильтра к участку изображения. Оценка моментов таким образом реализуется по формуле

, (7)

где χ(x,y) – характеристическая функция круговой окрестности S.

(8)

A_i,_j – является множеством точек (i, j).

(9)

В одном из вариантов осуществления начальное значение радиуса окрестности в качестве примера является фиксированным и равно 3,5 пикселя. Однако, при отыскании граничных точек на изображениях различного формата (разное разрешение, разная зашумленность и пр.) требуется вычисление двумерных моментов различного порядка в круговых окрестностях различного радиуса, который (в редких случаях) может достигать 35 пикселей. По этой причине используются маски различного размера, подбор размера которых ведется путем рекуррентного вычисления двумерных моментов. Соответственно, маска для изображения представляет из себя квадратную матрицу с объемом из необходимого нам в конкретном случае количества пикселей (7×7 при радиусе 3,5 пикселя). Формируется маска в соответствии с формулами (1-6). Для каждой области пикселей формируется свое множество масок. Размер маски зависит от области, в которой маска формируется.

Предложенный способ по сравнению с аналогами является обобщенным (это его важное отличительное преимущество), т.к. в общем виде позволяет точно построить маски произвольного размера (радиуса) для произвольных двумерных моментов. Размер вычисляемой маски зависит от величины градиента яркости в окрестности каждого пикселя, т.е. от разрешения изображения и его зашумленности. Для этого используются рекуррентные соотношения, обеспечивающие быстрое последовательное вычисление канонических моментов любых порядков. При этом, выход за границы изображения не влияет на работу алгоритма, т.е. предложенные подходы для таких пикселей применимы.

На этапе 103 вычисляются канонические моменты M₀₀, M₁₀, M₂₀, M₀₂:

(10)

Моменты высокого порядка практически невостребованы (т.к. практически не несут информации). Функциональная зависимость канонических моментов p и q может быть проиллюстрирована схемой на Фиг 3.

На этапе 104 проверяется условие: если M₁₀ = 0, тогда выполняется переход к следующему этапу 105, если нет – выполняется переход к другому пикселю.

На этапе 105 вычисляются параметр линейной модели границы t и угол θ с помощью следующих формул:

(11)

где M₀₀, M₁₀ и M₂₀ – канонические моменты.

Вычисляются они следующим образом:

(12)

(13)

где

(14)

На этапе 106 проверяется условие: если , тогда выполняется переход к этапу 107, если нет – выполняется переход к другому пикселю.

На этапе 107 вычисляются параметры а, b и субпиксельные координаты по формулам:

(15) (16)
(17)

На этапе 108 проверяется условие: если , тогда выполняется переход к этапу 109, если нет – выполняется переход к другому пикселю.

На последнем этапе 109 определяются θ, t, a, b, .

Вычисление набора параметров угловой модели границы производится в соответствии с блок-схемой на Фиг. 4.

На начальном этапе 401 вычисляются моменты m₀₀, m₁₀, m₀₁, m₁₁, m₂₀, m₀₂ окрестности S с помощью формул, приведенных выше (7).

На этапе 402 вычисляется θ с помощью приведенных выше соотношений (13).

На этапе 403 вычисляются канонические моменты M₀₀, M₁₀, M₂₀, M₀₂ с помощью формул, приведенных выше (10).

На этапе 404 проверяется условие: если M₀₀≠0 и М_с > h_c (здесь ; h_c – пороговое значение), тогда выполняется переход к этапу 405, если нет – то переход к следующему пикселю.

Далее, на этапе 405 вычисляется p.

В угловой модели границы величина р определяется на основе канонических моментов М₀₀ , М₂₀ , М₀₂ на основе соотношения (18)

(18)

где ,

На этапе 406 проверяется условие: если , тогда выполняется переход к этапу 407, если нет – выполняется переход к следующему пикселю.

На этапе 407 вычисляется параметр угловой модели границы t.

Так, если p будет соответствовать 0, то

(19)

Если р≠0, то

(20)

Если р соответствует t

(21)

На этапе 408 проверяется условие: если , тогда выполняется переход к этапу 409, если нет – выполняется переход к следующему пикселю.

На этапе 409 вычисляются а, b и ϕ. При этом, угол ϕ определяется следующим образом:

(22)

Характеристики а и b угловой модели границы определяются следующим образом:

Если t=p=0

(23)

в других вариантах при :

; (24)

где L можно найти по формуле

(25)

На этапе 410 проверяется условие: если , тогда выполняется переход к этапу 411, если нет – выполняется переход к следующему пикселю.

На этапе 411 вычисляются субпиксельные координаты и мера симметрии М_S для окрестности S.

(26)

(27)

На этапе 412 проверяется условие: если (здесь h_s – пороговое значение), тогда выполняется переход к этапу 413, если нет – выполняется переход к следующему пикселю.

На этапе 413 вычисляются M_l, M_e, , для окрестности S.

(28)

где ,, ,

Соотношение, которое является числителем выражения (28), отображает усредненную погрешность расчета. Получается, если будут иметь место значительные различия в величинах w_i, то повысится вероятность существования нелинейности границы сегмента. При этом, мера соответствия границы M_e будет определяться по формуле (29)

(29)

где ,, ,

Если значение M_e будет приближенным к 1, то центр кругового сегмента будет находиться около границы. При удалении центра сегмента от границы значение M_e стремится к нулю.

Выражение угловой границы определяется значением

. (30)

В случае больших значений будет соответствовать повышению вероятности соответствия изображения , которое выражает угловые координаты.

Далее определяются угловые границы через значение

(31)

Если величина будет стремиться к 1, то это подтверждает предположение, что участок является одним из фрагментов угловой границы.

На последнем этапе 414 выводятся θ, р, t, ϕ, a, b, , М_S, M_l, М_е, , .

Когда получены наборы параметров для линейной модели границы и для угловой модели границы, с помощью способов, изображенных в виде блок-схем на Фиг. 5 и 6, становится возможным определить, какой именно является точка с координатами : граничной или угловой. При этом, характеристики (параметры) и необходимы для определения чувствительности обнаружения тех или иных границ.

Что касается подтверждения угловой границы, в первую очередь на этапе 501 с помощью способа, представленного выше на Фиг. 4, вычисляются значения , для заданной окрестности S радиусом R, имеющей центр в точке (x,y).

Затем, на этапе 502 проверяется следующие условие: в случае, когда одновременно выполняется, что и , точку можно считать угловой (этап 504), в противном случае – принимается решение, что данная точка не угловая (этап 503).

На последнем этапе 505 выводятся субпиксельные координаты .

Что касается подтверждения линейной границы, на этапе 601 с помощью способа, представленного выше на Фиг. 4, вычисляются значения , для заданной окрестности S радиусом R, имеющей центр в точке (x,y).

Затем, на этапе 602 проверяется следующие условие: в случае, когда одновременно выполняется, что и , точку можно считать граничной (этап 604), в противном случае – принимается решение, что данная точка не граничная (не является линейной границей) (этап 603).

На последнем этапе 605 выводятся субпиксельные координаты .

Таким образом, обеспечивается способ идентификации углов и границ на изображении, обладающий повышенной скоростью обработки и повышенной точностью, особенно для зашумленных изображений.

Особенности предложенного способа заключаются в следующем:

способ основан на оценке неизвестных параметров статистического распределения яркости обрабатываемого изображения, имеющего множество значений тона с их непрерывным и плавным изменением, путем замены истинных соотношений выборочными аналогами;

границы представляется геометрическими примитивами в виде прямых линий произвольного размера;

повышение качества субпиксельных идентификаций обеспечивается благодаря применению маски повышенной размерности;

вычисление статистических моментов строится на использовании масок и при обнаружении моментов представляет собой наложение на разные участки изображения фильтров (масок разной размерности) для нахождения карты активации, характеризующей схожесть фильтра с участком изображения;

при локализации границ для оперативной работы предложенного способа используются функции и последовательности рекурсивного типа, обеспечивающие наискорейший поэтапный расчет статистических моментов заданного порядка.

Идентификация граничных и угловых точек в облаке точек

Принципы настоящего изобретения, раскрытые выше в отношении плоского растрового изображения, применимы также и к обработке облака точек с учетом некоторых дополнений.

Далее со ссылкой на Фиг. 7-9 будет описан способ прецизионной идентификации граничных и угловых точек в облаке точек.

Сначала получают облако точек. Как и в случае с плоским изображением, термин «получение» в данном случае подразумевает как прием уже имеющегося облака точек извне, так и формирование облака точек с помощью соответствующего устройства. Облако точек формируется по принципам фотограмметрии и может быть получено различными методами. Как один из вариантов – после получения двух или более плоских снимков с одной камеры можно получить положения объектов в пространстве, и соответственно, построить объемную сцену. В общем случае, облако точек может быть получено при помощи лидара. Так или иначе, под облаком точек понимается множество трехмерных точек, описывающее наблюдаемую сцену.

Из предположения, что центральные участки сегмента S_n статичны, следует, что в связи с этим они расположены в центральном участке q_n, принадлежащем облаку Q. Для определения координат точек облака применяются способы, изображенные на Фиг. 7-9, а также поэтапно, с учетом сегмента S_n выполняется анализ каждой точки (n = 1,2,3…,N).

Блок-схема определения параметров угловой модели в заданной точке облака показана на Фиг. 7.

На этапе 701 определяется совокупность точек окрестности точки . Здесь верхний левый индекс используется для различия величин, представленных в разных системах координат. В окрестности S_n величины в глобальной системе координат обозначаются через G, в локальной – через L_n.

Множество (совокупность) точек, принадлежащих окрестности S_n, определяется по формуле

(32)

На этапе 702 вычисляется матрица преобразования с использованием множества

(33)

здесь I₃ – это единичный тензор второго порядка с размером 3×3;

vλ₃ – это собственный тензор первого порядка, характеризующий наибольшее собственное значение;

vλ₂ – это собственный тензор первого порядка, характеризующий среднее значение;

vλ₁ – это собственный тензор первого порядка, характеризующий наименьшее собственное значение.

Данное преобразование представляет собой трансляционный сдвиг и поворот изначальной системы координат.

Далее, на этапе 703 вычисляется множество точек путем преобразования множества точек из глобальной системы координат в локальную систему координат.

Исходя из этого, отображение между облаками точек и определяется соотношением (34)

(34)

На этапе 704 рассчитывается тензор второго порядка, характеризующий преобразование из локальной системы координат в смещенную локальную систему координат. При этом, для окрестности S_n смещенная локальная система координат определяется сдвигом по оси OZ, данный сдвиг определяется через преобразование (35)

(35)

где .

На этапе 705 вычисляется множество точек путем преобразования множества точек из локальной системы координат в смещенную локальную систему координат.

Соответственно, облако точек в смещенной системе координат определяется выражением (36), в котором индекс SL_n. соответствует смещенной системе координат

(36)

На этапе 706 определяется функция f(x,y) относительно множества точек в смещенной локальной системе координат. При этом, точки в окрестности S_n описываются функцией f (x,y) согласно выражению (37)

(37)

На этапе 707 с использованием представленной выше зависимости (7) определяются статистические моменты m₀₀, m₁₀, m₀₁, m₁₁, m₂₀, m₀₂ функции f(x,y). При этом в качестве области интегрирования используется круговая окрестность точки в глобальной системе координат.

На этапе 708 вычисляется θ с помощью принципов и формул, представленных выше (13).

На этапе 709 рассчитываются канонические моменты M₀₀, M ₁₀, M ₂₀, M ₀₂ с помощью принципов и формул, представленных выше (10).

На этапе 710 проверяется условие: если M₀₀≠0 и М_с > h_c, тогда выполняется переход к этапу 711, если нет – выполняется переход к следующей точке.

На этапе 711 вычисляется p с помощью принципов и формул, представленных выше (18).

На этапе 712 проверяется условие: если , тогда выполняется переход к этапу 713, если нет – выполняется переход к следующей точке.

На этапе 713 вычисляется t с помощью принципов и формул, представленных выше (11);

На этапе 714 вычисляется t_e с помощью принципов и формул, представленных выше (21);

На этапе 715 проверяется условие: если , тогда выполняется переход к этапу 716, если нет – выполняется переход к следующей точке.

На этапе 716 вычисляется ϕ с помощью принципов и формул, представленных выше (22).

На этапе 717 вычисляются координаты точки в смещенной локальной системе координат , и с помощью принципов и формул, представленных выше (26 и 35).

На этапе 718 вычисляются параметры M_l, M_e с помощью принципов и формул, представленных выше (28 и 29).

На этапе 719 вычисляются параметры , с помощью принципов и формул, представленных выше (30 и 31).

На последнем этапе 720 выводятся значения параметров θ, р, t, t_e, ϕ, , , , M_t, M_e, , , , .

Далее, когда набор параметров для заданной точки в облаке получен, необходимо оценить его значения, чтобы подтвердить, имеется ли в данной точке линейная граница или угловая граница.

На Фиг. 8 изображена блок-схема для подтверждения угловой границы в облаке точек.

Сначала на этапе 801 вычисляются параметры ,, , для окрестности S_n радиуса R с центром в точке с помощью способа, описанного ранее со ссылкой на Фиг. 7.

На этапе 802 проверяется условие, согласно которому при одновременном выполнении и считается, что точка представляет собой угловую (этап 804), в противном случае принимается решение, что точка не угловая (не содержит угловую границу) (этап 803).

На этапе 805 осуществляется переход в глобальную систему координат, для чего используются обратные матрицы ,

(38)

На последнем этапе 806 выводятся координаты точки в глобальной системе координат.

На Фиг. 9 изображена блок-схема для подтверждения линейной границы в облаке точек.

Сначала на этапе 901 вычисляются параметры ,, , для окрестности S_n радиуса R с центром в точке с помощью способа, описанного ранее со ссылкой на Фиг. 7.

На этапе 902 проверяется следующие условие: когда одновременно выполняется и , то в этом случае точка представляет собой граничную (этап 904), в противном случае принимается решение, что точка не граничная (не содержит линейную границу) (этап 903).

На этапе 905 выполняется перевод в глобальную систему координат с помощью принципов и формул, представленных выше (38).

На последнем этапе 906 выводятся координаты точки в глобальной системе координат.

Аппаратура

Выше описывались способы прецизионной идентификации граничных и угловых точек на плоском изображении и в облаке точек с точки зрения вычислений и логики. Способы, предложенные в настоящем изобретении, выполняются с помощью подходящего для этих целей аппаратного обеспечения, содержащего процессор, память и блок получения изображений.

Как указывалось выше, блок получения изображений может представлять из себя приемник или сетевой модуль, если изображение или облако точек уже имеется и получается из внешних источников, или блок формирования изображений/облака точек, такой как камера, лидар и т.п.

Процессор и память могут быть отдельными устройствами или могут быть частью блока обработки, такого как компьютер, бортовой компьютер, контроллер и т.п.

Различные иллюстративные блоки и модули, описанные в связи с раскрытием сущности в данном документе, могут реализовываться или выполняться с помощью процессора общего назначения, процессора цифровых сигналов (DSP), специализированной интегральной схемы (ASIC), программируемой пользователем вентильной матрицы (FPGA) или другого программируемого логического устройства (PLD), дискретного логического элемента или транзисторной логики, дискретных аппаратных компонентов либо любой комбинации вышеозначенного, предназначенной для того, чтобы выполнять описанные в данном документе функции. Процессор общего назначения может представлять собой микропроцессор, но в альтернативном варианте, процессор может представлять собой любой традиционный процессор, контроллер, микроконтроллер или конечный автомат. Процессор также может реализовываться как комбинация вычислительных устройств (к примеру, комбинация DSP и микропроцессора, несколько микропроцессоров, один или более микропроцессоров вместе с DSP-ядром либо любая другая подобная конфигурация).

Некоторые блоки или модули по отдельности или вместе могут представлять собой, например, процессор, который сконфигурирован для вызова и выполнения компьютерных программ из памяти для выполнения этапов способа или функций блоков или модулей в соответствии с вариантами осуществления настоящего изобретения. Согласно вариантам осуществления, устройство может дополнительно включать в себя память. Процессор может вызывать и выполнять компьютерные программы из памяти для выполнения способа. Память может быть отдельным устройством, независимым от процессора, или может быть интегрирована в процессор. Память может хранить код, инструкции, команды и/или данные для исполнения на наборе из одного или более процессоров описанного устройства. Коды, инструкции, команды могут предписывать процессору выполнять этапы способа или функции устройства.

Функции, описанные в данном документе, могут реализовываться в аппаратном обеспечении, программном обеспечении, выполняемом посредством одного или более процессоров, микропрограммном обеспечении или в любой комбинации вышеозначенного, если это применимо. Аппаратные и программные средства, реализующие функции, также могут физически находиться в различных позициях, в том числе согласно такому распределению, что части функций реализуются в различных физических местоположениях, то есть может выполняться распределенная обработка или распределенные вычисления.

Вышеупомянутая память может быть энергозависимой или энергонезависимой памятью или может включать в себя как энергозависимую, так и энергонезависимую память. Специалисту в области техники должно быть также понятно, что, когда речь идет о памяти и о хранении данных, программ, кодов, инструкций, команд и т.п., подразумевается наличие машиночитаемого (или компьютерно-читаемого, процессорно-читаемого) запоминающего носителя. Машиночитаемый запоминающий носитель может представлять собой любой доступный носитель, который может использоваться для того, чтобы переносить или сохранять требуемое средство программного кода в форме инструкций или структур данных, и к которому можно осуществлять доступ посредством компьютера, процессора или иного устройства обработки общего назначения или специального назначения.

Пример

В неограничивающем примере описываемый способ применяется для прецизионной субпиксельной идентификации углов и границ подстилающей поверхности рельефа местности для комплексирования спектрально и топологически инвариантной сегментации и распознавания трехмерных объектов рельефа местности в блоке управления/обработки беспилотного летательного аппарата сельскохозяйственного назначения. Обработка видеоизображения, поступающего с видеокамер сельскохозяйственного БПЛА, производится на блоке обработки, расположенном на самом БПЛА.

В качестве БПЛА для целей настоящего изобретения может рассматриваться, например, дрон, квадрокоптер, мультикоптер, беспилотный вертолет, самолет вертикального взлета и посадки (СВВП, VTOL) или любой другой летательный аппарат, на который установлено или может быть установлено оборудование, необходимое для выполнения предложенного способа.

Беспилотный летательный аппарат (БПЛА) может содержать корпус, движители, двигатели, посадочное шасси, модуль управления двигателями, полетный контроллер, приемопередатчик, модуль навигации, источник энергии, камеру, набор датчиков. Конкретный набор элементов БПЛА и их компоновка не ограничиваются настоящим изобретением.

Пример результата обнаружения углов и границ на изображении предложенным способом проиллюстрирован на Фиг. 10.

Применение

Устройства и способы по настоящему изобретению можно использовать для решения множества различных задач, в том числе для идентификации материальных объектов окружающего пространства (сцены) в системе компьютерного зрения беспилотных летательных аппаратов (БПЛА). В частности, предлагаемый (описываемый) способ идентификации углов и границ может быть предназначен для решения таких задач, как очерчивание контуров, разделение сцен на отдельные составные части (сегментация), обнаружение и распознавание отдельных материальных объектов (участки с различными видами посевов и типами растительности, границы поля, границы рек, оврагов и холмов, границы нахождения построек, сельско-хозяйственной и иной техники и т.п.) при решении задач высокопродуктивного агрохозяйства, включающего анализ видео- и иных телеметрических данных, обработку растений реагентами, сбор проб и образцов при помощи БПЛА сельскохозяйственного назначения (СХ БПЛА). Помимо указанного, предлагаемый (описываемый) способ идентификации углов и границ может быть использован в качестве начального этапа обработки данных в большом количестве иных задач компьютерного зрения, включая задачи обнаружения и коррекции взаимного положения различных технических объектов, таких, на пример, как: задачи определение взаимного расположения видекамер с метками-углами в системах стереотождествления; задачи определения и коррекции взаимного расположения видеокамер и различных исполняющих механизмов (щупы, захваты и пр.); в задачах посадки БПЛА в заданный некоторыми границами квадрант пространства, в задачах определения местоположения и т.д.

Следует понимать, что хотя в настоящем документе для описания различных элементов, компонентов, областей, слоев и/или секций могут использоваться такие термины, как "первый", "второй", "третий" и т.п., эти элементы, компоненты, области, слои и/или секции не должны ограничиваться этими терминами. Эти термины используются только для того, чтобы отличить один элемент, компонент, область, слой или секцию от другого элемента, компонента, области, слоя или секции. Так, первый элемент, компонент, область, слой или секция может быть назван вторым элементом, компонентом, областью, слоем или секцией без выхода за рамки объема настоящего изобретения. В настоящем описании термин "и/или" включает любые и все комбинации из одной или более из соответствующих перечисленных позиций. Элементы, упомянутые в единственном числе, не исключают множественности элементов, если отдельно не указано иное.

Функциональность элемента, указанного в описании или формуле изобретения как единый элемент, может быть реализована на практике посредством нескольких компонентов устройства, и наоборот, функциональность элементов, указанных в описании или формуле изобретения как несколько отдельных элементов, может быть реализована на практике посредством единого компонента.

Несмотря на то, что примерные варианты осуществления были подробно описаны и показаны на сопроводительных чертежах, следует понимать, что такие варианты осуществления являются лишь иллюстративными и не предназначены ограничивать настоящее изобретение, и что данное изобретение не должно ограничиваться конкретными показанными и описанными компоновками и конструкциями, поскольку специалисту в данной области техники на основе информации, изложенной в описании, и знаний уровня техники могут быть очевидны различные другие модификации и варианты осуществления изобретения, не выходящие за пределы сущности и объема данного изобретения.

Изобретение относится к области обработки изображений. Техническим результатом является повышенная скорость обработки и точность, особенно для зашумленных изображений. Способ прецизионной идентификации граничных и угловых точек на плоском изображении и в облаке точек содержит этапы: получают плоское изображение; для каждого пикселя изображения задают круговую окрестность с предварительно заданным радиусом и центром в данном пикселе; вычисляют пиксельные маски различного размера для заданной окрестности, статистические моменты в заданной окрестности на основе наложения вычисленных масок на разные участки изображения для получения карты активаций, канонические моменты для заданной окрестности на основе вычисленных статистических моментов, набор параметров для линейной модели границы и для угловой модели границы на основе вычисленных канонических моментов, причем набор параметров содержит предполагаемые координаты линейной или угловой границы в пределах этого пикселя, а также меры соответствия границы и пороговые значения; и на основе значений меры соответствия границы и пороговых значений определяют, содержится ли в этом пикселе линейная или угловая граница, и при ее наличии выводят ее координаты. 2 н. и 4 з.п. ф-лы, 10 ил.

1. Способ прецизионной идентификации граничных и угловых точек на плоском изображении, содержащий этапы, на которых:

получают плоское изображение;

для каждого пикселя изображения задают круговую окрестность S с предварительно заданным радиусом R и центром в данном пикселе и выполняют следующие этапы:

вычисляют пиксельные маски различного размера для заданной окрестности;

вычисляют статистические моменты m₀₀, m₁₀, m₀₁, m₁₁, m₂₀, m₀₂ в заданной окрестности на основе наложения вычисленных масок на разные участки изображения для получения карты активаций, характеризующей схожесть масок с этими участками;

вычисляют канонические моменты M₀₀, M₁₀, M₂₀, M₀₂ для заданной окрестности на основе вычисленных статистических моментов;

вычисляют набор параметров для линейной модели границы и для угловой модели границы на основе вычисленных канонических моментов, причем набор параметров содержит предполагаемые координаты линейной или угловой границы в пределах этого пикселя, а также меры соответствия границы и пороговые значения; и

на основе значений меры соответствия границы и пороговых значений определяют, содержится ли в этом пикселе линейная или угловая граница, и при ее наличии выводят ее координаты.

2. Способ по п. 1, в котором для нахождения моментов всей заданной круговой окрестности вычисляют моменты в пределах сектора круга размером в четверть заданной окрестности, а моменты в остальных частях окрестности вычисляют путем симметричного отражения.

3. Способ по п. 1, в котором набор параметров для линейной модели границы содержит параметры t и угол θ, вычисляемые, если канонический момент M₁₀ = 0, параметры а, b и предполагаемые субпиксельные координаты линейной границы , вычисляемые, если .

4. Способ по п. 1, в котором набор параметров для угловой модели границы содержит параметр р, вычисляемый, если канонический момент M₀₀≠0 и больше порогового значения h_c, параметр t, вычисляемый, если , параметры а, b и ϕ, вычисляемые, если , предполагаемые субпиксельные координаты угловой границы и меру симметрии М_S для заданной окрестности S, вычисляемые, если больше порогового значения , и меры соответствия границы, вычисляемые, если больше порогового значения .

5. Способ прецизионной идентификации граничных и угловых точек в облаке точек, содержащий этапы, на которых:

получают облако точек;

определяют совокупность точек окрестности заданной точки в глобальной системе координат;

преобразуют совокупность точек из глобальной системы координат в смещенную локальную систему координат;

определяют функцию f(x,y) относительно совокупности точек окрестности заданной точки в смещенной локальной системе координат;

вычисляют маски различного размера для упомянутой преобразованной совокупности точек;

вычисляют статистические моменты m₀₀, m₁₀, m₀₁, m₁₁, m₂₀, m₀₂ в упомянутой преобразованной совокупности точек на основе наложения вычисленных масок на разные участки облака точек для получения карты активаций, характеризующей схожесть масок с этими участками;

вычисляют канонические моменты M₀₀, M₁₀, M₂₀, M₀₂ для упомянутой преобразованной совокупности точек на основе вычисленных статистических моментов;

вычисляют набор параметров для линейной модели границы и для угловой модели границы на основе вычисленных канонических моментов, причем набор параметров содержит предполагаемые координаты линейной или угловой границы в пределах заданной точки, а также меры соответствия границы и пороговые значения; и

на основе значений меры соответствия границы и пороговых значений определяют, содержится ли в заданной точке линейная или угловая граница, и при ее наличии выводят ее координаты в глобальной системе координат.

6. Способ по п. 5, в котором преобразование совокупности точек содержит этапы, на которых:

вычисляют матрицу преобразования из глобальной системы координат в локальную систему координат с использованием совокупности ;

вычисляют совокупность точек в локальной системе координат путем преобразования совокупности точек в локальную систему координат;

вычисляют тензор второго порядка, характеризующий преобразование из локальной системы координат в смещенную локальную систему координат;

вычисляют совокупность точек в смещенной локальной системе координат путем преобразования совокупности точек в смещенную локальную систему координат.