СПОСОБ КАЛИБРОВКИ РАДИАЛЬНОЙ ДИСТОРСИИ ОПТИЧЕСКОЙ ПОДСИСТЕМЫ СИСТЕМЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ Российский патент 2009 года по МПК G06M11/02 

Изобретение относится к вычислительной технике и может быть использовано для определения коэффициента радиальной дисторсии оптических подсистем при настройке и в процессе функционирования систем технического зрения.

Известен способ калибровки коэффициента радиальной дисторсии (De Xu, You Fu Li, Min Tan, Method for calibrating cameras with large lens distortion. Optical Engineering 45(4), 043602, April 2006), согласно которому коэффициент радиальной дисторсии определяется итерационно, путем подбора такой его величины, при которой искаженное изображение будет более всего похоже на истинное. Первоначально коэффициент радиальной дисторсии приравнивают к нулю, затем, итерационно прибавляя к нему некоторую величину, искажают кривую на изображении, используя этот коэффициент и координаты точек, принадлежащих этой кривой, вычисляют степень дисторсии и, если степень дисторсии визуально достаточно мала, то итерации прекращают и искомым коэффициентом считают тот, который был использован последним.

Недостатком этого способа является необходимость визуальной оценки степени дисторсии на изображении, что требует участия при определении величины коэффициента оператора и увеличивает время, затрачиваемое на процесс определения.

Наиболее близким к предлагаемому является способ автоматической калибровки дисторсии (патент №2289111 «Способ адаптивной калибровки радиальной дисторсии оптической подсистемы системы технического зрения» от 10.12.2006), в котором выполняют шаги: ввод изображения в ЭВМ, определение радиальной дисторсии линз по формуле

,

где k₁, ... - коэффициенты радиальной дисторсии, r_а=(x_a ²+y_а ²)^1/2 - радиальное расстояние, (Δx_ra, Δy_ra) - отклонение точки изображения от ее истинного положения - положения, которое занимала бы точка при отсутствии дисторсии, выделение контуров и бинаризация изображения, выбор калибровочного объекта из объектов рабочей сцены на основе математического аппарата нечеткой логики, определение центральной точки калибровочного объекта как среднего арифметического всех точек объекта, позиционирование видеокамеры СТЗ в n направлениях наблюдения (горизонтальном или вертикальном) при постоянно находящемся в кадре калибровочном объекте, определение координат центральной точки калибровочного объекта на изображении для n разных направлений наблюдения (горизонтального или вертикального) и определение коэффициентов радиальной дисторсии.

Недостатками этого способа является смещение ОЭД только в заданных направлениях - вертикальном или горизонтальном, что на практике требует специально подготовленного устройства для реализации этого способа, за счет чего область применения сужается.

Технической задачей изобретения является расширение области применения способа за счет смещения ОЭД в произвольном направлении вдоль прямой линии и повышение точности вследствие исключения ошибок, связанных с необходимостью обеспечения строго горизонтального (или вертикального) смещения ОЭД.

Задача решается тем, что в известный способ адаптивной калибровки радиальной дисторсии оптической подсистемы системы технического зрения, включающий ввод изображения в ЭВМ, определение радиальной дисторсии линз по формуле

,

где k₁, ... - коэффициенты радиальной дисторсии, r_a=(x_а ²+y_а ²)^1/2 - радиальное расстояние, (Δx_ra, Δy_ra) - отклонение точки изображения от ее истинного положения - положения, которое занимала бы точка при отсутствии дисторсии, выделение контуров и бинаризацию изображения, выбор калибровочного объекта из объектов рабочей сцены на основе математического аппарата нечеткой логики, определение центральной точки калибровочного объекта как среднего арифметического всех точек объекта, определение координат центральной точки калибровочного объекта на изображении для n направлений наблюдения и определение коэффициентов радиальной дисторсии, добавляют произвольное смещение направления наблюдения ОЭД, сохраняя калибровочный объект в кадре, таким образом, чтобы главные оптические оси после каждого смещения находились в одной плоскости между собой и с главной оптической осью первоначального направления.

Изобретение может быть использовано для определения коэффициента радиальной дисторсии оптических подсистем при настройке и функционировании систем технического зрения и соответствует критерию «промышленная применимость».

Сущность изобретения поясняется чертежами, где на фиг.1 изображен алгоритм калибровки радиальной дисторсии, на фиг.2 и фиг.4 показаны рисунки, поясняющие процесс определения коэффициента радиальной дисторсии, на фиг.3 представлен рисунок, поясняющий процесс идентификации контуров на разных изображениях.

Искажения, вызванные радиальной дисторсией, определяются [R.Y.Tsai. «A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses», IEEE Trans. Rob. Autom, RA-3(4), p.323-344, 1987] по формуле:

где (Δx_r, Δy_r) - отклонение точки изображения от ее истинного положения - положения, которое занимала бы точка при отсутствии радиальной дисторсии, k₁, k₂, ... k_n - коэффициенты радиальной дисторсии, r=(x²+y²)^1/2 - расстояние от центра кадра до точки с координатами (x, y).

Согласно [Vark Reeves, Andrew J. Moore, Duncan P. Hand, Julian D.C.Jones. "Dynamic shape measurement system for laser materials processing", Opt. Eng. 42(10), p.2923-2929, 2003 (стр.2926, текст между 4 и 5 формулами)] для практического применения достаточно определять только коэффициент k₁.

Блок-схема алгоритма калибровки радиальной дисторсии представлена на фиг.1.

В блоке 1 (фиг.1) вводят цифровое изображение в контроллер. Изображение получают с помощью оптико-электронного датчика (ОЭД). Получение происходит путем аналого-цифрового преобразования сигнала, характеризующего изображение, и сохранения изображения в цифровой форме.

Под изображением понимают матрицу значений яркостей пикселей цифрового изображения:

I=I(x,y),

где x, y - координаты пикселя изображения по горизонтали и вертикали, соответственно,

, ,

Х, Y - размерность изображения по горизонтали и вертикали, соответственно.

В блоке 2 (фиг.1) производят выделение контуров объектов на изображении стандартным оператором, например, оператором Лапласа [Методы компьютерной обработки изображений / Под. ред. В.А.Сойфера. - М.: Физматлит, 2001], и бинаризация. Это действие выполняет контроллер автоматически. Из выделенных контуров формируют множество K.

Множество контуров K, состоит из элементов (контуров) K_l.

,

где N_k - количество контуров.

Под контуром K_l понимают совокупность отличных от фона изображения точек, таких, что для каждой точки (x_i, y_i) найдется не менее одной соседней точки (x_j, y_j), расположенной на расстоянии 1 пиксель:

, , , .

Каждый контур описывается множеством из N_kl пар координат точек (х_i, y_i):

,

где N_kl - количество пар координат точек, составляющих контур.

После выделения контуров осуществляется переход к выбору калибровочного контура. В блоке 3 (фиг.1) производится выбор калибровочного объекта (контура) из объектов рабочей сцены на основе математического аппарата нечеткой логики [Алтунин А.Е., Семухин М.В. Модели и алгоритмы принятия решений в нечетких условиях: Монография. Тюмень: Издательство Тюменского государственного университета, 2000].

Введем лингвистическую переменную (ЛП) «калибровочный контур» для выбора калибровочного контура из множества контуров на изображении. Калибровочный контур должен удовлетворять следующим условиям:

- иметь оптимальную площадь и размер, определяемый размером описанного вокруг объекта прямоугольника;

- находиться на оптимальном расстоянии от края кадра изображения.

Функция принадлежности ЛП «калибровочный контур» μ_kk равна:

где

μ_s - функция принадлежности терму «оптимальная площадь»,

μ_w - функция принадлежности терму «оптимальное окно»,

μ_kp - функция принадлежности терму «оптимальное положение в кадре».

Функция принадлежности μ_s терма «оптимальная площадь», зависящая от площади контура S, равна:

,

,

Функция принадлежности μ_w терму «оптимальное окно» определяют размерами по горизонтали и вертикали описанного вокруг объекта прямоугольника:

,

, при а=6.8, b=1.5,

,

где W_x, W_y - размеры описанного вокруг контура прямоугольника по горизонтали и вертикали, соответственно, параметры а, b подобраны экспериментально.

ФП μ_kp терму «оптимальное положение в кадре» позволяет выбрать контуры, расположенные близко к краю кадра, и равна:

,

,

,

при

а₁=0.2,

b₁=0.05,

a₂=0.8,

b₂=0.07,

где (x, y) - координаты центра описанного вокруг контура прямоугольника, параметры а, b подобраны экспериментально.

В блоке 4 (фиг.1) производят определение центральной точки (ЦТ) калибровочного контура. В качестве ЦТ выбирается точка изображения, являющаяся центром тяжести [Дегтярев С.В., Садыков С.С., Тевс С.С., Ширабакина Т.А. Методы цифровой обработки изображений: Учебное пособие. Ч.1 / Курск. Гос. Техн. Ун-т. Курск, 2001] калибровочного контура и определяемая средними координатами всех точек калибровочного контура по горизонтали и вертикали. Действия, представленные в блоках 3, 4 (фиг.1), выполняет контроллер.

В блоке 5 (фиг.1) дважды производят смещение направления наблюдения ОЭД, сохраняя калибровочный объект в кадре, таким образом, чтобы главные оптические оси после каждого смещения находились в одной плоскости между собой и с главной оптической осью первоначального направления. После каждого смещения получают изображения.

При этом для идентификации калибровочного объекта после смещения введена ЛП «идентичность смещенного объекта»

где

μ_ид - функция принадлежности терму «идентичность объекта»,

μ_n - функция принадлежности терму «ожидаемое положение», характеризующая полученное положение калибровочного объекта после смещения и ожидаемое положение калибровочного объекта.

Для описания контура K_l определяется множество векторов ν_ij с i-й точки T_i(x_i,y_i) контура на j-ю точку T_j(x_j,y_j) этого же контура:

ν_ij={d_ij,d_ij},

i=1...N_kl,

j=1...N_kl,

i≠j,

где d_ij - расстояние между точками Т_i и T_j, α_ij - направление с i-й точки контура на j-ю точку.

Расстояние d_ij равно:

.

Углом с i-ой точки объекта на j-ую точку считается угол между вертикальной осью кадра и направлением на j-ую точку (фиг.3). По теореме косинусов из треугольника ΔТ_fT_iT_j

.

Функция принадлежности терму «идентичность объекта» μ_ид определяется как идентичность расстояний d_ij между i-й j-й точками и идентичность углов α_ij:

,

где

|d_ij-d_ijсм| - разность расстояний между точками до смещения и после смещения в пикселях,

|α_ij-α_ijсм| - разность величин углов между точками до смещения и после смещения в радианах.

Функция принадлежности μ_n терму «ожидаемое положение» характеризуется разностью ожидаемого и фактического положения калибровочного объекта:

,

где - предполагаемое среднее значение горизонтальных координат множества составляющих контур точек; - фактическое среднее значение горизонтальных координат множества составляющих контур точек.

Расчет x_n производится на основе информации об угловой скорости V_x смещения направления наблюдения и времени смещения t:

.

В блоке 6 (фиг.1) производят определение координат (x^/, y^/) ЦТ на изображениях после смещений ОЭД. Т.к. главные оптические оси в первоначальном направлении наблюдения и после каждого смещения направления наблюдения находятся в одной плоскости, то пересечение этой плоскости с картинной плоскостью будет иметь вид прямой, это означает, что если перенести на одно изображение все три полученные центральные точки, то они должны лежать на одной прямой (фиг.4). Основываясь на этом, в блоке 7 (фиг.1) вычисляют коэффициент радиальной дисторсии, путем решения системы уравнений.

Искажения, вызванные радиальной дисторсией в декартовой системе координат, исходя из (1) определяют по формулам:

где (х',y') - координаты точки, измеряемые по изображению.

Обозначим центральную точку калибровочного контура при первоначальном направлении наблюдения А(х_A, y_A), после первого смещения направления наблюдения - В(х_B, y_B), после второго - С(х_C, y_C). При отсутствии радиальной дисторсии на изображении точки лежат на одной прямой (фиг.4).

Условие принадлежности одной прямой для трех точек в декартовой системе координат записывают:

Под влиянием радиальной дисторсии положения точек А, В и С будут искажены, обозначим их положение на изображении А', В' и С'. Связь истинных абсцисс точек А, В и C с абсциссами точек А', В' и С' на изображении (фиг.2) с учетом формулы (5) выражают:

Т.к. ΔОВХ_B и ΔОСХ_C - прямоугольные (фиг.2), то:

Из(8)следует:

Выполнив подстановку (9) в (7) и (6), составим систему уравнений:

Первые три уравнения из системы (10) являются кубическими уравнениями (если их решать относительно x_A, x_B, x_C соответственно) и имеют по одному корню [И.Н.Бронштейн, К.А.Семендяев. Справочник по математике, издание седьмое, стереотипное. М.: Гос. изд-во технико-теоретической лит-ры, 1957, с.138]. Корни вычисляют:

Полученные корни x_A, x_B, x_C подставляют в четвертое уравнение системы (10) и получают уравнение с одной неизвестной k₁, которое решают с использованием численных методов [Демидович Б.П., Марон И.А. Основы вычислительной математики. - М.: Наука. Гл. ред. физ.-мат.лит., 1966].

Исходя из того, что контроллер выполняет вычислительные операции, он может быть реализован на базе микроконтроллера, описанного в справочнике «Системы технического зрения» [Системы технического зрения: Справочник / В.И.Сырямкин, B.C.Титов., Ю.Г.Якушенков и др. // Под общей редакцией В.И.Сырямкина, B.C.Титова. Томск: МГП «РАСКО», 1992. 367 с.: ил.] на с.93-100 в главе 3.6.

В результате выполнения последовательности действий, рассмотренных в рамках предложенного способа, выполняют калибровку радиальной дисторсии. Точность калибровки можно повысить за счет увеличения числа смещений ОЭД.

Таким образом, изобретение позволяет расширить область применения способа за счет смещения ОЭД в произвольном направлении вдоль прямой линии и повысить точность вследствие исключения ошибок, связанных с необходимостью обеспечения строго горизонтального (или вертикального) смещения ОЭД.

Изобретение относится к вычислительной технике и может быть использовано для определения коэффициента радиальной дисторсии оптических подсистем при настройке и функционировании систем технического зрения. Техническим результатом является расширение области применения способа за счет смещения ОЭД в произвольном направлении вдоль прямой линии и повышение точности вследствие исключения ошибок, связанных с необходимостью обеспечения строго горизонтального (или вертикального) смещения ОЭД. Это достигается тем, что способ адаптивной калибровки радиальной дисторсии оптической подсистемы системы технического зрения, включающий ввод изображения в ЭВМ, определение радиальной дисторсии линз по формуле ,

выделение контуров и бинаризацию изображения, выбор калибровочного объекта из объектов рабочей сцены на основе математического аппарата нечеткой логики, определение центральной точки калибровочного объекта как среднего арифметического всех точек объекта, определение координат центральной точки калибровочного объекта на изображении для n направлений наблюдения и определение коэффициентов радиальной дисторсии, дополняют произвольным смещением направления наблюдения ОЭД. При этом сохраняет калибровочный объект в кадре, таким образом, чтобы главные оптические оси после каждого смещения находились в одной плоскости между собой и с главной оптической осью первоначального направления. 4 ил.

Способ калибровки радиальной дисторсии оптической подсистемы системы технического зрения, включающий ввод изображения в ЭВМ, определение радиальной дисторсии линз по формуле

,

где k₁, ... - коэффициенты радиальной дисторсии, r_а=(x_a ²+y_а ²)^1/2 - радиальное расстояние, (Δx_ra, Δy_ra) - отклонение точки изображения от ее истинного положения - положения, которое занимала бы точка при отсутствии дисторсии, выделение контуров и бинаризацию изображения, выбор калибровочного объекта из объектов рабочей сцены на основе математического аппарата нечеткой логики, определение центральной точки калибровочного объекта как среднего арифметического всех точек объекта, определение координат центральной точки калибровочного объекта на изображении для n направлений наблюдения и определение коэффициентов радиальной дисторсии, отличающийся тем, что произвольно смещают направление наблюдения ОЭД, сохраняя калибровочный объект в кадре, таким образом, чтобы главные оптические оси после каждого смещения находились в одной плоскости между собой и с главной оптической осью первоначального направления, вычисляют дисторсии k₁ посредством решения системы уравнений

где (x_A, y_A), (х_B, y_B), (х_C, y_С) - координаты центральных точек А, В и С калибровочных контуров при первоначальном направлении наблюдения, после первого смещения направления наблюдения, после второго соответственно, (x_A', y_A'), (х_B', y_B'), (х_C', y_С') - координаты этих точек на изображении, искаженном радиальной дисторсией, α_A, α_B, α_С - углы между осью абсцисс и прямыми, образованными точкой начала отсчета координат и точками А, В и С соответственно.