СПОСОБ КОМПЕНСАЦИИ ДИСТОРСИИ ОБЪЕКТИВА Российский патент 2023 года по МПК G01M11/02 

Изобретение относится к вычислительной технике и может быть использовано для коррекции радиальной и тангенциальной дисторсии на изображениях, полученных цифровыми фото-, видеокамерами и системами технического зрения, использующих в качестве приемников изображения матричные приемники изображения.

Известен способ определения дисторсии длиннофокусных объективов, описанный в патенте на изобретение №2276778, опубликованном 20.05.2006, Бюл. №14. Способ заключается в том, что производится измерение линейных величин изображений в фокальной плоскости оптической скамьи участков стеклянной шкалы, расположенных по полю зрения испытуемого объектива при помощи двух окуляр-микрометров.

Недостатком этого способа является невозможность компенсации дисторсии оптического объектива цифровой фотокамеры алгоритмическим путем поскольку он ориентирован на измерение только коэффициента радиальной дисторсии больших объективов с применением не автоматических методов измерений.

Известен способ автоматического определения и коррекции радиальной дисторсии на цифровом изображении, изложенный в патенте на изобретение №2351091, опубликованном 27.03.2009 Бюл. №9. Способ заключается в определении коэффициента дисторсии, выделении изображения контуров, их анализе, выборе трех точек на каждом контуре и расчете коэффициентов радиальной дисторсии, составлении гистограммы зависимости частот повторяемости найденных коэффициентов от их величин, определении значений коэффициента как среднего в окрестности значения коэффициента с максимальной частотой повторения, коррекции искажений, вызванных радиальной дисторсией.

Недостатками способа являются: неспособность компенсации периодических составляющих радиальной и тангенциальной составляющих дисторсии, а также низкая (пиксельная) точность определения коэффициента дисторсии.

Технической задачей изобретения является определение параметров дисторсии объектива и коррекции ее влияния на изображение. Технический результат при использовании заявляемого изобретения заключается в снижении влияния дисторсии на искажение изображения формируемого оптическим объективом.

Технический результат изобретения достигается тем, что в способе определения коэффициента дисторсии и коррекции искажений, вызванных радиальной дисторсией, основанный на выполнении экспозиции испытательного полигона в виде равномерно распределенных концентрических окружностей и радиусов посредством исследуемой фотокамеры, считываются координаты узлов полигона, осуществляется преобразование декартовых координат изображений узлов испытательного полигона на фотоматрице в полярные координаты, вычисляются коэффициенты математической модели дисторсии, которая представляет собой три разложения в ряды, один степенной и два ряда Фурье, последовательно выполняется компенсация радиальной дисторсии, периодических составляющих радиальной и тангенциальной дисторсии.

Сущность изобретения обусловлена выполнением следующих действий:

выполнение фотоэкспозиции испытательного полигона в виде равномерно распределенных концентрических окружностей и радиусов посредством исследуемой фотокамеры;

считывание координат узлов полигона посредством субпиксельной обработки изображения полигона;

преобразование декартовых координат изображений узлов испытательного полигона на фотоматрице в полярные координаты;

вычисление коэффициентов математической модели дисторсии;

последовательное выполнение компенсации радиальной дисторсии, периодических составляющих радиальной и тангенциальной дисторсии.

На фиг. 1 показано взаимное расположение фотокамеры и полигона:

На фиг. 2 показан вид испытательного полигона, где i=0…31, j=1…8;

На фиг. 3 показан график зависимости радиальной дисторсии R(r_j) от номера окружности i.

На фиг. 4 показан график зависимости периодической составляющей радиальной дисторсии ρ(λ_i) от номера радиуса i (для номера окружности j=4…7).

На фиг. 5 показан график периодической составляющей тангенциальной дисторсии представленной зависимостью угла отклонения радиусов α_i от их номера.

Способ реализуется следующим образом.

В настоящее время во многих областях техники все большее распространение получают оптико-электронные системы, в состав которых часто входят цифровые фотокамеры, которые представляют собой уникальное измерительное средство способное функционировать дистанционно и в автоматическом режиме.

Однако оптические системы фотокамер как правило не соответствуют высоким требованиям, предъявляемым к измерительным приборам, поскольку они обычно разрабатываются с использованием предположения, что проецирование трехмерного пространства на плоскость фотоматрицы описывается моделью «камера-обскура». Одной из наиболее существенных причин погрешностей таких систем является дисторсия оптической системы, которая не только хорошо изучена, но и разработаны многочисленные способы ее минимизации. Существует ряд конструктивных способов компенсации аберраций до допустимых пределов, но этот путь совершенствования качества оптических систем ограничен существенным возрастанием их стоимости. Поэтому к настоящему времени разработаны способы алгоритмического исправления дисторсии, которые основаны на использовании математических моделей дисторсии и испытательного полигона в виде квадратной сетки со значительным количеством ячеек [Shang, J.J., Shi, Z.K.: Vision-based runway recognition for UAV autonomous landing. Int. J. Comput. Sci. Netw. Secur. 7(3), 112-117 (2007).].

Такой подход предполагает хранение в постоянном запоминающем устройстве калибровочной информации, а также значительных вычислений. Одной из наиболее распространенных моделей дисторсии является модель Брауна-Конради [Conrady, А. Е. Decentred lens-systems / А. Е. Conrady // Monthly notices of the royal astronomical society. - 1919. - т. 79, №5. - с. 384-390.] которая описывает следующие преобразования координат (x_u, y_u) точки на неискаженном изображении

где (x_d, y_d) - координаты точки (x_u, y_u) на искаженном дисторсией изображении; - расстояние от оптического центра (c_X, c_Y) до точки (x_u, y_u); k_i - коэффициенты радиальной дисторсии; k_i - коэффициенты тангенциальной дисторсии.

В библиотеке OpenCV [OpenCV: Open Source Computer Vision Library / GitHub. 2017. [Электронный ресурс] URL: https://github.com/opencv/opencv (дата обращения 10.07.2017).] (которая является мировым стандартом для компьютерной обработки изображений и видео в сфере свободного программного обеспечения) используется модель дисторсии, описанная соотношениями (2). Следует особо отметить, что в OpenCV коэффициенты радиальной дисторсии k₄, k₆ используются не в качестве коэффициентов при высших степенях полинома как в классическом описании (1), а в качестве коэффициентов аналогичного полинома в знаменателе. Такой вид функции радиальной дисторсии уменьшает вероятность превышения максимально возможного значения переменной при расчете двенадцатой степени числа r:

где - смещение координат, вызванное радиальной дисторсией; Δх₁=р₂(r²+2х²)+2р₁ху - смещение координаты x, вызванное тангенциальной дисторсией; Δу₁=р₁(r²+2у²)+2р₂ху - смещение координаты y, вызванное тангенциальной дисторсией; .

Исследование возможностей программного обеспечения из OpenCV для устранения дисторсии объектива фотокамеры показало, что оно не позволяет получить метрическую систему технического зрения, поскольку размеры «исправленных» изображений равных отрезков полигона имеют разброс порядка 1%. Поэтому необходимо дальнейшее улучшение такого алгоритмического подхода. Исследованиями было установлено, что имеется несколько причин не способности, известных программных продуктов к более существенному устранению дисторсии:

использование испытательного полигона в виде квадратной сетки, которая не соответствует геометрии оптической системы фотокамеры, представляющей собой совокупность линз в виде тел вращения с общей осью;

использование декартовой системы координат для описания математической модели дисторсии;

использование математической модели дисторсии, описывающей только наиболее существенные составляющие оптических искажений, то есть модель с ограниченной адекватностью.

Очевидно, что все три названных причины взаимосвязаны и нуждаются в полной замене. Поэтому предлагается испытательный полигон в виде концентрических окружностей и радиальных линий, который наилучшим образом соответствует характеру искажений, а полярные координаты наиболее просто и адекватно описывают искажения изображений. Численные исследования искажений реальных объективов показали, что радиальные искажения в полярных координатах содержат две составляющие, одна из которых хорошо известна и отлично описываются полиномиальным разложением, а вторая составляющая радиальных искажений, а также тангенциальные искажения имеют вид периодических функций. Таким образом, в полярных координатах дисторсия имеет следующее представление.

где ƒ₁(r) и ƒ₂(ϕ) - функциональные зависимости, описывающие радиальные искажения изображения, ƒ₃(ϕ) - функция, описывающая тангенциальные искажения, (r, ϕ) и (r', ϕ') - полярные координаты точек изображения с искажениями и без них.

Особенно заметны эти искажения для короткофокусных объективов и проявляются они в виде эллипсоподобных изображений окружностей полигона, полуоси которых оказываются разноразмерными. Физической причиной этих искажений, существенно нарушающих симметрию изображения является несовпадение оптических осей линз объектива и неортогональность оптической оси объектива и плоскости фотоматрицы.

При фотоэкспонировании полигона весьма сложно выполнить идеальное взаимное расположение камеры и полигона, когда OABCD образует равнобедренную пирамиду в вершине которой размещается центр объектива фотокамеры (фиг. 1), в частности сложно разместить фотокамеру так чтобы центр изображения совпал с центром фотоматрицы, а изображение оси ОХ совпало с ее строкой. Для исправления этих технологических трудностей в методику включены дополнительные процедуры (пункты 3 и 5).

Методика компенсации искажений состоит в следующей последовательности действий:

1) Производится фотоэкспозиция испытательного полигона, исследуемой камерой, вид которого представлен на фиг. 2.

2) С помощью программы обработки изображения считываются координаты узлов полигона, которые представляются в виде двух матриц (x_ij)_32×8 и (y_ij)_32×8.

3) Посредством следующего очевидного преобразования декартовых координат изображения обеспечивается точное совпадение центра фотоматрицы и центра изображения полигона

где x₀₀, y₀₀ - координаты центра изображения полигона.

4) Осуществляется переход от декартовых координат изображений узлов испытательного полигона на фотоматрице к координатам в полярной системе по известным формулам:

где r_ij - полярный радиус координат изображения узла с номером i, j, ϕ_ij -полярный угол изображения узла.

5) Выполняется малый поворот изображения , позволяющий совместить нулевую строку фотоматрицы с изображением горизонтальной оси полигона. При этом использование среднего значения полярных углов узлов этой оси полигона позволяет уменьшить влияние погрешностей как обработки изображения полигона, так и погрешностей его изготовления.

6) Экспериментальное исследование изображения полигона показало, что имеет место три характерных вида искажений:

- радиальное искажение известное как бочкообразная дисторсия, представленное на фиг. 3 успешно аппроксимируется посредством следующего степенного ряда

где - статистическое среднее узлов j-й окружности (j=1…8);

- радиальное периодическое отклонение изображения j-го контура полигона от окружности, показанное на фиг. 4. Эти искажения аппроксимируются рядом Фурье

где - статистическое среднее угловых координат узлов i-го радиуса на изображении полигона, c_k - коэффициенты разложения периодической составляющей радиальной дисторсии;

- тангенциальное периодическое искажение, которое имеет особенность, связанную с тем, что прямые радиальные линии полигона остаются на изображении прямыми с точностью до 10^-4 рад, а это дает основание для утверждения о том, что искажения внешней окружности изображения повторяются для всех концентрических окружностей полигона. Тангенциальные искажения (фиг. 5) описываются следующим выражением , где - статистическое среднее угловых координат узлов i-го радиуса.

Периодический характер этой функциональной зависимости показывает, что ее аппроксимация может быть успешно выполнена с помощью ряда Фурье следующего вида

где ϕ_i - измеренные значения углового положения узлов полигона i=0…31.

Численные эксперименты с полигоном размерностью 32*8, отпечатанном на лазерном принтере, показали, что пять первых членов разложения (7) и (8) обеспечивают погрешность описания не хуже 0.1 пикс. Достижение только такой точности обусловлено тем, что именно таков порядок погрешности субпиксельной обработки изображения при определении координат центров изображений узлов полигона, поэтому увеличивать число членов разложения для достижения большей точности по условиям проведенного эксперимента не имеет смысла.

7) Для определения коэффициентов модели искажений и исправления изображения используется подход, основанный на методе наименьших квадратов.

В соответствии с методом наименьших квадратов для аппроксимации зависимостей описывающих три вида искажений взяты критерии качества K, L, М - минимум среднего квадрата отклонений искомых кривых от узлов изображения полигона, определенные выражениями:

где ρ_i, R_j, α_i - результаты эксперимента; ƒ₁(r_j, b₂, b₃, b₄), ƒ₂(λ_j, c₀, c₁, c₂,…,c₅, φ₁, φ₂, φ₃, φ₄, φ₅), ƒ₃(ϕ_i, α₀, α₁, α₂,…,α₅, ψ₁, ψ₂, ψ₃, ψ₄, ψ₅) - определяемые аналитические зависимости; b₂,b₃,b₄, c₀, c₁, c₂,…,c₅, φ₁, φ₂, φ₃, φ₄, φ₅, ϕ_i, α₀, α₁, α₂,…,α₅, ψ₁, ψ₂, ψ₃, ψ₄, ψ₅ - оцениваемые параметры; - ошибки измерений; (8*32) - размерность матрицы исходных данных.

Для описания радиальной дисторсии используем первое равенство (9), которое совместно с (6) дает

Решение этой системы нелинейных уравнений позволяет найти вектор оценок параметров . Для фотокамеры USB500w02m, объектив которой имеет фокусное расстояние 3,6 мм. это разложение имеет вид

R(r)=4.1239114⋅10^-9⋅r²+1.7218746⋅10^-7⋅r³+7.1641887⋅10^-11⋅r⁴.

В графическом виде эта зависимость представлена на фиг. 3. Устранение радиальной дисторсии выполняется посредством следующего соотношения

где r - радиальная координата точки.

Для описания периодической составляющей радиальной дисторсии используем 2 равенство системы (9), которое совместно с (7) дает

Решая эту систему нелинейных уравнений с использованием Mathcad находим вектор оценок параметров

Для фотокамеры USB500w02m это разложение имеет вид

ρ(λ)=470.1601+5.4919sin(λ-0.9947)+14.6507sin(2λ-1.5867)-0.4726sin(3λ-0.0442)+0.0276sin(4λ-0.8495)-0.693sin(5λ+0.9902).

В графическом виде эта зависимость представлена на фиг. 4. Устранение радиальной периодической составляющей дисторсии выполняется посредством следующего соотношения

где r - исправленное значение радиуса текущей точки.

Минимизация критерия М обеспечивается при выполнении следующих условий

Решение этой системы нелинейных уравнений позволяет найти вектор оценок параметров , минимизирующих среднее квадратическое отклонение аппроксимирующей кривой от совокупности вычисленных точек (α_i, ϕ_i). Для фотокамеры USB500w02m (фокусное расстояние f=3.6 мм.) это разложение имеет вид

α(ϕ)=1.0689⋅10^-4+4.494⋅10^-3sin(ϕ+0.0916)+0.0335sin(2ϕ-6.5675⋅10^-3)-3.5262⋅10^-3sin(3ϕ+1.1168)-5.6304⋅10^-4sin(4ϕ-0.0803)+1.1236⋅10^-4sin(5ϕ+0.0958),

Устранение этих искажений для произвольной точки изображения с координатами (r, ϕ) выполняется посредством следующего соотношения

Для объектива, используемого в эксперименте дефекты неисправленного изображения имели разброс размеров равных отрезков строк и столбцов 35-50 пикс.

Разброс размеров равных отрезков для изображения, исправленного посредством средств OpenCV составил 4-5 пикс.

Разброс размеров равных отрезков для исправленного изображения посредством разработанной методики составил 0.2-0.25 пикс.

Таким образом, предложенный алгоритмический подход позволяет обеспечить высокую степень исправления физического несовершенства объективов, обусловленную наличием дисторсии.

Изобретение может быть использовано для коррекции радиальной и тангенциальной дисторсии на изображениях, полученных цифровыми фото-, видеокамерами и системами технического зрения, использующих в качестве приемников изображения матричные приемники изображения. Способ компенсации дисторсии объектива основан на определении радиальной и тангенциальной дисторсии и коррекции искажений, вызванных дисторсией. Производят экспозицию испытательного полигона в виде равномерно распределенных концентрических окружностей и радиусов посредством исследуемой фотокамеры, считывают координаты узлов полигона, осуществляют преобразование декартовых координат изображений узлов испытательного полигона на фотоматрице в полярные координаты, вычисляют коэффициенты математической модели дисторсии, которая представляет собой разложения в ряды, степенного и двух рядов Фурье, последовательно выполняют компенсацию радиальной дисторсии, периодических составляющих радиальной и тангенциальной дисторсии. Технический результат - снижении влияния дисторсии на искажение изображения. 5 ил.

Способ компенсации дисторсии объектива, основанный на определении радиальной и тангенциальной дисторсии и коррекции искажений, вызванных дисторсией, отличающийся тем, что производят экспозицию испытательного полигона в виде равномерно распределенных концентрических окружностей и радиусов посредством исследуемой фотокамеры, считывают координаты узлов полигона, осуществляют преобразование декартовых координат изображений узлов испытательного полигона на фотоматрице в полярные координаты, вычисляют коэффициенты математической модели дисторсии, которая представляет собой разложения в ряды, степенного и двух рядов Фурье, последовательно выполняют компенсацию радиальной дисторсии, периодических составляющих радиальной и тангенциальной дисторсии.