Способ определения собственных координат по трем визирным светоизлучающим маркерам Российский патент 2025 года по МПК G01C11/36 

Изобретение относится к измерительной технике и может быть использовано в координатно-измерительных устройствах и системах технического зрения для определения собственных координат и ориентирования в пространстве относительно трех светоизлучающих визирных маркеров с управляемым включением и выключением.

Из уровня техники известен способ обратной угловой засечки (Справочник геодезиста. Книга 2 / под ред. В.Д. Большакова и Г.П. Левчука. 3-е изд., перераб. и доп. М: Недра, 1985. 440 с.), который может быть реализован с помощью теодолита или тахеометра для определения его собственных координат по трем визирным целям с известными координатами. Согласно способу, измеряются дирекционные углы исходного направления тахеометра на визирные цели и с помощью формул тригонометрии определяются координаты тахеометра. Недостатками такого технического решения являются необходимость в предварительном определении координат каждой визирной цели и отсутствие у тахеометра способности различать визирные цели друг от друга. Кроме того, для обнаружения визирных целей в тахеометре используется дополнительный источник лазерного излучения.

Известен способ определения расстояния до объекта при помощи камеры (варианты) (патент RU 2602729, МПК: G01C 11/36 (2006.01), G01C 3/08 (2006.01), опубл. 10.04.2016), в котором при известных калибровочных характеристиках цифровой камеры (коэффициентах радиальной дисторсии ее объектива, а также матрице внутренних параметров K, содержащей выраженные соответственно в единицах длины и ширины пикселей фокусные расстояния и координаты главной точки) получают один кадр, выделяют на нем объект и измеряют расстояние до него на основании метрических и угловых размеров объекта. При этом расстояние до объекта г определяют по формуле:

где М и α - линейный и угловой размеры объекта соответственно. Предполагается, что линейный размер М известен априорно, а угловой размер α может быть вычислен по крайним пикселям изображения объекта.

Недостатком способа является тот факт, что измерение дальности не учитывает ракурса наблюдения объекта съемки, поэтому абсолютная погрешность будет мала только в том случае, если плоскость, в которой расположен объект съемки, параллельна плоскости сенсора камеры, то есть полностью отсутствуют проективные искажения.

Известен способ определения дальности с помощью цифровой видеокамеры и трех источников света (патент RU 2655467, МПК: G01C 11/36 (2006.01), опубл. 28.05.2018), причем три указанных источника света расположены в горизонтальной плоскости, равноудалены друг от друга и мигают с заданной частотой, заключающийся в горизонтировании видеокамеры, чтобы плоскость изображения видеокамеры заняла вертикальное положение и все источники света находились в поле зрения видеокамеры, не перекрывая друг друга, обнаружении источников света на кадрах видеоизображения по частоте изменения яркости, вычислении углов вхождения проецирующих лучей от источников света в объектив видеокамеры, позволяющих определить дальность до геометрического центра, образованного этими источниками света, в соответствии с системой тригонометрических уравнений, оперирующих расстоянием между источниками света, углами, образованными проецирующим лучом от центрального источника света и проецирующими лучами от крайних источников света, абсциссами и ординатами центров источников света на видеоизображении, фокусным расстоянием видеокамеры и физическим размером пикселя на изображении.

К недостатку способа следует отнести необходимость обеспечения требований по обязательному горизонтированию как камеры, так и трех источников света, а также требования к равноудаленности источников света друг от друга.

Известно (Haralick R.M., Lee C.-N., Ottenberg K., Nolle M. Review and analysis of solutions of the three point perspective pose estimation problem // Int. J. of Computer Vision. 1994. Vol. 13, No. 3. P. 331-356), что решение задачи определения местоположения по трем опорным точкам (задача Perspective Three Point – Р3Р) в общем случае не однозначно и может иметь до 4-х решений (Fischler М.А., Bolles R.C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography // Comm. of the ACM. 1981. Vol. 24. P. 381-395). Для устранения неоднозначности используют либо вспомогательный источник света, либо дополнительную камеру, либо датчик для одновременного измерения углового положения камеры по тангажу и крену. Так, в способе оценивания по реперным точкам угловых и пространственных координат объекта в оптико-электронной системе позиционирования (патент RU 2720076, МПК: G01B 11/26 (2006.01), G01S 5/16 (2006.01), опубл. 23.04.2020), основанном на размещении на объекте позиционирования кластера из n=4 реперов с известными координатами, причем реперы не являются компланарными, на съемке данного кластера с помощью видеокамеры и вычислении пространственных координат кластера по формируемым видеокамерой изображениям, в зависимости от текущего положения кластера относительно камеры адаптивно выбирают способ решения задачи позиционирования путем решения одной из задач класса Perspective n Point - PnP: либо Р4Р при n=4 наблюдаемых реперах, либо Р3Р при n=3 наблюдаемых реперах, причем предполагается, что первоначально пространственное положение реперов для исключения неоднозначности было вычислено путем решения задачи Р4Р, либо Р2Р при n=2 наблюдаемых реперах, при этом поиск решения выполняется с учетом информации о крене и тангаже от вспомогательной инерциальной подсистемы позиционирования, размещаемой на камере или на объекте позиционирования.

Как было отмечено выше, к недостатку способа следует отнести необходимость использования либо дополнительного - четвертого - реперного излучателя, либо вспомогательного инерциального сенсора для одновременного измерения крена и тангажа.

По совокупности признаков в качестве прототипа выбран способ определения собственных координат по трем визирным целям (патент RU 2769637, МПК: G01C 11/36 (2006.01), опубл. 04.04.2022). Способ прототипа реализуется с помощью видеограмметрической системы, состоящей из видеограмметрического устройства и трех визирных целей, при этом визирные цели располагают в горизонтальной плоскости на одинаковом расстоянии друг от друга так, что они образуют сферическую систему координат с началом координат в их геометрическом центре. При этом визирные цели мигают с разными частотами, позволяя видеограмметрическому устройству обнаруживать и различать их, измерять угловые координаты и вычислять дальность до геометрического центра, образованного этими визирными целями, в результате чего определяются собственные координаты видеограмметрического устройства. Измерение дальности до начала координат совокупности визирных целей основано на тригонометрических соотношениях.

К недостаткам способа прототипа следует отнести необходимость обеспечения требований по горизонтированию трех визирных целей и их равноудаленности друг от друга. Необходимо также отметить, что для решения задачи Р3Р конфигурация трех визирных целей в виде равностороннего треугольника является наименее удачной, так как именно при ней возникает максимальная неоднозначность - до 4-х возможных решений единовременно (Fischler М.А., Bolles R.C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography // Comm. of the ACM. 1981. Vol. 24. P. 381-395).

Техническая проблема, решаемая созданием заявленного изобретения, заключается в необходимости выполнения процедуры горизонтирования трех визирных целей, что повышает трудоемкость реализации способа определения собственных координат и затрудняет реализацию способа в условиях ограниченного рабочего объема, в котором выполняется определение собственных координат.

Технический результат изобретения заключается в отказе от требований горизонтирования визирных излучателей и равенства расстояний между ними, что упрощает подготовку указанных визирных целей к выполнению определения собственных координат.

Технический результат достигается тем, что для определения собственных координат одним из известных из уровня техники способов (Haralick R.M., Lee C.-N., Ottenberg K., Nolle M. Review and analysis of solutions of the three point perspective pose estimation problem // Int. J. of Computer Vision. 1994. Vol. 13, No. 3. P. 331-356; Li S., Xu C. A stable direct solution of perspective-three-point problem // Int. J. Pattern Recognit. Artif. Intell. 2011. Vol. 25. P. 627-642; Ke Т., Roumeliotis S.: An efficient algebraic solution to the perspective-three-point problem // Proc. of IEEE Conf. on Computer Vision and Pattern Recognition (CVPR). Honolulu, 2017. P. 4618-4626; Nakano G. A simple direct solution to the perspective-three-point problem // Proc. of British Machine Vision Conference. 2019. P. 26) решают задачу Р3Р для определения пространственных координат визирных светоизлучающих маркеров в системе координат видеокамеры. При этом для исключения неоднозначности решения задачи Р3Р используют вспомогательный датчик положения по единственной угловой координате - либо по крену, либо по тангажу - и накладывают следующие ограничения на взаимное расположение камеры и визирных светоизлучающих маркеров друг относительно друга в рабочем объеме во время выполнения процедуры ориентирования:

1) угловые и линейные перемещения камеры таковы, что в поле ее. зрения попадают все три излучающих визирных метки М₁, М₂ и М₃;

2) визирные маркеры М₁, М₂ и М₃ образуют треугольник, длины сторон которого не равны друг другу;

Если решение задачи Р3Р единственное, то его и принимают за искомые значения пространственных координат М₁-М₃.

Если решений задач Р3Р несколько, а, как правило, их два или три (Haralick R.M., Lee C.-N., Ottenberg K., Nolle M. Review and analysis of solutions of the three point perspective pose estimation problem // Int. J. of Computer Vision. 1994. Vol. 13, No. 3. P. 331-356), то сравнивают вычисленную оптическим способом угловую координату либо крена, либо тангажа с показаниями вспомогательного установленного на видеокамере датчика либо крена, либо тангажа соответственно, и принимают за решение задачи Р3Р ту комбинацию М₁-М₃, при которой разница угловых положений, вычисленных оптическим методом и вспомогательным датчиком иной физической природы (например, инерциальным) минимальна. При этом по найденным в результате решения задачи Р3Р пространственным координатам визирных меток M₁-М₃ оценивают матрицу поворота и вектор параллельного переноса камеры одним из известных из уровня техники способов: например, согласно (Umeyama S. Least-squares estimation of transformation parameters between two point patterns // IEEE Trans, on Pattern Analysis and Machine Intelligence. 1991. Vol. 13, Is. 4. P. 376-380).

Для реализации фотограмметрического метода измерения Р3Р. видеокамера должна быть фотограмметрически откалибрована.

Рассмотрим работу способа на численном примере. Будем полагать, что видеокамера фотограмметрически откалибрована и для пиксельных координат центров изображений визирных маркеров выполнена процедура компенсации дисторсии. Координаты центров изображений маркеров могут быть оценены с субпиксельной точностью одним из известных из уровня техники способов (Шадрин М.В. Лазерный триангуляционный 3D-метод и устройство для прототипирования и изготовления сложных изделий: дис. канд. техн. наук. Рязань, 2020).

Без нарушения общности решаемой задачи зададимся численными значениями размеров кадра пикселей и угловых размеров поля зрения видеокамеры Δϕ_х×Δϕ_y=60°×45° по горизонтали и вертикали соответственно и координатами ее главной точки

Введем в качестве глобальной системы координат общепринятую (Hartley R., Zisserman A. Multiple view geometry in computer vision: 2^nd edition. Cambridge: Cambridge University Press, 2003. 656 p.) для математической модели проективной камеры правую тройку векторов: ось X - вправо, ось Y -вниз, ось Z - вперед. Поскольку ось Y направлена вниз, то объектам большей высоты будут соответствовать меньшие значения координаты Y.

Примем, например, следующие численные значения координат визирных меток (все значения - в метрах) в глобальной системе координат (см. фиг. 1):

Зададим, например, следующие абсолютное положение видеокамеры С и углы ее ориентации в глобальной системе координат, где ϕ_q, q - {х, у, z} - углы Эйлера, обозначающие поворот вокруг соответствующих координатных осей системы координат, связанной с видеокамерой:

Подставив приведенные выше численные значения в уравнение проективной камеры

где М_одн и m_одн - соответственно однородные пространственные координаты визирного светоизлучающего маркера и однородные пиксельные координаты центра его отметки на изображении с камеры, а Р - матрица проекции,

где R и t - соответственно матрица поворота и вектор параллельного переноса системы координат камеры относительно глобальной системы координат,

матрицы поворота вокруг соответствующих координатных осей, получим следующие значения для пиксельных координат отметок от маркеров М₁-М₃:

m₁=(323,737, 708,732),

m₂=(492,890, 452,812),

m₃=(694,994, 708,981).

Условно выбрав для решения задачи Р3Р в качестве опорной точку M₁ и вычислив согласно (Li S., Xu С.A stable direct solution of perspective-three-point problem // Int. J. Pattern Recognit. Artif. Intell. 2011. Vol. 25. P. 627-642) коэффициенты полинома 4-й степени для параметра t₁,

В₄=-0,860259,

В₃=0,176768,

B₂=5,221758⋅10^-4,

В₁=-1,615988⋅10^-3,

В₀=7,042493⋅10^-5,

получим (Cardano G., Witmer T.R., Ore О. The rules of algebra: Ars Magna. Vol. 685. Courier Corporation, 2007), что он имеет три действительных корня (график B(t₁) для участка с пересечениями оси абсцисс показан на фиг. 2):

t₁₁=0,068855,

t₁₂=0,082036,

t₁₃=0,150737.

Для указанных корней полинома вычисленные в системе координат камеры пространственные координаты реперных маркеров следующие:

1) для корня t₁₁ -

2) для корня t₁₂ -

3) для корня t₁₃ -

Согласно (Umeyama S. Least-squares estimation of transformation parameters between two point patterns // IEEE Trans, on Pattern Analysis and Machine Intelligence. 1991. Vol. 13, Is. 4. P. 376-380) можно оценить матрицу поворота и вектор параллельного переноса камеры относительно визирных маркеров. По априорно известным 3D координатам M_i и вычисленным с помощью алгоритма Р3Р координатам М_кij, i, j={1, 2, 3}, для каждого j-го решения задачи Р3Р можно оценить матрицы поворота R_j и вектор трансляции t_j:

где n=3, а унитарные матрицы U_j и V_j, состоящие из левых и правых сингулярных векторов соответственно, получаются в результате разложения по сингулярным числам матрицы кросс-корреляции

где

Умножение на вспомогательную диагональную матрицу в (3) необходимо для того, чтобы матрица R_j являлась матрицей поворота и имела определитель det{R_j}=1, так как в некоторых случаях матрица может иметь определитель и, следовательно, описывать не являющееся аффинным преобразование одновременно и вращения, и зеркального отражения относительно оси Z, т.е. не являться матрицей поворота по определению. Углы Эйлера ϕ_xj, ϕ_yj и ϕ_zj, имеющие физический смысл углов тангажа, рыскания и крена видеокамеры для j-го решения задачи Р3Р соответственно, с учетом (2) могут быть извлечены из матриц поворота R_j в соответствии с формулами:

где - элементы матрицы R_j.

В особых точках (ϕ_xj=±90°) угол рыскания ϕ_yj вычисляется по формуле:

ϕ_yj=atan2(R₁₂, R₁₁)

Выполнив для вычисленных пространственных координат M_кij - расчеты по (3) и (5), получим следующие значения для углов Эйлера:

1) для корня t₁₁ -

ϕ_x1=-17,319°, ϕ_y1=-11,240°, ϕ_z1=12,021°;

2) для корня t₁₂ -

ϕ_x2=-20°, ϕ_y2=-5°, ϕ_z2=8°;

3) для корня t₁₃ -

ϕ_x3=-17,172°, ϕ_y3=10,039°, ϕ_z3=-1,471°.

Если вспомогательный установленный на видеокамере датчик измерения углового положения по одной из угловых координат - либо крену ϕ_z, либо тангажу ϕ_x - обеспечивает погрешность измерения не хуже долей градуса, например, это может быть датчик с инерциальным микроэлектромеханическим чувствительным элементом (Белокуров В.А. Применение автоковариационного метода наименьших квадратов в инвариантной схеме угловой ориентации // Вестник Рязанского государственного радиотехнического университета. 2018. №64. С. 9-16), то в качестве решения задачи Р3Р по критерию минимума абсолютной разности угла ориентации

будет выбрано решение для корня t₁₂, которое и является истинным.

Вычисленные по (4) для корня t₁₂ значения элементов вектора параллельного переноса:

т.е. выполняется равенство t=С.

Для корректной идентификации по изображениям с видеокамеры визирных маркеров 1-3 может быть реализовано либо их периодическое включение и выключение (мигание) с различными частотами F₁, F₂, F₃ (как в способе прототипа), либо включение и выключение в соответствии с законом манипуляции, соответствующим бинарному помехоустойчивому коду Хэмминга. В последнем случае временное - на один или несколько кадров -пропадание из поля камеры либо закрытие посторонним объектом маркеров за счет корректирующих свойств кода Хэмминга не влияет на их успешную идентификацию.

Изобретение относится к измерительной технике и может быть использовано в координатно-измерительных устройствах и системах технического зрения для определения собственных координат и ориентирования в пространстве относительно трех светоизлучающих визирных маркеров с управляемым включением и выключением. Способ определения собственных координат по трем визирным светоизлучающим маркерам с помощью видеограмметрической системы состоит в том, что визирные цели позволяют видеограмметрическому устройству обнаруживать и различать их, измерять угловые координаты и вычислять дальность до геометрического центра, образованного этими визирными целями, в результате чего определяются собственные координаты видеограмметрического устройства. Далее определяют наборы всех возможных пространственных координат трех маркеров путем поиска решений задачи Р3Р. При этом для каждого решения вычисляются углы Эйлера и вектор параллельного переноса и выбирается тот набор маркеров, который обеспечивает минимальную абсолютную разность одного из углов Эйлера - либо крена, либо тангажа - относительно показания вспомогательного установленного на видеограмметрическое устройство датчика углового положения по крену либо тангажу. Для идентификации маркеров на изображениях применяется их включение и выключение в соответствии с законом манипуляции, соответствующим бинарному помехоустойчивому коду Хэмминга. Технический результат – упрощение определения собственных координат за счет отказа от горизонтирования визирных излучателей и равенства расстояний между ними. 2 ил.

Способ определения собственных координат по трем визирным светоизлучающим маркерам с помощью видеограмметрической системы, состоящей из видеограмметрического устройства и трех визирных целей, при этом визирные цели позволяют видеограмметрическому устройству обнаруживать и различать их, измерять угловые координаты и вычислять дальность до геометрического центра, образованного этими визирными целями, в результате чего определяются собственные координаты видеограмметрического устройства, отличающийся тем, что для определения наборов всех возможных пространственных координат маркеров M₁-М₃ выполняется поиск решений задачи Р3Р, для каждого решения вычисляются углы Эйлера и вектор параллельного переноса, из которых выбирается набор маркеров M₁-M₃, обеспечивающий минимальную абсолютную разность одного из углов Эйлера - либо крена, либо тангажа - относительно показания вспомогательного установленного на видеограмметрическое устройство датчика углового положения по крену либо тангажу, а для идентификации маркеров на изображениях применяется их включение и выключение в соответствии с законом манипуляции, соответствующим бинарному помехоустойчивому коду Хэмминга.