Способ калибровки набора камер для оптического трекинга объектов Российский патент 2025 года по МПК G06T7/80 G06T7/73 

Изобретение относится к области вычислительной техники, в частности к способам для калибровки набора камер для задач оптического трекинга объектов в пространстве.

Из уровня техники известен способ обнаружения и сопровождения движущихся объектов на основе данных трехмерного датчика (патент RU 2656711, МПК: G06K 9/62 (2006.01), G06T 7/20 (2006.01), опубл. 17.05.2018), включающий следующие шаги:

- получают последовательность кадров в реальном времени от трехмерного датчика, установленного на подвижном объекте;

- выделяют на полученной последовательности кадров движущиеся точки посредством применения статического критерия гладкости и критерия видимости движения;

- формируют, по меньшей мере, один кластер движущихся точек, который соответствует движущемуся объекту, следующим образом:

начиная с произвольной движущейся точки к кластеру, рекурсивно добавляют все движущиеся точки, расстояния от которых до ближайшей точки кластера меньше заданного порога, при этом точка, ранее не помеченная как движущаяся, добавляется к существующему кластеру при условии, что она находится на расстоянии, меньшем порогового от точки кластера и классифицирована как движущаяся по статическому критерию гладкости и критерию видимости;

- преобразуют каждый кластер, сформированный на предыдущем шаге, в облако точек движущегося объекта на текущем кадре;

- совмещают облака точек одних и тех же движущихся объектов на текущем и предыдущем кадрах последовательности кадров, полученной от трехмерного датчика, тем самым получая смещение движущихся объектов;

- формируют накопленное облако точек, по меньшей мере, одного движущегося объекта посредством совмещения облака точек движущегося объекта текущего кадра и накопленного облака точек, полученного на предыдущем шаге;

- выполняют выбраковку точек из сформированного облака точек;

- формируют статистическую модель, по меньшей мере, одного движущегося объекта на основании накопленного облака точек, по меньшей мере, одного движущегося объекта, сформированного на предыдущем шаге;

- определяют координаты, скорость и размеры движущегося объекта по сформированной на предыдущем шаге статистической модели, по меньшей мере, одного движущегося объекта и полученного смещения движущихся объектов.

При этом способ характеризуется тем, что трехмерным датчиком является времяпролетный датчик, или трехмерная камера, или стереокамера, или триангуляционный сканер, или лазерная сканирующая система. Таким образом, способ не предполагает работы с мультикамерными системами оптического трекинга.

Известна система калибровки набора камер для задач оптического трекинга объектов в пространстве (патент RU 2811363, МПК: G06T 7/73 (2017.01), G06T 7/80 (2017.01), опубл. 11.01.2024), в которой описан способ калибровки набора камер для задач оптического трекинга, выбранный в качестве прототипа как наиболее близкий по совокупности признаков. Способ прототипа содержит этапы, на которых последовательно осуществляется:

- подсчет количества подключенных камер путем сканирования файловой системы;

- непрерывное последовательное чтение кадров со всех подключенных камер, причем получение изображений с каждой камеры выполняется в разных потоках;

- поиск на каждом считанном кадре изображений оптических маркеров;

- определение геометрического центра для каждого изображения маркера;

- формирование пакета с массивом геометрических центров каждого найденного маркера для отправки на вычислительное устройство;

- отправка пакета на вычислительное устройство-сервер через socket соединение посредством UDP-пакета, причем отправка производится на известный локальный ip адрес вычислительного устройства, причем каждое вычислительное устройство-агрегатор на каждом цикле своей работы отправляет на локальный IP адрес и порт вычислительного устройства-сервера UDP-запрос, содержащий список координат центров изображений маркеров на кадрах подключенных камер;

- преобразование локальных координат изображения маркера в системе координат камеры в глобальные координаты посредством функции, на вход которой принимаются калибровочная матрица камеры и координаты точки на кадре, а на выходе - трехмерные координаты точки в пространстве в глобальной системе координат;

- нахождение пересечений, фильтрация и отправка результирующего пакета, причем нахождение пересечений осуществляется путем расчета попарных пересечений всех прямых, построенных на основе полученных координат маркеров на кадрах камер, а полученные пересечения фильтруются по критерию качества и выполняется привязка полученных 3D-координат к объектам трекинга, при этом отправка результирующего пакета с координатами объекта выполняется с помощью UPD-запроса на socket принимающего вычислительного устройства.

Недостатком способа прототипа является тот факт, что даже при работе с мультикамерной системой оптического трекинга с общим количеством камер n>2 для вычисления пространственных координат оптических маркеров используют минимально необходимое количество прямых, а именно - две, и не используют псевдорешения системы уравнений для 2<l≤n прямых для снижения погрешности оценивания 3D-координат маркеров.

Техническая проблема, решаемая заявляемым изобретением, заключается в неиспользовании части имеющейся информации для минимизации погрешности оценивания 3D-координат маркеров, применяемых в мультикамерных системах оптического трекинга.

Технический результат изобретения заключается в снижении погрешности оценивания 3D-координат маркеров, применяемых в мультикамерных системах оптического трекинга.

Указанный технический результат достигается адаптивным выбором количества уравнений проективной геометрии для решения задачи восстановления пространственных координат оптических маркеров.

Рассмотрим в качестве примера геометрическую постановку задачи определения пространственных координат размещенных на объекте оптических маркеров для системы с n=3 камерами K1, К2 и К3 (фиг. 1), размещенных в помещении прямоугольной формы шириной W метров и глубиной D метров в точках с пространственными координатами С₁, С₂ и С₃ соответственно, если требуется определить пространственные координаты маркера в виде кластера с r=3 реперными точками (реперами) с номерами 1, 2 и 3, располагающимися в точках с пространственными координатами М₁, М₂ и М₃ соответственно. На фиг. 1 показан только первый репер маркера с текущей координатой M_l; геометрическая постановка задачи для реперов с номерами 2 и 3 будет аналогичной.

Пусть, как и в способе прототипа, выполнена фотограмметрическая калибровка камер системы оптического трекинга, т.е. известны их внутренние и внешние параметры, и выполнена компенсация дисторсии, вносимой их оптическими системами. Таким образом, справедливо решать задачу восстановления 3D-координат с помощью уравнений проективной геометрии (Hartley R., Zisserman A. Multiple View Geometry in Computer Vision: 2^nd ed. Cambridge: Cambridge University Press, 2003. 656 p.). Поскольку для математической модели проективной камеры справедливо выражение

где М_одн - вектор однородных пространственных координат наблюдаемой точки М, М_одн = [М_х, M_y, M_z, 1]^T, m_одн - вектор однородных пиксельных координат ее проекции на плоскость изображения камеры, m_одн=[m_x, m_y, 1]^T, Р - матрица проекции камеры, × - символ векторного произведения векторов, 0=[0, 0, 0]^T, а ранг матрицы Р равен двум, то, переписав векторное произведение (1) с помощью кососимметрической матрицы в виде

получим для одной реперной точки систему из двух линейных алгебраических уравнений с тремя неизвестными координатами М_х, М_у, M_z:

где Р^<1>, Р^<2>и Р^<3> - соответственно 1-я, 2-я и 3-я строки матрицы Р. Псевдорешение системы линейных алгебраических уравнений, составленной из выражений (3) для как минимум l=2 наблюдающих репер М с различных ракурсов камер, позволяет вычислить его пространственные координаты.

Поиск решения системы линейных алгебраических уравнений, составленных из (3), заключается в следующем:

1) составляют матрицу Q_2/×4 размера из строк m_xP^<3> - P^<1> и m_yP^<3> - Р^<2> для каждой камеры, наблюдающей маркер;

2) представляют ее в виде

где q_2l - последний столбец матрицы Q_2/×4, а «|» - оператор аугментации, т.е. пристыковки столбца q_2l к матрице Q_2l×3 справа;

3) находят псевдорешение

В способе прототипа для выбора предпочтительной пары камер используется критерий, в котором определяют пару камер с наименьшей длиной отрезка, соединяющего скрещивающиеся в пространстве прямые, проведенные из оптических центров камер в точку М, и перпендикулярного обеим прямым. В качестве координаты точки репера маркера принимается центр этого отрезка.

В предлагаемом способе для реперов маркера, наблюдаемого одновременно l камерами, 2≤l≤n, для нахождения псевдорешения системы линейных алгебраических уравнений, составленной из выражений (3), рассматриваются все возможные, а не только парные, сочетания C_p^q прямых, соединяющих оптические центры камер и центры проекций изображений реперов маркера в плоскости изображения, причем р=l, l-1, …, 2, q=l, l-1, …, 2 и q≤р. Например, для маркеров, наблюдаемых одновременно l=4 камерами (например, с номерами 1, 2, 3 и 4) для нахождения псевдорешений (3) составляют следующие комбинации:

из которых для решения задачи восстановления 3D-координат реперов маркера выбирается то сочетание, которое минимизирует среднеквадратическую ошибку определения линейных размеров маркера:

где ||⋅|| - оператор вычисления два-нормы вектора.

Без нарушения общности решаемой задачи, рассмотрим работу способа прототипа и предлагаемого способа для двух численных примеров, соответствующих геометрической постановке задачи фиг. 1. Пусть:

- размеры помещения: W=Н=4 м;

- размеры кадра всех камер: w×h=640×480 пикселей;

- поля зрения всех камер по горизонтали и вертикали: Δϕ_x×Δϕ_y=80°×60°;

- матрицы внутренних параметров всех камер:

где f_x=0,5w/tg(0,5Δϕ_x), f_y=0,5h/tg(0,5Δϕ_y), c_x=0,5 w, c_y=0,5h;

- координаты центров камер в глобальной системе координат (см. фиг. 1):

- углы визирования камер в глобальной системе координат, заданные углами Эйлера:

- пространственные координаты маркеров в глобальной системе координат:

Субпиксельные координаты центров изображений маркеров всегда оцениваются с некоторой погрешностью, на величину которой влияют качество компенсации нелинейных искажений, вносимых оптической системой (дисторсии), и уровень шумов фотоприемного устройства (Методы и алгоритмы позиционирования в авиационных нашлемных информационно-управляющих системах: дисс. канд. техн. наук: специальность 05.11.16 / О.В. Павлов. Рязань, 2019. 143 с). Будем полагать, что указанная погрешность для каждой из камер различна, что и рассмотрим в примерах ниже.

Пример 1

Абсолютные погрешности определения положения центров свечения маркеров в плоскости изображения для камер К1, К2 и К3 приближенно равны по модулю:

Вычислим матрицы проекции камер по формулам

где R_i и t_i - матрица поворота и вектор параллельного переноса системы координат i-й камеры относительно глобальной системы координат,

матрицы поворота вокруг соответствующих координатных осей.

Однородные пиксельные координаты связаны с пространственными координатами j-го маркера через матрицу проекции:

С учетом погрешности измерения центра изображения маркера получим:

Расчеты по (6) и (8) для указанных выше численных значений параметров приводят к следующим численным значениям для пиксельных координат реперов маркера:

- для камеры 1

- для камеры 2

- для камеры 3

Согласно способу прототипа наилучшей парой камер для вычисления координат реперного маркера для данного численного примера является пара камер {2-3}. Псевдорешение (4) системы уравнений (3) для пары камер {2-3} дает следующие численные значения для координат реперов оптического маркера:

значение критерия (4):

Согласно предлагаемому способу решения системы уравнений (3) критерии (5) вычисляются для всех комбинаций. Для комбинации камер {1-2}:

значение критерия (5):

Для комбинации камер {1-3}:

значение критерия (5):

Для комбинации камер {1-2-3}:

значение критерия (5):

Действительно, псевдорешение (4) системы уравнений (3) при приблизительно одинаковых погрешностях определения центров изображений координат реперов каждой камерой будет тем ближе к истинным их значениям, чем большее количество камер задействовано. Псевдорешение (4) системы уравнений (3), составленной для l=3 камер, т.е. комбинации {1-2-3}, обеспечивает для Примера 1 минимальную среднеквадратическую ошибку измерения (5) из всех 4 рассмотренных комбинаций, в т.ч. - по сравнению с предпочтительной комбинацией {2-3} способа прототипа.

Пример 2

Абсолютная погрешность определения положения центров свечения маркеров для одной из камер в разы превышает аналогичные погрешности для других камер:

Выполнив расчеты по аналогии с Примером 1, получим следующие численные результаты. Пиксельные координаты реперов:

- для камеры 1

- для камеры 2

- для камеры 3

Согласно и способу прототипа, и предлагаемому способу, предпочтительной комбинацией камер для вычисления координат реперного маркера для данного численного примера является пара {2-3}. Псевдорешение (4) системы уравнений (3) для нее дает численные значения для координат реперов оптического маркера

и значение критерия (5)

Таким образом, предлагаемый способ имеет большую робастность к шумам измерений и погрешностям компенсации дисторсии, вносимой оптическими системами камер, так как позволяет выбрать для решения (3) наилучшую в смысле критерия (5) предпочтительную комбинацию камер, не обязательно являющуюся парой.

Следует отметить, что дополнительно снизить погрешность оценивания координат реперов маркера после решения системы линейных уравнений, составленных из уравнений (3), позволяет применение метода наименьших квадратов с итеративным пересчетом весов (Daubechies I. DeVore R., Fornasier М., Gntrk C.S. Iteratively reweighted least squares minimization for sparse recovery // Communications on Pure and Applied Mathematics. 2010. Vol. 63, No. 1. P. 1-38) для каждой пары уравнений (3). В этом случае псевдорешение (4) используется как начальное условие.

Изобретение относится к вычислительной технике. Технический результат заключается в снижении погрешности оценивания 3D-координат маркеров, применяемых в мультикамерных системах оптического трекинга. В способе реализуют подсчет количества подключенных камер, непрерывное последовательное чтение кадров со всех подключенных камер, поиск на каждом считанном кадре изображений оптических маркеров, формирование пакета с массивом геометрических центров каждого найденного маркера и отправку на вычислительное устройство, преобразование локальных координат изображения маркера в системе координат камеры в глобальные координаты, при этом для измерения пространственных координат маркера анализируют все возможные сочетания одновременно наблюдающих его l камер, для каждого сочетания находят псевдорешение для пространственных координат реперов маркера и за результат фотограмметрического измерения принимают то псевдорешение, при котором минимизируется среднеквадратическая ошибка определения линейных размеров между реперами маркера. 1 з.п. ф-лы, 1 ил.

1. Способ калибровки набора камер для оптического трекинга объектов пространстве, содержащий этапы, на которых осуществляются подсчет количества подключенных камер, непрерывное последовательное чтение кадров со всех подключенных камер, причем получение изображений с каждой камеры выполняется в разных потоках, поиск на каждом считанном кадре изображений оптических маркеров, определение геометрического центра для каждого изображения маркера, формирование пакета с массивом геометрических центров каждого найденного маркера для отправки на вычислительное устройство, отправка на вычислительное устройство пакета данных с информацией о центрах изображений маркеров на кадрах подключенных камер, преобразование локальных координат изображения маркера в системе координат камеры в глобальные координаты посредством функции, на вход которой принимаются калибровочная матрица камеры и координаты точки на кадре, а на выходе - трехмерные координаты точки в пространстве в глобальной системе координат, расчет 3D-координат маркеров объекта трекинга, в котором осуществляется построение прямых на основе полученных координат маркеров на кадрах камер и выполняется привязка полученных 3D-координат к объектам трекинга, отличающийся тем, что для измерения пространственных координат маркера анализируют все возможные сочетания одновременно наблюдающих его l камер, для каждого сочетания находят псевдорешение для пространственных координат реперов маркера и за результат фотограмметрического измерения принимают то псевдорешение, при котором минимизируется среднеквадратическая ошибка определения линейных размеров между реперами маркера.

2. Способ по п. 1, отличающийся тем, что после выбора предпочтительного сочетания для уточнения пространственных координат реперов маркера применяют метод наименьших квадратов с итеративным пересчетом весов.