Система калибровки набора камер для задач оптического трекинга объектов в пространстве Российский патент 2024 года по МПК G06T7/73 G06T7/80 

ОБЛАСТЬ ТЕХНИКИ

Настоящее техническое решение относится к области вычислительной техники, в частности, к способам для калибровки набора камер для задач оптического трекинга объектов в пространстве.

УРОВЕНЬ ТЕХНИКИ

Из уровня техники известно решение, выбранное в качестве наиболее близкого аналога, WO 2019/122950 А1, 27.06.2019. Данное решение относится к области вычислительной техники, а именно к способу и системе обратного оптико-инерционного слежения за мобильным объектом. Способ включает этапы: обеспечение того, что множество маркеров излучает свет в инфракрасном диапазоне; считывание с помощью первого устройства обработки данных изображения с оптического датчика, который физически подключен к мобильному объекту, и идентификация в считанном изображении пикселей, которые удовлетворяют заранее заданным условиям; идентификацию на основе идентифицированных пикселей и с использованием первого устройства обработки данных изображений маркеров и определение параметров упомянутых изображений маркеров; считывание с помощью первого устройства обработки данных, по меньшей мере, от одного инерциального датчика, который физически подключен к мобильному объекту; создание с помощью первого устройства обработки данных объединенного потока данных, содержащего параметры изображений маркеров и данных от упомянутого по меньшей мере одного инерциального датчика, и передачу упомянутого потока данных посредством первого сообщения устройство ко второму устройству связи; прием объединенного потока данных посредством второго устройства связи и определение на основе указанного потока данных позиционных данных трекера в системе координат зоны движения мобильного объекта; проверка с помощью второго устройства обработки данных и с использованием позиционных данных трекера математической модели траектории движения трекера; экстраполяция с помощью второго устройства обработки данных и с использованием проверенной математической модели траектории движения трекера позиционных данных трекера до горизонта экстраполяции.

Предлагаемое решение направлено на устранение недостатков современного уровня техники и отличается от известных решений тем, что предложенное техническое решение позволяет значительно улучшить возможность использования в одной системе, камер, с сильно отличающимися показателями фокусных расстояний, разрешений и дисторсий объективов.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Технической проблемой, на решение которой направлено заявленное решение, является создание способа калибровки набора камер для задач оптического трекинга объектов в пространстве.

Технический результат совпадает с назначением изобретения, и дополнительно заключается в улучшении возможности использования в одной системе, камер, с сильно отличающимися показателями фокусных расстояний, разрешений и дисторсий объективов.

Заявленный результат достигается за счет осуществления способа калибровки набора камер для задач оптического трекинга объектов в пространстве, содержащего этапы, на которых осуществляется:

подсчет количества подключенных камер путем сканирования файловой системы;

непрерывное последовательное чтение кадров со всех подключенных камер, причем получение изображений с каждой камеры выполняется в разных потоках;

поиск на каждом считанном кадре изображений оптических маркеров;

определение геометрического центра для каждого изображения маркера;

формирование пакета с массивом геометрических центров каждого найденного маркера для отправки на вычислительное устройство;

отправка пакета на вычислительное устройство-сервер через socket соединение посредством UDP пакета, причем отправка производится на известный локальный ip адрес вычислительного устройства; причем каждое вычислительное устройство-агрегатор на каждом цикле своей работы отправляет на локальный IP адрес и порт вычислительного устройства-сервера UDP запрос, содержащий список координат центров изображений маркеров на кадрах подключенных камер;

преобразование локальных координат изображения маркера в системе координат камеры в глобальные координаты, посредством функции на вход которой принимаются калибровочная матрица камеры и координаты точки на кадре, а на выходе - трехмерные координаты точки в пространстве в глобальной системе координат;

нахождение пересечений, фильтрация и отправка результирующего пакета, причем нахождение пересечений осуществляется путем расчета попарных пересечений всех прямых, построенных на основе полученных координат маркеров на кадрах камер, а полученные пересечения фильтруются по критерию качества и выполняется привязка полученных 3D координат к объектам трекинга, при этом отправка результирующего пакета с координатами объекта выполняется с помощью UPD-запроса на soket принимающего вычислительного устройства.

В частном варианте реализации описываемого решения, результатом поиска на каждом считанном кадре изображений оптических маркеров является массив двумерных координат центров маркеров в пространстве кадра, а также их цветов, при этом для отсечения ложных засветок используется фильтрация найденных маркеров по геометрическим параметрам.

ОПИСАНИЕ ЧЕРТЕЖЕЙ

Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения. К заявке прилагаются следующие чертежи:

Фиг. 1, иллюстрирует пример Pinhole модели камеры.

Фиг. 2, иллюстрирует расположение стикеров с точками на стене.

Фиг. 3, иллюстрирует карту с обозначением ориентаций камер и углов их обзора.

Фиг. 4, иллюстрирует процесс калибровки камеры.

Фиг. 5, иллюстрирует общую блок-схему способа.

Фиг. 6, иллюстрирует блок-схему работы вычислительного устройства-сервера.

ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять излишне понимание особенностей настоящего изобретения.

Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.

В настоящем документе применяются следующие термины с соответствующими определениями.

Трекинг - определение местоположения движущихся объектов во времени с помощью камеры.

Калибровка - установление зависимости между показаниями средства измерительной техники (прибора) и размером измеряемой (входной) величины.

Пространство - множество предметов, объектов, данных в человеческом восприятии одновременно, формирует сложный пространственный образ мира, являющийся необходимым условием ориентации любой человеческой деятельности

Камера - оптическое устройство для записи изображений.

Оптический трекинг - это особая технология, лежащая в основе взаимодействия человека с виртуальным миром. Она направлена на точное определение координат и позиции реального объекта (например, руки, головы или устройства) в виртуальной среде с помощью трех координат (х, у, z) его расположения и трех углов (a, b, g), задающих его ориентацию в пространстве.

Оптический маркер - это три точки, являющиеся вершинами условного неравностороннего треугольника, один из углов которого равен 90°.

В последнее время системы слежения за объектами с помощью набора камер становятся все более актуальными, поскольку они позволяют определить абсолютное положение объекта в пространстве. Эта технология является критически важной для достижения эффекта погружения в виртуальную реальность, которая все больше набирает популярность из-за роста рынка игр с очками виртуальной реальности. Большая часть продаж на российском рынке приходится на технологии виртуальной реальности (VR).

Главная цель виртуальной реальности - перенести пользователя из реального мира в новый, сгенерированный компьютером. Именно поэтому максимальный эффект погружения ощущается в специальном шлеме, полностью скрывающим пользователя от окружающего мира. Однако возможности игрока в таких играх были невелики из-за малого количества степеней свободы движений головы.

Для того, чтобы дать возможность игроку свободно перемещаться в пространстве, видеть свои руки и ноги, взаимодействовать с окружением, другими игроками и реальными интерактивными предметами необходимо использовать систему трекинга, которая отслеживает игроков и интерактивные объекты в 3D пространстве.

Для задачи отслеживания игроков в пространстве обычно используются оптические камеры и светодиодные маркеры, закрепленные на VR очках. Камеры закрепляются в помещении так, чтобы каждая точка пространства просматривалась как минимум двумя камерами.

Задачи, которые решаются в процессе создания способа трекинга для нахождения и идентификации маркера на кадрах с большого количества камер:

создание способа по поиску предмета на кадре;

проведение нагрузочного теста для гарантии технологического качества информационной системы после развертывания информационной системы и обеспечение соответствия заявленным технологическим требованиям в процессе эксплуатации информационной системы;

классификация маркера на кадрах по его цвету с большим количеством камер.

Для создания трекинга в пространстве используется pinhole модель камеры (фигура 1), в которой все лучи падают на матрицу через точку, находящуюся на фокусном расстоянии от матрицы.

Pinhole модель камеры описывает математическую связь между координатами точки в трехмерном пространстве и ее проекцией на плоскость изображения идеальной Pinhole камеры, где объектив камеры описывается как точка и при этом для фокусировки света не используются никакие линзы.

По этой модели происходит преобразование двухмерных координат точки на кадре в трехмерные уравнения прямой в пространстве. Для отслеживания 3D координат маркера необходимо провести процедуру калибровки. Для этого производится:

- калибровка трекинга;

- тестирование трекинга;

- калибровка камеры;

- вычисление координат маркера.

Для калибровки трекинга камеры подключались к вычислительному устройству и направлялись таким образом, чтобы покрывать максимальный игровой объем. Затем с помощью специального оборудования (лазерный нивелир и дальномер) измерялись координаты всех камер и координат точек на объекте.

Для вычисления ориентаций и фокусных расстояний камер измерялись координаты точек на объекте. Для этого на стене располагали бумажные стикеры с нарисованными на них маркером точками, так чтобы при просмотре кадра через интерфейс эти точки падали на какой-нибудь объект внутри помещения (фиг. 2).

С помощью численного решения на градиентном спуске вычислялось фокусное расстояние в пикселях. В результате калибровки камер был разработан 2D интерфейс с картой, на которой были обозначены ориентация камер и углы обзора (фиг. 3).

Для тестирования трекинга запускалась визуализация, которая показывала ориентацию камер и интерпретацию кадров - линии, идущие из значков камер, должны пересекаться в одной точке. Однако, при первом тестировании точность была недостаточно высокая из-за искажения в объективах камер

Для того чтобы компенсировать искажения в объективах камер необходимо проводить процедуру калибровки камеры.

Процесс калибровки заключается в том, чтобы получить все параметры, которые необходимо знать пользователю, чтобы исключить проекционные эффекты в камере. Эти параметры делятся на два типа: внутренние и внешние. Первые типичны для камеры и не меняются. Как правило, это фокусное расстояние, размер пикселей и главная точка. Внешние - это положение и ориентация камеры в трех измерениях (за основу принимается абсолютная система координат в мире).

В процессе калибровки камерой делали набор фотографий шахматной доски, на которых распознавали углы между квадратами и субпиксельной точностью (фиг. 4).

Результатом калибровки являлась матрица, содержащая фокусные расстояния в пикселях по двум осям и смещение матрицы относительно оптического центра, а также вектор коэффициентов дисторсий, который позволяет компенсировать искажения объектива с помощью преобразований координат пикселей.

Применяя преобразования с этими коэффициентами к координатам маркера на кадре система была приведена к модели идеальной pinhole камеры. Затем производился новый тест трекинга.

В результате был обнаружен более простой способ вычисления координат маркера. Был сформирован алгоритм трекинга, который попарно вычисляет пересечения прямых от камер, из них ищет лучшее и использует его как координаты маркера.

Перед разработчиками была поставлена задача - разработать способ, который реализует прием и интерпретацию данных с устройств-агрегаторов с последующей визуализацией трекинга оптических маркеров.

На фигуре 5 проиллюстрирована общая блок-схема предлагаемого способа. Настоящее техническое решение способно работать в двух режимах:

• режим трекинга;

• режим калибровки.

В режиме трекинга осуществляется следующий алгоритм действий:

• Прием пакетов с данными о двумерных координатах центров изображений маркеров на кадрах камер с устройств-агрегаторов.

• Использование калибровочных матриц, определяемых положения и ориентации камер, формирование уравнений прямых, соответствующих каждой точке, полученной с устройств - агрегаторов;

• Расчет координат пересечений прямых попарно и оценки качества пересечений (по кратчайшему расстоянию между прямыми);

• Фильтрация и привязка полученных 3d координат пересечений к объектам трекинга;

• Отправка пакетов с массивами финальных 3d координат объектов на адрес пользователя в реальном времени для дальнейшего использования.

В режиме калибровки осуществляется следующий алгоритм действий:

• Прием пакетов с данными о двумерных координатах центров изображений калибровочного маркера на кадрах камер с устройств-агрегаторов.

• Итеративное формирование калибровочных матриц для каждой камеры, определяющих их положения и ориентации исходя из предположения, что в пространстве трекинга во время калибровки находится единственный маркер и все лучи пересекаются на нем;

• Сохранение полученных калибровочных матриц в постоянной памяти устройства - сервера для последующего использования в режиме трекинга.

Основные функции алгоритма устройства-сервера.

Алгоритм устройства-сервера обеспечивает выполнение следующих функций:

- прием данных с устройств-агрегаторов;

- калибровка камер (расчет матрицы внутренних (intrinsic) и внешних (extrinsic) параметров каждой камеры);

- интерпретация данных на основе калибровочных данных;

- трекинг оптических маркеров в пространстве;

- визуализация трекинга оптических маркеров.

Ниже подробно описано, каким образом эти функции реализованы устройстве-сервере:

- Прием данных с устройств-агрегаторов;

Прием данных с компьютеров-агрегаторов осуществляется посредством приема UPD-запросов из локальной сети на порт компьютера-сервера через socket соединение. Каждый компьютер-агрегатор на каждом цикле своей работы отправляет на локальный IP адрес и порт компьютера-сервера UDP запрос, содержащий список координат центров изображений маркеров на кадрах подключенных камер.

- Калибровка камер (расчет матрицы внутренних (intrinsic) и внешних (extrinsic) параметров каждой камеры);

Для выполнения процедуры калибровки необходимо запустить алгоритм в режиме калибровки и начать перемещать специальный калибровочный маркер в пространстве трекинга.

При этом происходит прием пакетов с данными о двумерных координатах центров изображений калибровочного маркера на кадрах камер с устройств-агрегаторов.

После окончания сбора данных начинается итеративное формирование калибровочных матриц для каждой камеры, определяющих их положения и ориентации исходя из предположения, что в пространстве трекинга во время калибровки находился единственный маркер и все лучи пересекаются на нем.

Полученные, в процессе калибровки матрицы, данные сохраняются в памяти устройства-сервера в виде файлов с расширением .npy для последующего использования в режиме трекинга.

- Интерпретация данных на основе калибровочных данных;

При запуске алгоритма в режиме трекинга в первую осуществляется считывание файлов с калибровочными матрицами из памяти устройства. Данные из файлов интерпретируются как массивы floating point чисел размером 4*4 в формате numpy.array. Приходящие массивы локальных 2D координат центров изображений маркеров на кадрах с камер преобразуются в уравнения прямых в глобальной системе координат с помощью калибровочных матриц.

- Трекинг оптических маркеров в пространстве;

На основе полученных уравнений прямых в глобальной системе координат происходит расчет координат их пересечений попарно и оценка качества пересечений. Качество пересечений оценивается по кратчайшему расстоянию между прямыми (длина отрезка, перпендикулярного обеим прямым). В качестве координат пересечения берется центр этого отрезка.

Полученные пересечения фильтруются по параметру качества и выполняется привязка полученных 3D координат к объектам трекинга.

- Визуализация трекинга оптических маркеров;

Визуализация трекинга происходит в виде двумерной отрисовки проекций прямых и точек пересечения на горизонтальную плоскость. Отрисовка выполняется с помощью библиотеки pyQt и OpenCV.

Система трекинга положения маркеров состоит из распределенной сети камер и вычислительных систем. Она определяет положение каждого объекта в пространстве с субсантиметровой точностью. Адаптивный алгоритм трекинга работает с произвольным количеством и местоположением камер, что делает систему простой в установке и легко масштабируемой до любых площадей симуляционной зоны.

Одна из ключевых особенностей данного алгоритма - устойчивость к различию оптических параметров камер. В процессе калибровки автоматически вычисляются местоположение, ориентация, фокусное расстояние и параметры дисторсий объектива каждой камеры.

Это достигается за счет алгоритмов многомерного градиентного спуска для каждой камеры, пространство которого составляют относительное фокусное расстояние объектива и коэффициенты дисторсий. Линейные и угловые координаты камер также вычисляются градиентным спуском, но независимо для понижения размерности задачи.

Компенсация нарастающих ошибок производится методом декомпозиции основной матрицы стереопары и вычисления координат одной камеры в системе координат другой для каждой пары камер. Вычисления выполняются в форме матриц внутренних и внешних параметров камер, что позволяет векторизовать задачу и распределить вычисления по независимым потокам для сокращения времени калибровки. Таким образом, система позволяет использовать любые камеры с неизвестными и различными оптическими параметрами. Основные характеристики:

- фиксируемые параметры калибровки камер: линейные и угловые координаты 3D пространстве, фокусное расстояние, параметры дисторсий объектива;

- частота кадров: от 30 fps;

- чувствительность определения координат маркера: <5 мм;

- максимальное количество камер: неограниченно;

- максимальная площадь покрытия: неограниченно;

- разрешение матриц камер: 640×480.

На фиг. 6, проиллюстрирована блок-схема работы вычислительного устройства-сервера (сервера).

Вычислительное устройство-сервер осуществляет прием и интерпретацию данных с вычислительных устройств-агрегаторов с последующей визуализацией трекинга оптических маркеров. Алгоритм сервера обеспечивает выполнение следующих функций: - прием данных с компьютеров-агрегаторов; - калибровку камер (расчет матрицы внутренних (intrinsic) и внешних (extrinsic) параметров каждой камеры); - интерпретацию данных на основе калибровочных данных; - трекинг оптических маркеров в пространстве; - визуализацию трекинга оптических маркеров.

Декомпозиция процессов алгоритма представлена ниже.

1) Прием пакетов от компьютеров-агрегаторов: Прием данных с агрегаторов осуществляется посредством приема UPD-запросов из локальной сети на порт сервера через socket соединение. Каждый агрегатор на каждом цикле своей работы отправляет на локальный IP адрес и порт компьютера-сервера UDP запрос, содержащий список координат центров изображений маркеров на кадрах подключенных камер.

В каждом цикле работы сервере проверяется наличие UDP пакетов в приемном буфере с помощью функции sock.recvfrom (4096). Если в буфере есть непрочитанные пакеты, функция возвращает массив байтов, для которых выполняется дальнейшая обработка.

2) Построение уравнений прямых, конвертация в глобальную систему координат: Каждая точка на кадре камеры определяет прямую в пространстве, проходящую через центр камеры и маркер, изображение которого отображено на кадре. Для построения уравнения необходимо преобразовать локальные координаты изображения маркера (в системе координат камеры) в глобальные координаты. Это выполняется с помощью функции frame_to_global(cam_params, frame_dot). На вход этой функции принимаются калибровочная матрица камеры и координаты точки на кадре, а на выходе - трехмерные координаты точки в пространстве в глобальной системе координат. Таким образом, прямая в пространстве определяется этой точкой и 3D координатами камеры.

3) Нахождение пересечений, фильтрации и отправки результирующего пакета: для определения координат отслеживаемого объекта нужно найти пересечение двух прямых, идущих от двух разных камер. Для этого в алгоритме происходит расчет попарных пересечений всех прямых, построенных на основе пришедших координат маркеров на кадрах камер. Расчет выполняется в функции crossing(line1, line2). На вход функции подаются две пары точек прямых, на выходе - координаты центра отрезка, перпендикулярного обеим прямым. Качество пересечений оценивается по длине этого отрезка (кратчайшее расстояние между прямыми). Полученные пересечения фильтруются по параметру качества и выполняется привязка полученных 3D координат к объектам трекинга. Отправка результирующего пакета с координатами объекта выполняется с помощью UPD-запроса на сокет принимающего компьютера с помощью функции sock.sendto(pack, obj.target_ip_port). На вход функция принимает пакет для отправки и IP адрес и порт на принимающем компьютере.

Таким образом, за счет настоящего технического решения, осуществляется высокоэффективная калибровка набора камер для задач оптического трекинга объектов в пространстве.

В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Изобретение относится к области вычислительной техники. Технический результат заключается в обеспечении совместной работы камер с сильно отличающимися показателями фокусных расстояний, разрешений и дисторсий объективов. Технический результат достигается за счет выполнения этапов, на которых осуществляется: подсчет количества подключенных камер путем сканирования файловой системы; непрерывное последовательное чтение кадров со всех камер; поиск на каждом считанном кадре изображений оптических маркеров; определение геометрического центра для каждого изображения маркера; формирование пакета с массивом геометрических центров каждого маркера; отправка пакета на вычислительное устройство-сервер через socket-соединение посредством UDP пакета, причем каждое вычислительное устройство-агрегатор на каждом цикле своей работы отправляет на локальный IP адрес и порт вычислительного устройства-сервера UDP запрос, содержащий список координат центров изображений маркеров на кадрах подключенных камер; преобразование локальных координат в глобальные координаты; отправка результирующего пакета с координатами объекта выполняется с помощью UPD-запроса на soket принимающего вычислительного устройства. 1 з.п. ф-лы, 6 ил.

1. Способ калибровки набора камер для задач оптического трекинга объектов в пространстве, содержащий этапы, на которых осуществляется:

подсчет количества подключенных камер путем сканирования файловой системы;

непрерывное последовательное чтение кадров со всех подключенных камер, причем получение изображений с каждой камеры выполняется в разных потоках;

поиск на каждом считанном кадре изображений оптических маркеров;

определение геометрического центра для каждого изображения маркера;

формирование пакета с массивом геометрических центров каждого найденного маркера для отправки на вычислительное устройство;

отправка пакета на вычислительное устройство-сервер через socket соединение посредством UDP пакета, причем отправка производится на известный локальный ip адрес вычислительного устройства; причем каждое вычислительное устройство-агрегатор на каждом цикле своей работы отправляет на локальный IP адрес и порт вычислительного устройства-сервера UDP запрос, содержащий список координат центров изображений маркеров на кадрах подключенных камер;

преобразование локальных координат изображения маркера в системе координат камеры в глобальные координаты посредством функции, на вход которой принимаются калибровочная матрица камеры и координаты точки на кадре, а на выходе - трехмерные координаты точки в пространстве в глобальной системе координат;

нахождение пересечений, фильтрация и отправка результирующего пакета, причем нахождение пересечений осуществляется путем расчета попарных пересечений всех прямых, построенных на основе полученных координат маркеров на кадрах камер, а полученные пересечения фильтруются по критерию качества и выполняется привязка полученных 3D координат к объектам трекинга, при этом отправка результирующего пакета с координатами объекта выполняется с помощью UPD-запроса на soket принимающего вычислительного устройства.

2. Способ по п. 1, в котором результатом поиска на каждом считанном кадре изображений оптических маркеров является массив двумерных координат центров маркеров в пространстве кадра, а также их цветов, при этом для отсечения ложных засветок используется фильтрация найденных маркеров по геометрическим параметрам.