Способ калибровки видеосистемы для контроля объектов на плоской площадке Российский патент 2017 года по МПК H04N5/232 G06K9/66 H04N17/00 

Изобретение относится к области видеоизмерительной техники и может быть использовано для построения стационарных измерительных видеосистем (положение системы и внутренние параметры системы не изменяются во время съемки матча) для слежения за событиями, происходящими на плоской площадке.

Из уровня техники (US 9007463 B2, опубл. 14.04.2015) известен способ автоматизированного слежения за участниками спортивного события на игровом поле и их идентификация посредством обработки видеозаписи спортивного события, из которого известен способ калибровки видеосистемы для контроля объектов на плоской площадке, содержащей по меньшей мере одну камеру. Способ включает определение внутренних (отношение фокусного расстояния объектива к размеру пикселя, коэффициенты дисторсии, центр дисторсии) и внешних параметров (углы поворота и величина линейного смещения) камер видеосистемы посредством обработки нескольких кадров, содержащих изображение калибровочных марок в различных ракурсах. В ходе обработки полученных кадров определяют положения изображений марок. Подбирают внутренние и внешние параметры камер таким образом, чтобы априорно известные координаты калибровочных марок, спроецированные через подобранные параметры камер, имели минимальное отклонение от координат соответствующих изображений марок на полученных кадрах.

Приведенный способ калибровки имеет ряд существенных недостатков, заключающихся в том, что:

- для варифокальных видеосистем перестраиваимой конфигурации такая методика оказывается трудноприменима в полевых условиях работы. При перефокусировке и изменении взаимного положения требуется повторная калибровка с использованием набора из значительного числа марок с высокой пространственной стабильностью, покрывающего весь объем калибрируемого пространства. Для достижения наиболее точных результатов необходимо, с одной стороны, обеспечить как можно большее покрытие кадра изображениями калибровочных марок (чем выше разрешение кадра, тем выше точность определения положения изображений марок), а с другой стороны, все калибровочные марки набора в процессе калибровки должны находиться на том же расстоянии от камер видеосистемы, на котором расположены объекты контроля. Одним из решений является нанесение калибровочных марок с известным взаимным положением на поверхность самой площадки. Но такой способ оказывается чрезмерно трудоемким при возрастании требований к точности калибровки, а значит, к количеству калибровочных марок на площадке.

- приведенный способ калибровки требует трудоемкой подготовки, особенно если в качестве калибровочных марок используются элементы разметки площадки. Положение координат калибровочных марок должно быть априорно измерено с высокой точностью, что не всегда реализуемо, поскольку доступ на площадку для проведения измерений может быть ограничен. При этом погрешность нанесения разметки на поверхность площадки может быть довольно велика, т.к. обычно строго не регламентируется.

Таким образом, калибровка по указанной методике требует трудоемкой подготовки и трудноприменима для калибровки видеосистем перестраиваемой конфигурации в полевых условиях.

Поэтому задачей настоящего изобретения является разработка нового способа калибровки видеосистемы, который применим как для видеосистем с фиксированным фокусным расстоянием, так и для варифокальных видеосистем перестраиваемой конфигурации и не требует предварительной расстановки и измерения взаимного расположения калибровочных марок, т.е. прост в применении и не требует трудоемкой подготовки.

Поставленная задача решена за счет того, что в способе калибровки видеосистемы для контроля объектов на плоской площадке, включающем сканирование эталонных объектов в пространстве предметов каждой камерой видеосистемы таким образом, чтобы каждый отсканированный кадр содержал изображение по меньшей мере одного эталонного объекта, измерение положения точек изображения объекта для каждого эталонного объекта на отсканированных кадрах, определение внутренних параметров каждой камеры, при которых суммарное отклонение измеренных точек от их расчетного положения для всех отсканированных одной камерой кадров было минимальным, исправление нелинейных искажений в изображении на кадрах с каждой камеры посредством применения соответствующих внутренних параметров камеры, определение матрицы пересчета изображений, полученных камерами видеосистемы, в пространство предметов, согласно настоящему изобретению в качестве эталонного объекта в пространстве предметов выбирают прямолинейный объект, изображение которого находится на наименьшем расстоянии от центра кадра и имеет максимальную протяженность до периферии кадра, для измеренных точек изображения эталонного объекта определяют аппроксимирующую прямую, проведенную через по меньшей мере две измеренные точки изображения объекта, наиболее близко расположенные к центру кадра, для определения внутренних параметров каждой камеры минимизируют суммарное абсолютное отклонение положения измеренных точек изображения эталонного объекта от аппроксимирующей прямой, определяют взаимное положение элементов площадки посредством обработки ее изображения, определение матриц пересчета координат на изображениях, полученных камерами видеосистемы, в пространство предметов путем сопоставления положения не менее четырех точек, относящихся к элементам площадки, и соответствующих им точек на изображениях, полученных каждой из камер видеосистемы, после исправления присутствующих на них нелинейных искажений.

Заявителем проведен патентный поиск по данной теме и заявляемая совокупность существенных признаков не выявлена.

Сущность изобретения поясняется чертежами и нижеследующим описанием.

На Фиг. 1 показано изображение плоской площадки (например, игровое поле), искаженное дисторсией оптической системы.

На Фиг. 2 показана последовательность кадров площадки, содержащей в центре изображение прямолинейного объекта.

На Фиг. 3 показано определение поля зрения камеры видеосистемы относительно площадки.

Способ осуществляют следующим образом (Фиг. 1-3).

На первом этапе производят определение внутренних параметров каждой из камер видеосистемы для устранения нелинейных искажений в изображении площадки. На Фиг. 1 показано отклонение 1 прямого бортика игрового поля от прямой, вследствие нелинейных искажений объектива (дисторсия), и обозначен центр 2 кадра. Для этого фиксируют конфигурацию камер видеосистемы так, чтобы их внутренние параметры (фокусное расстояние, диафрагменное число и т.п.) оставались неизменными на всем протяжении процедуры калибровки, при этом изображение площадки было максимально четким на всей площади кадра. Взаимное расположение камер, их количество и положение относительно площадки зависят от конфигурации площадки, дистанции до нее и угла съемки. Для обработки кадров, полученных с камер видеосистемы, и выполнения необходимых алгоритмических процедур калибровки может быть использован компьютер с запоминающим устройством для хранения данных и соответствующим программным обеспечением, соединенный с камерами видеосистемы посредством линий связи с достаточной пропускной способностью для обмена изображениями необходимого разрешения и управления режимом захвата кадров. Конкретная конфигурация программного и аппаратного обеспечения, а также их архитектура могут отличаться от описанных выше с сохранением возможности управления режимами работы камер, съема кадров, их сохранения и обработки в соответствии со способом, раскрываемым в настоящем изобретении.

После фиксации внутренних параметров камер видеосистемы посредством ряда линейных смещений и разворотов камер относительно площадки производят сканирование прямолинейных элементов 3 разметки каждой из камер видеосистемы (Фиг. 2). В результате такого сканирования получают набор кадров, на каждом из которых есть как минимум одно изображение прямой линии 3, проходящей через центр 2 кадра и периферию кадра. В качестве таких линий при съемке, например, хоккейного матча могут быть выбраны изображения синих линий, отделяющих зоны защиты и нападения от центральной зоны и/или изображение прямолинейной части желтой отбойной планки.

Для изображения каждого прямолинейного объекта, удовлетворяющих описанным выше условиям, на отсканированных кадрах измеряют положение точек изображения, принадлежащих одной линии в пространстве предметов. Измерения могут быть получены посредством ручного выделения необходимого количества точек на изображениях оператором или посредством автоматизированного их выделения на базе алгоритмов распознавания изображений. Минимально необходимое количество точек - три, причем, по меньшей мере, две из них должны находиться на наименьшем и остальные на наибольшем расстоянии от центра 2 кадра.

Для каждой такой линии находят аппроксимирующую прямую, проведенную, по меньшей мере, через две измеренные точки ее изображения, наиболее близко расположенные к центру 2 кадра.

Определяют суммарное абсолютное отклонение измеренных точек от соответствующей аппроксимирующей прямой. Посредством применения, например, алгоритмов оптимизации подбирают такие внутренние параметры камеры (общие для всех отсканированных одной видеокамерой кадров), чтобы суммарное отклонение измеренных точек от соответствующих им аппроксимирующих линий для всех отсканированных одной камерой кадров было минимальным.

Для подбора внутренних параметров камеры и исправления дисторсии может быть использована, например, известная математическая модель [Описание параметров калибровки. Внутренние параметры камеры (модель камеры). http://www.vision.caltech.edu/bouguetj/calib_doc/htmls/parameters.html].

Измеренные координаты точек приводят в единичную плоскость:

,

где x¹, y¹ - абсциссы и ординаты точек в единичной плоскости соответственно, c_x, c_y - абсцисса и ордината центра дисторсии, ƒ_x, ƒ_y - отношение фокусного расстояния к размеру пикселя вдоль x и y соответственно.

Затем определяют величину искажений, вызванных радиальной и тангенсальной составляющими дисторсии, например, по следующим формулам [Описание параметров калибровки. Внутренние параметры камеры (модель камеры). http://www.vision.caltech.edu/bouguetj/calib_doc/htmls/parameters.html]:

,

где k_r - искажение, вызванное радиальной составляющей дисторсии, - квадрат расстояния от центра дисторсии до каждой из точек в единичной плоскости, k₁, k₂, k₃ - коэффициенты радиальной дисторсии.

где t_x, t_y - искажение абсциссы и ординаты точек в единичной плоскости, вызванное тангенсальной составляющей дисторсии.

Устраняют искажения, вызванные дисторсией, например, по соотношению:

где - абсциссы и ординаты точек в единичной плоскости с исправленными искажениями.

Возвращают исправленные координаты из единичной плоскости в плоскость изображения: .

Следует отметить, что поскольку модель дисторсии предполагает внесение искажений в единичной плоскости, то отношение фокусного расстояния к размеру пикселя ƒ_x, ƒ_y может быть выбрано произвольным, но близким к действительному.

В известном способе (US 9007463 B2) для подбора внутренних параметров камеры в качестве метрики для минимизации служит ошибка репроецирования калибровочных марок (калибровочной сетки). Т.е. координаты калибровочной сетки, известные в пространстве предметов, с высокой точностью проецируются в плоскость кадра через подбираемые внутренние и внешние параметры камеры. К внутренним параметрам относится отношение фокусного расстояния, центр и коэффициенты дисторсии, к внешним - положение камеры относительно системы координат, в которой измерены известные координаты калибровочной сетки в пространстве предметов.

В раскрываемом изобретении при подборе внутренних параметров камеры внешние ее параметры не участвуют, поскольку шаблон из пространства предметов в пространство изображений не проецируют. Метрика никаким образом не связана с координатами объектов в пространстве предметов. Все вычисления проводятся только в пространстве изображений (модель существует только в этом пространстве). В качестве минимизирующей метрики здесь выступает отклонение изображения заведомо прямолинейного объекта от прямой, поскольку это отклонение (нелинейность в изображении объекта) вызвано наличием дисторсии изображающего объектива. В качестве модели используют прямую, проведенную через точки, наиболее близкие к центру кадра, т.к. в зоне, в которой влияние дисторсии пренебрежимо мало и построенная прямая является наиболее достоверной (наиболее приближена к положению, в котором находилось бы изображение прямолинейного объекта, если бы дисторсия объектива отсутствовала).

Исправляют нелинейные искажения в изображении площадки для всех кадров посредством найденных для соответствующих камер внутренних параметров.

Задачей второго этапа калибровки является определение коэффициентов пересчета системы координат, связанной с плоской площадкой и системами координат каждой из камер видеосистемы (Фиг. 3), т.е. определение матриц пересчета координат на изображениях, полученных камерами видеосистемы, в пространство предметов.

Для этого сначала получают панорамный снимок 4 площадки, путем сканирования поверхности плоской площадки по меньшей мере одной камерой, исправления нелинейных искажений полученных кадров и последующего соединения отсканированных кадров в единую панораму площадки.

Далее определяют взаимное положение элементов площадки посредством обработки ее изображения.

Несмотря на то, что расположение элементов разметки площадки без проведения дополнительных измерений обычно неизвестно, среди отдельных элементов разметки могут быть такие элементы, конфигурация которых строго регламентирована правилами использования площадки. Например, к таким элементам можно отнести ширину ворот и размеры штрафной площадки на футбольном поле, размеры ворот и конфигурацию точек вбрасывания на хоккейной площадке и т.д.

Посредством обработки изображений определяют координаты изображений известных элементов разметки на панорамном снимке 4 и определяют такое преобразование системы координат панорамного снимка 4, которое преобразует координаты элементов на панорамном снимке 4 в систему координат, связанную с плоской площадкой. Для этого на основе алгоритмов оптимизации минимизируют абсолютное отклонение размеров известных элементов разметки от размеров их изображений на панорамном снимке 4, полученных после преобразования. Таким образом, определяют, например, матрицу томографии, которая обеспечивает пересчет координат площадки на панорамном снимке 4 таким образом, чтобы регламентированный размер элементов разметки в пространстве предметов совпадал с их размерами на изображении с точностью до масштабного множителя S, а следовательно, и взаимное положение элементов площадки становится известным.

Далее жестко фиксируют взаимное положение камер видеосистемы относительно друг друга и их положение относительно площадки. Зафиксированное положение должно при этом соответствовать положению видеосистемы, необходимому для съемки событий на плоской площадке в рабочем положении.

Измеряют положение не менее четырех точек 6 на панорамном изображении площадки и соответствующих им точек 6 на изображениях 7 площадки, полученных каждой из камер системы (после исправления присутствующих на них нелинейных искажений). Точки на панорамном изображении пересчитывают в систему координат площадки посредством найденной матрицы томографии и масштабного множителя S. Для каждой камеры определяют матрицу томографии, связывающую пересчитанные точки панорамного изображения и точки на изображении соответствующей камеры. Полученные таким образом матрицы томографии определяют внешние параметры камер, а именно их положение в системе координат площадки (мировая система координат) через пересчет координат на изображениях, полученных камерами видеосистемы, в пространство предметов.

В случае изменения взаимного расположения камер видеосистемы или изменения положения видеосистемы относительно мировой системы координат достаточно найти новые соответствия между точками на кадрах с камер в новом положении и панорамным кадром, после чего повторить расчет матриц томографии отдельных камер. Поиск таких соответствий может быть произволен как в ручном, так и в автоматическом режиме программным обеспечением, установленном на обрабатывающем компьютере.

В результате применения заявляемого способа удается оценить фокусное расстояние, центр поля зрения, коэффициенты дисторсии, а также коэффициенты томографии камер. После чего откалиброванная видеосистема готова к осуществлению контроля положения объектов на площадке.

Таким образом, описанный способ калибровки не требует проведения трудоемких операций по предварительным замерам площадки нанесенной на нее разметки, не требует расстановки специальных калибровочных маркеров на плоскую площадку и обеспечивает удобный способ калибровки, в том числе варифокальных видеосистем с перестраиваемой конфигурацией.

Изобретение относится к области видеоизмерительной техники для построения стационарных измерительных видеосистем для слежения за событиями. Техническим результатом является создание простого способа калибровки видеосистем с фиксированным фокусным расстоянием и варифокальных видеосистем перестраиваемой конфигурации без предварительной расстановки и измерения взаимного расположения калибровочных марок. Предложен способ калибровки видеосистемы для контроля объектов на плоской площадке, включающий: сканирование эталонных объектов в пространстве предметов каждой камерой, измерение положения точек изображения объекта для каждого эталонного объекта на отсканированных кадрах, определение внутренних параметров камер, исправление нелинейных искажений в изображении на кадрах камер посредством применения соответствующих внутренних параметров камер, определение матрицы пересчета изображений, полученных камерами, в пространство предметов. Для измеренных точек изображения эталонного объекта определяют аппроксимирующую прямую, а для определения внутренних параметров камер минимизируют суммарное абсолютное отклонение положения измеренных точек изображения эталонного объекта от аппроксимирующей прямой, определяют взаимное положение элементов площадки посредством обработки ее изображения. Далее определяют матрицы пересчета координат на изображениях, полученных камерами, в пространство предметов путем сопоставления положения не менее четырех точек, относящихся к элементам площадки, и соответствующих им точек на изображениях, полученных каждой из камер, после исправления присутствующих на них нелинейных искажений. 3 ил.

Способ калибровки видеосистемы для контроля объектов на плоской площадке, включающий сканирование эталонных объектов в пространстве предметов каждой камерой видеосистемы таким образом, чтобы каждый отсканированный кадр содержал изображение по меньшей мере одного эталонного объекта, измерение положения точек изображения объекта для каждого эталонного объекта на отсканированных кадрах, определение внутренних параметров каждой камеры, при которых суммарное отклонение измеренных точек от их расчетного положения для всех отсканированных одной камерой кадров было минимальным, исправление нелинейных искажений в изображении на кадрах с каждой камеры посредством применения соответствующих внутренних параметров камеры, определение матрицы пересчета изображений, полученных камерами видеосистемы, в пространство предметов, отличающийся тем, что в качестве эталонного объекта в пространстве предметов выбирают прямолинейный объект, изображение которого находится на наименьшем расстоянии от центра кадра и имеет максимальную протяженность до периферии кадра, для измеренных точек изображения эталонного объекта определяют аппроксимирующую прямую, проведенную через по меньшей мере две измеренные точки изображения объекта, наиболее близко расположенные к центру кадра, для определения внутренних параметров каждой камеры минимизируют суммарное абсолютное отклонение положения измеренных точек изображения эталонного объекта от аппроксимирующей прямой, определяют взаимное положение элементов площадки посредством обработки ее изображения, определение матриц пересчета координат на изображениях, полученных камерами видеосистемы, в пространство предметов путем сопоставления положения не менее четырех точек, относящихся к элементам площадки, и соответствующих им точек на изображениях, полученных каждой из камер видеосистемы, после исправления присутствующих на них нелинейных искажений.