СПОСОБ АВТОМАТИЧЕСКОЙ НАСТРОЙКИ СИСТЕМЫ РАЗНЕСЕННЫХ В ПРОСТРАНСТВЕ ТЕЛЕКАМЕР ДЛЯ ФОРМИРОВАНИЯ ПАНОРАМНОГО ИЗОБРАЖЕНИЯ Российский патент 2020 года по МПК G06T15/20 

Изобретение относится к области обработки цифровых изображений, а более конкретно к способам автоматической настройки системы разнесенных в пространстве телекамер для формирования панорамного изображения из видеопотока кадров и может применяться в системах видеонаблюдения для формирования панорамного изображения из видеопотока кадров, полученных с помощью устройств для цифровой видеосъемки (телекамерами, фотоаппаратами).

Панорамные изображения широко используется в современном мире для формирования изображений с высоким разрешением, воспроизведения видеопотока кадров телекамеры с широким углом обзора, визуализации информации в медицине и биологии, отображения цифровых карт местности и спутниковых фотографий.

Широко известны различные способы автоматического формирования панорамных изображений. Общая схема формирования панорамного изображения состоит из следующих шагов:

- коррекция входных изображений для исправления искажений объектива;

- поиск общих точек на входных изображениях;

- преобразование и сшивка входных изображений;

- выравнивание яркости и блендинг области перекрытия входных изображений.

Существуют несколько категорий методов нахождения общих точек на входных изображениях: прямые методы и методы, основанные на особенностях изображений. Прямые методы используют непосредственное сравнение пикселей (интенсивности цветовых компонент) с помощью различных метрик, оценивающих разницу между частями входных изображений. Устойчивость работы прямых методов обеспечивают в первую очередь предположением об идентичных настройках яркости и контрастности системы телекамер.

В последнее время значительный прогресс достигнут в использовании инвариантных особенностей входных изображений, например, популярные в последние время SIFT и SURF комбинации детекторов и дескрипторов особых точек, которые инвариантны к преобразованию подобия и также инвариантны к аффинному изменению интенсивности.

В патенте РФ №2421814 описан способ автоматического формирования панорамного изображения, в котором задействованы прямые методы поиска областей перекрытия входных изображений. Сшивку входных изображений осуществляют посредством формирования квадратной сетки, по которой устанавливают соответствия для всех узлов с помощью корреляционно-экстремальной метрики.

В свою очередь, в патенте РФ №2384882 описан способ автоматического формирования панорамного изображения, в котором находят ключевые точки и сравнивают их дескрипторы для определения смежных областей на входных изображениях.

Обычно описанные выше способы автоматического формирования панорамного изображения хорошо работают, если входные изображения получают путем поворота телекамеры с неподвижным положением оптического центра, или же входные изображения получают от системы телекамер с различным положением оптического центра на бесконечности, то есть все объекты в кадре достаточно удалены от самих телекамер. В противном случае возникают проблемы при отображении панорамного изображения, связанные с параллаксом. Если оптические центры телекамер не совпадают, то панорамное изображение формируют с артефактами, и в нем присутствуют объекты, имеющие разную удаленность от телекамер. Это связано с изменением ширины области перекрытия входных изображений: чем дальше располагается от телекамер плоскость панорамирования, тем большую область перекрытия имеют входные изображения. Параметры формирования панорамного изображения различны для разных областей перекрытия входных изображений из-за несовпадения оптических центров телекамер. Поэтому требуется их пересчитывать.

Наиболее близким к заявленному изобретению является способ автоматического формирования панорамного изображения для системы стационарных телекамер, описанный в заявке на патент US 20170018085, в котором компонуют одиночные входные изображения, сформированные телекамерами из разных положений, для формирования общего панорамного изображения. Данный способ выбран в качестве прототипа заявленного изобретения.

Недостаток способа прототипа заключается в том, что в нем используют ультразвуковые датчики или радиолокационную систему для получения позиционной информации сцены съемки (для определения дальности объектов на входных изображениях), что существенно усложняет и удорожает способ формирования панорамного изображения.

Техническим результатом изобретения является создание более простого и дешевого способа автоматической настройки системы разнесенных в пространстве телекамер для формирования панорамного изображения, за счет отсутствия дополнительных устройств и выполнения пересчета параметров сшивки входных изображений по объектам, расположенным в области перекрытия входных изображений.

Поставленный технический результат достигнут путем создания способа автоматической настройки системы разнесенных в пространстве телекамер для формирования панорамного изображения, в котором для системы стационарных телекамер, соединенных с сервером, выполняют следующие операции

- выполняют предварительную настройку телекамер с помощью вычислительных подсистем телекамер, при этом

- калибруют телекамеры, при этом определяют внутренние параметры телекамер,

- выполняют панорамную настройку телекамер на бесконечности, при этом определяют матрицу гомографии для телекамер, оптические центры которых не совпадают,

- сохраняют параметры предварительной настройки телекамер, по меньшей мере, в одно запоминающее устройство;

- формируют панорамное изображение, при этом

- загружают параметры предварительной настройки телекамер из запоминающего устройства в сервер,

- формируют с помощью оптических подсистем телекамер входные изображения с необходимой сценой и передают их в сервер,

- пересчитывают с помощью сервера параметры гомографии под снимаемую сцену,

- сшивают с помощью сервера входные изображения по параметрам гомографии и осуществляют их постобработку.

В предпочтительном варианте осуществления способа внутренние параметры телекамер выбраны из набора параметров, содержащего: (f_x, f_y) — фокусные расстояния, измеренные по ширине и высоте пикселя, делённые на пространственный размер пикселя на сенсоре телекамеры; (c_x, c_y) — принципиальную точку пересечения плоскости входного изображения с оптической осью, совпадающей с центром входного изображения; (k₁, ..., k_n) — коэффициенты радиальной дисторсии; (p₁, ..., p_n) — коэффициенты тангенциальной дисторсии; при этом коэффициенты радиальной дисторсии {k} не зависят от разрешения входного изображения, а значения фокусных расстояний и принципиальной точки прямо пропорциональны разрешению входного изображения.

В предпочтительном варианте осуществления способа выполняют панорамную настройку телекамер на бесконечности на основе оценки матрицы гомографии H_ij, которая позволяет сопоставлять входные изображения с различных телекамер, между соседними телекамерами i и j, причем соседними считают телекамеры, которые формируют перекрывающиеся входные изображения, при этом на первом этапе формируют входные изображения с удаленной сценой, на втором этапе определяют матрицу гомографии H_ij для каждой пары соседних телекамер, оптические центры которых не совпадают, по сформированным входным изображениям, после чего сохраняют параметры предварительной настройки телекамер.

В предпочтительном варианте осуществления способа пересчитывают параметры гомографии под снимаемую сцену, при этом регулируют площадь области перекрытия между входными изображениями при переходе от бесконечно удаленной сцены с известным преобразованием гомографии для телекамер к фиксированной снимаемой сцене, используя элементы h₁₃ и h₂₃ матрицы гомографии H, причем, если оптические центры телекамер выровнены горизонтально или вертикально, тогда используют только один из элементов h₁₃ и h₂₃ матрицы гомографии H_ij.

В предпочтительном варианте осуществления способа, если оптические центры телекамер выровнены горизонтально или вертикально, тогда используют только один из элементов h₁₃ и h₂₃ матрицы гомографии H_ij.

В предпочтительном варианте осуществления способа запоминающее устройство соединено с телекамерами и с сервером.

В предпочтительном варианте осуществления способа запоминающие устройства встроены в телекамеры.

Для лучшего понимания заявленного изобретения далее приводится его подробное описание с соответствующими графическими материалами.

Фиг. 1. Схема предварительной настройки телекамер, выполненная согласно изобретению.

Фиг. 2. Схема панорамной настройки телекамер на бесконечности, выполненная согласно изобретению.

Фиг. 3. Схема формирования панорамного изображения, выполненная согласно изобретению.

Фиг. 4. Схема системы автоматической настройки системы разнесенных в пространстве телекамер для формирования панорамного изображения, выполненная согласно изобретению.

Рассмотрим кратко принцип функционирования заявленного способа автоматической настройки системы разнесенных в пространстве телекамер для формирования панорамного изображения, в котором для системы стационарных телекамер 1, соединенных с сервером 2 и запоминающим устройством 3 и содержащих вычислительную подсистему 4 и оптическую подсистему 5 (фиг. 1 - 4).

Сначала выполняют предварительную настройку телекамер 1, при этом выполняют следующие операции.

- калибруют телекамеры 1, при этом определяют внутренние параметры телекамер для исправления искажений, вызванных неидеальностью линз (очень актуально для широкоугольных объективов);

- выполняют панорамную настройку телекамер 1 на бесконечности, при этом определяют матрицу гомографии для телекамер 1, оптические центры которых не совпадают. Проблемы формирования панорамного изображения, которые связаны с параллаксом, в следствии которого отличаются параметры сшивки для различных расстояний, решают путем настройки панорамы на бесконечности для дальнейшей корректировки этих параметров под конкретную сцену.

Предварительную настройку телекамер 1 выполняют один раз и в дальнейшем используют найденные параметры предварительной настройки.

После получения параметров предварительной настройки формируют панорамное изображение:

- загружают параметры предварительной настройки телекамер 1,

- формируют входные изображения с необходимой сценой,

- пересчитывают параметры гомографии под снимаемую сцену,

- сшивают входные изображения по скорректированным параметрам гомографии и осуществляют их дальнейшую постобработку.

Рассмотрим более подробно осуществление заявленного способа автоматической настройки системы разнесенных в пространстве фиксированных телекамер для формирования панорамного изображения (фиг. 1 - 4).

Способ осуществляют в два этапа: сначала выполняют предварительную настройку телекамер 1 системы (фиг. 1 и фиг. 2) и в дальнейшем используют параметры предварительной настройки для формирования панорамного изображения (фиг. 3).

Предварительную настройку системы телекамер выполняют с помощью вычислительных подсистем 4 телекамер следующим образом (фиг. 1). Каждую телекамеру 1 калибруют отдельно, при этом определяют ее внутренние параметры:

(f_x, f_y) — фокусные расстояния, измеренные по ширине и высоте пикселя, делённые на пространственный размер пикселя на сенсоре;

(c_x, c_y) — принципиальная точка (точка пересечения плоскости изображения с оптической осью, совпадающая с центром изображения);

(k₁, ..., k_n) — коэффициенты радиальной дисторсии;

(p₁, ..., p_n) — коэффициенты тангенциальной дисторсии.

Известно, что коэффициенты дисторсии {k} не зависят от разрешения сформированного изображения, в то время как параметры фокуса и принципиальной точки прямо пропорциональны разрешению изображения.

Панорамная настройка системы телекамер 1 на бесконечности (фиг. 1) заключается в оценке матрицы гомографии для телекамер, оптические центры которых в общем случае не совпадают. Для нивелирования проблем при формировании панорамного изображения, связанных с параллаксом, из-за различных параметров сшивки для различных расстояний съемки, выполняют настройку телекамер на бесконечности.

Применение панорамной настройки телекамер 1 на бесконечности позволяет использовать произвольную систему телекамер 1 с различным их положением без использования специального дополнительного оборудования для пересчета параметров сшивки при смене сцены панорамирования, и адаптивно решать проблему параллакса. Дальнейшую корректировку этих параметров под конкретную сцену выполняют в процессе формирования панорамного изображения на основе известных методов (корреляционных методов, методов на основе поиска по шаблону или поиска общих точек и других).

Панорамную настройку телекамер 1 на бесконечности выполняют на основе оценки матрицы гомографии H_ij между соседними телекамерами i и j согласно установленной системы телекамер, которая позволяет сопоставлять входные изображения с различных телекамер 1. Соседними считаются телекамеры, которые формируют перекрывающиеся входные изображения. На первом этапе формируют входные изображения с достаточно удаленной сценой (фиг. 2). На втором этапе определяют матрицу гомографии H_ij для каждой пары соседних телекамер в системе по сформированным входным изображениям. Найденные параметры предварительной настройки системы телекамер сохраняют в запоминающем устройстве 3.

Формирование панорамного изображения выполняют следующим образом (фиг. 3). Загружают параметры предварительной настройки системы телекамер из запоминающего устройства 3 в сервер 2. Формируют с помощью оптических подсистем 5 телекамер 1 входные изображения с необходимой сценой. Автоматически пересчитывают с помощью сервера 2 параметры гомографии под снимаемую сцену, при этом регулируют площадь области перекрытия между изображениями при переходе от бесконечно удаленной сцены с известным преобразованием гомографии для телекамер к фиксированной снимаемой сцене, за это отвечают элементы h₁₃ и h₂₃ матрицы гомографии H. Если же оптические центры телекамер 1 выровнены горизонтально или вертикально, то достаточно поиска одного соответствующего параметра, таким образом, с помощью предварительной настройки существенно понижается размерность задачи. Формируют с помощью оптических подсистем 5 телекамер входные изображения с необходимой сценой и передают их в сервер 2. Осуществляют с помощью сервера 2 сшивку входных изображений, при этом формируют панорамное изображение.

Заявленный способ автоматической настройки системы разнесенных в пространстве телекамер для формирования панорамного изображения имеет следующие преимущества:

- позволяет использовать произвольную систему телекамер с различным положением;

- не имеет проблемы параллакса в случае несовпадения оптических центров телекамер, за счет предварительной настройки системы телекамер на бесконечности, что нивелирует проблемы формирования панорамного изображения, связанные с параллаксом, из-за различных параметров сшивки входных изображений для различных расстояний съемки;

- не требует дополнительного оборудования для пересчета параметров сшивки входных изображений при переконфигурировании снимаемой области, за счет выполнения панорамной настройки телекамеры на бесконечности на основе оценки матрицы гомографии.

Хотя описанный выше вариант выполнения изобретения был изложен с целью иллюстрации заявленного изобретения, специалистам ясно, что возможны разные модификации, добавления и замены, не выходящие из объема и смысла заявленного изобретения, раскрытого в прилагаемой формуле изобретения.

Изобретение относится к области обработки цифровых изображений. Техническим результатом изобретения является создание более простого и дешевого способа автоматической настройки системы разнесенных в пространстве телекамер для формирования панорамного изображения, за счет отсутствия дополнительных устройств и выполнения пересчета параметров сшивки входных изображений по объектам, расположенным в области перекрытия входных изображений. 6 з.п. ф-лы, 4 ил.

1. Способ автоматической настройки системы разнесенных в пространстве телекамер для формирования панорамного изображения, в котором для системы стационарных телекамер, соединенных с сервером, выполняют следующие операции:

- выполняют предварительную настройку телекамер с помощью вычислительных подсистем телекамер, при этом

- калибруют телекамеры, при этом определяют внутренние параметры телекамер,

- выполняют панорамную настройку телекамер на бесконечности, при этом определяют матрицу гомографии для телекамер, оптические центры которых не совпадают,

- сохраняют параметры предварительной настройки телекамер по меньшей мере в одно запоминающее устройство,

- формируют панорамное изображение, при этом

- загружают параметры предварительной настройки телекамер из запоминающего устройства в сервер,

- формируют с помощью оптических подсистем телекамер входные изображения с необходимой сценой и передают их в сервер,

- пересчитывают с помощью сервера параметры гомографии под снимаемую сцену,

- сшивают с помощью сервера входные изображения по параметрам гомографии и осуществляют их постобработку.

2. Способ по п. 1, отличающийся тем, что внутренние параметры телекамер выбраны из набора параметров, содержащего: (f_x, f_y) — фокусные расстояния, измеренные по ширине и высоте пикселя, делённые на пространственный размер пикселя на сенсоре телекамеры; (c_x, c_y) — принципиальную точку пересечения плоскости входного изображения с оптической осью, совпадающей с центром входного изображения; (k₁, ..., k_n) — коэффициенты радиальной дисторсии; (p₁, ..., p_n) — коэффициенты тангенциальной дисторсии; при этом коэффициенты радиальной дисторсии {k} не зависят от разрешения входного изображения, а значения фокусных расстояний и принципиальной точки прямо пропорциональны разрешению входного изображения.

3. Способ по п. 1, отличающийся тем, что выполняют панорамную настройку телекамер на бесконечности на основе оценки матрицы гомографии H_ij, которая позволяет сопоставлять входные изображения с различных телекамер между соседними телекамерами i и j, причем соседними считают телекамеры, которые формируют перекрывающиеся входные изображения, при этом на первом этапе формируют входные изображения с удаленной сценой, на втором этапе определяют матрицу гомографии H_ij для каждой пары соседних телекамер, оптические центры которых не совпадают, по сформированным входным изображениям, после чего сохраняют параметры предварительной настройки телекамер.

4. Способ по п. 1, отличающийся тем, что пересчитывают параметры гомографии под снимаемую сцену, при этом регулируют площадь области перекрытия между входными изображениями при переходе от бесконечно удаленной сцены с известным преобразованием гомографии для телекамер к фиксированной снимаемой сцене, используя элементы h₁₃ и h₂₃ матрицы гомографии H, причем, если оптические центры телекамер выровнены горизонтально или вертикально, тогда используют только один из элементов h₁₃ и h₂₃ матрицы гомографии H.

5. Способ по п. 4, отличающийся тем, что, если оптические центры телекамер выровнены горизонтально или вертикально, тогда используют только один из элементов h₁₃ и h₂₃ матрицы гомографии H.

6. Способ по п. 1, отличающийся тем, что запоминающее устройство соединено с телекамерами и с сервером.

7. Способ по п. 1, отличающийся тем, что запоминающие устройства встроены в телекамеры.