Способ определения положения области поиска соответствий на дисторсионно-искажённых изображениях Российский патент 2021 года по МПК G06T7/246 G06T7/60 G06T7/70 

Изобретение относится к области информационно-измерительных систем в частности систем технического зрения и предназначается для решения задач автоматизации определения положения и границ областей поиска соответствий на двух и более цифровых изображениях. Изобретение в первую очередь ориентировано на применение в маломощных мобильных системах, предполагающих работу в реальном масштабе времени с дисторсионно-искаженными изображениями высокого разрешения без предварительной их обработки.

При разработке систем технического зрения (СТЗ) пространственного позиционирования (измерения параметров движения, координат, размеров и т.п.) как самой системы, так и наблюдаемых через ее цифровые камеры объектов, одними из главных требований является осуществление измерений в реальном масштабе времени, высокая точность результатов измерений и вычислительная реализуемость применяемого автоматического определение положения и границ областей поиска соответствий на двух и более цифровых изображениях. Особенно последнее требование актуально при реализации мобильных СТЗ выполняемых на базе ЭВМ с ограниченной вычислительной мощностью. Выполнение данного требования во многом определяет погрешность измерительной системы и возможность проведения точного и высокоскоростного сопоставления соответствующих изображений интересующих объектов на множестве кадров цифровых изображений.

В настоящее время различают глобальный и локальный поиск соответствий.

Глобальный поиск основывается на минимизации функционала энергии, когда находят расхождение сразу для множества точек (объектов) обрабатываемых изображений. Как правило такие задачи связаны с трехмерной реконструкцией наблюдаемой сцены по множеству разноракурсных изображений. Общий недостаток глобального поиска - это высокая вычислительная сложность.

Особенность локального поиска заключается в том, что поиск соответствий в нем организуется путем последовательного сканирования между локальными участками изображений, как правило это некоторая интересующая область одного изображения и область поиска на другом изображении.

В свою очередь размеры областей поиска и порядок их нахождения будут определять точность поиска и требования к вычислительной мощности ЭВМ.

Самый простой по реализации способ определения положения области поиска (при локальном поиске) может быть применен в СТЗ, предполагающей прием цифровых изображений по крайней мере с двух одинаковых видео или фотокамер, расположенных в пространстве строго параллельно друг другу и на одной базовой линии [Зубарь А.В., Сидоренко А.А., Тишин С.А., Щербо А.Н. Анализ способов поиска соответствий на изображениях для маломощных систем технического зрения // Национальные приоритеты России. Сер. 1. Наука и военная безопасность. 2017. №4 (11). С. 5-12.]. В этом случае, если на изображении 1 левой камеры выделена несущая информацию об интересующем объекте область 4 с центром в точке 3, то на изображении 2 правой камеры участок 6 изображения данного объекта с центром в точке 5 будет иметь такие же вертикальные координаты, что и на изображении 1 (Фиг. 1). Тогда область поиска 7 на изображении 2 может быть ограничена линией от точки 8 до точки 9. Точка 8 характеризует ближайшую, а точка 9 - бесконечно уделенную границы области поиска 7. При этом пиксельные координаты n_j+1 и m_j+1 удаленной границы 9 на изображении 2 будут равны пиксельным координатам n_j и m_j центра 3 области 4 характеризующей положение объекта интереса на изображении 1. Ближайшая граница 8 области поиска 7 при таком расположении камер будет находиться на левом крае изображения 2 (n_j+1=0) с такой же вертикальной координатой m_j+1, что и у границы 9.

Недостаток данного способа определения положения области поиска соответствий заключается в ограниченности его применения в связи с необходимостью использования только абсолютно одинаковых камер, и в высоких требованиях по обеспечению точного их параллельного размещения в пространстве. Особенно последнее является критичным для применения СТЗ на движущихся мобильных платформах, где ударные и вибрационные нагрузки могут приводить к колебаниям и деформациям корпуса, в том числе и в местах крепления камер, что делает условие обеспечения абсолютной параллельности камер если не практически, то трудно реализуемым.

Нивелирования требования по обеспечению параллельного размещения камер (при чем только в вертикальной и горизонтальной их взаимной ориентации) может быть достигнуто путем расширения области поиска 7, при этом в максимуме область поиска 7 может охватывать практически все изображение 2 (Фиг. 2). Однако в этом случае многократно увеличивается количество вычислительных операций, и соответственно, растут требования к вычислительной мощности ЭВМ. Также достаточно высока вероятность ложного результата поиска в связи с возможностью нахождения в кадре идентичных по форме, ракурсу и окраске объектов.

Все это приводит к тому, что на сегодняшний день данные способы практически не применимы, особенно в тех случаях, когда стоит необходимость проведения измерений в реальном масштабе времени с произвольно расположенных и разных по своим техническим параметрам цифровых видео или фотокамер на базе маломощной ЭВМ.

Аналогом к заявленному изобретению является способ определения положения области поиска соответствий на цифровых изображениях основанный на их ректификации [Зубарь А.В., Сидоренко А.А., Тишин С.А., Щербо А.Н. Анализ способов поиска соответствий на изображениях для маломощных систем технического зрения // Национальные приоритеты России. Сер. 1. Наука и военная безопасность. 2017. №4 (11). С. 5-12, Пьянков, Д.И. Пространственная обработка несинхронизированных видеопоследовательностей на основе ректификации кадров // Программные продукты и системы. - №1(101) - Тверь: НИИ «Центрпрограммсистем», 2013 г., с. 61-66]. Сущность ректификации заключается в репроекции плоскостей изображений 1 и 2 таким образом, чтобы они находились в одной плоскости. В результате чего область поиска 7 преобразуется к горизонтальной линии (Фиг. 3). При этом если изображений 1 получено с левой камеры, а изображения 2 - с правой, то ближняя граница 8 области поиска 7 будет находиться на левом крае изображения 8, а дальняя граница 9 - на его правом крае. Вертикальная же координата m_j+1, задающая положение области поиска 7 на изображении 2 определяется соответствующей координатой m_j центра 3 области интереса 4 на изображении 1.

Различают несколько видов ректификаций, например, планарную, полярную. Вместе с этим общими недостатками организации поиска по ректифицированным изображениям являются:

- необходимость с высокой точностью установления всех внутренних, в том числе и случайных, параметров камер;

- сложность осуществления расчетов в реальном времени для изображений высокого разрешения из-за большого количества вычислений, связанных с полной попиксельной переработкой пары изображений;

- искажения изображений, связанные с тем, что при устранении проективных искажений с помощью ректификации в том или ином виде всегда осуществляется интерполяция отсчетов, так как фактически после этого этапа поиск соответствий осуществляется «на других» изображениях, отличающихся от исходных;

- ограниченная возможность применения ректификации, в частности, при обработке дисторсионно-искаженных и «разноракурсных» изображений после проведения ректификации изображения интересующих объектов могут быть настолько деформированы, что само по себе вычисление меры сходства станет невозможным.

В качестве прототипа к заявленному изобретению выбран способ определения положения области поиска соответствий на цифровых изображениях вдоль эпиполярных линий [Зубарь А.В., Сидоренко А.А., Тишин С.А., Щербо А.Н. Анализ способов поиска соответствий на изображениях для маломощных систем технического зрения // Национальные приоритеты России. Сер. 1. Наука и военная безопасность. 2017. №4 (11). С. 5-12, Гошин, Е.В. Модель реконструкции 3D-сцен с учетом эпиполярных ограничений // Молодой ученый. - 2014. - №12. - С. 71-73. - URL https://moluch.ru/archive/71/12174/ (дата обращения: 10.01.2020)]. Нахождение положения эпиполярных линий базируется на модели эпиполярной геометрии, согласно которой все эпиполярные прямые проходят через эпиполюс, а множество эпиполярных плоскостей представляет собой однопараметрическое семейство плоскостей. И если на изображении 1 указан объект (Фиг. 4), то для данного взаимного положения камер на изображении 2 существует только одна линия 7, на которой возможно нахождение изображения этого объекта.

Очевидным достоинством такого подхода к определению положения области поиска по сравнению с ректификацией является отсутствие необходимости попиксельной переработки изображений. А из этого следует уменьшение количества вычислительных операций и повышение достоверности результата поиска, так как поиск осуществляется по оригинальным изображениям.

С другой стороны, при нахождении эпиполярных линий так же, как и при ректификации, предварительно должна быть вычислена фундаментальная матрица, для построения которой необходимо точно знать все внутренние параметры камер и их взаимную ориентацию. Следовательно, продуктивность этого способа в случае, когда внутренние параметры камер или неизвестны вовсе, или известны ограниченно, а сами камеры постоянно меняют свою ориентацию, а поиск необходимо осуществлять по видеоряду в реальном масштабе времени, будет снижена.

Другой важный недостаток связан с тем, что модель эпиполярной геометрии не учитывает дисторсионные искажения изображений. Так, на фигуре 4 показано, что, если изображения 1 и 2 искажены радиальной и тангенциальной дисторсией, область поиска 7 должна быть кривой (Фиг. 5). Модель эпиполярной геометрии не предполагает построение кривых, а, следовательно, для нахождения соответствующей эпиполярной линии необходимо или применять высококачественную и дорогую оптику или осуществлять коррекцию изображений, опять же связанную с их полной попиксельной переработкой. Это многократно увеличивает количество вычислительных операций и время на поиск, а также потребует для проведения измерений в реальном масштабе времени высокопроизводительной СТЗ с мощным графическим процессором. А для маломощных мобильных СТЗ с учетом обеспечения проведения измерений по искаженным дисторсией изображениям высокого разрешения в реальном времени такой способ определения положения области поиска может оказаться неприменим.

Для определения положения области поиска 7 на изображении 2 вдоль эпиполярной линии эпиполярная плоскость принимается безразмерной. В связи с чем область поиска 7 проходит через все изображение 2. И для большинства случаев съемки это вполне справедливо. Но вместе с этим в отдельных ситуациях взаимная ориентация камер может оказаться такова, что область поиска 7 должна проходить не через все изображение (Фиг. 5). При этом ближняя граница 8 области поиска 7 может быть задана из условия минимальной дальности до интересующего объекта, а дальняя граница 9 - максимальной дистанцией, на которой ошибки измерений не превысят некоторое установленное значение, или дальностью за которой все объекты будут рассматриваться как равноудаленные. Введение таких дополнительных ограничений еще больше будет способствовать уменьшению размеров область поиска, и как следствие - снижению количества вычислительных операций при непосредственном проведении поиска.

Таким образом, задача, на решение которой направлено заявленное изобретение, заключается в разработке способа автоматического определения положения ограниченной с двух сторон и адаптивной по форме характеру дисторсии области поиска при условии обеспечения возможности быстрой ее перестройки в случаях динамичного изменения взаимного положения в пространстве камер с неизвестными внутренними параметрами.

Решение данной задачи обеспечивается:

во-первых, высокой скоростью перестроения положения и формы области поиска при изменении взаимного положения камер в пространстве за счет введения дополнительных ограничений на возможное положение в пространстве интересующего объекта в виде минимальной и максимальной дальностей измерений, а также отсутствия необходимости предварительной попиксельной переработки изображений, вычисления фундаментальной матрицы и решения сложных систем уравнений.

во-вторых, адаптацией формы области поиска к дисторсионным искажениям объективов, погрешностям при производстве, сборке и эксплуатации камер, а также возможностью проведения поиска в условиях, когда известно только разрешения обрабатываемых изображений, за счет применения выражений, позволяющих осуществлять (Фиг. 6):

«прямой» переход от пиксельных координат n_j и m_j изображения интересующего объекта к его метрическим трехмерным координатам в системе координат (СК) j-ой камеры на основании выражения

где A_j - вектор трехмерных координат центра изображения интересующего объекта на плоскости изображения j-ой камеры, условно отстоящего от оптического центра ее объектива на расстоянии

n'_j=n_j-0,5N_j, m'_j=m_j-0,5N_j - приведенные пиксельные координаты изображения объекта на изображении j-ой камеры;

α_j и β_j - углы соответственно, в горизонтальной и вертикальной плоскостях на интересующий объект относительно оптической оси объектива j-ой камеры, вычисляемые согласно выражений:

N_j и M_j - горизонтальное и вертикальное разрешение изображения j-ой камеры;

с₀, с₁, с₂, …c_q и d₀, d₁, d₂, …, d_q - полиномиальные коэффициенты «прямого» преобразования функций ƒ(n'_j) и ƒ(m'_j) соответственно,

и «обратный» переход от метрических трехмерных координат к плоским пиксельным координатам n_j и m_j на основании выражения

где

где и - полиномиальные коэффициенты «обратного» преобразования функций ƒ(α_j) и ƒ(β_j) соответственно,

При этом применение полиномов «прямого» (2), (3) и «обратного» (5), (6) преобразования обеспечивает установление математической связи между пиксельными координатами n_j, m_j изображения объекта и его трехмерными координатами в СК камеры при работе с дисторсионно-искаженными цифровыми изображениями не соответствующими своим разрешением физическому разрешению фотоприемных устройств и применение камер с неизвестными техническими параметрами, в том числе с учетом возможных погрешностей, допущенных при их изготовлении или возникших по вине эксплуатации. При чем вычисляться коэффициенты с₀, с₁, с₂, …c_q, d₀, d₁, d₂, …, d_q и полиномов (2), (3) и (5), (6) должны для каждой j-ой камеры индивидуально при ее производстве и сборке, или уточняться непосредственно перед применением измерительной системы путем описания полиномами q-го порядка взаимосвязей между вертикальными и горизонтальным углами на интересующий объект относительно j-ой камеры и соответствующими значениями его пиксельных координат на принимаемых с j-ой камеры цифровых изображениях.

Основным техническим результатом, обеспечиваемым приведенной совокупностью признаков, являются:

- снижение требований к вычислительным ресурсам измерительной вычислительной системы (ЭВМ);

- повышение скорости проведения автоматического поиска соответствий на дисторсионно-искаженных изображениях с динамично меняющих свои пространственные положение и ориентацию цифровых камер высокого разрешения;

Кроме этого к техническому результату может быть отнесено снижение стоимости и большая простота реализации измерительной системы за счет возможности применения дешевых бытовых «неметрических» камер, в том числе, с неизвестными техническими параметрами.

Для осуществления заявленного способа могут использоваться по крайней мере две разнесенные в пространстве (при чем в любой плоскости) и произвольно сориентированный цифровые j-ые видеокамеры 10 и 11 (Фиг. 6), обеспечивающие возможность захвата стереоизображений объектов интереса и совместно с обрабатывающей системой (на фиг. 6 не показано) образующие СТЗ. Причем применяемые цифровые камеры могут быть как в видимого, так и инфракрасного диапазонов.

Каждая из применяемых j-ых камер, например, камера 10 и 11 (Фиг. 6), может быть установлена на своем кардановом подвесе, обеспечивающем возможность изменения угловой ориентации камеры (в зависимости от необходимости) в горизонтальной, вертикальной и поперечной плоскостях. Каждый из кардановых подвесов в свою очередь может дополнительно содержать датчики углов, осуществляющие получение значений величин углов ориентации камеры (в зависимости от конструкции карданова подвеса) в горизонтальной, вертикальной и поперечной плоскостях. При этом камера 10 и камера 11, датчики угла поворота рам подвеса должны быть выполнены с возможностью передачи в обрабатывающую систему видеоданных и данных о пространственной ориентации камер через кабели (например, кабели универсальной последовательной шины USB) или по беспроводной связи (например, Wi-Fi).

Текущие положение и ориентация каждой из j-ых камер определяются по их системам координат (СК) При этом начало каждой из СК располагается в оптическом центре объектива j-ой камеры. Ось направляется строго по оптической оси объектива, ось - влево относительно направления оси вдоль строк цифровых изображений, ось - вверх вдоль столбцов изображений. Так на фиг. 6 в качестве примера показано размещение двух СК 12 и 13 для камер 10 и 11.

В свою очередь для описания пространственного положения и ориентации СК 12 и 13 относительно начальной СК 17 O_wX_wY_wZ_w применяют матрицы

где

- углы в горизонтальной, вертикальной и поперечной плоскостях ориентации осей СК 12 и 13 относительно соответствующих осей СК 17;

- координаты начала СК 12 и 13 заданные в СК 17.

Цифровые изображения разрешением N_j×M_j, принимаемые с каждой из j-ых камер (фиг. 6), состоят из пикселей. Каждый пиксель характеризуется значением, которое состоит из полутонового значения или цветового значения. В полутоновых изображениях значение пикселя представляет собой одну величину, которая характеризует яркость пикселя. Наиболее общим форматом описания пикселя является байт изображения, в котором значение пикселя представлено восьмиразрядным целым числом, лежащим в диапазоне возможных значений от 0 до 255. Как правило, значение пикселя, равное нулю, используют для обозначения черного пикселя, а значение 255 используют для обозначения белого пикселя. Промежуточные значения описывают различные оттенки полутонов. В цветных изображениях для описания каждого пикселя (расположенного в цветовом пространстве размерности RGB - красный, зеленый, синий) должны быть отдельно определены красная, зеленая и синяя компоненты. Иными словами, значение пикселя фактически представляет собой вектор, описанный тремя числами. Три различные компоненты могут быть сохранены как три отдельных полутоновых изображения, известные как цветовые плоскости (по одной для красного, зеленого и синего цветов), которые можно воссоединять при отображении или при обработке.

Цифровые изображения 1 и 2 своим центрами 15 и 16 принимают размещенными на оптических осях их объективов в положительных направлениях осей СК 12 и 13 на расстояниях (Фиг. 6). При этом строки изображений 1 и 2 параллельны осям а столбцы - осям

Если, например, в поле зрения камеры 10 находится объект 14 (Фиг. 6), то на цифровом изображении 1 изображению 3 этого объекта будет соответствовать пиксель, положение которого в пиксельной СК изображения 1 будет характеризоваться номером столбца n_j и строки m_j. Аналогично для камеры 11 на ее изображении 2 координатам изображения 5 объекта 14 будут соответствовать n_j+1 и m_j+1.

Обрабатывающая система, являющаяся, например, удаленным компьютером, таким как ноутбук или персональный компьютер (рабочая станция), должна обеспечивать выбор пользователем изображений и/или ввод команд обработки и содержать в свою очередь исполняемые модули или команды с возможностью выполнения по меньшей мере одним процессором, пользовательский интерфейс содержащий дисплей, такой как жидкокристаллический монитор, для просмотра видеоданных и устройство управления и ввода данных, такое как клавиатура или указательное устройство (например, манипулятор типа «мышь», шаровой указатель, стилус, сенсорная панель или другое устройство), для обеспечения взаимодействия пользователя с видеоданными.

Сущность изобретения поясняется чертежами, которые не охватывают и тем более не ограничивают весь объем притязаний данного изобретения, а являются лишь иллюстрирующими материалами частного случая выполнения, на которых:

на фиг. 1 иллюстрируется способ определения положения области поиска соответствий при применении одинаковых и параллельно расположенных камер;

на фиг. 2 иллюстрируется способ определения положения области поиска соответствий при применении одинаковых, но произвольно расположенных в вертикальной и горизонтальной плоскостях камер;

на фиг. 3 иллюстрируется способ определения положения области поиска соответствий при проведении предварительной ректификации изображений обеих камер;

на фиг. 4 иллюстрируется способ определения положения области поиска соответствий вдоль эпиполярных линий;

на фиг. 5 иллюстрируется разработанный способ определения положения области поиска соответствий;

на фиг. 6 показана схема взаимного положения СК камер и их изображений, а также отражены возможное положение изображения интересующего объекта на изображении одной камеры и область поиска соответствий на изображении второй камеры.

Осуществляют заявленный способ следующим образом (фиг. 5-6).

На изображении 1 камеры 10 в ручном или автоматическом режимах задают пиксельные координаты n_j и m_j изображения 3 интересующего объекта 14, на основании чего согласно выражений (1-3) вычисляют вектор трехмерных координат изображения 3 в СК 12 камеры.

Задают значения минимальной и максимальной дальностей измерений относительно СК камеры 12.

Разбивают расстояние от до на i интервалов и вычисляют шаг h_i, одного интервала согласно выражения

Вычисляют матрицу M_j положений объекта 14 в СК 12 камеры 10

На основании данных с датчиков кардановых подвесов, на которой установлены камеры, или по данным их текущей внешней калибровки вычисляют матрицы положения и в соответствии с выражением (7).

Вычисляют матрицу M_j+1 положений объекта 14 в СК 13 камеры 11

Проецируют матрицу M_j+1 на плоскость изображения 2 камеры 11, для чего с учетом значений матрицы M_j+1 вычисляют матрицу

где вектор определяет положение ближней границы 8, а вектор - положение дальней границы 9 области поиска 7 на изображении 2.

Если то любым из известных способов аппроксимируют значения первого и второго столбцов матрицы полиномом g-го порядка

где a₀, a₁, a₂, … a_g - полиномиальные коэффициенты функции

Если то аппроксимируют значения первого и второго столбцов матрицы полиномом

(12)

где b₀, b₁, b₂, … b_g - полиномиальные коэффициенты функции

С применением выражения (4) вычисляют пиксельные координаты ближней 8 (вектор P_j+1,0) и дальней 9 (вектор P_j+1,i) границ области поиска 7

Если был получен полином то генерируют ряд номеров столбцов от n_j+1,0 до n_j+1,i шагом в один пиксель, при этом если n_j+1,0≤0, то n_j+1,0 принимают, равным нулю, если n_j+1,i≥N_j+1-1, то n_j+1,i принимают равным N_j+1-1.

Согласно выражения (2) для значений ряда L_n вычисляют ряд Далее на оснований значений L_α вычисляют ряд

Подставляют значения ряда L_x в выражение (11), при этом вычисленные значения записывают ряд

Преобразуют значения ряда L_y в ряд L_m в соответствии с выражением

Если был получен полином то генерируют ряд номеров строк от m_j+1,0 до m_j+1,i, при этом если m_j+1,0≤0, то m_j+1,0 принимают, равным нулю, если m_j+1,i≥M_j+1-1, то m_j+1,i принимают равным M_j+1-1.

Согласно выражения (3) для значений ряда L_m вычисляют ряд Далее на оснований значений L_β вычисляют ряд

Подставляют значения ряда L_y в выражение (12), при этом вычисленные значения записывают ряд

Преобразуют значения ряда L_x в ряд L_n согласно выражения

На заключительном этапе после вычисления рядов L_n и L_m из их значений формируют массив поиска

с округленными до ближайшего целого значениями пиксельных координат n_j+1,i и m_j+1,i, в своей совокупности определяющими положение дополнительно ограниченной с двух сторон и адаптированной по форме к дисторсионным искажениям объектива области поиска 7 на изображении 2 j+1-ой камеры 11.

Изобретение относится к области информационно-измерительных систем, в частности систем технического зрения, и предназначается для решения задач автоматизации поиска соответствий на двух и более цифровых изображениях. Технический результат изобретения заключается в повышении скорости проведения автоматического поиска соответствий на дисторсионно-искаженных изображениях с динамично меняющих свои пространственные положение и ориентацию цифровых камер высокого разрешения. Заявлен способ определения положения области поиска соответствий на дисторсионно-искажённых изображениях. Для осуществления заявленного способа могут использоваться по крайней мере две разнесенные в пространстве (причем в любой плоскости) и произвольно сориентированные цифровые j-е видеокамеры, обеспечивающие возможность захвата стереоизображений объектов интереса и совместно с обрабатывающей системой образующие СТЗ. Причем применяемые цифровые камеры могут быть как видимого, так и инфракрасного диапазонов. Изобретение в первую очередь ориентировано на применение в маломощных мобильных системах, предполагающих работу в реальном масштабе времени с дисторсионно-искаженными изображениями высокого разрешения без предварительной их обработки. 6 ил.

Способ определения положения области поиска соответствий на дисторсионно-искаженных изображениях, заключающийся в приеме цифровых изображений по крайней мере с двух j-й и j+1-й видеокамер и их дальнейшей обработке с целью нахождения области поиска интересующего объекта на изображении j+1-й камеры по известным его пиксельным n_j, m_j координатам на изображении j-й камеры, где n_j - номер столбца, m_j - номер строки,

отличающийся тем, что при определении положения и границ области поиска интересующего объекта на изображении j+1-й камеры по известным его пиксельным координатам n_j и m_j на изображении j-й камеры вычисляют вектор A_j трехмерных координат изображения этого объекта в системе координат (СК) j-й камеры согласно выражению:

где A_j - вектор трехмерных координат центра изображения интересующего объекта на плоскости изображения j-й камеры, условно отстоящего от оптического центра ее объектива на расстоянии

- приведенные пиксельные координаты изображения объекта на изображении j-й камеры;

α_j и β_j - углы соответственно в горизонтальной и вертикальной плоскостях на интересующий объект относительно оптической оси объектива j-й камеры, вычисляемые согласно выраженям:

N_j и M_j - горизонтальное и вертикальное разрешения изображения j-й камеры;

с₀, с₁, с₂, … c_q и d₀, d₁, d₂, … d_q - полиномиальные коэффициенты «прямого» преобразования функций и соответственно;

задают значения минимальной и максимальной дальностей измерений относительной СК j-й камеры;

разбивают расстояние от до на i интервалов и вычисляют шаг h_i одного интервала

вычисляют матрицу M_j положений объекта в СК j-й камеры

на основании принятых данных с датчиков кардановых подвесов, на которых установлены камеры, или по данным их текущей внешней калибровки вычисляют матрицы положения и в соответствии с выражением

где

и - углы в горизонтальной, вертикальной и поперечной плоскостях ориентации осей СК соответственно j-й и j+1-й камер относительно соответствующих осей начальной (мировой) СК;

и - координаты начал СК j-й и j+1-й камер, заданные в начальной внешней СК;

вычисляют матрицу M_j+1 положений интересующего объекта в СК j+1-й камеры

проецируют матрицу M_j+1 на плоскость изображения j+1-й камеры, для чего с учетом значений матрицы M_j+1 вычисляют матрицу

где вектор определяет положение ближней границы, а вектор - положение дальней границы области поиска на изображении j+1-ой камеры;

при этом если то любым из известных способов аппроксимируют значения первого и второго столбцов матрицы полиномом g-го порядка

где a₀, a₁, a₂, … a_g - полиномиальные коэффициенты функции

если то аппроксимируют значения первого и второго столбцов матрицы полиномом

где b₀, b₁, b₂, … b_g - полиномиальные коэффициенты функции

вычисляют пиксельные координаты (n_j+1,0, m_j+1,0 и n_j+1,i, m_j+1,i) ближней (вектор P_j+1,0) и дальней (вектор P_j+1,i) границ области поиска на изображении j+1-ой камеры

где ƒ(α_j+1) и ƒ(β_j+1) - функции «обратного» преобразования, вычисляемые согласно выражений

q - порядок (степень) полиномов (13) и (14);

и - полиномиальные коэффициенты «обратного» преобразования функций ƒ(α_j+1) и ƒ(β_j+1) соответственно;

если ранее был получен полином то генерируют ряд номеров столбцов от n_j+1,0 до n_j+1,i шагом в один пиксель, при этом если n_j+1,0≤0, то n_j+1,0 принимают, равным нулю, если n_j+1,i≥N_j+1-1, то n_j+1,i принимают равным N_j+1-1;

согласно выражению (2) для значений ряда L_n вычисляют ряд далее на основании значений L_α вычисляют ряд

подставляют значения ряда L_x в выражение (9), при этом вычисленные значения записывают ряд

преобразуют значения ряда L_y в ряд L_m в соответствии с выражением

если же был получен полином то генерируют ряд номеров строк от m_j+1,0 до m_j+1,i, при этом если m_j+1,0≤0, то m_j+1,0 принимают, равным нулю, если m_j+1,i≥M_j+1-1, то m_j+1,i принимают равным M_j+1-1;

согласно выражению (3) для значений ряда L_m вычисляют ряд Далее на основании значений L_β вычисляют ряд

подставляют значения ряда L_y в выражение (10), при этом вычисленные значения записывают ряд

преобразуют значения ряда L_x в ряд L_n согласно выражению

на заключительном этапе после вычисления рядов L_n и L_m из их значений формируют массив поиска

с округленными до ближайшего целого значениями пиксельных координат n_j+1,i и m_j+1,i, в своей совокупности определяющими положение дополнительно ограниченной с двух сторон и адаптированной по форме к дисторсионным искажениям объектива области поиска на изображении j+1-й камеры.