СПОСОБ ОБРАБОТКИ ПОСЛЕДОВАТЕЛЬНОСТИ ИЗОБРАЖЕНИЙ ДЛЯ АВТОМАТИЧЕСКОГО ОБНАРУЖЕНИЯ ТАНКЕРА И ОЦЕНИВАНИЯ ЕГО ТРАЕКТОРНЫХ ПАРАМЕТРОВ ПРИ ДОЗАПРАВКЕ В ВОЗДУХЕ НА ФОНЕ ЗВЕЗДНОГО НЕБА Российский патент 2017 года по МПК G01S5/08 

Изобретение относится к области цифровой обработки изображений и может быть использовано в бортовых системах технического зрения (БСТЗ), предназначенных для дозаправки в воздухе летательных аппаратов, в том числе и беспилотных, методом штанга-конус на фоне звездного неба.

Известна система [Пат. РФ №2104229, опубликован 10.02.1998] для дозаправки самолета топливом в полете с помощью спутниковой навигационной системы, антенны которой размещены на конусе и фюзеляже танкера, а также у основания топливоприемника заправляемого самолета. Обмен информацией о местоположении антенн осуществляется с помощью радиостанций ультракоротковолнового диапазона, установленных соответственно на танкере и заправляемом самолете. С помощью данной системы летчик получает информацию о взаимном положении и скорости сближения конуса и штанги, что повышает безопасность контактирования на этапе стыковки и обеспечивает поиск и встречу самолетов на всех курсах и расстоянии не менее 300 км.

Рассмотренная система дозаправки самолета не позволяет обеспечить дозаправку в автоматическом режиме в связи с недостаточной точностью систем спутниковой навигации для дозаправки в воздухе, а также требует установки радиостанций и систем навигации как на заправляемый самолет, так и на танкер. В задачах, где затруднено использовать радиосвязь (в связи с помехами или отказом аппаратуры) или запрещено (соблюдение режима радиомолчания), применение данной системы невозможно.

Известен способ для дозаправки БПЛА по методу штанга-конус с использованием как спутниковой системы навигации GPS, так и системы технического зрения [Fravolini, M.L., Ficola, A., Napolitano, М.R., Campa, G. and Perhinschi, M.G. Development of Modeling and Control Tools for Aerial Refueling For UAVs. AIAA Guidance, Navigation, and Control Conference and Exhibit, 11-14 August 2003, Austin, Texas, USA, AIAA 2003-5798.]. GPS формирует параметры местоположения танкера, а система технического зрения - конуса. Определение параметров конуса происходит в соответствии с алгоритмом выделения сигналов от световых маяков, которые должны быть установлены на окружности основания заправочного конуса. При этом на дистанции между танкером и заправляемым летательным аппаратом более 80 метров (по данным GPS) оценивание расстояния до конуса обеспечивается системой спутниковой навигации. На дистанции от 80 до 50 метров (по данным GPS), расстояние до конуса рассчитывается как взвешенная сумма дальности измеренной GPS и оптической системой. На дистанции менее 50 метров (по данным GPS), расстояние между конусом и штангой определяется с помощью системы технического зрения.

Данному способу присущи недостатки, связанные с использованием GPS, о которых уже было сказано. Также для оценивания параметров конуса на нем должны быть установлены световые маяки, что также снижает надежность системы, построенной на основе данного способа.

Наиболее близким к заявляемому способу является выбранный в качестве прототипа способ определения координат самолета-заправщика и конуса и устройство для его осуществления (Пат. РФ №2402035, опубликован 20.10.2010). Данный способ осуществляет программную обработку изображений для выделения двумя светочувствительными матрицами шести точек, представляющих собой светодиоды. На основе полученной информации производят вычисление координат местоположения и углов ориентации самолета-заправщика и конуса относительно заправляемого самолета. Светодиоды выбираются следующим образом: две располагаются на законцовках крыльев самолета-заправщика, одна - на киле самолета-заправщика и три, равноудаленные друг от друга, - на окружности основания конуса.

К основному недостатку прототипа можно отнести низкий уровень надежности, поскольку в случае пропадания сигнала от светодиодов способ определения координат самолета-заправщика и конуса становится неприменимым.

Технический результат, на достижение которого направлено заявляемое изобретение, состоит в расширении условий применения БСТЗ и повышении точности оценивания траекторных параметров танкера, что позволило бы создать бортовую систему технического зрения для обеспечения дозаправки в воздухе методом штанга-конус на фоне звездного неба в автоматическом режиме, а также служить дополнительной системой относительной навигации в ручном режиме.

Для достижения технического результата используется комплексирование алгоритмов обработки изображений на основе их последовательного использования. При этом переключение между алгоритмами осуществляется в зависимости от оцененных размеров и расстояния до танкера.

В изобретении предлагается использовать БСТЗ, включающую стереосистему с двумя камерами с идентичными параметрами, установленными так, чтобы оптические оси видеодатчиков были расположены параллельно, и устройство анализа изображений, в котором должны быть реализованы алгоритмы обработки и анализа изображений. Отметим, что для решения задачи обнаружения танкера и оценки его положения используется левая камера стереосистемы, а для вычисления расстояния до объекта используются обе камеры стереосистемы.

В составе комплексного алгоритма предлагается использовать следующие алгоритмы:

- алгоритм обнаружения объектов (ОБН);

- алгоритм слежения за объектом малых размеров (СМ);

- алгоритм слежения за объектом больших размеров (СБ);

- алгоритм для слежения за конусом (СК).

Под малыми размерами объекта понимаются размеры объекта на изображении от точечного до 10×10 пикселей. Под большими - превышающие малые размеры и вплоть до выхода границ изображения объекта за пределы поля зрения камеры БСТЗ.

Далее приводится описание перечисленных алгоритмов и условий, при которых происходит переключение между ними.

Алгоритм обнаружения объектов. Для получения информации об объекте требуется его обнаруживать на каждом кадре видеопоследовательности. Поскольку объект относительно звезд обычно перемещается или имеет большие размеры, чем изображения звезд, то эти обстоятельства могут служить основными критериями при обнаружении объекта. Для получения информации о движении объекта относительно фона возникает задача оценить траекторию движения звезд и объекта во времени. Следует отметить, что для эффективного решения данной задачи требуется оценить сдвиг и поворот фона между соседними кадрами, а также выделить сегменты, соответствующие звездам и объекту на изображении.

Для обнаружения объекта на фоне звездного неба используется следующий алгоритм. Он включает в себя следующие шаги для последовательного выполнения на каждом n-м кадре.

1. На первом шаге происходит выделение объекта и звезд на изображении. Наблюдаемое изображение звездного неба представляет собой однородный фон, на котором располагаются объект малых размеров и звезды, количество которых можно определить, задавшись максимальной звездной величиной, воспринимаемой видеокамерой при известном угле обзора [Аванесов Г.А., Жуков Б.С., Краснопевцева Е.Б. Задачи, решаемые телевизионной системой «Фобос-грунт» // Современные проблемы определения ориентации и навигации космических аппаратов: Материалы первой Всероссийской научно-технической конференции. 2008. С. 239-250].

Задав максимальный размер обнаруживаемого объекта, рассчитывается приблизительное количество точек на изображении М', которое соответствует звездам и объекту, по отношению ко всему изображению и производится выбор порога р(n) в соответствии с формулой

где М(k,n) - число пикселей, относящихся к k-му яркостному уровню гистограммы наблюдаемого изображения l(х,y,n).

Для получения бинарного изображения сцены выполняется пороговая обработка с вычисленным порогом по формуле (1). Поскольку яркость изображения может со временем незначительно изменяться, то в течение n_р кадров пороговое значение сглаживается экспоненциальным фильтром

где - сглаженное значение порога на n-м кадре, - сглаженное значение порога на (n-1)-м кадре.

2. Для получения списка параметров всех сегментов на изображении полученное бинарное изображение подвергается разметке и параметризации [Алпатов Б.А., Бабаян П.В., Балашов О.Е., Степашкин А.И. Методы автоматического обнаружения и сопровождения объектов. Обработка изображений и управление. М.: Радиотехника, 2008. 176 с.].

3. В связи с тем, что объект может иметь сложную форму, а звезды не быть точечными, вычисляются центры масс сегментов, которые далее рассматриваются в качестве их координат.

4. Производится вычисление оценки сдвига и поворота фона между соседними кадрами в три этапа.

4.1. Предварительная оценка сдвига фона.

Пусть - матрица, состоящая из пар координат сегментов , полученных на n-м кадре, где s_max - число сегментов на n-м кадре. Координаты s-го сегмента из U(n) будем обозначать как U_s(n)=[x_s(n), y_s(n)]. Обозначим t_max - число сегментов на (n-1)-м кадре.

Для вычисления сдвига фона между соседними кадрами ΔХ(n,n-1) производится сопоставление каждому сегменту таких сегментов , чтобы смещения между координатами этих сегментов не превышали максимально допустимого сдвига фона за кадр ΔX_max. Подсчитывается количество полученных пар смещений. Та пара смещений, которая наиболее часто встречается, и определяет предварительную оценку сдвига фона .

4.2. Установка соответствия между списками сегментов на текущем и предыдущем кадрах U(n-1) и U(n), по полученной оценке сдвига фона . Для этого для каждого t-го элемента из списка , смещенного на , производится поиск s-го элемента из списка U(n), удаленного на расстояние, не превосходящее Δ, где Δ - предварительно заданная величина. Величина Δ определяет размеры зоны поиска и должна быть задана таким образом, чтобы в дальнейшем можно было бы уточнить сдвиг и оценить поворот фона по спискам с установленным соответствием. При этом Δ не должна иметь слишком большое значение, что привело бы к ошибочному соответствию элементов.

Если для t-го элемента ни одного 5-го элемента не найдено, то проводится поиск для следующего t+1 элемента. Если найдено несколько соответствующих элементов, то в качестве s-го элемента из них выбирается элемент, расстояние до которого наименьшее. В результате составляются новые списки сегментов , соответствие между элементами которых определяется по номеру в списке.

4.3. На заключительном этапе по всем найденным парам сегментов уточняются оценки параметров сдвига фона и определяется поворот фона в соответствии с алгоритмом:

а) для каждой пары соответствующих элементов и записываются уравнения:

где Δψ(n,n-1) - поворот изображения кадра n вокруг своего центра относительно кадра n-1. В результате уравнения вида (3), записанные для всех пар соответствующих элементов и , формируют систему уравнений;

б) находится псевдорешение системы: .

Из него находятся оценки параметров преобразований;

в) находится вектор невязки системы;

г) для всех пар сегментов, для которых значение невязки меньше заданной величины, составляется новая система вида (3);

д) находится ее псевдорешение , из которого находятся окончательные оценки параметров преобразований, соответствующие сдвигу и повороту фона.

5. Размер объекта может превосходить размеры звезд, что позволит легко его обнаружить. В связи с этим на текущем шаге производится удаление всех малоразмерных сегментов, размеры которых в заданное число раз меньше размеров наибольшего сегмента.

6. В результате бинаризации может быть несколько сегментов, соответствующих объекту. Для объединения изображения объекта проводится упрощенная морфологическая обработка, под которой понимается последовательное применение морфологических операций закрытия и открытия [Гонсалес Р., Вудс Р. Цифровая обработка изображений. М.: Техносфера, 2005. 1072 с.] со структурирующим элементом заданного размера к бинарному изображению, описанному списком сегментов.

7. Выполняется траекторная обработка списка сегментов [Boris Alpatov, Pavel Babayan, Valeriy Strotov. The implementation of multiple objects tracking algorithm based on partition of bipartite graph in FPGA-based onboard vision systems // Proc. SPIE 9646, High-Performance Computing in Remote Sensing V, 964602 (October 20, 2015), Boris Alpatov, Pavel Babayan. Multiple object tracking based on the partition of the bipartite graph // Proc. SPIE 8186, 81860B (2011).] Метод основан на теории графов, теории калмановской фильтрации и теории пространственно-временной обработки. В результате формируется новый список сегментов, в котором каждый сегмент описывается идентификатором сегмента, координатами центра , и размерами сегмента , , скоростью сегмента, флагом нахождения сегмента в прогнозе и параметром «время жизни сегмента».

8. Выполняется поиск объекта. Если в результате удаления малоразмерных сегментов остается один сегмент, то задача обнаружения по размеру становится тривиальной.

Если же сегментов несколько, то основным критерием обнаружения будет отличие скорости сегмента, соответствующего объекту, относительно фона, т.е. средней скорости сегментов, соответствующих звездам. При рассмотрении сегментов, соответствующих звездам и объекту, используется параметр времени жизни Т_р, формируемый для каждого сегмента в процессе траекторной обработки.

Описанный выше критерий обнаружения позволяет наблюдать за полученными объектами-кандидатами в течение заданного количества кадров. Для того чтобы понизить вероятность ложного обнаружения, вводится минимально допустимая скорость объекта ΔV_min. Танкер обычно резко не изменяет направление своего движения, поэтому углы между векторами скоростей объектов-кандидатов на соседних кадрах не должны изменяться больше чем на заданную величину.

Если объект-кандидат на рассматриваемом кадре находится в режиме прогноза, то следует ввести штраф на количество кадров, в течение которых данный сегмент рассматривается в качестве объекта-кандидата, уменьшив это количество на n_ш кадров.

Если указанным критериям в течение заданного числа кадров все равно соответствует несколько объектов-кандидатов, то это скорее всего части одного объекта, и в качестве объекта выбирается сегмент с наибольшей площадью.

После того как принимается решение об обнаружении объекта, происходит переключение на СМ.

Алгоритм слежения за объектом малых размеров. Данный алгоритм основан на предыдущем алгоритме. Он включает в себя шаги с 1 по 7 и его отличие заключается в том, что на 8-м шаге объект слежения выбирается по идентификатору, который присваивается в процессе траекторной обработки. Также на данном этапе начинается оценивание расстояния до объекта.

На основе изображений, формируемых левой и правой камерами стереосистемы, оценка расстояния до объекта вычисляется по формуле

где С - база стереосистемы в метрах, R - разрешение изображения по горизонтали в пикселях, G - ширина поля зрения в градусах, a J(n) - значение диспарантности в пикселях, вычисленное на n-м кадре.

Алгоритм для расчета диспарантности по поступившей паре изображений, параметрам найденного объекта на левом изображении и диспарантности, вычисленной на предыдущем шаге, состоит в выполнении следующих операций:

- формирование эталонного участка изображения объекта на левом изображении;

- формирование зоны поиска эталонного участка изображения объекта интереса на правом изображении;

- вычисление сдвига относительно диспарантности, рассчитанной на предыдущем шаге J(n-1), на основе корреляционного совмещения эталонного участка объекта интереса и зоны поиска эталонного участка объекта интереса [Баклицкий В.К., Бочкарев A.M. Методы фильтрации сигналов в корреляционно-экстремальных системах навигации. М.: Радио и связь, 1986. 216 с.]. На первом кадре J(n-1) задается нулевым значением;

- субпиксельное уточнение полученного сдвига с использованием параболического интерполирования разностной критериальной функции в окрестности точки минимума [пат. РФ №2367111 опубликован 10.09.2009];

- вычисление диспарантности на основе вычисленного целочисленного сдвига и субпиксельного уточнения.

После получения расстояния до объекта измеренные координаты объекта можно вычислить относительно центра стереосистемы, если это потребуется. После достижения объектом больших размеров происходит переключение на алгоритм СБ.

Алгоритм слежения за объектом больших размеров. На этом этапе объект, после пороговой обработки, как правило, состоит из нескольких достаточно больших сегментов и основная задача заключается в их объединении. В связи с этим алгоритм состоит из следующих шагов, выполняемых на каждом наблюдаемом изображении:

1. Пороговая обработка.

2. Разметка и параметризация.

3. Удаление малоразмерных сегментов.

4. Упрощенная морфологическая обработка с размером структурирующего элемента, изменяющегося в зависимости от размеров объекта.

5. Поиск объекта с максимальным размером.

На этом этапе также вычисляется расстояние до объекта. После того как оцененное расстояние до объекта становится меньше заданного порогового D_p, происходит поиск конуса на наблюдаемом изображении и осуществляется переключение на СК.

Поиск конуса осуществляется корреляционным совмещением известного заранее эталонного контурного изображения конуса с контурным изображением сцены. Причем контурные эталонное изображение и изображение сцены формируются в результате применения детектора и компановщика краев Кении [Шапиро Л., Стокман Дж. Компьютерное зрение. - Пер. с англ.. - М.: БИНОМ. Лаборатория знаний, 2006. - 752 с.] к исходным изображениям.

Алгоритм слежения за конусом. Для слежения за конусом предлагается многоэталонный алгоритм, разработанный на основе метода корреляционного сопоставления изображений и структурного метода [Стротов В.В. Оценивание параметров смещения изображения в задачах выделения движущихся объектов // Вестник Рязанского государственного радиотехнического университета. - Рязань, 2008 - №23. - С. 30-37, пат. РФ №2367111 опубликован 10.09.2009]. В данном алгоритме выбираются опорные участки на изображении конуса, после чего производится их поиск на следующем кадре корреляционным методом, вычисляются параметры преобразования сдвига, поворота и масштаба изображения конуса. Далее определяются новые координаты центра наблюдаемого изображения конуса и перезахватываются опорные участки, не пригодные к дальнейшему использованию.

Оценка расстояния до конуса производится тем же способом, что и до объекта. Алгоритм заканчивает работу при попадании штанги заправляемого летательного аппарата в конус танкера.

Таким образом, способ обработки последовательности изображений для автоматического обнаружения танкера и оценивания его траекторных параметров при дозаправке в воздухе на фоне звездного неба включает в себя выполнение следующих действий.

1. Производится прием и аналого-цифровое преобразовании сигнала изображений левого и правого канала стереосистемы каждого кадра наблюдаемой последовательности. Результат аналого-цифрового преобразования изображения каждого кадра для левой камеры стереосистемы имеет вид матрицы чисел , , , где W_л и Н_л - размеры оцифрованного изображения в элементах разрешения (пикселях), n=1,2,3… - номер кадра. Каждый элемент матрицы l_л(i,j,n) является результатом квантования яркости

соответствующей точки наблюдаемой сцены. Для правой камеры результат аналого-цифрового преобразования аналогичен.

2. Происходит выбор одного из алгоритмов ОБН, СМ, СБ и СК в зависимости от оцененных расстояния до объекта и его размеров. Обнаружение объекта осуществляется с помощью алгоритма ОБН. После обнаружения объекта происходит переключение на алгоритм СМ. Также при переключении осуществляется запуск алгоритма для вычисления расстояния до объекта. При достижении объектом больших размеров используется СБ. Если в процессе работы алгоритмов слежения за объектом происходит потеря объекта, то происходит повторное обнаружение объекта алгоритмом ОБН. При достижении расстояния до объекта D_p, при котором изображение конуса и известное эталонное изображение соответствуют по размеру, происходит поиск конуса и переключение на СК.

3. Производится измерение траекторных параметров объекта выбранным алгоритмом.

Отличия заявляемого способа от прототипа состоят в следующем:

1) Увеличена дальность до самолета-заправщика, начиная с которой способ может быть применим, поскольку в предлагаемом способе возможно проводить оценивание координат точечного объекта при равных полях зрения видеодатчиков.

2) Предлагаемый способ позволяет оценивать параметры объекта по любой его видимой части на изображении в отличие от прототипа, где требуется выделение шести светодиодов.

Изобретение относится к области цифровой обработки изображений и может быть использовано в бортовых системах технического зрения, предназначенных для дозаправки в воздухе летательных аппаратов, в том числе и беспилотных, методом штанга-конус на фоне звездного неба. Технический результат – расширение функциональных возможностей. Для этого используется комплексирование алгоритмов на основе их последовательного использования. При этом переключение между алгоритмами осуществляется в зависимости от оцененных размеров и расстояния до танкера. Для этого необходимо выполнить следующие действия: произвести прием и аналого-цифровое преобразование сигнала изображения каждого кадра; осуществить выбор алгоритма обработки изображений: алгоритм обнаружения объектов, алгоритм слежения за объектом малых и средних размеров, алгоритм слежения за объектом больших размеров и алгоритм слежения за конусом, в зависимости от оценок размеров летательного аппарата и расстояния до него; обнаружить летательный аппарат и оценить его траекторные параметры выбранным алгоритмом. В результате обеспечивается расширение условий применения бортовых систем технического зрения и повышение точности оценивания траекторных параметров танкера, что позволяет создать бортовую систему обработки информации и управления для обеспечения дозаправки в воздухе методом штанга-конус на фоне звездного неба в автоматическом режиме, а также может служить дополнительной системой для относительной навигации в ручном режиме. 3 з.п. ф-лы.

1. Способ обработки последовательности изображений для автоматического обнаружения танкера и оценивания его траекторных параметров при дозаправке в воздухе на фоне звездного неба, заключающийся в приеме и аналого-цифровом преобразовании сигнала изображения каждого кадра и в обнаружении летательного аппарата и оценивании его траекторных параметров, отличающийся применением подхода комплексирования алгоритмов обработки изображений, включающих алгоритм обнаружения объектов (ОБН), алгоритм слежения за объектом малых размеров (СМ), алгоритм слежения за объектом больших размеров (СБ) и алгоритм слежения за конусом (СК), переключения между которыми осуществляются в зависимости от значений оценок размеров летательного аппарата и расстояния до него; обнаружением летательного аппарата и оцениванием его траекторных параметров выбранным алгоритмом, при этом переключение между алгоритмами ОБН, СМ, СБ и СК производится следующим образом: вначале осуществляется обнаружение объекта с помощью алгоритма ОБН; после обнаружения объекта происходит переключение на алгоритм СМ; при достижении объектом больших размеров используется алгоритм СБ, если в процессе работы алгоритмов слежения за объектом происходит потеря объекта, то происходит повторное обнаружение объекта алгоритмом ОБН; при достижении заданного расстояния до объекта, при котором изображение конуса и известное эталонное изображение соответствуют по размеру, происходит поиск конуса и переключение на алгоритм СК, который заканчивает работу при попадании штанги заправляемого летательного аппарата в конус танкера.

2. Способ по п. 1, отличающийся тем, что алгоритм ОБН позволяет обнаружить объект малых размеров (вплоть до точечных) на изображении и содержит следующие этапы: этап пороговой обработки изображения, порог для которой выбирается на основе известных приближенных размеров объекта и количества звезд на изображении, этап разметки и параметризации бинарного изображения, этап вычисления оценок сдвига и поворота фонового изображения по координатам выделенных сегментов на текущем и прошлом кадрах (этап включает предварительную оценку сдвига фона, установку соответствия между списками сегментов на текущем и предыдущем кадрах, оценивание параметров сдвига и поворота фона, по полученным спискам сегментов, между которыми установлено соответствие), этап удаления малоразмерных сегментов, этап упрощенной морфологической обработки, этап траекторной обработки и этап обнаружения объекта на изображении по критерию отличия скорости сегмента, соответствующего объекту, относительно фона (средней скорости сегментов, соответствующих звездам) с учетом таких параметров как «время жизни сегмента», флаг нахождения в прогнозе, минимально допустимая скорость объекта, величина углов между векторами скоростей объектов-кандидатов на соседних кадрах.

3. Способ по п. 2, отличающийся тем, что алгоритм СМ позволяет оценивать параметры объекта малых размеров и отличается от алгоритма ОБН тем, что выбор объекта происходит по идентификатору, который присваивается в процессе траекторной обработки, а также этапом оценивания расстояния до объекта на основе вычисления диспарантности объекта корреляционным методом по изображениям, формируемым камерами стереосистемы.

4. Способ по п. 3, отличающийся тем, что алгоритм СБ позволяет оценивать параметры объекта больших размеров и отличается от алгоритма СМ отсутствием этапа вычисления оценок сдвига и поворота фонового изображения и этапа траекторной обработки и изменением этапа упрощенной морфологии, а также тем, что идентификация объекта производится выбором сегмента с наибольшими размерами, также в алгоритме СБ на заданном расстоянии происходит поиск конуса на наблюдаемом изображении, который осуществляется корреляционным совмещением известного заранее эталонного контурного изображения конуса с контурным изображением сцены.

5. Способ по п. 4, отличающийся тем, что алгоритм СК позволяет оценить параметры заправочного конуса и содержит следующие этапы: этап выбора опорных участков на изображении конуса, этап поиска опорных участков на последующих кадрах корреляционным методом, этап вычисления параметров преобразования сдвига, поворота и масштаба изображения конуса, этап оценивания координат центра наблюдаемого изображения конуса и этап перезахвата опорных участков, непригодных к дальнейшему использованию, этап оценки расстояния до конуса производится тем же способом, что и до объекта.