Способ идентификации реперов при решении задачи Р4Р в авиационных оптико-электронных системах позиционирования с единственной камерой Российский патент 2021 года по МПК G01B11/26 G01S5/16 

Изобретение относится к способам оптического определения положения и ориентации объекта при помощи оптического устройства и определения угловых направлений на жестко закрепленные на объекте светоизлучающие или светоотражающие метки - реперы.

Из уровня техники известны нашлемная система целеуказания и индикации (НСЦИ) и способ определения углового положения линии визирования на ее основе (патент RU 2674533, опубликовано 11.12.2018, МПК: G01S 17/06 (2006.01), G01C 21/12 (2006.01)). Способ заключается в импульсной подсветке в спектральном диапазоне ближнего инфракрасного (ИК) излучения (950 нм), невидимом человеческому глазу, нанесенных на защитный шлем пилота плоских пассивных светоотражающих маркеров (реперов) в виде секторных меток, выполненных из стеклянных микросфер с высоким коэффициентом отражения. Указанные метки состоят из трех областей: внешней границы - контура метки, области данных, поделенной на 8 секторов с угловым размером 45° каждый, и центральной области. Каждая метка обладает уникальной геометрией, а пространственные координаты ее центра являются априорно известными. По уникальной форме изображений меток выполняется их автоматическая идентификация, инвариантная к углу поворота меток. Под идентификацией понимается определение однозначного соответствия между пиксельными (2D) координатами центров изображений меток и пространственными (3D) координатами их физических центров. При наличии в поле зрения как минимум одной камеры n≥4 изображений меток путем решения задачи PnP (Fischler М.А., Bolles R.C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography // Communications of the ACM. 1981. Vol. 24, No. 6. P. 381-395; HuZ. Y., Wu F.C. A Note on the number of solutions of the noncoplanar P4P problem // IEEE Trans, on Pattern Analysis and Machine Intelligence. 2002. Vol. 24, Is. 4. P. 550-555; Lepetit V., Moreno-Noguer F., Fua P. An accurate O(n) solution to the PnP problem // International Journal of Computer Vision. 2009. Vol. 81, No. 2. P. 155-166; Li S., Xu C, Xie M. A robust O(n) solution to the perspective-n-point problem // IEEE Trans, on Pattern Analysis and Machine Intelligence. 2012. Vol. 34, Is. 7. P. 1444-1450) определяются их 3D координаты, которые в свою очередь позволяют вычислить три пространственные координаты положения шлема и три угловые координаты линии визирования.

Источники импульсного ИК подсвета меток в системе целеуказания и индикации патента RU 2674533 устанавливаются вокруг объектива камеры.

Недостатком способа является выбор для реализации импульсного подсвета источников излучения ИК диапазона. ИК излучение с длиной волны 950 нм слабо затухает при прохождении через остекление кабины летательного аппарата. В дневных условиях на большой высоте (свыше 10 км) уровни освещенности внутрикабинного пространства достигают 100 000 лк при высокой интенсивности солнечного излучения в ближней ИК области спектра. Применение в камерах системы позиционирования узкополосных оптических фильтров на длину волны подсвечивающего ИК излучения не исключает негативного влияния помех в виде ярких бликов и прямой солнечной засветки на считывание меток. При фиксированном времени экспозиции камеры это может привести к невозможности выделения изображения меток на ярком фоне, а в режиме автоэкспозиции - к уменьшению отношения сигнал-шум для изображений меток и, как следствие, к увеличению погрешности позиционирования (Павлов О.В., Холопов И.С. Сравнительный анализ двух алгоритмов выбора реперного светодиодного кластера в задаче навигации по оптическим меткам // Вестник Рязанского государственного радиотехнического университета. 2017. №61. С. 13-18). Кроме того, в темное время суток работа источников импульсного подсвета демаскирует летательный аппарат при его наблюдении с помощью приборов ночного видения, работающих в ближнем ИК диапазоне, а также создает помехи пилотажным очкам ночного видения в случае их использования экипажем (патент RU2302023, опубликовано 27.06.2007, МПК: G02B 23/12 (2006.01), B60Q 3/06 (2006.01), B64D 47/02 (2006.01)).

Известен способ определения углового и пространственного положения, реализуемого системой позиционирования шлема пилота (патент CN 101762262 B, опубликовано 22.06.2011, МПК: G01C 1/00 (2006.01), G01C 11/00 (2006.01)). Способ предполагает установку на шлеме пилота как минимум двух кластеров, размещаемых на противоположных (левой и правой) сторонах шлема, каждый из которых состоит из четырех точечных излучателей с априорно известными координатами. Их размещают таким образом, что три излучателя образуют равносторонний треугольник, а четвертый излучатель лежит на нормали к плоскости треугольника, восстановленной из его центра тяжести, т.е. точечные излучатели кластера не являются компланарными и располагаются в вершинах тетраэдра. Оптический блок (видеокамера) закрепляется сзади относительно шлема и при проецировании в плоскость ее изображения четырех точечных излучателей одного из кластеров отправляет сформированный кадр в вычислитель для оценивания угловых и пространственных координат кластера, основанного на решении задачи Р4Р. В описании изобретения способ идентификации реперов кластеров не рассматривается.

Известен способ оценивания по реперным точкам угловых и пространственных координат объекта в оптико-электронной системе позиционирования (патент RU 2720076, опубликовано 23.04.2020, МПК: G01B 11/26 (2006.01), G01S 5/16 (2006.01)), в котором в зависимости от величины геометрического фактора (Перов А.И., Харисов В.Н. ГЛОНАСС. Принципы построения и функционирования: 4-е изд. М.: Радиотехника, 2010. 800 с) и количества наблюдаемых изображений реперов 4-х элементного кластера выполняется адаптивный выбор алгоритма PnP для решения задачи позиционирования: Р4Р, Р3Р или Р2Р. В патенте предполагается, что реперы кластера располагаются в вершинах тетраэдра. В описании способа отмечается, что для идентификации реперов кластера при первом их обнаружении может быть использовано либо поочередное включение и запоминание 2D координат по аналогии с источником (Зейналов Р.Ш., Якубенко А.А., Конушин А.С. Оценка траектории движения объекта с использованием инфракрасных маркеров // Цифровая обработка сигналов и ее применение: материалы 14-й междунар. конф. М.: ИПУ РАН, 2012. Т. 2. С. 267-271), либо перебор всех возможных комбинаций по аналогии с источником (Faessler М., Mueggler Е., Schwabe К., Scaramuzza D. A Monocular Pose Estimation System based on Infrared LEDs // IEEE Int. Conference on Robotics and Automation (ICRA). Hong Kong, 2014. P. 907-913) и выбор таких пар соответствий между номером репера и номером его изображения, при которых ошибка репроекции по результатам решения задачи PnP минимальна. Оба этих технических решения приводят к снижению частоты F обновления информации об угловом положении линии визирования. При поочередном включении реперов F уменьшается в 5 раз относительно ее максимально достижимого значения F_max, поскольку необходимо получить 4 вспомогательных кадра для запоминания 2D координат реперов и потом еще один кадр с изображениями всех реперов кластера - для автоматической сортировки и идентификации. При идентификации методом перебора общее количество всех возможных перестановок P_n=n!=24 и F снижается в 24 раза относительно F_max. Значение F_max достигается при условии, что частота кадров камеры выбирается обратно пропорциональной времени решения задачи Р4Р вычислителем системы позиционирования Т_Р4Р:

В качестве прототипа выбрано наиболее близкое по совокупности признаков техническое решение по оцениванию угловых координат линии визирования с помощью оптико-электронной системы позиционирования авиационной нашлемной информационно-управляющей системы в однокамерном режиме работы (Павлов О.В. Методы и алгоритмы позиционирования в авиационных нашлемных информационно-управляющих системах: дис. канд. техн. наук. Рязанский государственный радиотехнический университет имени В.Ф. Уткина, Рязань, 2019).

В способе прототипа кластеры представляют собой тетраэдры априорно известной формы - с основанием в виде правильного треугольника с длиной стороны L и высотой H<L; взаимное расположение тетраэдров относительно одного из них, выбранного опорным (имеет порядковый номер 0), априорно известно и задается соответственно матрицами поворота R_i и векторами параллельного переноса t_i, i=1…N_к-1, где N_к - количество кластеров. Реперы основания имеют порядковые номера 1, 2, 3; репер вершины имеет номер 4 (фиг. 1). Реперы представляют собой светодиодные излучатели с одинаковой интенсивностью свечения.

Идентификация номеров реперных излучателей кластера на изображении с камеры в способе прототипа производится путем нахождения соответствия между пространственными координатами репера M_i, i=1…4, и пиксельными координатами его центра свечения в плоскости изображения m_k, k=1…4. Такое соответствие для текущего кадра с номером j находится по критерию минимума ошибки репроекции:

где T^(j-1) - матрица трансформации, связывающая координаты реперов M_i и их 3D координаты в предыдущем (j-1)-м кадре, Р - матрица проекции камеры (Hartley R, Zisserman A. Multiple View Geometry in Computer Vision: 2nd edition. Cambridge: Cambridge University Press, 2003. 656 p), -обозначение 2-нормы вектора.

При работе системы позиционирования прототипа в однокамерном режиме идентификация номеров реперов i и номеров их проекций на плоскость изображения k в способе прототипа основана на наличии априорной информации о текущих оценках угловых и пространственных координат каждого репера кластера, полученных по предыдущему кадру. При пропадании хотя бы одного из n = 4 реперов кластера из поля зрения камеры (ждущий режим работы системы позиционирования прототипа при n < 4) и первом последующем появлении всех n = 4 реперов нельзя однозначно установить соответствие между проекциями реперов и номерами реперов кластера, так как текущие координаты реперов априорно неизвестны, а задача Р4Р, как правило, не имеет единственного решения: обычно их два (Fischler М.А., Bolles R.C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography // Communications of the ACM. 1981. Vol. 24, No. 6. P. 381-395; Hu Z.Y., Wu F.C. A Note on the number of solutions of the noncoplanar P4P problem // IEEE Trans, on Pattern Analysis and Machine Intelligence. 2002. Vol.24, Is. 4. P. 550-555). Для исключения выбора ошибочного решения при первом обнаружении камерой n = 4 реперов после выхода из ждущего режима выполняется процедура идентификации их номеров в кластере. Указанная процедура заключается в поочередном включении в кластере одного из реперов с номером i, i=1…4, и сохранении его ожидаемых пиксельных координат m_ожi в памяти вычислителя СП. По окончании процедуры одновременно зажигаются все n = 4 реперов кластера, и определение пиксельных координат репера с номером i производится по правилу:

Идентификация номеров реперов считается успешной, если по окончании вычислений (1) пиксельные координаты всех реперов с номерами i=1…4 являются различными, т.е. справедливы неравенства

Проблема солнечной засветки в прототипе решается применением в качестве реперных излучателей светодиодов ультрафиолетового (УФ) диапазона спектра с широкой диаграммой направленности, поскольку солнечное излучение с длиной волны менее 390 нм практически полностью подавляется остеклением кабины летательного аппарата (Odell D.S., Kogan V. Next generation high-accuracy optical tracker for target acquisition and cueing // Proc. SPIE 6224, Helmet- and Head-Mounted Displays XI: Technologies and Applications, 62240C). Недостатком технического решения прототипа является применение для идентификации реперов кластера процедуры их последовательного включения, что однократно снижает частоту выдачи угловых координат линии визирования в 5 раз при каждом новом выходе из ждущего режима работы оптико-электронной системы позиционирования.

Техническая проблема, решаемая заявляемым изобретением, заключается в отсутствии способа идентификации номеров светодиодных реперов, расположенных в вершинах кластера в форме тетраэдра, при котором частота выдачи угловых координат линии визирования уменьшается менее чем в 5 раз относительно ее максимально достижимой величины F_max.

Технический результат изобретения заключается в попарном зажигании реперов кластера, расположенных в вершинах тетраэдра. Это вдвое снижает количество вспомогательных кадров, в результате чего частота выдачи угловых координат линии визирования уменьшается относительно F_max уже не в 5, а в 3 раза, что соответствует выигрышу в быстродействии в 40% по сравнению с техническим решением прототипа.

Технический результат достигается тем, что реперы кластера (фиг. 1) условно разделяются на две пары (фиг. 2): левый (Л) - правый (П) и верхний (В) - нижний (Н). При выходе из ждущего режима реперы кластера включаются не по одиночке, а парами: сначала Л-П, потом В-Н. При этом для конфигураций кластеров, аналогичных конфигурациям кластеров прототипа или патента CN 101762262 В, при крене и угле места в диапазоне (-90°…90°) по 2D координатам проекций реперов на плоскость изображения устанавливается их однозначное соответствие номеру репера (фиг. 3).

На фиг. 2 и 3 излучающие реперы кластера выделены серым цветом, неизлучающие - черным.

Например, для нумерации реперов кластера, принятой на фиг. 1, для кадра с изображениями реперов первой пары (Л-П) будет справедливо следующее:

где m⁽¹⁾₁ и m⁽¹⁾₂ - пиксельные однородные координаты центров проекций реперов, оцененные с субпиксельной точностью по первому кадру с камеры:

Для второй пары (В-Н) будет справедливо следующее:

где m⁽²⁾₁ и m⁽²⁾₂ - пиксельные однородные координаты центров проекций реперов, оцененные с субпиксельной точностью по второму кадру с камеры:

Для фиг. 2 справедливы равенства:

На третьем кадре выполняется идентификация всех зажженых реперов кластера по правилу (1), после чего решается задача Р4Р. Вычисленные 3D координаты реперов позволяют вычислить три угловые координаты линии визирования (Кудинов И.А., Павлов О.В., Холопов И.С. Реализация алгоритма определения пространственных координат и угловой ориентации объекта по реперным точкам, использующего информацию от одной камеры // Компьютерная оптика. 2015. Т. 39, №3. С. 413-418).

Если критические (более 90° по абсолютному значению) значения угла места и крена превышаются, то идентификация реперов кластера по (2) и (3) выполняется с ошибкой (фиг. 3). Однако при этом значение ошибки репроекции, вычисляемое в ходе решения задачи Р4Р, велико (как минимум на порядок выше, чем при правильной идентификации), что может служить признаком, по которому процесс идентификации выполняется повторно. Решение задачи P4P для вычисления угловых координат линии визирования при этом не используется.

Согласно источникам (Подчуфарова Е.В., Яхно Н.Н. Боль в спине. М.: ГЭОТАР-Медиа, 2013. 368 с.; Коломиец А.А., Распопова Е.А. Лечебная деятельность: травматология и ортопедия: учеб. пособие для среднего профессионального образования. 2-е изд., перераб. и доп.М.: Юрайт, 2019. 236 с.) типичные угловые объемы движений в суставах головы и шеи не превышают по модулю 90° и составляют:

• сгибание-разгибание (по углу места): -60°…+75°,

• боковые наклоны (по крену): ±45°,

• ротация (по азимуту): ±80°.

Диапазон рабочих углов оптико-электронных систем позиционирования НСЦИ зависит от типа летательного аппарата, на котором НСЦИ устанавливается. Так, для вертолетного применения более важно наблюдение целей в передней и нижней полусферах, а для самолетного - в передней и верхней полусферах.

Согласно техническим характеристикам отечественных оптико-электронных систем позиционирования НСЦИ рабочие углы места ограничены диапазонами:

• -15°…+60° - в НСЦИ для самолета (Глущенко В.Т. Развитие оптико-электронных систем позиционирования нашлемных систем целеуказания и индикации // Оптический журнал. 2012. Т. 79, №12. С. 56-61);

• -60°…+30° - в НСЦИ для вертолета (Павлов О.В. Определение пространственного положения шлема в нашлемной системе целеуказания и индикации // Известия Тульского государственного университета. Технические науки. 2018. Вып. 9. С. 126-136);

• -80°…+80° - в НСЦИ универсального применения (патент RU 2674533, опубликовано 11.12.2018, МПК: G01S 17/06 (2006.01), G01C 21/12 (2006.01)).

Из приведенных источников следует, что в практике эксплуатации систем позиционирования авиационных НСЦИ величины углов места и крена шлема пилота в системе координат летательного аппарата не превышают по модулю 90°.

Изобретение относится к способам оптического определения положения и ориентации объекта при помощи оптического устройства и определения угловых направлений на жестко закрепленные на объекте светоизлучающие или светоотражающие метки - реперы. Способ идентификации реперов применяется при решении задачи Р4Р в авиационных оптико-электронных системах позиционирования с единственной камерой. При этом реперные кластеры оптико-электронной системы позиционирования представляют собой тетраэдры с основанием в виде правильного треугольника. После выхода из ждущего режима работы системы позиционирования, при котором число наблюдаемых реперов кластера n<4, реперы зажигают попарно. Для этого 4 репера кластера разделяют на две пары: левый (Л) - правый (П) и верхний (В) - нижний (Н). Для идентификации реперы кластера включаются парами - сначала первая пара Л-П, потом вторая пара В-Н, а определение соответствия между номерами и пространственными координатами реперов и пиксельными координатами их проекций в плоскости изображения выполняется по определенным правилам с использованием однородных пиксельных координат центров проекций реперов, оцененных с субпиксельной точностью для кадров с изображениями первой и второй пар реперов кластера соответственно. Технический результат – повышение быстродействия оптического определения положения и ориентации объекта. 3 ил.

Способ идентификации реперов при решении задачи Р4Р в авиационных оптико-электронных системах позиционирования с единственной камерой, в котором после выхода из ждущего, с числом наблюдаемых реперов кластера n<4, режима работы системы позиционирования в кластере, представляющем собой тетраэдр с основанием в виде правильного треугольника, поочередно включают реперы, сохраняют пиксельные координаты центров их проекций на плоскость изображения камеры m_ожi в памяти вычислителя системы позиционирования, по окончании процедуры включения одновременно зажигают все реперы кластера и выполняют их идентификацию по критерию минимума расстояния в пространстве пиксельных координат между хранящимися в памяти точками m_ожi и текущими пиксельными координатами m_k, где k=1..4, отличающийся тем, что реперы кластера условно разделяются на две пары: левый (Л) - правый (П) и верхний (В) - нижний (Н), при этом для идентификации реперы кластера включаются парами - сначала первая пара Л-П, потом вторая пара В-Н, а определение соответствия между номерами и пространственными координатами реперов М_Л, М_П, М_В, М_Н и пиксельными координатами их проекций в плоскости изображения выполняется по правилам:

если u⁽¹⁾₁<u⁽¹⁾₂, то m⁽¹⁾₁ ↔ М_Л и m⁽¹⁾₂ ↔ М_П;

если u⁽¹⁾₁>u⁽¹⁾₂, то m⁽¹⁾₁ ↔ М_П и m⁽¹⁾₂ ↔ М_Л,

если ν⁽²⁾₁<ν⁽²⁾₂, то m⁽²⁾₁ ↔ М_В и m⁽²⁾₂ ↔ М_Н;

если ν⁽²⁾₁>ν⁽²⁾₂, то m⁽²⁾₁ ↔ М_Н и m⁽²⁾₂ ↔ М_В,

где m⁽¹⁾₁=[u⁽¹⁾₁, ν⁽¹⁾₁, 1]^T, m⁽¹⁾₂=[u⁽¹⁾₂, ν⁽¹⁾₂, 1]^T и m⁽²⁾₁=[u⁽²⁾₁, ν⁽²⁾₁, 1]^T, m⁽²⁾₂=[u⁽²⁾₂, ν⁽²⁾₂, 1]^T - однородные пиксельные координаты центров проекций реперов, оцененные с субпиксельной точностью для кадров с изображениями первой и второй пар реперов кластера соответственно.