СПОСОБ И УСТРОЙСТВО ДЛЯ АВТОНОМНОЙ ПОСАДКИ БЕСПИЛОТНОГО ЛЕТАТЕЛЬНОГО АППАРАТА Российский патент 2023 года по МПК G06V20/17 G06V10/25 G06V10/56 B64C39/02 G08G5/00 

Область техники, к которой относится изобретение

Настоящее изобретение относится к области управления движением транспорта, и, более конкретно, к способу и устройству для автономной посадки беспилотного летательного аппарата.

Уровень техники

Беспилотные летательные аппараты (БПЛА, UAV) постепенно становятся частью повседневной жизни – они выполняют доставку грузов, различные исследования, анализ окружающего пространства, контроль объектов, фото- и видеосъемку, используются в спасательных операциях и находят множество других применений. Как и в случае с другими видами транспорта, по всему миру ведутся разработки, направленные на полную автоматизацию работы БПЛА.

Одной из задач автоматизации БПЛА является его автономная посадка. Из уровня техники известно множество различных способов, которые можно условно разделить на 2 группы: посадка на подготовленную поверхность – например, на посадочную площадку, и на неподготовленную поверхность – например, на поверхность земли.

Традиционно для посадки БПЛА применяется навигация на основе глобальной навигационной спутниковой системы (ГНСС, GNSS), однако если стоит задача высокоточной посадки в заданном местоположении и с заданной ориентацией, то навигации непосредственно и только на основе ГНСС недостаточно, так как она обеспечивает точность лишь в пределах 5-8 метров. Одним из решений этой проблемы может быть применение систем дифференциальной коррекции, однако во многих сценариях работы БПЛА такие системы могут быть недоступны.

С целью увеличения точности во многих известных решениях используются способы дополнительной навигации. Некоторые такие способы применяют навигацию на основе связи между посадочной платформой и БПЛА, однако они требуют наличия дополнительного коммуникационного оборудования как на посадочной платформе, так и на борту БПЛА, что усложняет систему и возможности ее широкого применения.

Известны также способы дополнительной навигации, основанные на использовании установленной на БПЛА камеры. Камера в типичном случае является штатным бортовым средством, поэтому такие способы не требуют установки на БПЛА дополнительного оборудования. Существует множество способов, в которых в месте посадки размещается черно-белый маркер квадратной или иной формы, камера захватывает изображение, выполняется распознавание маркера, и тем самым определяется точное место посадки и/или положение камеры относительно маркера, что позволяет выполнять достаточно точную посадку. Тем не менее, такие способы имеют ряд недостатков: требуется высокое разрешение камеры, маркер должен полностью захватываться камерой, его не видно издалека и его не видно в сложных условиях окружающей среды (ночь, туман, осадки). Для решения этой проблемы в некоторых решениях используются источники света.

Например, в документе CN 111506091 A раскрывается система управления посадкой, в которой на поверхности посадочной платформы размещен LED-экран (экран из светодиодов) высокого разрешения, который показывает один паттерн на всю площадь, когда БПЛА находится на большой высоте над платформой, а затем показывает 5 маленьких двумерных паттернов, когда БПЛА приблизился к платформе. В качестве паттернов используются AprilTag. Однако, такое решение является весьма дорогим и сложным конструктивно и алгоритмически, требует согласования между платформой и БПЛА относительно того, какие паттерны показывать в данный момент в соответствии с текущей высотой БПЛА, а также требует высокого разрешения экрана, что делает невозможным использование источников света большой мощности, что существенно ухудшает возможность использования на большой дальности и в сложных условиях окружающей среды. Для корректного распознавания подобного паттерна он должен быть виден целиком. В поисках компромисса между размером и яркостью отдельных светодиодов и общим разрешением экрана экран может быть увеличен, но тогда он будет занимать много места и загромождать платформу, из-за чего сложно реализовать его на платформе малого размера с неплоской геометрией и сложно размещать на ней иное оборудование. Все эти недостатки существенно ограничивают возможность широкого применения такого решения.

Известно также решение, раскрытое в документе KR 10-1524936 B1, где описывается устройство хранения и зарядки БПЛА, содержащее множество посадочных платформ. По углам каждой платформы расположены матрицы n*n из светодиодных и ИК-ламп. Светодиодные лампы работают днем, а ИК-лампы работают ночью. Матрицы в совокупности формируют уникальный паттерн. Когда БПЛА подлетает достаточно близко к платформе, он обнаруживает и распознает этот паттерн, определяет свое местоположение, сообщает его платформе, получает от нее оптимальную траекторию посадки и разрешение на посадку и выполняет посадку. Необходимость использования в каждой ячейке матрицы светодиодной и ИК-ламп увеличивает сложность и снижает надежность конструкции, а также снижает максимально возможную яркость лампы. Кроме того, такое решение, как и предыдущее, требует согласования посадки между платформой и БПЛА. Конкретные типы паттернов и методы их распознавания в этом документе не раскрыты. Для корректного распознавания известных паттернов они должны быть видны целиком, то есть камера должна захватывать все углы платформы. Если в поле обзора камеры попадет только одна или две матрицы или если распознались не все лампы в матрице, то может возникнуть неопределенность. Если же попытаться в каждой матрице отображать известные паттерны наподобие применяемого в предыдущем решении, то это приведет к необходимости увеличения разрешения матриц, что либо снижает максимально возможную яркость ламп, либо делает каждую матрицу излишне громоздкой.

Таким образом, в уровне техники существует потребность в создании конструктивно простого решения, которое обеспечивало бы возможность автономной посадки БПЛА в широком диапазоне условий окружающей среды.

Сущность изобретения

С целью устранения по меньшей мере некоторых из вышеупомянутых недостатков предшествующего уровня техники настоящее изобретение направлено на создание способа и устройства для автономной посадки беспилотного летательного аппарата.

Согласно первому аспекту настоящего изобретения, предложен способ автономной посадки беспилотного летательного аппарата (БПЛА), содержащий этапы, на которых:

выполняют, посредством БПЛА, предварительное перемещение к приблизительной области посадки;

захватывают, посредством камеры, изображение приблизительной области посадки;

преобразуют, посредством устройства для автономной посадки, цветовое пространство изображения в цветовое пространство HSV;

обнаруживают на изображении, посредством устройства для автономной посадки, по меньшей мере один вспомогательный источник света, расположенный в области посадки, с помощью цветовой сегментации в цветовом пространстве HSV;

обнаруживают на изображении, посредством устройства для автономной посадки, по меньшей мере один главный источник света, расположенный в области посадки, с помощью цветовой сегментации в цветовом пространстве HSV;

формируют на изображении, посредством устройства для автономной посадки, группы из обнаруженных источников света;

определяют, посредством устройства для автономной посадки, местоположение и ориентацию области посадки посредством решения задачи PnP; и

выполняют, посредством БПЛА, перемещение в направлении области посадки на основании определенного местоположения и ориентации области посадки,

причем область посадки содержит по меньшей мере одну группу источников света,

причем каждая группа источников света содержит по меньшей мере один главный источник света и по меньшей мере два вспомогательных источника света,

причем в каждой группе источников света главный источник света излучает в цвете, отличном от вспомогательного источника света,

причем точное расположение источников света в области посадки и их цвета заранее известны устройству для автономной посадки.

Согласно второму аспекту настоящего изобретения, предложено устройство для автономной посадки беспилотного летательного аппарата (БПЛА), содержащее:

процессор, и

память, соединенную с процессором и содержащую инструкции, которые предписывают процессору выполнять следующие операции:

отправлять в камеру, расположенную на БПЛА, команду на захват изображения, когда БПЛА совершил перемещение к области посадки;

получать от камеры изображение области посадки;

преобразовывать цветовое пространство изображения в цветовое пространство HSV;

обнаруживать на изображении по меньшей мере один вспомогательный источник света, расположенный в области посадки, с помощью цветовой сегментации в цветовом пространстве HSV;

обнаруживать на изображении по меньшей мере один главный источник света, расположенный в области посадки, с помощью цветовой сегментации в цветовом пространстве HSV;

формировать на изображении группы из обнаруженных источников света;

определять местоположение и ориентацию области посадки посредством решения задачи PnP; и

оказывать управляющее воздействие на исполнительные механизмы БПЛА, с тем чтобы БПЛА приближался к области посадки на основании определенного местоположения и ориентации области посадки.

Технический результат

Настоящее изобретение позволяет повысить эффективность устройств, систем и способов для автономной посадки беспилотного летательного аппарата. При этом обеспечивается:

- упрощение конструкции посадочной платформы по сравнению с платформами, содержащими экраны высокого разрешения или сложные матрицы из множества источников света;

- упрощение конструкции БПЛА за счет отсутствия необходимости установки на него дополнительного оборудования помимо камеры и блока управления;

- снижение требований к характеристикам камеры БПЛА, таким как разрешение и угол обзора, по сравнению с решениями, использующими посадочные платформы с экранами высокого разрешения или сложными матрицами из множества источников света;

- упрощенная интеграция с посадочной платформой, имеющей неплоскую геометрию;

- повышение точности при сложных условиях окружающей среды;

- уменьшение шума в радиоэфире за счет отсутствия необходимости осуществления связи между БПЛА и посадочной платформой;

- возможность уменьшения размеров посадочной платформы;

- повышенная точность под большими углами к посадочной платформе;

- повышенная точность при попадании лишь части посадочной платформы в поле обзора камеры;

- достаточная точность при успешном распознавании не всех источников света в группе (при увеличении количества распознанных источников света точность увеличивается);

- увеличение дальности распознавания посадочной платформы.

Следует понимать, что не каждый из вариантов осуществления может обеспечивать одновременно все указанные преимущества по сравнению со всеми известными решениями из уровня техники. Соответственно, некоторые варианты осуществления могут обладать лишь некоторыми из указанных преимуществ или иными преимуществами относительно некоторых известных решений.

Эти и другие преимущества настоящего изобретения станут понятны при прочтении нижеследующего подробного описания со ссылкой на сопроводительные чертежи.

Краткое описание чертежей

На Фиг. 1 показана система автономной посадки БПЛА согласно настоящему изобретению

Фиг. 2 показывает эквивалентную схему типового примера расположения источников света на посадочной платформе.

Фиг. 3 иллюстрирует блок-схему способа автономной посадки.

На Фиг. 4 проиллюстрирован пример результата цветовой сегментации изображения.

На Фиг. 5 проиллюстрирован пример группировки вспомогательных источников света.

На Фиг. 6 проиллюстрирован пример соотнесения главного источника света с группой вспомогательных источников света.

На Фиг. 7-9 представлены примеры обнаружения посадочной платформы в условиях плохого освещения на разном расстоянии между БПЛА и посадочной платформой.

На Фиг. 10 показано устройство для поддержки позиционирования объекта.

На Фиг. 11 показан пример практической реализации устройства для поддержки позиционирования объекта.

Следует понимать, что фигуры могут быть представлены схематично и не в масштабе и предназначены, главным образом, для улучшения понимания настоящего изобретения.

Подробное описание

Общий обзор системы посадки

Далее со ссылкой на Фиг. 1 будет описан пример системы для автономной посадки БПЛА согласно настоящему изобретению. Следует отметить, что данный пример не является ограничивающим и предназначен лишь для того, чтобы предоставить общее понимание предложенных принципов посадки и позиционирования БПЛА. Ниже в данном описании будут также приведены и другие примеры, отличающиеся от представленного на Фиг. 1, но также входящие в объем изобретения.

Беспилотный летательный аппарат (БПЛА, UAV) 110 осуществляет посадку на посадочную платформу 120 с использованием устройства 130 для поддержки позиционирования объекта. Устройство 130 для поддержки позиционирования объекта содержит 5 групп светодиодов (LED), каждая группа светодиодов содержит 4 светодиода, расположенных друг относительно друга в форме квадрата. 4 группы (131, 132, 133, 134) расположены по углам платформы и формируют квадрат, а 5-я группа (135) расположена в центре квадрата. Пунктирные линии на Фиг. 1 от обозначения 130 к группам 131, 132, 133, 134, 135 указывают их иллюстративные линии связи с общим блоком управления (не показан) устройства 130 для поддержки позиционирования объекта.

Один из светодиодов в группе является главным, остальные светодиоды в группе являются вспомогательными. Каждая группа светодиодов позволяет однозначно идентифицировать направление к центру платформы. Для этого цвет главного светодиода в каждой группе отличается от цвета дополнительных светодиодов в этой группе. Цвет главного светодиода в центральной группе 135 отличается от цвета всех остальных светодиодов всех групп. Например, как изображено на Фиг. 1, главный светодиод в центральной 5-й группе 135 имеет красный цвет, главные светодиоды в остальных 4 угловых группах 131, 132, 133, 134 имеют зеленый цвет, и вспомогательные светодиоды во всех 5 группах 131, 132, 133, 134, 135 имеют синий цвет. Схема местоположений светодиодов относительно посадочной платформы 120 и их цветов (или иными словами, паттерн) заранее известны БПЛА 110.

Пользуясь средствами навигации (например, GPS), БПЛА 110 на некоторой высоте подлетает к области посадки, где приблизительно должна быть расположена посадочная платформа 120. БПЛА 110 выполняет поиск устройства 130 для поддержки позиционирования объекта, используя бортовую камеру, которая захватывает изображение приблизительной области посадки, и бортовой блок управления автономной посадкой. Когда работает камера, все светодиоды устройства 130 для поддержки позиционирования объекта включены. В процессе обработки захваченных камерой изображений блок управления автономной посадкой БПЛА 110 обнаруживает по меньшей мере часть по меньшей мере одной группы светодиодов устройства 130 для поддержки позиционирования объекта и с использованием сохраненной в памяти информации о паттерне определяет местоположение и ориентацию посадочной платформы 120 относительно БПЛА 110. Чем больше групп светодиодов обнаруживаются БПЛА 110, тем выше точность позиционирования. Затем БПЛА 110 приближается к посадочной платформе 120 на основании полученных данных, по возможности обнаруживает как можно большее число групп светодиодов устройства 130 для поддержки позиционирования объекта, уточняет местоположение и ориентацию посадочной платформы 120 относительно БПЛА 110 и в конечном счете совершает автономную посадку.

В примере, приведенном на Фиг. 1, используются светодиоды, однако в общем случае могут использоваться любые другие подходящие источники света / оптического (видимого) излучения.

Соответственно, камера БПЛА 110 должна быть способна регистрировать свет / оптическое излучение. Камера БПЛА 110 может быть фото- и/или видеокамерой. Для целей настоящего изобретения достаточно использования монокулярной камеры, однако при необходимости может также использоваться стереокамера.

В примере, приведенном на Фиг. 1, используется 4 группы светодиодов, расположенных по углам квадрата, и 1 группа светодиодов в центре квадрата, однако в общем случае могут использоваться иные паттерны. источники света, находящиеся в одной группе, далее в данном документе будет называться соседними источниками света. Группа источников света, расположенная наиболее близко к центру посадочной платформы и/или к центру паттерна, далее в данном документе будет называться центральной группой источников света, а остальные группы будут называться периферийными группами источников света (или угловыми, если они расположены по углам условного многоугольника). При этом необходимо отметить, что наличие центральной группы источников света не является обязательным для реализации базовых принципов настоящего изобретения. Кроме того, количество источников света в группе может отличаться как в рамках одного устройства 130 для поддержки позиционирования объекта, так и между разными устройствами для поддержки позиционирования объекта.

Эквивалентная схема типового примера 4х4 (то есть расположенные в виде квадрата 4 группы по 4 светодиода в каждой) показана на Фиг. 2. Вспомогательные светодиоды 201, 202 и 203 (показаны синим цветом) расположены по внешним относительно центра посадочной платформы краям (углам) группы, а главный светодиод 204 (показан зеленым цветом) расположен с внутреннего края (угла) группы, то есть относительно своей группы он направлен к центру посадочной платформы. Группа светодиодов 201, 202, 203 и 204 вместе образует квадрат со стороной d_in. Более конкретно, под d_in на Фиг. 2 подразумевается расстояние между центрами светодиодов, образующих сторону квадрата. Центр посадочной платформы условно обозначен в виде квадрата 205 (показан красным цветом). Для упрощения остальные 3 группы не показаны на Фиг. 2. Для каждой группы светодиодов известен относительный вектор R_c, имеющий начало в центре группы и конец в центре посадочной платформы. Пунктирными линиями на Фиг. 2 показаны положения еще одной, центральной группы светодиодов, которая могла бы использоваться для указания или уточнения ориентации посадочной платформы. В общем случае может использоваться любая конфигурация источников света внутри групп и любая конфигурация групп относительно центра посадочной платформы. Некоторые конкретные примеры с другими конфигурациями будут описаны позднее в данном документе.

В примере, приведенном на Фиг. 1, устройство 130 для поддержки позиционирования объекта является частью посадочной платформы 120, однако в других вариантах осуществления устройство 130 может быть отдельным устройством, которое может быть установлено на поверхности посадочной платформы 120 или на любой иной поверхности, на которую должен произвести посадку БПЛА 110. Далее в настоящем документе для удобства описания может упоминаться именно вариант осуществления с посадкой на посадочную платформу, но следует учитывать, что возможны и иные варианты осуществления.

В качестве БПЛА 110 для целей настоящего изобретения может рассматриваться, например, дрон, квадрокоптер, мультикоптер, беспилотный вертолет, самолет вертикального взлета и посадки (СВВП, VTOL) или любой другой летательный аппарат, на который установлены или могут быть установлены камера и блок управления автономной посадкой, с тем чтобы он был способен выполнять автономную посадку.

Посадочная платформа также может взаимозаменяемо называться посадочной площадкой или просто платформой или площадкой.

Способ автономной посадки

Обработка, выполняемая в БПЛА, будет описана далее со ссылкой на Фиг. 3, которая иллюстрирует блок-схему способа автономной посадки.

Координаты области посадки заранее известны БПЛА, и на этапе S310 БПЛА может использовать типовые средства позиционирования (например, глобальную навигационную спутниковую систему (ГНСС, GNSS) или инерциальную навигационную систему) для предварительного перемещения к координатам области посадки. Точность типовых средств позиционирования может быть недостаточной для совершения высокоточной посадки в заданную точку с заданной ориентацией, поэтому в общем случае то местоположение, куда фактически переместился БПЛА на этапе S310, является точкой лишь над приблизительной областью посадки. Для дальнейшего уточнения местоположения и ориентации БПЛА использует обнаружение предложенного в настоящем изобретении устройства для поддержки позиционирования объекта.

На этапе S320 камера, установленная на БПЛА, захватывает изображение, попадающее в ее поле обзора. Чтобы в поле обзора попадала хотя бы одна группа источников света устройства для поддержки позиционирования объекта, камера должна захватывать приблизительную область посадки, где оно расположено. Чем больше угол обзора камеры, тем больше вероятность попадания источников света в поле обзора. Если камера БПЛА является зафиксированной (стационарной), то для повышения вероятности попадания источников света в поле обзора БПЛА может начинать съемку с относительно большой высоты. Если камера БПЛА является подвижной (поворотной), то она может быть направлена на приблизительную область посадки.

В поле обзора камеры (то есть на изображение) могут попадать источники света или свечения, отличные от источников света устройства для поддержки позиционирования объекта. Чтобы уменьшить число таких посторонних источников света и воздействие окружающего света, в качестве источников света устройства для поддержки позиционирования объекта могут использоваться источники, имеющие большую интенсивность излучения, а камера может снимать в режиме малой выдержки – например, 1/500, 1/1000. Такой вариант осуществления меньше зависит от времени суток и от погодных условий. Кроме того, в одном из вариантов осуществления изобретения выдержка камеры может изменяться в зависимости от времени суток и от погодных условий. Такая зависимость может быть предварительно заданной или адаптивной - например, на основании количества распознаваемых на дальнейших этапах источников света в кадре и их качества.

На этапе S330 блок управления автономной посадкой, получив изображение от камеры, выполняет преобразование цветовой модели изображения в HSV (Тон-Насыщенность-Значение, Hue-Saturation-Value, или HSB (Тон-Насыщенность-Яркость, Hue-Saturation-Brightness)), если исходная цветовая модель (цветовое пространство, палитра), используемая камерой, отличается от HSV. В частности, существует множество палитр, в которых камера может снимать изначально: RGB, BGR, YUYV, YUY, CMYK и тд.

Палитра HSV используется для того, чтобы выполнять сегментацию изображения по цветам, так как выполнять такую операцию в других палитрах с высокой точностью сложнее.

На этапе S340 блок управления автономной посадкой выполняет обнаружение вспомогательных источников света. Для этого, зная цвет вспомогательных источников света, блок управления автономной посадкой выполняет поиск контуров вспомогательных источников света в цветовом пространстве HSV с помощью цветовой сегментации. В частности, выполняется поиск участков изображения, цвет которых попадает в предварительно заданный интервал спектра в палитре HSV, приблизительно соответствующий заранее известному спектру излучения вспомогательных источников света. Такого подхода может быть вполне достаточно для многих применений.

В другом варианте осуществления может дополнительно выполняться фильтрация найденных источников света по интенсивности излучения - например, может выполняться определение, попадает ли интенсивность излучения данного источника света в предварительно заданный интервал интенсивности. Такой подход может быть полезен, когда окружающее пространство является относительно зашумленным с точки зрения попадания в кадр множества посторонних источников света, похожих по цвету на искомые источники света. Предварительно заданный интервал интенсивности может ограничиваться только нижним значением интенсивности - в таком случае отбрасываться будут лишь наименее яркие источники, которые наиболее вероятно не являются требуемыми источниками света. Предварительно заданный интервал интенсивности может ограничиваться также и верхним значением интенсивности - в таком случае отбрасываться будут также и чересчур яркие источники, которые с высокой долей вероятности не являются требуемыми источниками света.

Еще в одном варианте осуществления требуемый интервал интенсивности может быть не предварительно заданным, а может определяться блоком управления автономной посадкой. Например, может определяться плотность распределения интенсивности всех найденных источников света. Далее в качестве требуемого может выбираться интервал интенсивности, в котором плотность распределения наиболее высокая. В другом варианте осуществления может приниматься во внимание ожидаемое количество источников света, и в качестве требуемого может выбираться интервал интенсивности, в котором плотность распределения наиболее близка к ожидаемой. Например, посадочная платформа содержит 12 вспомогательных источников света, на изображении найдено 30 контуров источников света с подобным цветом, но с разной интенсивностью; диапазон интенсивностей делится на 5 равных интервалов, и 12 контуров попадают в 4-й интервал, 13 контуров попадают в 1-й интервал, а остальные 5 контуров распределены по остальным трем интервалам. Поскольку ожидается найти 12 как можно более ярких источников света, в качестве требуемого выбирается 4-й интервал, а остальные отбрасываются. Тем самым, может быть повышена точность.

Для каждого найденного контура (или иными словами, для каждого найденного вспомогательного источника света) блок управления автономной посадкой находит центр (например, методом k-средних - по ближайшему расстоянию).

На этапе S350 блок управления автономной посадкой выполняет обнаружение главных источников света. Для этого, зная цвет главных источников света, блок управления автономной посадкой выполняет поиск контуров главных источников света в цветовом пространстве HSV. В частности, выполняется поиск участков изображения, цвет которых попадает в предварительно заданный интервал спектра в палитре HSV, приблизительно соответствующий заранее известному спектру излучения главных источников света.

Для каждого найденного контура (или иными словами, для каждого найденного главного источника света) блок управления автономной посадкой находит центр (например, методом k-средних - по ближайшему расстоянию). При этом, если в устройстве для поддержки позиционирования объекта используются только периферийные группы источников света, то выполняется поиск контуров и центров только для главных источников света периферийных групп. Если же используются и периферийные, и центральная группы источников света, то выполняется поиск контуров и центра также для главного источника центральной группы.

Если ни один источник света не найден на этапе S340 или на этапе S350, то такой кадр будет пропущен, не учтен. Способ переходит к этапу S320 для получения нового изображения области посадки.

На Фиг. 4 проиллюстрирован пример визуализации результата выполнения этапов S340-S350. В частности, показано, что найдено множество синих контуров/точек, предположительно соответствующих вспомогательным источникам света (этап S340), множество красных контуров/точек, предположительно соответствующих главным периферийным источникам света (этап S350), и один зеленый контур/точка, предположительно соответствующий главному центральному источнику света (этап S350). При этом полупрозрачные красные точки на самом деле являются шумами.

После того, как найдены по отдельности вспомогательные источники света и/или главные источники света, необходимо определить, как они между собой соотносятся.

Для этого сначала на этапе S360 блок управления автономной посадкой выполняет кластеризацию вспомогательных источников света (если таковые были найдены на этапе S340), то есть определяет принадлежность каждого вспомогательного источника света к той или иной группе. В частности, используется метод k-средних. При этом, как известно, для метода k-средних требуется заранее задать требуемое число кластеров, на которые должно быть произведено разбиение найденного множества точек. В настоящем изобретении предлагается использовать следующий подход:

где N – это округленное вверх целое число групп (кластеров),

M_al – это общее число вспомогательных источников света, найденных в кадре,

a – это число вспомогательных источников света в каждой группе.

Например, если на этапе S340 найдено 10 вспомогательных источников света, а в каждой группе используется по 3 вспомогательных источника света, то число групп составит N=10/3≈4 группы. В другом примере, если бы в каждой группе использовалось по 5 вспомогательных источников света, то число групп при этом составило бы N=10/5=2 группы.

Следует отметить, что принцип определения числа N групп по формуле (1) на самом деле является первым приближением, гипотезой, которая часто оказывается верной в силу особенностей предложенного способа. В качестве проверки гипотезы может выполняться определение расстояния между соседними источниками света в группе и сравнение его с предварительно заданным интервалом от минимального расстояния до максимального расстояния между источниками света в группе. Например, если изначально по формуле (1) определено, что обнаруженные 4 источника света должны быть поделены на N=2 группы, а при проверке выяснилось, что во 2-й группе расстояние между соседними источниками света не попадает в предварительно заданный интервал от 5 до 15 см, то способ может переходить к гипотезе N=3 группы (получается приращением к ранее вычисленному значению N=2). В другом варианте осуществления те источники света, которые не попадают в предварительно заданный интервал, могут просто не учитываться (отбрасываться), а первоначально определенное число групп может сохраняться.

Соответственно, блок управления автономной посадкой выполняет кластеризацию вспомогательных источников света методом k-средних на определенное число групп.

На Фиг. 5 проиллюстрирован пример группировки вспомогательных источников света. В частности, показано, что с помощью метода k-средних выявлено, что найденные ранее (см. Фиг. 4) вспомогательные источники света принадлежат 4 разным группам.

Затем на этапе S370 блок управления автономной посадкой определяет расстояния между группами вспомогательных источников света и найденными главными источниками света (если таковые были найдены на этапе S350). В частности, вычисляются координаты центра каждой найденной группы и вычисляется матрица D расстояний между центрами всех найденных групп и центрами всех найденных главных источников света.

где C_i – это координаты центра i-й группы (кластера),

P_j – это координаты центра j-го главного источника света,

N – это число групп,

K – это число найденных главных источников света.

Далее на этапе S380 блок управления автономной посадкой определяет соответствия между группами вспомогательных источников света и главными источниками света. В частности, в матрице D расстояний, вычисленной на этапе S370, в каждой i-й строке определяется минимальный элемент min(D_i,j), или иными словами, в каждой i-й группе определяется минимальное расстояние d_min=min(D_i,j) до главного источника света. Индекс j у этого элемента D_i,j указывает на то, что j-й главный источник света из K найденных главных источников света соответствует i-й группе из N групп (находится в ней, принадлежит ей).

На Фиг. 6 проиллюстрирован пример соотнесения главного источника света с группой вспомогательных источников света. В частности, показано, что в результате выполнения этапов S370-S380 по принципу минимального расстояния d_min один из найденных на этапе S350 главных периферийных источников света (красного цвета) сопоставлен с одной из найденных на этапе S360 групп вспомогательных источников света. При этом вероятность наличия в кадре постороннего источника света, ложно распознанного как главный, еще ближе расположенного к вспомогательным источникам света одной группы, чем истинный главный источник света этой группы, крайне мала, так как это может произойти только в случае если посторонний источник света с интенсивностью свечения и с цветом (спектром), которые подобны искомому главному источнику света, находится либо на самой посадочной платформе внутри периметра группы (что практически исключено в силу того, что конфигурация посадочной платформы и устройства для поддержки позиционирования объекта контролируется лицом, использующим данное изобретение), либо в пространстве между посадочной платформой / устройством для поддержки позиционирования объекта (то есть является фиксированным подвесным источником света или находится на летательном аппарате - и то, и другое маловероятно). Таким образом, подход с поиском минимального расстояния d_min является относительно простым и вместе с тем высокоточным.

После этого на этапе S390 блок управления автономной посадкой определяет местоположение и ориентацию области посадки (например, посадочной платформы) относительно БПЛА.

В частности, для каждой i-й группы решается задача Perspective-n-Point (PnP), то есть задача определения ориентации и расположения камеры в пространстве по изображению, полученному с ее помощью, посредством получения перспективной проекции точек на изображении на плоскость сенсора камеры. Как известно, условием для решения такой задачи являются n соответствий между точками изображения и точками модели объекта, а также известное взаимное расположение точек модели объекта. В данном случае известной для БПЛА моделью объекта служит устройство для поддержки позиционирования объекта и расположение групп и источников света на нем.

А именно, вычисляется местоположение P_i центра области посадки и ориентация R_i центра области посадки (как указывалось выше, R_i – это относительный вектор, указывающий направление от i-й группы к центру области посадки). Конкретные методы решения задачи PnP известны специалистам в данной области техники и не раскрываются здесь более подробно. В качестве неограничивающего примера может применяться алгоритм, раскрытый в публикации Y. Wu and Z. Hu, “Pnp problem revisited,” Journal of Mathematical Imaging and Vision, vol. 24, no. 1, pp. 131–141, 2006.

Когда получены значения местоположения P_i и ориентации R_i для каждой i-й группы, с помощью вычисления медианы этих значений определяется уточненное местоположение P и ориентация R центра области посадки:

где N – это число групп.

Затем блок управления автономной посадкой оказывает управляющее воздействие на исполнительные механизмы БПЛА самостоятельно или отправляет определенные на этапе S390 данные о местоположении и ориентации области посадки на полетный контроллер БПЛА, с тем чтобы БПЛА приближался к области посадки на основании полученных данных. Тем самым, способ автономной посадки дополнительно содержит этап S395 (не показан на Фиг. 3), на котором БПЛА выполняет перемещение в направлении области посадки.

По мере приближения, когда БПЛА выполнил некоторое очередное перемещение в направлении области посадки, БПЛА может вновь повторять этапы S320-S395, выполняя съемку области посадки, обнаруживая как можно большее число источников света, уточняя местоположение и ориентацию области посадки относительно БПЛА и перемещаясь ближе к области посадки. В конечном счете, выполнив необходимое число итераций, БПЛА совершает автономную посадку с повышенной точностью в заданную точку и с заданной ориентацией даже в условиях плохой видимости.

Предложенный способ испытан на практике для посадки БПЛА в автономном режиме на посадочную платформу. Использованная в качестве образца посадочная платформа имеет квадратную форму размером 40х40 см, размах лучей БПЛА имеет сопоставимые размеры, группы светодиодов расположены по углам платформы на расстоянии 30 см друг от друга. В качестве источников света использованы адресные диоды WS2812B. Светодиоды в группе расположены так, что образуют квадрат, при этом расстояние между ними (сторона квадрата) составляет 5 см. БПЛА успешно приземляется в заданную точку с заданной ориентацией. Точность позиционирования составляет приблизительно 1-7 см в зависимости от расстояния между БПЛА и посадочной платформой - чем ближе БПЛА к посадочной платформе и чем больше обнаружено групп источников света, тем выше точность.

Примеры обнаружения посадочной платформы в условиях плохого освещения на разном расстоянии между БПЛА и посадочной платформой представлены на Фиг. 7-9. В частности, на Фиг. 7 показан случай на расстоянии 2 м, на Фиг. 8 – 5 м, на Фиг. 9 – 10 м.

Как видно на Фиг. 7-9, блок управления автономной посадкой успешно справляется с задачей обнаружения хотя бы некоторых групп светодиодов, несмотря на ночное время суток. При этом на Фиг. 7 видно, что посадочная платформа расположена под достаточно большим углом относительно камеры БПЛА, но это не воспрепятствовало обнаружению групп светодиодов. За счет особенностей предложенного способа, даже когда удалось обнаружить не все группы, центр посадочной платформы определяется успешно.

На испытательном БПЛА была использована стационарная типовая камера, и даже учитывая относительно небольшие габариты БПЛА и невыдающиеся характеристики самой камеры, предложенный способ позволил успешно детектировать посадочную платформу для выполнения автономной посадки уже на высоте 20 м в условиях плохой видимости. Использование камеры с более высоким разрешением позволило бы увеличить дальность/высоту, при которой предложенный способ мог бы эффективно выполняться.

Фактически, в предложенном способе, для того чтобы определить местоположение области посадки, достаточно обнаружить хотя бы одну группу источников света. Если в поле обзора камеры БПЛА обнаруживается больше одной группы источников света, точность позиционирования увеличивается. Также точность позиционирования увеличивается при увеличении числа групп источников света на посадочной платформе и при улучшении характеристик камеры (разрешение, светосила, тип матрицы, качество оптики, вычислительные возможности, используемые алгоритмы обработки данных и т.д.).

Кроме того, принимая во внимание габариты упомянутого выше испытательного образца, даже размера группы источников света в 5х5 см оказалось достаточно для автономной посадки БПЛА на посадочную платформу в условиях плохой видимости, то есть предложенный способ можно использовать, даже если имеется мало свободного пространства.

Более того, обеспечивается возможность использования посадочной платформы, имеющей сложную (неплоскую) геометрию, потому что монтаж на ней небольших отдельных независимых друг от друга групп источников света выполнить проще, чем монтаж единого относительно большого плоского паттерна / светодиодной матрицы.

Выше упоминалось, что для целей настоящего изобретения при необходимости может использоваться камера с двумя объективами вместо одного. Использование стереокамеры позволит повысить точность предложенного способа за счет наличия дополнительных данных, которые можно, например, усреднить, сопоставить, обработать независимо, выбрать лучшие и т.д.

Варианты конфигурации

Выше также упоминалось, что в общем случае может использоваться любая конфигурация источников света внутри групп и любая конфигурация групп относительно центра посадочной платформы.

В одном из вариантов осуществления конфигурация может представлять собой схему «3х3 треугольником». Источники света в каждой группе расположены друг относительно друга с образованием треугольника, одна из вершин которого направлена к центру посадочной платформы и заключает в себе главный источник света.

В другом варианте осуществления конфигурация может включать в себя одну или более групп источников света, расположенных друг относительно друга с образованием круга или дуги.

В других вариантах осуществления конфигурация может включать в себя группы источников света, образующие другие геометрические объекты (фигуры, ломаные, кривые, отрезки).

Основной принцип состоит в том, что в каждой группе имеются вспомогательные источники света, излучающие в одном цвете, и главный источник света, излучающий в другом цвете. Заранее известные для БПЛА взаимное расположение и цвета источников света позволяют определить местоположение и ориентацию области посадки.

Приведенный выше способ автономной посадки БПЛА предусматривает определение ориентации посадочной платформы. Следует отметить, что в некоторых применениях достаточно использовать конфигурации, которые позволяют определить только направления углов посадочной платформы без точного определения ориентации посадочной платформы в целом. Например, это применимо для случая, когда используется многолучевой БПЛА, и неважно, какой из лучей окажется в каком углу посадочной платформы при посадке.

Если же необходимо выполнять посадку с более точной ориентацией, то могут использоваться конфигурации источников света, позволяющие точно определить ориентацию посадочной платформы относительно БПЛА. Для этого, например, может использоваться центральная группа источников света, либо цвет главного источника света или вспомогательных источников света в одной периферийной группе может отличаться, соответственно, от цвета главных источников света или вспомогательных источников света в других периферийных группах, либо цвет одного или более вспомогательных источников света может отличаться от цвета других вспомогательных источников света в пределах одной и той же группы, либо взаимное расположение групп друг относительно друга может быть несимметричным относительно центра области посадки, либо расположение или цвета главных источников света или вспомогательных источников света могут быть несимметричными относительно центра области посадки и т.д.

Устройство для автономной посадки

Далее будет описано устройство для автономной посадки согласно настоящему изобретению.

Следует понимать, что данное устройство в целом соответствует вышеописанному блоку управления автономной посадкой и выполняет его функции в способе 200, и если какая-либо информация не раскрывается применительно к устройству, но раскрывается применительно к способу, и наоборот, то это не подразумевает, что в устройстве или способе эта функция или этап не может выполняться, а сделано лишь для того, чтобы не загромождать описание повторением подробностей.

Устройство для автономной посадки содержит процессор и память, соединенную с процессором и содержащую инструкции, которые предписывают процессору выполнять следующие операции:

отправлять в камеру команду на захват изображения, когда БПЛА совершил перемещение к области посадки, как это описывалось применительно к этапам S310-S320;

получать от камеры изображение области посадки;

преобразовывать, как это описывалось применительно к этапу S330, цветовое пространство изображения в цветовое пространство HSV;

обнаруживать на изображении, как это описывалось применительно к этапу S340, по меньшей мере один вспомогательный источник света, расположенный в области посадки, с помощью цветовой сегментации в цветовом пространстве HSV;

обнаруживать на изображении, как это описывалось применительно к этапу S350, по меньшей мере один главный источник света, расположенный в области посадки, с помощью цветовой сегментации в цветовом пространстве HSV;

формировать на изображении, как это описывалось применительно к этапу этапам S360-S380, группы из обнаруженных источников света;

определять, как это описывалось применительно к этапу S390, местоположение и ориентацию области посадки посредством решения задачи PnP; и

оказывать управляющее воздействие на исполнительные механизмы БПЛА, с тем чтобы БПЛА приближался к области посадки на основании определенного местоположения и ориентации области посадки.

Устройство для автономной посадки может располагаться на самом БПЛА - в таком случае обеспечивается полная автономность БПЛА за счет отсутствия необходимости осуществлять связь с посадочной платформой.

В другом варианте осуществления устройство для автономной посадки может быть внешним по отношению к БПЛА. В таком случае устройство для автономной посадки дополнительно содержит блок беспроводной связи для осуществления связи с БПЛА, чтобы получать от БПЛА сообщение о совершении перемещения к области посадки, отправлять в камеру команду на захват изображения, получать изображения с камеры, установленной на БПЛА, и отправлять на БПЛА команды для оказания управляющего воздействия на исполнительные механизмы БПЛА. При этом БПЛА освобождается от вычислительной нагрузки, связанной с определением местоположения и ориентации области посадки и формирования управляющих воздействий на исполнительные механизмы. В некоторых случаях это может снизить энергопотребление БПЛА и снизить требования к производительности вычислительных модулей БПЛА. Характеристики камеры БПЛА и ее точное расположение относительно БПЛА либо заранее известны устройству для автономной посадки, либо передаются на него от БПЛА в соответствующем сообщении.

Еще в одном варианте осуществления устройство для автономной посадки может само содержать камеру. Камера, процессор и память устройства для автономной посадки могут располагаться в едином корпусе. Это особенно полезно, если БПЛА не содержит камеру, но требуется выполнять автономную посадку согласно настоящему изобретению. В данном варианте устройство может целиком монтироваться на БПЛА и подключаться проводным или беспроводным образом, например, к его полетному контроллеру, чтобы получать от него сообщение о совершении перемещения к области посадки и отправлять на него управляющее воздействие на исполнительные механизмы БПЛА.

Устройство для поддержки позиционирования объекта

Далее со ссылкой на Фиг. 10 будет более подробно описано устройство для поддержки позиционирования объекта.

Устройство для поддержки позиционирования объекта содержит по меньшей мере один блок 1000 группы источников света.

Каждый блок 1000 группы источников света содержит блок 1010 главного источника света, блоки 1020, 1030, 1040 вспомогательных источников света, разъемы 1050 и 1060 и блок 1070 управления.

Блок 1010 главного источника света содержит по меньшей мере один главный источник света. В конкретном примере это может быть один светодиод или несколько близко расположенных друг к другу светодиодов, формирующих единый источник света (например, светодиодную матрицу или светодиодную линейку).

Каждый из блоков 1020, 1030, 1040 вспомогательных источников света содержит по меньшей мере один вспомогательный источник света. В конкретном примере это может быть один светодиод или несколько близко расположенных друг к другу светодиодов, формирующих единый источник света (например, светодиодную матрицу или светодиодную линейку). В общем случае количество блоков вспомогательных источников света равно двум или более.

Цвет излучения блока 1010 главного источника света отличается от цвета излучения блоков 1020, 1030, 1040 вспомогательных источников света.

Цвет излучения каждого из блоков 1020, 1030, 1040 вспомогательных источников света может при необходимости быть разным (например, для повышения вероятности определения направления к центру посадочной площадки даже в случае нахождения контуров малого количества источников света), однако в предпочтительном варианте является одинаковым, поскольку это упрощает конструкцию и может увеличить скорость распознавания.

Точное расположение источников света в области посадки и их цвета заранее известны устройству для автономной посадки, чтобы можно было успешно решать задачу PnP для камеры, расположенной на БПЛА.

В разных вариантах осуществления блоки 1010, 1020, 1030, 1040 источников света в каждом блоке 1000 группы источников света расположены друг относительно друга с образованием треугольника, квадрата, круга, дуги, других геометрических объектов (фигур, ломаных, кривых, отрезков) или их комбинации.

Также и устройство для поддержки позиционирования объекта в целом может содержать несколько блоков 1000 группы источников света – например, 3 блока 1000, расположенных треугольником, 4 блока 1000, расположенных квадратом, 5 блоков 1000, из которых 4 расположены квадратом, а 1 находится в центре, и т.д.

Блок 1000 группы источников света при необходимости может иметь собственный источник питания в целях обеспечения повышенной автономности и мобильности устройства для поддержки позиционирования объекта. В другом варианте осуществления питание блока 1000 группы источников света осуществляется от внешнего источника питания. При этом внешний по отношению к блоку 1000 группы источников света источник питания может по-прежнему быть частью устройства для поддержки позиционирования объекта, то есть оно может содержать один источник питания на все входящие в устройство отдельные блоки 1000. В другом варианте осуществления питание может быть внешним и по отношению к устройству для поддержки позиционирования объекта. Это может несколько повысить энергопотребление, но позволяет использовать более мощные источники света, что обеспечивает повышение вероятности распознавания, точности позиционирования и точности посадки.

Блок 1070 управления является опциональным. Если каждый блок 1000 группы источников света имеет собственный блок управления, то может не потребоваться внешний блок управления, повышается универсальность и компактность устройства для поддержки позиционирования объекта. В другом варианте осуществления устройство для поддержки позиционирования объекта может содержать один блок управления на все входящие в устройство отдельные блоки 1000.

Разъемы 1050 и 1060 являются опциональными, они могут быть необходимы для получения питания от внешнего блока питания, для получения внешнего управления и т.д. Точное количество и конфигурация разъемов зависит от требований конкретного применения.

Блок 1000 группы источников света также содержит различные схемные компоненты (не показаны на Фиг. 10), такие как резисторы, конденсаторы и т.д., для обеспечения необходимого режима работы источников света и других компонентов блока 1000.

Все компоненты одного блока 1000 группы источников света могут быть размещены на одной печатной плате, как показано в примере на Фиг. 11. Соединяя разные блоки 1000 группы источников света между собой с помощью разъемов, можно подключать их в последовательную цепь, что позволяет уменьшить количество проводов и упростить монтаж по сравнению с подключением звездой от источника питания и единого блока управления. При этом каждый отдельный блок 1000 группы источников света по-прежнему остается независимым и компактным, что позволяет использовать предложенное устройство для поддержки позиционирования объекта на посадочных платформах с различной поверхностью, в том числе неплоской.

В другом варианте осуществления все блоки 1000 группы источников света могут быть размещены на единой печатной плате. Такая конструкция является жесткой и не требует проведения замеров и калибровки по факту монтажа или соблюдения высокой точности при монтаже, так как все размеры и взаимное расположение источников света являются неизменными.

Применение

Устройства, системы и способы согласно настоящему изобретению можно использовать для автономной посадки БПЛА, выполняющих, в частности, доставку грузов, различные исследования, анализ окружающего пространства, контроль объектов, фото- и видеосъемку, спасательные операции, автономный мониторинг для задач охраны сельхозугодий, картографии, дистанционного химико-физического анализа, контроля всхожести и спелости урожая, химической обработки и т.д.

Изобретение относится к области управления автономной посадкой беспилотного летательного аппарата (БПЛА). Технический результат заключается в повышении точности автономной посадки БПЛА при сложных условиях окружающей среды и достигается за счёт того, на изображении области посадки обнаруживают по меньшей мере один вспомогательный источник света и по меньшей мере один главный источник света, излучающий в цвете, отличном от вспомогательного источника света, с помощью цветовой сегментации в цветовом пространстве HSV; формируют на изображении группу из обнаруженных источников света посредством, определяют по сформированной группе из обнаруженных источников света местоположение и ориентацию области посадки на основе известной устройству для автономной посадки модели расположения источников света и их цветов в области посадки посредством решения задачи PnP; и выполняют перемещение в направлении области посадки на основании определенного местоположения и ориентации области посадки. 2 н.п. ф-лы, 11 ил.

1. Способ автономной посадки беспилотного летательного аппарата (БПЛА), содержащий этапы, на которых:

выполняют, посредством БПЛА, предварительное перемещение к приблизительной области посадки;

захватывают, посредством камеры, изображение приблизительной области посадки;

преобразуют, посредством устройства для автономной посадки, цветовое пространство изображения в цветовое пространство HSV;

обнаруживают на изображении, посредством устройства для автономной посадки, по меньшей мере один вспомогательный источник света, расположенный в области посадки, с помощью цветовой сегментации в цветовом пространстве HSV;

обнаруживают на изображении, посредством устройства для автономной посадки, по меньшей мере один главный источник света, расположенный в области посадки и излучающий в цвете, отличном от вспомогательного источника света, с помощью цветовой сегментации в цветовом пространстве HSV;

формируют на изображении, посредством устройства для автономной посадки, по меньшей мере одну группу из обнаруженных источников света посредством:

- определения по меньшей мере одного кластера вспомогательных источников света путем выполнения кластеризации в отношении обнаруженного по меньшей мере одного вспомогательного источника света,

- определения расстояния между упомянутым по меньшей мере одним кластером вспомогательных источников света и обнаруженным по меньшей мере одним главным источником света, и

- формирования по меньшей мере одной группы, в которой обнаруженный главный источник света сопоставлен с одним кластером согласно расстоянию между ними;

определяют, посредством устройства для автономной посадки, по сформированной по меньшей мере одной группе из обнаруженных источников света местоположение и ориентацию области посадки на основе известной устройству для автономной посадки модели расположения источников света и их цветов в области посадки посредством решения задачи PnP; и

выполняют, посредством БПЛА, перемещение в направлении области посадки на основании определенного местоположения и ориентации области посадки.

2. Устройство для автономной посадки беспилотного летательного аппарата (БПЛА), содержащее:

процессор, и

память, соединенную с процессором и содержащую инструкции, которые предписывают процессору выполнять следующие операции:

отправлять в камеру, расположенную на БПЛА, команду на захват изображения, когда БПЛА совершил перемещение к области посадки;

получать от камеры изображение области посадки;

преобразовывать цветовое пространство изображения в цветовое пространство HSV;

обнаруживать на изображении по меньшей мере один вспомогательный источник света, расположенный в области посадки, с помощью цветовой сегментации в цветовом пространстве HSV;

обнаруживать на изображении по меньшей мере один главный источник света, расположенный в области посадки и излучающий в цвете, отличном от вспомогательного источника света, с помощью цветовой сегментации в цветовом пространстве HSV;

формировать на изображении по меньшей мере одну группу из обнаруженных источников света посредством:

- определения по меньшей мере одного кластера вспомогательных источников света путем выполнения кластеризации в отношении обнаруженного по меньшей мере одного вспомогательного источника света,

- определения расстояния между упомянутым по меньшей мере одним кластером вспомогательных источников света и обнаруженным по меньшей мере одним главным источником света, и

- формирования по меньшей мере одной группы, в которой обнаруженный главный источник света сопоставлен с одним кластером согласно расстоянию между ними;

определять по сформированной по меньшей мере одной группе из обнаруженных источников света местоположение и ориентацию области посадки на основе известной устройству для автономной посадки модели расположения источников света и их цветов в области посадки посредством решения задачи PnP; и

оказывать управляющее воздействие на исполнительные механизмы БПЛА, с тем чтобы БПЛА приближался к области посадки на основании определенного местоположения и ориентации области посадки.