УСТРОЙСТВО И СПОСОБ ДЛЯ ФОРМИРОВАНИЯ ОРТОФОТОПЛАНА Российский патент 2023 года по МПК B64U101/32 G01C11/02 

Область техники, к которой относится изобретение

Изобретение относится к фотограмметрии, в частности к формированию ортофотоплана с помощью БПЛА.

Уровень техники

Беспилотные летательные аппараты (БПЛА, UAV) постепенно становятся частью повседневной жизни – они выполняют доставку грузов, различные исследования, анализ окружающего пространства, мониторинг территорий, контроль объектов, фото- и видеосъемку, используются в спасательных операциях и находят множество других применений.

Одним из востребованных направлений применения БПЛА является создание ортофотоплана или аэрофотосъемка (АФС) для геоинформационных систем. Использование БПЛА для этих целей позволяет повысить пространственное разрешение карты вплоть до нескольких мм/пиксель, что невозможно при построении ортофотоплана с помощью пилотируемой авиации или спутниковой съемки.

Независимо от типа БПЛА и полезной нагрузки формируется полетная миссия, которая учитывает требуемое пространственное разрешение снимков, характеристики камеры, процент перекрытия снимков, скорость полета и многое другое. Помимо миссии полета также необходимо настроить камеру и выставить оптимальные параметры выдержки, светочувствительности, параметры диафрагмы. Чаще всего данные параметры задаются вручную и результат напрямую зависит от опыта оператора. Вместе с тем выставленные вручную параметры не могут гарантировать качественный результат по причине таких проблем, как:

- смена погоды во время полета (низкая экспозиция);

- неправильно выставленная скорость затвора (размытие снимков или низкая экспозиция);

- перекрытие снимков осадками (некачественный снимок);

- резкие порывы ветра (съёмка не под заданным углом).

Вследствие этого в аэрофотосъемке сложилась практика, при которой уже после выполнения полетной миссии и возврата БПЛА на базу до 10% отснятых изображений бракуются, и выполняется новый полет для повторной съемки некачественных участков ортофотоплана, что приводит к увеличению времени и затрат на его создание. Отчасти проблема решается более замедленным движением БПЛА и/или путем получения большего числа снимков, однако это вновь приводит к увеличению времени и затрат, а также предъявляет повышенные требования к БПЛА, к доступному времени полета, к камере, к хранилищу, к блоку обработки, и при этом все равно некоторые области в конечном счете часто оказываются некачественными и требующими повторной съемки.

Сущность изобретения

Настоящее изобретение направлено на создание устройств и способов, позволяющих устранить по меньшей мере некоторые из указанных выше недостатков предшествующего уровня техники.

В частности, предлагается определять качество полученных снимков непосредственно во время полета на борту БПЛА.

В одном аспекте настоящего изобретения предложено устройство для формирования ортофотоплана, выполненное с возможностью установки на БПЛА с подключением к камере и полетному контроллеру БПЛА и содержащее:

модуль управления камерой, выполненный с возможностью управления камерой БПЛА для получения изображений местности в процессе выполнения аэрофотосъемки;

модуль определения качества снимков, выполненный с возможностью определения качества упомянутых изображений, полученных с помощью камеры БПЛА; и

модуль формирования набора изображений, выполненный с возможностью формирования набора изображений из упомянутых изображений, полученных с помощью камеры БПЛА, для формирования ортофотоплана,

при этом модуль управления камерой выполнен с возможностью управления камерой БПЛА для получения основных изображений согласно интервалу, заданному в полетной миссии, и для получения по меньшей мере одного дополнительного изображения вне заданного интервала в рамках того же полета, при этом дополнительное изображение предназначено для замены или дополнения основного изображения, если в процессе выполнения аэрофотосъемки модулем определения качества снимков было определено, что качество основного изображения ниже порога метрики качества.

В другом аспекте настоящего изобретения предложен способ формирования ортофотоплана, содержащий этапы, на которых получают набор изображений местности, полученных в процессе выполнения аэрофотосъемки с помощью БПЛА, выполняют ортотрансформирование изображений, вычисление порезов и сшивку ортотрансформированных изображений по порезам для формирования ортофотоплана,

при этом набор изображений местности содержит основные изображения, полученные в результате съемки согласно интервалу, заданному в полетной миссии, и по меньшей мере одно дополнительное изображение, полученное в результате дополнительной съемки вне заданного интервала в рамках того же полета, при этом дополнительное изображение предназначено для замены или дополнения основного изображения, если в процессе выполнения аэрофотосъемки было определено, что основное изображение является некачественным.

В одном из вариантов осуществления по меньшей мере одно дополнительное изображение получено в результате дополнительной съемки, выполненной в рамках того же полета без отклонения от маршрута, заданного в полетной миссии, сразу после того, как было определено, что соответствующее основное изображение является некачественным.

В одном из вариантов осуществления по меньшей мере одно дополнительное изображение получено в результате дополнительной съемки, выполненной в рамках того же полета после возврата БПЛА в точку, соответствующую точке съемки основного изображения, которое было определено как некачественное.

В одном из вариантов осуществления возврат БПЛА в точку съемки основного изображения выполнен на основе определения, что пройденный путь или прошедшее время с момента съемки основного изображения не позволяет обеспечить достаточное перекрытие дополнительного изображения с последним качественным изображением, предшествующим основному изображению на маршруте, заданном в полетной миссии.

В одном из вариантов осуществления дополнительное изображение получено в результате съемки с автофокусировкой.

В одном из вариантов осуществления дополнительное изображение является основой для калибровки порога метрики качества, используемого для определения качества последующих изображений.

В одном из вариантов осуществления момент съемки дополнительного изображения обнуляет отсчет интервала.

Технический результат

Настоящее изобретение обеспечивает повышение качества изображений, ускорение и снижение затрат ресурсов на выполнение аэрофотосъемки заданной области с требуемым качеством, повышение точности ортофотоплана, ускорение и снижение затрат ресурсов на формирование ортофотоплана требуемого качества.

Эти и другие преимущества настоящего изобретения станут понятны при прочтении нижеследующего подробного описания со ссылкой на сопроводительные чертежи.

Краткое описание чертежей

На Фиг. 1 показана блок-схема устройства согласно настоящему изобретению.

На Фиг. 2 показана блок-схема способа согласно настоящему изобретению.

На Фиг. 3 показан пример полетной миссии.

На Фиг. 4A-4D показано сравнение результатов типового способа и способа согласно настоящему изобретению.

Следует понимать, что фигуры могут быть представлены схематично и не в масштабе и предназначены, главным образом, для улучшения понимания настоящего изобретения.

Подробное описание

В качестве БПЛА для целей настоящего изобретения может рассматриваться, например, дрон, квадрокоптер, мультикоптер, беспилотный вертолет, самолет вертикального взлета и посадки (СВВП, VTOL) или любой другой летательный аппарат, на который установлено или может быть установлено предложенное устройство.

Беспилотный летательный аппарат (БПЛА) может содержать корпус, движители, двигатели, посадочное шасси, модуль управления двигателями, полетный контроллер, приемопередатчик, модуль навигации, источник энергии, камеру, набор датчиков. Конкретный набор элементов БПЛА и их компоновка не ограничиваются настоящим изобретением.

БПЛА также может содержать инерциальный измерительный блок.

Набор датчиков может включать в себя, но без ограничения, гироскоп, акселерометр, барометр, магнитометр и т.д. Какие именно датчики установлены на БПЛА, зависит от назначения БПЛА и выполняемых им функций.

Источником энергии может быть аккумулятор для подачи электрического питания на бортовые средства БПЛА. В других вариантах осуществления источником энергии может служить керосин, водород, топливный элемент, бензин, дизельное топливо или иные источники топлива, предназначенные для обеспечения энергией силовых установок и электроники БПЛА.

Двигатели предназначены для преобразования энергии от источника энергии в механическую энергию и могут быть выполнены, например, в виде двигателей внутреннего сгорания (ДВС) или электродвигателей. Электродвигатели могут быть выполнены, например, в виде бесколлекторных двигателей.

Движители могут быть выполнены в виде пропеллеров, в частности пропеллеров, вращающихся по часовой стрелке (толкающих пропеллеров), или вращающихся против часовой стрелки (тянущих пропеллеров). При этом, опционально, в БПЛА могут быть использованы толкающие и/или тянущие пропеллеры в любых сочетаниях. Пропеллеры могут быть выполнены из двух и более лопастей. Пропеллеры могут быть выполнены из металла, пластика или из композитных материалов, например углеволокна. БПЛА может быть выполнен с одним движителем (например, с толкающим пропеллером) или с несколькими движителями.

Приемопередатчик – это устройство, отвечающее за прием и передачу радиосигналов, посылаемых на летательный аппарат и с него. Приемопередатчик может содержать систему передачи видео, включающую в себя передатчик видео и приемник видео.

Модуль управления двигателями управляет работой двигателя через исполнительные механизмы с целью повышения эффективности и может быть выполнен в виде электронного регулятора хода, регулятора холостого хода, регулятора фазы газораспределения и т.д.

Модуль навигации может содержать модуль спутниковой навигации, который на основе данных, принимаемых от глобальной навигационной спутниковой системы (GNSS), такой как GPS, ГЛОНАСС, BeiDou, Galileo, QZSS, определяет местоположение (географические координаты), направление, скорость и угол рыскания БПЛА и синхронизирует время.

Аэрофотосъемка

БПЛА может выполнять полетные миссии, направленные на аэрофотосъемку с целью формирования ортофотоплана. В настоящем изобретении предлагается определять качество полученных снимков непосредственно во время полета на борту БПЛА. Для этого требуется интеграция дополнительного бортового вычислителя на БПЛА с разработанной системой управления камерой.

Пример структуры подключения показан на Фиг. 1. В частности, к автопилоту (полетному контроллеру) 110 подключен через интерфейс передачи данных (например, через UART) бортовой компьютер 120, который подключен к камере 130 через интерфейс передачи данных (например, через USB), управляя ей и принимая и обрабатывая снимки с нее. Для этого бортовой компьютер 120 содержит модуль 140 управления камерой и модуль 150 определения качества снимков.

Бортовой компьютер 120 может быть реализован в виде устройства, которое содержит процессор, память и интерфейсы передачи данных. Память может содержать набор инструкций, которые при исполнении процессором предписывают процессору выполнять функции модуля 140 управления камерой и модуля 150 определения качества снимков. В другом варианте осуществления бортовой компьютер может быть реализован в виде устройства, которое содержит контроллер, интерфейсы передачи данных и физически реализованные (например, в виде микросхем) отдельные модули 140 управления камерой и 150 определения качества снимков. Возможны также различные комбинации вышеизложенного.

Тип камеры и полетного контроллера, которые могут использоваться для целей настоящего изобретения, не ограничиваются в данном описании и определяются требованиями конкретного применения. Соответственно, настоящее изобретение может быть воплощено в широком разнообразии вариантов реализации и может быть интегрировано во многие существующие БПЛА.

Модуль 140 управления камерой выполнен с возможностью управления камерой БПЛА для получения изображений местности в процессе выполнения аэрофотосъемки.

Модуль 150 определения качества снимков выполнен с возможностью определения качества изображений, полученных с помощью камеры БПЛА, непосредственно во время полета (в процессе выполнения аэрофотосъемки) на борту БПЛА.

Также бортовой компьютер 120 может содержать модуль формирования набора изображений (не показан на Фиг. 1), выполненный с возможностью формирования набора изображений из изображений, полученных с помощью камеры БПЛА, для формирования ортофотоплана. Для этого модуль формирования набора изображений содержит память.

Способ 200 выполнения аэрофотосъемки согласно настоящему изобретению показан на Фиг. 2 и может состоять в следующем.

На этапе 210 получают изображение от камеры согласно интервалу, заданному в полетной миссии. Интервал может быть задан по конкретным моментам времени, по прошедшему времени или пройденному расстоянию с момента последнего снимка, по местоположению (точке) на маршруте, заданном в полетной миссии, и т.д.

Далее на этапе 220 с помощью бортового компьютера определяется, достигло ли количество изображений, полученных от камеры с момента последней калибровки, предварительно заданного количества.

На этапе 230 с помощью модуля определения качества снимков определяется, ниже ли значение метрики текущего изображения, чем порог метрики качества. Порог метрики качества в начале миссии может быть предварительно задан пользователем или может формироваться путем калибровки на основе первого эталонного изображения, выполненного с автофокусировкой.

Этапы 220 и 230 могут выполняться параллельно или последовательно в любом порядке. Если обе проверки на этапах 220 и 230 дали отрицательный результат, то способ переходит к этапу 240, на котором бортовой компьютер принимает решение, что калибровка и повторная съемка не требуется, и далее аэрофотосъемка продолжается в обычном режиме, переходя к этапу 290, на котором бортовой компьютер ожидает следующего изображения, снятого согласно интервалу, заданному в полетной миссии, и цикл замыкается.

При поступлении следующего изображения способ вновь выполняет этап 210 и проверки на этапах 220 и 230. Аэрофотосъемка выполняется до тех пор, пока не будет выполнена полетная миссия, то есть пока не будут получены все необходимые изображения. Возможны также и случаи экстренного прерывания аэрофотосъемки из-за сбоев в работе БПЛА, низкого заряда батареи и т.д., однако они не относятся к нормальному режиму выполнения аэрофотосъемки и не рассматриваются в настоящем изобретении.

Если же на этапе 220 определено, что количество изображений, полученных от камеры с момента последней калибровки, достигло предварительно заданного количества, или если на этапе 230 определено, что значение метрики текущего изображения меньше порога метрики качества, то способ переходит к этапу 250, на котором бортовой компьютер принимает решение о необходимости повторной калибровки.

Выполнение повторной калибровки содержит следующие этапы.

На этапе 260 модуль управления камерой инициирует автофокусировку камеры, и камера выполняет автофокусировку.

На этапе 270 бортовой компьютер получает дополнительное изображение от камеры после автофокусировки, и модуль определения качества снимков определяет новое эталонное значение метрики качества согласно дополнительному изображению.

На этапе 280 модуль определения качества снимков обновляет порог метрики качества на основании нового эталонного значения метрики качества, и способ переходит к этапу 290, на котором бортовой компьютер ожидает следующего изображения, снятого согласно интервалу, заданному в полетной миссии, и цикл замыкается.

Таким образом, выполняется своевременное определение некачественного снимка прямо на борту БПЛА в режиме, близком к режиму реального времени, и на замену или в дополнение к некачественному снимку формируется новый снимок, который за счет автофокусировки имеет высокое качество и принимается далее в качестве эталонного.

Для определения качества изображения модуль определения качества снимков может применять различные подходящие методы. При этом следует отметить, что для целей настоящего изобретения большинство известных методов непригодны по тем или иным причинам (некоторые методы требуют взаимодействия с пользователем, некоторые не подходят по скорости, некоторые пригодны только для движущихся объектов, некоторые требуют обучения моделей, некоторые не универсальны и зависят от данных и т.д.). Наибольшую производительность по затрачиваемым ресурсам и времени в сочетании с точностью и универсальностью демонстрируют методы SIFT, дифференциальный оператор Лапласа и масштабированный дифференциальный оператор Лапласа.

В частности, в методе SIFT происходит поиск и сопоставление между соседними изображениями ключевых точек, найденных при помощи построения пирамиды гауссианов, а затем разности гауссианов. Данный метод обеспечивает высокое качество изображений (за счет максимизации числа качественных ключевых точек, что проявляет преимущество именно при аэрофтосъемке и построении ортофотоплана или цифровой модели местности) и вместе с тем требует относительно высоких вычислительных мощностей и времени обработки, которые в условиях задачи съемки и моментальной обработки на борту БПЛА могут быть недоступны для некоторых реализаций.

Альтернативой SIFT является дифференциальный оператор Лапласа. Так как он представляет собой скользящее окно, выделяющее изменения интенсивности каждого пикселя, скорость этого метода значительно выше поиска ключевых точек при помощи SIFT, что делает этот метод пригодным в случае ограниченных вычислительных мощностей, так как метрики данных методов имеют схожие значения после нормализации.

Промежуточным вариантом является масштабированный дифференциальный оператор Лапласа, в основе которого лежит дифференциальный оператор Лапласа, но для финальной оценки вычисляется функция масштабирования, уменьшающая исходное изображение в четыре раза (в два по каждой из осей). Так как этот метод считает отношение метрик на двух изображениях, одно из которых заведомо ниже по качеству, описанная метрика возвращает значения в диапазоне от 0 до 1, что позволяет использовать её без учёта предыдущих данных и получать независимую метрику. При этом важно отметить, что этот метод работает дольше, чем обычный дифференциальный оператор Лапласа, так как вычисляет значение размытости для в два раза большего количества изображений. Тем не менее, время выполнения всё ещё значительно быстрее вычисления ключевых точек методом SIFT.

Поскольку качество снимков может по мере выполнения съемки деградировать, в настоящем изобретении регулярно выполняется повторная калибровка, даже если модуль определения качества снимков считает, что ряд последовательно полученных снимков являются качественными. Это позволяет избежать постепенного ухудшения качества и поддерживать высокие характеристики изображения на протяжении всей миссии. Новое значение порога может вычисляться, например, по формуле порог=Q(i)*допуск, где Q(i) - вычисленная метрика качества последнего полученного изображения, а допуск - величина, учитывающая погрешности в измерении метрики (задается при инициализации - например, по умолчанию может быть равен 0.8).

Выбор метода определения качества должен основываться на вычислительных мощностях конечного БПЛА, а итоговое решение принимается в зависимости от требований конкретного применения.

Обработка изображений непосредственно на борту позволяет исключить потерю данных съемки во время полета без необходимости вмешательства оператора в процессе полета. В отличие от типовых способов, когда оператор выставляет фиксированные параметры съемки перед полетом, предложенный способ гарантирует получение качественных снимков, что предотвращает или по крайней мере минимизирует повторную съемку.

Съемка дополнительного изображения может быть выполнена в рамках того же полета без отклонения от маршрута, заданного в полетной миссии, сразу после того, как принято решение о необходимости повторной калибровки и выполнена автофокусировка камеры. Если интервал между кадрами, заданный в полетной миссии, достаточно велик, и скорость определения качества снимка достаточно высока, то в таком случае возникшая потеря перекрытая между снимками будет невелика и приемлема для построения ортофотоплана без необходимости останавливать БПЛА.

Съемка дополнительного изображения может быть выполнена в рамках того же полета после возврата БПЛА в точку, соответствующую точке съемки изображения, которое было определено как некачественное. Такой подход может требовать приостановки плановой съемки по полетной миссии и возврата БПЛА к предыдущей точке, что может потребоваться, когда возникшая потеря перекрытая между снимками уже относительно велика и не может быть безболезненно восполнена новым снимком без возврата. Тем не менее, это по-прежнему гораздо более быстрый и точный способ формирования набора высококачественных изображений по сравнению с традиционными способами, в которых определение качества изображения на борту и немедленная пересъемка некачественных изображений не предусмотрены.

Возврат БПЛА в точку съемки изображения, которое было определено как некачественное, может выполняться на основе определения, что пройденный путь или прошедшее время с момента съемки этого изображения не позволяет обеспечить достаточное перекрытие дополнительного изображения с последним качественным изображением, предшествующим изображению, которое было определено как некачественное, на маршруте, заданном в полетной миссии. Данный подход повышает автоматизацию и позволяет использовать относительно более затратные по времени методы определения качества изображения, но обладающие более высокими характеристиками. В некоторых вариантах реализации такой выбор может быть предпочтителен (например, когда вычислительные возможности БПЛА высоки, а ожидаемые условия съемки позволяют предположить, что доля некачественных снимков будет невелика, и не придется часто возвращаться назад для пересъемки).

Момент съемки дополнительного изображения может обнулять отсчет интервала между кадрами. Поскольку дополнительное изображение является качественным, может не быть необходимости выполнять близкую по времени съемку с отсчетом интервала от предыдущего основного изображения, определенного как некачественное, так как при этом будет получено избыточное перекрытие между дополнительным изображением и последующим основным изображением. Тем самым, снижается число необходимых кадров и повышается скорость аэрофотосъемки, при этом по-прежнему гарантируется повышенное качество изображений.

Из набора изображений местности, полученных посредством вышеупомянутого способа выполнения аэрофотосъемки с помощью БПЛА, может формироваться ортофотоплан. А именно, может выполняться ортотрансформирование изображений, вычисление порезов и сшивка ортотрансформированных изображений по порезам для формирования тем самым ортофотоплана. Обеспечивается повышение точности ортофотоплана, ускорение и снижение затрат ресурсов на формирование ортофотоплана требуемого качества.

Пример

Для испытаний настоящего изобретения использовался квадрокоптер DJI Mavic, на который через демпферы была установлена камера Sony A6000 (16мм). В качестве бортового вычислителя использовался одноплатный компьютер Raspberry Pi 4 8Gb с ОС Ubuntu 20.04 / ROS Melodic. Была создана единая полетная миссия с режимом автоматической съемки через заданное расстояние со след. характеристиками:

- площадь съемки 0,09 кв км;

- высота полета 100 метров;

- скорость полета 10 м/c;

- процент перекрытия по вертикали и горизонтали 70%;

- расчётное пространственное разрешение 2.4 см/пикс (с учётом характеристик камеры);

- расчётное расстояние между снимками 30м;

- расчётный интервал между снимками 3 сек;

- количество фото 150.

Рисунок полетной миссии показан на Фиг. 3. Следует отметить, что во время тестирования ветер был 5 м/с с порывами до 7 м/c. Полученные результаты обрабатывались в программе для создания ортофотоплана, сшивка данных происходила на одинаковых настройках качества и степени фильтрации данных. Результаты качества полученного ортофотоплана представлены в таблице 1.

Таблица 1

Показатели качества Типовой способ Предложенный способ количество снимков за миссию (факт/расчетные) 150/150 160/150 учтенные снимки 137 150 количество точек привязки 17564 25975 среднеквадратическая ошибка в плане (м) 0.975 0.614 пространственное разрешение 0.024556 0.016228

Из таблицы видно, что в обоих полетах дрон выполнил все фото в заданных координатах по маршруту. Однако при полете по типовому способу в процессе обработки снимков программное обеспечение посчитало непригодными 13 снимков из 150, что составляет 8,6% от общей полетной миссии. В основном потери были связаны с размытием из-за резких порывов ветра, постоянный же ветер компенсировался системой управления БПЛА на всем маршруте и не вносил существенных искажений в съемку. Также часть полученных снимков имела небольшие дефекты в виде несущественных смазов или переэкспонирования, но подходила для обработки программным обеспечением.

Предложенный способ позволил определить 10 размазанных снимков фото во время полёта и переснять их с минимальной задержкой. В конечном итоге это привело к незначительной потере перекрытия в участках съемки, но не сильно сказалась на конечном результате.

Из полученных данных удалось собрать плотное облако точек. Каждая точка имеет коэффициент достоверности, который отображается разным цветом: зеленый - отлично, синий-хорошо, оранжевый - удовлетворительно, красный - неудовлетворительно. Результаты одинакового участка, снятого разными способами, представлены на Фиг. 4A-4D. В частности, на Фиг. 4A показана фотограмметрическая модель, построенная типовым способом, на Фиг. 4B показана карта достоверности облака точек, полученного типовым способом, на Фиг. 4C показана фотограмметрическая модель, построенная предложенным способом, на Фиг. 4D показана карта достоверности облака точек, полученного предложенным способом.

Как видно из полученных изображений, предложенный способ позволил существенно снизить количество артефактов на построенной модели, а также исключить лишние артефакты из-за отсутствия смазанных снимков, при этом не потребовалось выполнять новый полет для досъемки некачественных участков.

Применение

Устройства и способы согласно настоящему изобретению можно использовать для автономного выполнения аэрофотосъемки с помощью БПЛА и на основе этой аэрофотосъемки, что может найти применение в автономном мониторинге для задач охраны территорий, сельхозугодий, в геоинформационных системах, в картографии и т.д.

Дополнительные особенности реализации

Различные иллюстративные блоки и модули, описанные в связи с раскрытием сущности в данном документе, могут реализовываться или выполняться с помощью процессора общего назначения, процессора цифровых сигналов (DSP), специализированной интегральной схемы (ASIC), программируемой пользователем вентильной матрицы (FPGA) или другого программируемого логического устройства (PLD), дискретного логического элемента или транзисторной логики, дискретных аппаратных компонентов либо любой комбинации вышеозначенного, предназначенной для того, чтобы выполнять описанные в данном документе функции. Процессор общего назначения может представлять собой микропроцессор, но в альтернативном варианте, процессор может представлять собой любой традиционный процессор, контроллер, микроконтроллер или конечный автомат. Процессор также может реализовываться как комбинация вычислительных устройств (к примеру, комбинация DSP и микропроцессора, несколько микропроцессоров, один или более микропроцессоров вместе с DSP-ядром либо любая другая подобная конфигурация).

Некоторые блоки или модули по отдельности или вместе могут представлять собой, например, компьютер, и включать в себя процессор, который сконфигурирован для вызова и выполнения компьютерных программ из памяти для выполнения этапов способа или функций блоков или модулей в соответствии с вариантами осуществления настоящего изобретения. Согласно вариантам осуществления, устройство может дополнительно включать в себя память. Процессор может вызывать и выполнять компьютерные программы из памяти для выполнения способа. Память может быть отдельным устройством, независимым от процессора, или может быть интегрирована в процессор. Память может хранить код, инструкции, команды и/или данные для исполнения на наборе из одного или более процессоров описанного устройства. Коды, инструкции, команды могут предписывать процессору выполнять этапы способа или функции устройства.

Функции, описанные в данном документе, могут реализовываться в аппаратном обеспечении, программном обеспечении, выполняемом посредством одного или более процессоров, микропрограммном обеспечении или в любой комбинации вышеозначенного, если это применимо. Аппаратные и программные средства, реализующие функции, также могут физически находиться в различных позициях, в том числе согласно такому распределению, что части функций реализуются в различных физических местоположениях, то есть может выполняться распределенная обработка или распределенные вычисления.

В случае если объем данных велик, может производиться многопоточная обработка данных, которая в простом представлении может выражаться в том, что все множество подлежащих обработке данных разделяется на набор подмножеств, и каждое ядро процессора выполняет обработку в отношении назначенного для него подмножества данных.

Вышеупомянутая память может быть энергозависимой или энергонезависимой памятью или может включать в себя как энергозависимую, так и энергонезависимую память. Специалисту в области техники должно быть также понятно, что, когда речь идет о памяти и о хранении данных, программ, кодов, инструкций, команд и т.п., подразумевается наличие машиночитаемого (или компьютерно-читаемого, процессорно-читаемого) запоминающего носителя. Машиночитаемый запоминающий носитель может представлять собой любой доступный носитель, который может использоваться для того, чтобы переносить или сохранять требуемое средство программного кода в форме инструкций или структур данных, и к которому можно осуществлять доступ посредством компьютера, процессора или иного устройства обработки общего назначения или специального назначения.

В качестве примера, а не ограничения, машиночитаемые носители могут содержать постоянное запоминающее устройство (ROM), программируемое постоянное запоминающее устройство (PROM), стираемое программируемое постоянное запоминающее устройство (EPROM), электронно-стираемое программируемое постоянное запоминающее устройство (EEPROM), флэш-память, оперативную память (RAM), статическую память с произвольным доступом (SRAM), динамическую память с произвольным доступом (DRAM), синхронную динамическую память с произвольным доступом (SDRAM), синхронную динамическую память с произвольной выборкой с двойной скоростью передачи данных (DDR SDRAM), синхронную динамическую память с произвольной выборкой с повышенной скоростью (ESDRAM), DRAM с синхронной линией связи (SLDRAM) и оперативную память с шиной прямого доступа (DR RAM) и т.п.

Информация и сигналы, описанные в данном документе, могут представляться с помощью любой из множества различных технологий. Например, данные, инструкции, команды, информация, сигналы, биты, символы и элементарные сигналы, которые могут приводиться в качестве примера в вышеприведенном описании, могут представляться посредством напряжений, токов, электромагнитных волн, магнитных полей или частиц, оптических полей или частиц либо любой комбинации вышеозначенного.

Процессор может включать в себя один или более процессоров. В то же время, один или более процессоров могут быть процессором общего назначения, например центральным процессором (CPU), прикладным процессором (AP) и т.п., блоком обработки графики, таким как графический процессор (GPU), визуальный процессор (VPU) и т.д.

Следует понимать, что хотя в настоящем документе для описания различных элементов, компонентов, областей, слоев и/или секций могут использоваться такие термины, как "первый", "второй", "третий" и т.п., эти элементы, компоненты, области, слои и/или секции не должны ограничиваться этими терминами. Эти термины используются только для того, чтобы отличить один элемент, компонент, область, слой или секцию от другого элемента, компонента, области, слоя или секции. Так, первый элемент, компонент, область, слой или секция может быть назван вторым элементом, компонентом, областью, слоем или секцией без выхода за рамки объема настоящего изобретения. В настоящем описании термин "и/или" включает любые и все комбинации из одной или более из соответствующих перечисленных позиций. Элементы, упомянутые в единственном числе, не исключают множественности элементов, если отдельно не указано иное.

Функциональность элемента, указанного в описании или формуле изобретения как единый элемент, может быть реализована на практике посредством нескольких компонентов устройства, и наоборот, функциональность элементов, указанных в описании или формуле изобретения как несколько отдельных элементов, может быть реализована на практике посредством единого компонента.

В одном варианте осуществления элементы/блоки/модули предложенного устройства находятся в общем корпусе, могут быть размещены на одной раме/конструкции/печатной плате/кристалле и связаны друг с другом конструктивно посредством монтажных (сборочных) операций и функционально посредством линий связи. Упомянутые линии или каналы связи, если не указано иное, являются типовыми, известными специалистам линиями связи, материальная реализация которых не требует творческих усилий. Линией связи может быть провод, набор проводов, шина, дорожка, беспроводная линия связи (индуктивная, радиочастотная, инфракрасная, ультразвуковая и т.д.). Протоколы связи по линиям связи известны специалистам и не раскрываются отдельно.

Под функциональной связью элементов следует понимать связь, обеспечивающую корректное взаимодействие этих элементов друг с другом и реализацию той или иной функциональности элементов. Частными примерами функциональной связи может быть связь с возможностью обмена информацией, связь с возможностью передачи электрического тока, связь с возможностью передачи механического движения, связь с возможностью передачи света, звука, электромагнитных или механических колебаний и т.д. Конкретный вид функциональной связи определяется характером взаимодействия упомянутых элементов, и, если не указано иное, обеспечивается широко известными средствами, используя широко известные в технике принципы.

Несмотря на то, что примерные варианты осуществления были подробно описаны и показаны на сопроводительных чертежах, следует понимать, что такие варианты осуществления являются лишь иллюстративными и не предназначены ограничивать настоящее изобретение, и что данное изобретение не должно ограничиваться конкретными показанными и описанными компоновками и конструкциями, поскольку специалисту в данной области техники на основе информации, изложенной в описании, и знаний уровня техники могут быть очевидны различные другие модификации и варианты осуществления изобретения, не выходящие за пределы сущности и объема данного изобретения.

Группа изобретений относится к устройству и способу формирования ортофотоплана. Устройство выполнено с возможностью установки на беспилотный летательный аппарат (БПЛА) и содержит камеру, полетный контроллер, модуль управления камерой, модуль определения качества снимков, модуль формирования набора изображений. Для формирования ортофотоплана получают набор изображений местности, полученных в процессе выполнения аэрофотосъемки с помощью БПЛА, выполняют ортотрансформирование изображений, вычисление порезов и сшивку ортотрансформированных изображений по порезам для формирования ортофотоплана, при этом набор изображений содержит по меньшей мере одно дополнительное изображение, полученное в результате дополнительной съемки для замены или дополнения основного изображения в случае необходимости. Обеспечивается повышение качества изображений, ускорение аэрофотосъемки. 2 н. и 6 з.п. ф-лы, 7 ил., 1 табл.

1. Устройство для формирования ортофотоплана, выполненное с возможностью установки на беспилотный летательный аппарат (БПЛА) с подключением к камере и полетному контроллеру БПЛА и содержащее:

модуль управления камерой, выполненный с возможностью управления камерой БПЛА для получения изображений местности в процессе выполнения аэрофотосъемки;

модуль определения качества снимков, выполненный с возможностью определения качества упомянутых изображений, полученных с помощью камеры БПЛА; и

модуль формирования набора изображений, выполненный с возможностью формирования набора изображений из упомянутых изображений, полученных с помощью камеры БПЛА, для формирования ортофотоплана,

при этом модуль управления камерой выполнен с возможностью управления камерой БПЛА для получения основных изображений согласно интервалу, заданному в полетной миссии, и для получения по меньшей мере одного дополнительного изображения вне заданного интервала в рамках того же полета, при этом дополнительное изображение предназначено для замены или дополнения основного изображения, если в процессе выполнения аэрофотосъемки модулем определения качества снимков было определено, что качество основного изображения ниже порога метрики качества.

2. Способ формирования ортофотоплана, содержащий этапы, на которых получают набор изображений местности, полученных в процессе выполнения аэрофотосъемки с помощью БПЛА, выполняют ортотрансформирование изображений, вычисление порезов и сшивку ортотрансформированных изображений по порезам для формирования ортофотоплана,

при этом набор изображений местности содержит основные изображения, полученные в результате съемки согласно интервалу, заданному в полетной миссии, и по меньшей мере одно дополнительное изображение, полученное в результате дополнительной съемки вне заданного интервала в рамках того же полета, при этом дополнительное изображение предназначено для замены или дополнения основного изображения, если в процессе выполнения аэрофотосъемки было определено, что основное изображение является некачественным.

3. Способ по п. 2, в котором по меньшей мере одно дополнительное изображение получено в результате дополнительной съемки, выполненной в рамках того же полета без отклонения от маршрута, заданного в полетной миссии, сразу после того, как было определено, что соответствующее основное изображение является некачественным.

4. Способ по п. 2, в котором по меньшей мере одно дополнительное изображение получено в результате дополнительной съемки, выполненной в рамках того же полета после возврата БПЛА в точку, соответствующую точке съемки основного изображения, которое было определено как некачественное.

5. Способ по п. 4, в котором возврат БПЛА в точку съемки основного изображения выполнен на основе определения, что пройденный путь или прошедшее время с момента съемки основного изображения не позволяет обеспечить достаточное перекрытие дополнительного изображения с последним качественным изображением, предшествующим основному изображению на маршруте, заданном в полетной миссии.

6. Способ по п. 2, в котором дополнительное изображение получено в результате съемки с автофокусировкой.

7. Способ по п. 6, в котором дополнительное изображение является основой для калибровки порога метрики качества, используемого для определения качества последующих изображений.

8. Способ по п. 6, в котором момент съемки дополнительного изображения обнуляет отсчет интервала.