СПОСОБ АВТОМАТИЧЕСКОГО ОБНАРУЖЕНИЯ ОБЪЕКТОВ С ИСПОЛЬЗОВАНИЕМ СИСТЕМЫ ТЕХНИЧЕСКОГО ЗРЕНИЯ, УСТАНОВЛЕННОЙ НА БВС Российский патент 2024 года по МПК G06T7/00 B64C39/00 

ОБЛАСТЬ ТЕХНИКИ

Настоящее техническое решение относится к области технического зрения и беспилотных воздушных средств (БВС), а именно к способу автоматического обнаружения объектов с использованием системы технического зрения, установленной на БВС.

УРОВЕНЬ ТЕХНИКИ

Традиционные методы обнаружения объектов с применением нейронных сетей сталкиваются с трудностью обнаружения мелких объектов и объектов, находящихся далеко в кадре, так как они представлены малым количеством пикселей на изображении и имеют недостаточную детализацию. Известны методы повышения точности обнаружения малоразмерных объектов за счет распознавания каждого кадра по частям, "пробегая" по кадру окном. Однако данный способ приводит к резкому снижению скорости обнаружения из-за повышенных вычислительных затрат на обработку каждого кадра.

Другие способы повышения точности обнаружения малоразмерных объектов заключаются в изменении архитектуры нейронной сети. Например, добавление модулей, отвечающих за выделение признаков мелких объектов, и удаление отвечающих за крупные объекты. Однако такой подход потребует постоянного исследования и адаптации решения к новым моделям.

Из уровня техники известен источник информации WO 2022074643 A1, опубликованный 14.04.2022, раскрывающий способ георегистрации с использованием идентификации объектов на основе машинного обучения. Система, посредством которой осуществляется способ, включает в себя видеокамеру, расположенную на транспортном средстве, таком как БВС, которая делает аэрофотоснимки местности. Вероятность успеха и точность алгоритмов геосинхронизации повышаются за счет использования обученной искусственной нейронной сети с прямой связью (ANN) для идентификации динамических объектов, которые меняются со временем, в кадрах, снятых видеокамерой. Такие кадры помечаются, например, путем добавления метаданных. Помеченные кадры могут использоваться в алгоритме геосинхронизации, который может основываться на сравнении с эталонными изображениями или может основываться на другом или том же ANN, путем удаления динамического объекта из кадра или удаления помеченного кадра для алгоритма. Динамический объект может меняться со временем из-за условий окружающей среды, таких как изменения погоды или географические изменения.

Из уровня техники известен источник информации US 20220028048 A1, опубликованный 27.01.2022, раскрывающий систему и способ определения положения объекта с использованием изображений, полученных с мобильного устройства сбора изображений. Способ включает в себя получение изображений целевого географического района и телеметрической информации средства сбора изображений во время захвата, анализ каждого изображения для идентификации объектов и определение положения объектов. Способ дополнительно включает в себя определение высоты захвата изображения, определение положения изображения, используя высоту захвата и телеметрическую информацию, выполнение преобразования изображения на основе высоты захвата и телеметрической информации, идентификацию объектов на преобразованном изображении, определение местоположений в первых пикселях преобразованном изображении, выполнение обратного преобразования. Преобразование первых пикселей для определения местоположений вторых пикселей изображении и определение положений объектов в области на основе местоположений вторых пикселей в захваченном изображении и определенной позиции изображения.

Предлагаемое решение отличается от известных из уровня техники решений тем, что в предлагаемом решении не нужно сканировать каждый кадр изображения, так как информация об объектах сохраняется в нескольких кадрах и достаточно обработать один кадр, а посредством адаптации размера и позиции следящего окна к скорости и высоте движения БПЛА повышается точность обнаружения малоразмерных объектов.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Технической задачей, на решение которой направлено заявленное техническое решение, является обнаружение малоразмерных объектов и объектов, находящихся далеко в кадре с сохранением скорости обработки видеопотока на уровне, близкому к реальному времени, а также отсутствие изменений архитектуры нейронной сети.

Техническим результатом, достигающимся при решении вышеуказанной технической задачи, является повышение точности обнаружения малоразмерных объектов и объектов, находящихся далеко в кадре и сохранение скорости обработки видеопотока на уровне, близком к реальному времени за счет использования перекрытия соседних кадров в видеопотоке. При сохранении скорости обработки видеопотока на уровне 15 и более кадров в секунду, существует высокая степень перекрытия между соседними кадрами. Это означает, что информация об объектах сохраняется в нескольких последовательных кадрах, учитывая скорость и направление оптического потока, зависящего от скорости, направления и высоты полета БВС, кадры, которые уже были обработаны на предыдущих кадрах, обрабатывать не обязательно. Путем адаптации размера и позиции следящего окна к скорости и высоте движения БПЛА повышается точность обнаружения малоразмерных объектов.

Заявленный технический результат достигается за счет осуществления способа автоматического обнаружения объектов с использованием системы технического зрения, установленной на беспилотном воздушном судне (БВС), содержащий следующие этапы:

на вычислительное устройство получают кадры из видеопотока, полученного с камеры БВС;

определяют смещение текущего кадра видеопотока по отношению к предыдущему обработанному кадру в пикселях;

определяют размер и положение следящего окна на текущем кадре;

осуществляют обработку фрагмента кадра внутри следящего окна посредством нейронной сети для обнаружения объектов;

осуществляют определение положения обнаруженных во фрагменте объектов в полном кадре;

осуществляют определение смещения в кадре обнаруженных ранее объектов, которые находятся внутри кадра, но не попадают в текущее следящее окно, путем добавления к координатам, обнаруженных на предыдущих этапах обработки объектов, смещения в пикселях между кадрами;

выводят результат обнаружения.

В частном варианте реализации предлагаемого способа, смещение текущего кадра по отношению к предыдущему обработанному кадру в пикселях осуществляют посредством алгоритма оптического потока.

В частном варианте реализации предлагаемого способа, смещение текущего кадра по отношению к предыдущему обработанному кадру в пикселях осуществляют посредством метода блочного сопоставления.

В частном варианте реализации предлагаемого способа, смещение текущего кадра по отношению к предыдущему обработанному кадру в пикселях осуществляют посредством определения смещения в пикселях на основе высоты и скорости движения БВС и ориентации камеры.

В частном варианте реализации предлагаемого способа, следящее окно располагается в центре кадра.

В частном варианте реализации предлагаемого способа, следящее окно перемещается по той части кадра, которая быстрее сместится за переделы кадра.

ОПИСАНИЕ ЧЕРТЕЖЕЙ

Реализация изобретения будет описана в дальнейшем в соответствии с прилагаемыми чертежами, которые представлены для пояснения сути изобретения и никоим образом не ограничивают область изобретения. К заявке прилагаются следующие чертежи:

Фиг.1 - иллюстрирует схему, где кадры, пропущенные из-за времени работы алгоритма обнаружения объектов нейронной сетью, не учитываются.

Фиг. 2 - иллюстрирует схему смещения видеопотока по одной оси с постоянной скоростью, для сканирования кадра с помощью следящего окна.

Фиг. 3 -иллюстрирует схему смещения видеопотока по двум осям X и Y, для сканирования кадра с помощью следящего окна.

Фиг. 4 - иллюстрирует пример реализации предлагаемого решения.

ДЕТАЛЬНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

В приведенном ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчетливое понимание настоящего изобретения. Однако, квалифицированному в предметной области специалисту, будет очевидно каким образом можно использовать настоящее изобретение, как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять понимание особенностей настоящего изобретения.

Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов.

Предлагаемый способ осуществляется за счет работы системы, состоящей из БВС и вычислительного устройства.

На вычислительное устройство получают кадры из видеопотока, полученного с камеры БВС. Камера БВС получает изображение с помощью оптических линз и матрицы изображения, которая разбивает изображение на отдельные пиксели. Полученный кадр представляет собой электронное изображение в цифровом формате, то есть набор чисел, которые соответствуют яркости каждого пикселя на изображении. Получение кадров выполняется в режиме реального времени. На данном шаге из видеопотока берется последний из доступных декодированных кадров.

Далее определяют смещение текущего кадра видеопотока по отношению к предыдущему обработанному кадру в пикселях. Используется предыдущий кадр, который обрабатывался данным алгоритмом. Пропущенные кадры, если такие есть из-за времени работы алгоритма обнаружения объектов нейронной сетью, не учитываются (Фиг. 1).

Для определения смещения между кадрами в видеопотоке могут быть использованы различные алгоритмы.

Один из наиболее распространенных алгоритмов - это алгоритм оптического потока (optical flow), который позволяет определить векторы смещения для каждого пикселя на изображении. Алгоритм оптического потока основан на предположении, что яркость каждой точки на изображении сохраняется между соседними кадрами. Он использует вычисление градиента яркости изображения и применяет методы оптимизации, такие как метод Лукаса-Канаде, чтобы найти векторы смещения пикселей между двумя кадрами.

Другой метод для определения смещения между кадрами - это метод блочного сопоставления (block matching), который сравнивает блоки пикселей на текущем кадре с соответствующими блоками на предыдущем кадре. В результате сравнения определяются векторы смещения для каждого блока.

Третий способ заключается в расчете смещения в пикселях на основе высоты и скорости движения БВС. Для расчета смещения в пикселях на основе высоты и скорости движения БВС можно использовать следующую формулу:

dx=V * time_interval * frame_resolution_x / (2 * Н * tan(A))

dy=V * time_interval * frame_resolution_y / (2 * H * tan(A))

где:

dx - смещение между кадрами по оси х в пикселях;

dy - смещение между кадрами по оси у в пикселях;

Н - высота полета БПЛА над поверхностью;

V - скорость движения БПЛА;

А - угол обзора камеры;

time_interval - временной интервал между кадрами (время обновления), который можно определить как обратное значение частоты кадров;

frame_resolution_x - разрешение кадра в пикселях по оси х;

frame_resolution_y - разрешение кадра в пикселях по оси у.

Для использования данной формулы необходимо знать высоту и скорость движения БВС, данные параметры получают с полетного контроллера БВС, а также угол обзора камеры. Угол обзора камеры позволяет определить поле зрения камеры и, следовательно, количество пикселей на один градус угла обзора. Камера должна быть направлена строго вниз.

Далее определяют размер и положение следящего окна на текущем кадре. Эффективный размер следящего окна зависит от архитектуры нейронной сети, используемой для обнаружения объектов (наличие модулей отвечающих за выделение признаков мелких объектов), размера объектов в обучающем датасете, размера потенциальных объектов в пикселях. При этом минимальный размер окна зависит от скорости смещения кадров, чтобы успеть обработать все пространство изображения внутри кадра до его перемещения за пределы кадра.

Следящее окно может располагаться всегда в центре кадра (или любом другом месте) и повышать точность обнаружения объектов, изображение которых попадает в область в центре кадра. В этом случае необходимо планировать съемку таким образом, чтобы в процессе перемещения камеры захватить центральной областью кадра все интересуемое пространство, с учетом также движения распознаваемых объектов.

Другой способ заключается в последовательном «сканировании» кадра с помощью следящего окна. В вырожденном случае, когда камера направлена строго вниз и повернута по направлению движения БВС, смещение видеопотока можно представить в виде смещения по одной оси с постоянной скоростью (Фиг. 2). Следящее окно имеет форму квадрата шириной W_win. Квадратный размер выбран в соответствии с пропорциями входных слоев нейронных сетей применяемых для обнаружения объектов. Ширина кадра - W. Смещение между соседними кадрами - Δ_pix.

Количество итераций для сканирования следящим окном по всей ширине кадра определяется:

Чтобы успеть сканировать следящим окном по всей ширине кадра до того, как эта область сместится за пределы кадра, скорость смещения должна быть меньше скорости ширины следящего окна, разделенного на количество итераций сканирования по ширине, округленной в большую сторону:

Минимальная ширина следящего окна может быть рассчитана по формуле:

Другими словами, площадь следящего окна должна быть не меньше площади части кадра, которая полностью сместится за пределы кадра на следующем кадре.

В рассматриваемом способе следящее окно перемещается по той части кадра, которая быстрее сместится за переделы кадры. Для перемещения следящего окна может использоваться любой алгоритм, например, слева направо, или от центра к краям.

При смещении видеопотока по двум осям X и Y (Фиг. 3), минимальный размер окна также определяется площадью кадра, которая полностью сместится за пределы кадра на следующем кадре. Выбор положения следящего окна в кадре определяется остаточной площадью, состоящей из части кадра, которая сместится за пределы кадра за вычетом площади перекрытой следящим окном на предыдущем кадре, S_w и S_h на Фиг. 3. С какого края остаточная площадь больше, с той стороны помещается следующее следящее окно. Если Sw>Sh, то новое следящее окно помещается справа от последнего следящего окна в горизонтальном ряду. Если Sh<Sw то помещается сверху от последнего следящего окна в вертикально ряду

Далее осуществляют обработку фрагмента кадра внутри следящего окна посредством нейронной сети для обнаружения объектов.

Фрагмент передается в нейронную сеть в соответствии с размерами входного слоя. При необходимости выполняется преобразование фрагмента для приведения к нужному размеру. Например, входной слой имеет размер матрицы 1280×1280×3, а размер фрагмента 640×640×3 (RGB-изображение с тремя цветовыми каналами). В этом случае фрагмент масштабируется до размеров входного слоя нейронной сети. Для масштабирования может использоваться любой из популярных алгоритмов, например, метод линейной интерполяции. Масштабирование возможно, как с сохранением пропорций, так и без сохранения. Если пропорции не совпадают с размером входного слоя нейронной сети, может применяться заполнение выходящего за изображение пространства нулями (означает отсутствие яркости).

Для обнаружения объектов внутри следящего окна может использоваться любая нейронная сеть, предназначенная для решения задачи object detection, заключающейся в определении координат объекта на изображении и класса объекта. Например, YOLO, SSD, Retina Net и другие. Результатом обработки изображения нейронной сетью является массив, содержащий относительные координаты центра объекта, ширину и высоту, класс объекта и уверенность нейронной сети для каждого объекта. Для обнаружения объектов разных масштабов в нейронных сетях используется пирамидальная обработка изображений, когда во время тренировки масштаб изображения изменяется. Стандартные модели нейронных сетей предназначены для обнаружения объектов разных размеров. Поэтому при увеличении объекта за счет выделения фрагмента изображения, вместо подачи на вход нейронной сети целого изображения, нейронная сеть лучше обнаруживает признаки малоразмерного объекта, так как размер объекта в этом случае больше соответствует масштабам объектов, на которых обучалась нейронная сеть.

Далее осуществляют определение положения обнаруженных во фрагменте объектов в полном кадре. Положение определяется координатами в пикселях внутри фрагмента смещенными на значения положения фрагмента внутри кадра. Для этого к абсолютным координатам X₁ и Y_фробъекта внутри фрагмента прибавляются абсолютные координаты фрагмента внутри кадра Х_фр и Y_фр. Таким образом глобальные координаты объекта внутри кадра будут Х_гл=X₁+Х_фр, Y_гл=Y₁+Y_фp.

Далее осуществляют определение смещения в кадре обнаруженных ранее объектов, которые находятся внутри кадра, но не попадают в текущее следящее окно, с использованием данных (высота полета, скорость БВС), полученных от полетного контроллера БВС, путем добавления к координатам, обнаруженным на предыдущих этапах обработки объектов, смещения в пикселях между кадрами. Для этого к абсолютным координатам объекта X и Y добавляется смещение в пикселях между кадрами dx и dy. Далее определяется, находится ли объект еще в кадре. Если объект оказался за пределами кадра расчет его положения на следующих кадрах прекращается. Таким образом новые координаты объекта внутри кадра будут:

X_new=X+dх, при условии 0<X<X_max

Y_new=Y+dy, при условии 0<Y<Y_max

По результату обработки выводят результат обнаружения. Результаты обнаружения передаются в формате [х, у, w, h, class] каждого объекта в кадре, где х, у, w, h относительные координаты центра объекта, его ширины и высоты. Class - обозначает индекс класса объекта. Дополнительно могут быть переданы значения уверенности нейронной сети в значении класса. Вывод осуществляется в виде желаемого отображения обнаруженных объектов. Это может быть визуальное отображение в виде рамок и названий классов прям в видео потоке, или передача результатов во внешние алгоритмы для дальнейшей обработки.

Далее, со ссылкой на Фиг. 4, расписан примера реализации изобретения. Используется БВС типа квадрокоптер, основанный на автопилоте РХ4, камера (1) передает видеопоток по беспроводному каналу связи Wi-Fi, кодек - Н.264, полетный контроллер (4) передает информацию о положении БВС по MAVLink протоколу через тот же канал связи, вычислительное устройство представляет персональный компьютер с операционной системой Windows 10, захват кадра (2) выполняется с помощью библиотеки OpenCV, расчет положения следящего окна (3) в виде программной функции, обработка нейронной сетью (5) YOLOv5 для обнаружения объектов, расчет положения объектов в виде программной функции.

По схеме, видеопоток с камеры (1) передается на персональный компьютер, где с помощью библиотеки OpenCV выполняется захват кадра (2). Затем с помощью алгоритма для расчета положения следящего окна (3) на кадре вычисляется положение следящего окна. Обработка изображения для обнаружения объектов выполняется с помощью нейронной сети YOLOv5 (5). Полученные от полетного контроллера координаты БВС (4) используются для расчета смещения обнаруженных ранее объектов, которые не попали в текущее следящее окно с помощью алгоритма для расчета положения обнаруженных объектов (6). Результаты обработки передаются в алгоритма для расчета положения обнаруженных объектов (6), который вычисляет положение объектов на изображении. По результату обработки выводят результат обнаружения.

Для определения положения БВС используется полетный контроллер (4), который передает информацию о его положении по MAVLink протоколу через беспроводной канал связи Wi-Fi. Вычисления выполняются на персональном компьютере, который может быть любым ПК с установленной операционной системой Windows 10 и дискретной видеокартой с поддержкой вычислительных ядер CUDA.

Вычислительная система, обеспечивающие обработку данных, необходимую для реализации заявленного решения, в общем случае содержат такие компоненты, как: один или более процессоров, по меньшей мере одну память, средство хранения данных, интерфейсы ввода/вывода, средство ввода, средства сетевого взаимодействия. При исполнении машиночитаемых команд, содержащихся в оперативно памяти, конфигурируют процессор устройства для выполнения основных вычислительные операции, необходимых для функционирования устройства или функциональности одного, или более его компонентов. Память, как правило, выполнена в виде ОЗУ, куда загружается необходимая программная логика, обеспечивающая требуемый функционал. При осуществлении работы предлагаемого решения выделяют объем памяти, необходимы для осуществления предлагаемого решения. Средство хранения данных может выполняться в виде HDD, SSD дисков, рейд массива, сетевого хранилища, флэш-памяти и т.п.Средство позволяет выполнять долгосрочное хранение различного вида информации. Интерфейсы представляют собой стандартные средства для подключения и работы периферийных и прочих устройств, например, USB, RS232, RJ45, COM, HDMI, PS/2, Lightning и т.п. В качестве средств ввода данных в любом воплощении системы, реализующей описываемый способ, может использоваться клавиатура, джойстик, дисплей (сенсорный дисплей), проектор, тачпад, манипулятор мышь, трекбол, световое перо, динамики, микрофон и т.п.Средства сетевого взаимодействия выбираются из устройства, обеспечивающий сетевой прием и передачу данных, например, Ethernet карту, WLAN/Wi-Fi модуль, Bluetooth модуль, BLE модуль, NFC модуль, IrDa, RFID модуль, GSM модем и т.п.С помощью средств обеспечивается организация обмена данными по проводному или беспроводному каналу передачи данных, например, WAN, PAN, ЛВС (LAN), Интранет, Интернет, WLAN, WMAN или GSM. Компоненты устройства сопряжены посредством общей шины передачи данных.

В настоящих материалах заявки было представлено предпочтительное раскрытие осуществление заявленного технического решения, которое не должно использоваться как ограничивающее иные, частные воплощения его реализации, которые не выходят за рамки испрашиваемого объема правовой охраны и являются очевидными для специалистов в соответствующей области техники.

Изобретение относится к способам автоматического обнаружения объектов с использованием системы технического зрения, установленной на беспилотном воздушном средстве (БВС). Способ включает этапы, при которых на вычислительное устройство получают кадры из видеопотока, полученного с камеры БВС, определяют смещение текущего кадра видеопотока по отношению к предыдущему обработанному кадру в пикселях, определяют размер и положение следящего окна на текущем кадре, осуществляют обработку фрагмента кадра внутри следящего окна посредством нейронной сети для обнаружения объектов, определяют положения обнаруженных во фрагменте объектов в полном кадре. Далее осуществляют определение смещения в кадре обнаруженных ранее объектов, которые находятся внутри кадра, но не попадают в текущее следящее окно путем добавления к координатам, обнаруженных на предыдущих этапах обработки объектов, смещения в пикселях между кадрами, и выводят результат обнаружения. Технический результат заключается в повышении точности обнаружения малоразмерных объектов и объектов. 5 з.п. ф-лы, 4 ил.

1. Способ автоматического обнаружения объектов с использованием системы технического зрения, установленной на беспилотном воздушном судне (БВС), содержащий следующие этапы:

на вычислительное устройство получают кадры из видеопотока, полученного с камеры БВС;

определяют смещение текущего кадра видеопотока по отношению к предыдущему обработанному кадру в пикселях;

определяют размер и положение следящего окна на текущем кадре;

осуществляют обработку фрагмента кадра внутри следящего окна посредством нейронной сети для обнаружения объектов;

осуществляют определение положения обнаруженных во фрагменте объектов в полном кадре;

осуществляют определение смещения в кадре обнаруженных ранее объектов, которые находятся внутри кадра, но не попадают в текущее следящее окно, путем добавления к координатам, обнаруженных на предыдущих этапах обработки объектов, смещения в пикселях между кадрами;

выводят результат обнаружения.

2. Способ по п. 1, отличающийся тем, что смещение текущего кадра по отношению к предыдущему обработанному кадру в пикселях осуществляют посредством алгоритма оптического потока.

3. Способ по п. 1, отличающийся тем, что смещение текущего кадра по отношению к предыдущему обработанному кадру в пикселях осуществляют посредством метода блочного сопоставления.

4. Способ по п. 1, отличающийся тем, что смещение текущего кадра по отношению к предыдущему обработанному кадру в пикселях осуществляют посредством определения смещения в пикселях на основе высоты и скорости движения БВС и ориентации камеры.

5. Способ по п. 1, отличающийся тем, что следящее окно располагается в центре кадра.

6. Способ по п. 1, отличающийся тем, что следящее окно перемещается по той части кадра, которая быстрее сместится за переделы кадра.