Система сегментации изображений участков недропользования открытого типа Российский патент 2020 года по МПК G06N3/02 G06T5/50 

Предлагаемое изобретение относится к области средств и технологий дистанционного зондирования Земли, а именно к интеллектуальным космическим системам сегментации участков недропользования открытого типа.

Известен способ обработки спутниковых изображений [Blaschke T. et al., «Object-Oriented Image Processing in an Integrated GIS / Remote Sensing Environment and Perspectives for Environmental Applications», EnviroInfo 2000], предусматривающий сегментацию изображений с помощью различных алгоритмов и последующее объединение результатов с данными геоинформационной системы. Известна также система получения и обработки спутниковых изображений, основанная на использовании сверточной нейронной сети, предложенная в заявке на изобретение CN 10 7 945 146, Univ. Nanjing Information Science & Tech., публикация 2018 г. Система представляет собой нейронную сеть глубокого обучения, получающую изображения от спутников Landsat с аппаратурой дистанционного зондирования Земли Modis и сегментацией изображений, принятых с космического аппарата. В CN 10 7 945 146 на стадии подготовки выбираются изображения Landsat и Modis для формирования пары изображений Landsat – Modis, выполняется формирование репрезентативной выборки данных по образцу Landsat. Изображение LSR Landsat, приближающееся к пространственному разрешению Modis; обучается в соответствии с комбинацией Landsat и Modis LSR Landsat, получая нелинейное отображение и реконстрируя свёрточную нейронную сеть с суперразрешением. На стадии прогнозирования выбираются пары изображений Landsat – Modis на дату t₁ и дату t₃, и прогнозируется возможное изображение Landsat в дату t₂, между датой t₁ и t₃, полученное на этапе обучения на основе нелинейного отображения с суперразрешением.

В качестве ближайшего аналога выбрана система сегментации спутниковых изображений, являющаяся составной частью интеллектуальной космической системы мониторинга лесного фонда. Система, основанная на использовании свёрточной нейронной сети, была предложена в патенте на изобретение RU 2 703 349, Российские космические системы, публикация 2019 г. Нейронная сеть глубокого обучения обрабатывает фрагменты изображений, полученных с космических аппаратов дистанционного зондирования Земли Ресурс-П, Канопус-В и Planet Labs. Фрагменты изображений формируются методом скользящего окна с заданным шагом. На этапе обучения, для расширения обучающей выборки генерируются новые фрагменты изображений.

В нашем изобретении предложено применить технические возможности и особенности алгоритмов глубокого машинного обучения для решения задачи сегментации изображений участков недропользования открытого типа. Система включает в себя свёрточную нейронную сеть, обеспечивающую обработку фрагментов изображений, полученных с космических аппаратов дистанционного зондирования Земли типа Ресурс-П, Канопус-В и компании Planet Labs (Dove, RapidEye). Фрагменты изображений формируются методом скользящего окна с заданным шагом. На этапе обучения, для расширения обучающей выборки генерируются новые фрагменты изображений. В отличие от аналога, свёрточная нейронная сеть обрабатывает фрагменты четырехканальных спутниковых снимков. При работе системы методом скользящего окна с фиксированным шагом из каждого спутникового изображения выделяется набор фрагментов для сегментации. На этапе обучения, для расширения обучающей выборки к каждому из фрагментов применяются операторы поворота и зеркального отображения, изменения масштаба в пределах [1;1,2], сдвига в пределах 2% от размера фрагмента, поворота на небольшой угол в пределах [-π/12; π/12] и хроматического искажения. На этапе работы алгоритма фрагменты объединяются для получения изначального, «большого» спутникового снимка с выделенными на нем участками недропользования открытого типа.

Предложенная система поясняется следующими изображениями:

фиг. 1 – схема обучения алгоритма сегментации участков недропользования открытого типа;

фиг. 2 – схема работы алгоритма сегментации участков недропользования открытого типа;

фиг. 3 – архитектура свёрточной нейронной сети для сегментации участков недропользования открытого типа;

фиг. 4 – разбиение исходного спутникового снимка на фрагменты фиксированного размера методом скользящего окна.

Спутниковые снимки участков недропользования открытого типа, полученные с космических аппаратов Канопус-В, Ресурс-П и Planet Labs поступают на вход свёрточной нейронной сети (фиг. 1, 2). В настоящее время используются четырехканальные спутниковые снимки исследуемой территории. Свёрточная нейронная сеть позволяет быстрее выполнить обработку данных за счет меньшего количества требуемых вычислений. Применение космических аппаратов Канопус-В, Ресурс-П и Palnet Labs позволяет задействовать при мониторинге участков недропользования открытого типа данные дистанционного зондирования Земли высокого и сверхвысокого разрешения. Предложено использовать свёрточную нейронную сеть Mask R-CNN (фиг. 3), расширяющую функциональность архитектуры Faster R-CNN для детектирования объектов на изображениях, добавляя в свёрточную сеть дополнительную ветвь – полносвязную нейронную сеть FCN для осуществления сегментации на уровне пикселей в области детектированного объекта (RoI) параллельно с уже существующими выходами – метками класса и рамками, ограничивающими объекты.

Свёрточные слои являются основными элементами нейронных сетей глубокого обучения. На этапе работы этих слоев с помощью свёрточного фильтра и матричных операций преобразуются данные, поступившие на вход с предыдущего слоя нейронной сети. Результатом такой обработки является набор матриц меньшего размера – множество слоёв преобразованных признаков. Свёрточная сеть Faster R-CNN, основанная на архитектуре сети ResNet-101, состоит из двух последовательно выполняемых алгоритмов: полносвязной сети (RPN), совершающей с помощью скользящего окна предсказания о возможном местоположении рамок, ограничивающих объекты, с учетом большого диапазона их возможных размеров, и сети Fast R-CNN, извлекающей из этого набора рамок те, которые более точно окружают объекты. Одновременно с этим осуществляется и классификация детектируемых объектов. Сеть RPN с помощью скользящего окна предоставляет информацию о возможных местоположениях рамок, окружающих объекты на снимках и при этом специальные, равномерно расположенные на изображении «якори», прямоугольные рамки с разными размерами и разным отношением сторон, генерируемые алгоритмом, позволяют выделить рамки любых размеров, окружающие объекты, расположенные на снимке (фиг. 3). Решение о наличии или отсутствии объекта внутри рамки делается на основании значения метрики IoU: если IoU>0,5, то считается, что объект попал в рамку. Ключевыми составляющими алгоритма Fast R-CNN является пространственно-пирамидальный слой с операцией RoIPool по извлечению карты признаков из каждой области с детектированным объектом и слой RoIAlign, определяющий точное пространственное расположение рамок детектированных объектов на снимках.

Для улучшения качества поступающих с космических аппаратов изображений, отбрасывается импульсный шум, присутствующий на спутниковых изображениях в виде одиночных, очень светлых и темных пикселей. Для этого проводилась эквилизация гистограммы – процесс предобработки изображений, в результате которого значения яркости пикселей изображения перераспределяются равномерно, с учетом пороговых значений яркости светлых и темных пикселей. Значения пикселей, не попадающие в промежуток допустимой яркости, меняются на пороговые величины. Для выравнивания гистограммы яркости производится также линейное преобразование для каждого пикселя.

Для обработки предобработанных спутниковых снимков методом скользящего окна с заданным шагом формируются фрагменты изображений (фиг. 4), поступающие на вход свёрточной нейронной сети. Предложено использовать окно размером 1024×1024 пикселей для обеспечения попадания достаточно крупных объектов недропользования в один фрагмент. При необходимости, спутниковый снимок по краям дополняется до такого размера, что каждая сторона снимка была кратна 1024. Шаг окна в 512 пикселей обеспечивает наложение фрагментов друг на друга таким образом, что край одного фрагмента совпадает с центром смежного с ним. Это позволяет избежать искажений сегментации на краях при восстановлении всего снимка из отдельных фрагментов на этапе внедрения и использования алгоритма.

При обучении сети, из каждого фрагмента спутникового снимка генерируются несколько изображений путём поворота и зеркального отображения исходного фрагмента. Предложено сначала сгенерировать восемь фрагментов изображений с помощью всевозможных вариаций поворота исходного фрагмента на угол π/2, π, 3π/2 и зеркального отображения, а затем к каждому новому полученному фрагменту дополнительно применять операторы случайного поворота на небольшой угол в пределах [-π/12; π/12], изменения масштаба в пределах [1; 1,2], сдвига в пределах 2% от размера фрагмента и хроматического искажения. Это позволяет значительно увеличить обучающую выборку для повышения качества сегментации алгоритма глубокого обучения на этапе обучения. На фазе тестирования свёрточной сети, а также при её последующем внедрении и использовании генерация новых фрагментов пропускается.

В качестве алгоритма численной оптимизации при обучении свёрточной нейронной сети был выбран оптимизатор адаптивной оценки моментов Adam. Эта функция объединяет лучшие подходы от градиентного спуска и импульсных оптимизаторов, показывая быструю сходимость для большинства задач машинного обучения, в частности для задачи сегментации участков недропользования открытого типа. Средствами свёрточной нейронной сети для каждого фрагмента получается множество рамок, ограничивающих объекты, и карт вероятностей того, что каждый пиксель относится к участкам недропользования открытого типа. С помощью отсечения пикселей по определенному порогу, получается итоговая сегментация фрагмента спутникового изображения. При внедрении и использовании алгоритма фрагменты изображения с помощью нормированной суммы объединяются. В итоге, получается спутниковое изображение изначального размера с выделенными на нем участками недропользования открытого типа.

Изобретение относится к вычислительной технике и может быть использовано для сегментации изображений участков недропользования открытого типа. Техническим результатом является повышение быстродействия обработки цифровых данных при снижении количества вычислительных ресурсов. Система содержит компьютерные средства, структурированные на основе свёрточной нейронной сети Mask R-CNN, которые обрабатывают фрагменты четырехканальных спутниковых снимков, содержащих изображения участков недропользования открытого типа, с генерацией на этапе обучения алгоритма сегментации восьми фрагментов изображений с помощью всевозможных вариаций поворота исходного фрагмента на угол π/2, π, 3π/2 и зеркального отображения, с применением к каждому новому полученному фрагменту операторов случайного поворота на небольшой угол в пределах [-π/12; π/12], изменения масштаба в пределах [1; 1,2], сдвига в пределах 2% от размера фрагмента и хроматического искажения. В итоге получается спутниковое изображение изначального размера с выделенными на нем участками недропользования открытого типа. 4 ил.

Система сегментации изображений участков недропользования открытого типа, включающая

компьютерные средства, структурированные на основе свёрточной нейронной сети, обеспечивающие обработку фрагментов изображений, полученных с космических аппаратов дистанционного зондирования Земли типа Ресурс-П, а также космических аппаратов Канопус-В и PlanetLabs и сформированных методом скользящего окна с заданным шагом, с генерацией новых фрагментов при помощи поворота исходного фрагмента и зеркального отображения, отличающаяся тем, что

компьютерные средства, структурированные на основе свёрточной нейронной сети Mask R-CNN, обрабатывают фрагменты четырехканальных спутниковых снимков, содержащих изображения участков недропользования открытого типа,

с генерацией на этапе обучения алгоритма сегментации восьми фрагментов изображений с помощью всевозможных вариаций поворота исходного фрагмента на угол π/2, π, 3π/2 и зеркального отображения, с применением к каждому новому полученному фрагменту операторов случайного поворота на небольшой угол в пределах [-π/12; π/12], изменения масштаба в пределах [1; 1,2], сдвига в пределах 2% от размера фрагмента и хроматического искажения.