Интеллектуальная космическая система для мониторинга лесного фонда Российский патент 2019 года по МПК G06N3/02 G06T5/50 

Описание патента на изобретение RU2703349C1

Предлагаемое изобретение относится к области средств и технологий дистанционного зондирования Земли, а именно к применению результатов дистанционного зондирования Земли для мониторинга лесов.

В качестве ближайшего аналога предлагаемого изобретения может быть выбрана основанная на использовании нейронной сети система получения и обработки космических снимков, предложенная в заявке на изобретение CN 10 7 945 146, Univ. Nanjing Information Science & Tech., публикация 2018 г. Система из CN 10 7 945 146 включает совокупность компьютерных средств, структурированных на основе свёрточной нейронной сети, связанных с космическими аппаратами дистанционного зондирования Земли программы LandSat и научно-исследовательским космическим аппаратом Aqua с аппаратурой дистанционного зондирования Земли Modis. Свёрточная нейронная сеть обеспечивает получение итоговых изображений, сформированных на базе изображений, принятых от космического аппарата дистанционного зондирования Земли, и уточняющих данных дистанционного зондирования Земли. В свою очередь, в нашем изобретении предложено применить технические возможности свёрточной нейронной сети для решения более узкой задачи – мониторинга лесного фонда для отслеживания изменений леса и их классификации (контроль вырубок, ветровалов и гарей), с обеспечением быстроты обработки данных и задействовании меньшего количества вычислительных ресурсов.

Таким образом, нами предложена интеллектуальная космическая система мониторинга, включающая совокупность компьютерных средств на основе свёрточной нейронной сети, позволяющих обрабатывать данные с космических аппаратов дистанционного зондирования Земли Ресурс-П, Канопус-В, космических аппаратов компании Planet Labs (Dove, RapidEye) и использовать данные с прибора Modis научно-исследовательского космического аппарата Aqua . Отличие от аналога заключается в структуре нейронной сети, использовании данных с космических аппаратов дистанционного зондирования Земли типа Ресурс-П, Канопус-В. Свёрточная нейронная сеть обрабатывает изображения объектов лесного фонда, принятые от космических аппаратов дистанционного зондирования Земли указанных типов, с формированием методом скользящего окна прямоугольных матриц пикселей изображения с заданным шагом – кропов, генерацию нескольких отображений для каждой прямоугольной матрицы путём поворота и зеркального отображения с сегментацией каждого отображения средствами свёрточной нейронной сети и его классификацией средствами свёрточной нейронной сети в качестве одного из объектов лесного фонда с использованием уточняющих данных аппаратуры дистанционного зондирования Земли Modis и получением итогового изображения, классифицированного в качестве одного из объектов лесного фонда.

Предложенная система поясняется следующими изображениями:

фиг. 1 – схема алгоритма распознавания и классификации изменений лесного фонда;

фиг. 2 – архитектура свёрточной нейронной сети с отображением последовательности операций кодировки и декодировки;

фиг. 3 – разбиение исходного снимка на куски фиксированного размера методом скользящего окна.

Спутниковые снимки лесного фонда, полученные с космических аппаратов Канопус-В, Ресурс-П, Planet Labs поступают на вход свёрточной нейронной сети (фиг. 1). В настоящее время используются спутниковые снимки в уровне обработки 4А - комплексированное изображение панхроматического (уровня обработки 2А) и многоспектрального (уровня обработки 2А1) снимков одной и той же территории. Применение свёрточной нейронной сети в предлагаемой архитектуре позволит быстрее выполнять обработку данных за счёт меньшего количество операций и времени, необходимых для выполнения одного прохода сети, нейронная сеть менее требовательна к техническим ресурсам, а также позволяет выполнять обработку в режиме близком к реальному времени. Применение космических аппаратов Канопус-В и Ресурс-П позволит задействовать при мониторинге лесного фонда данные дистанционного зондирования Земли высокого и сверхвысокого разрешения.

Архитектуру предложенной свёрточной сети можно описать (фиг. 2) как совокупность последовательностей блоков кодировки и декодировки. Блоки кодировки уменьшают пространственное разрешение исходного изображения в данном случае разрешение кропов – прямоугольных матриц пикселей изображения. Блоки декодировки увеличивают пространственное разрешение, объединяя входные данные с картами признаков полученных с помощью метода проброса из блоков кодировки соответствующего разрешения, что обеспечивает ансамблирование результатов всех слоёв и разрешений.

Блок кодировки представляет собой набор из трёх функциональных подблоков (операций над картами признаков): слой свёртки, функция активации ReLU, слой субдискретизации. Блок декодировки представляет собой набор из четырёх функциональных подблоков (набор из двух последовательностей двух операций): слой свёртки, функция активации ReLU. Слой свёртки включает свой фильтр для каждого канала, ядро свёртки которого обрабатывает предыдущий слой по фрагментам, суммируя результаты матричного произведения для каждого фрагмента, и обозначается свёртка ([k×k], m, n), где k×k – размер ядра свёртки, m и n количество входных и выходных фильтров для слоя соответственно. Функция активации ReLU, представляющая собой функцию max(0,x) ReLU=x, позволяет избежать проблем затухающего и взрывающегося градиента, а также является вычислительно несложной, cкалярный результат каждой свертки попадает на функцию активации. Слой субдискретизации (слой подвыборки) представляет собой нелинейное уплотнение карты признаков, при этом группа точек (обычно размера 2×2) уплотняется до одной точки, проходя нелинейное преобразование. Наиболее употребительна при этом функция максимума. Преобразования затрагивают непересекающиеся прямоугольники или квадраты, каждый из которых ужимается в одну точку, при этом выбирается точка, имеющая максимальное значение. Операция пулинга (то есть, если на предыдущей операции свёртки уже были выявлены некоторые признаки, то для дальнейшей обработки настолько подробное изображение уже не нужно, и оно уплотняется до менее подробного и служит для генерации новых карт признаков большей размерности) позволяет существенно уменьшить пространственный объём изображения.

Блок декодировки результата представляет собой набор из четырёх функциональных подблоков (последовательных операций): пространственное исключение – выключает слой нейронов с вероятностью p; слой свёртки с ядром 1х1 – необходим для уменьшения размерности карты признаков; функция активации – скалярный результат каждой свёртки попадает на функцию активации, которая представляет собой нелинейную функцию sigmoid=1/(1+e-x), позволяющая усиливать слабые сигналы и не насыщаться от сильных сигналов; линейное увеличение размерности – операция обратная субдискретизации, то есть линейное повторение карты признаков, каждая точка преобразуется в группу точек 2×2, проходя линейное преобразование, преобразования затрагивают все точки, каждая из которых превращается в группу точек, при этом они имеют одинаковое значение, данная операция позволяет увеличить объём изображения.

Для обработки принятых спутниковых снимков методом скользящего окна формируют кропы – прямоугольные матрицы пикселей изображения (фиг. 3), кропы формируют с заданным шагом, для чего задают размеры скользящего окна HSW×WSW, задают шаг скользящего окна – SH пикселей по вертикали и SW пикселей по горизонтали; исходное изображение I с высотой H и шириной W дополняют по краям до размера кратного размерам скользящего окна; из дополненного изображения с шагом SH×SW формируют матрицы пикселей – кропы размера HSW×WSW. Предложено использовать HSW=WSW=512 пикселей для обеспечения с одной стороны попадания достаточно крупных объектов в один кроп, что позволит достичь заданной точности, и практической возможности создания программной реализации, с другой стороны, поскольку размер окна напрямую определяет размер слоя нейронной сети, увеличение которого ведет к увеличению требований к размеру памяти и скорости работы аппаратного обеспечения и экспоненциальному увеличению времени обучения. Также, предложено использовать шаг SH=HSW/2=256 пикселей и SW=WSW/2=256 пикселей для обеспечения наложения кропов друг на друга таким образом, чтобы край одного кропа совпадал с центром смежного с ним, что позволит избежать конфликтов на краях кропов при восстановлении сегментации всего снимка из сегментаций отдельных кропов.

Для каждой прямоугольной матрицы – кропа генерируют несколько отображений путём поворота и зеркального отображения исходного изображения. Предложено генерировать восемь отображений на каждый кроп, то есть вариации отображения исходного куска с помощью операций поворота на угол π/2 и зеркального отображения. То есть, для кропа изображения С (φ(x) – поворот на угол π/2, ψ(x) – зеркальное отображение) множество из восьми отображений O модно представить, как O={C, φ(C), φ(φ(C)), φ(φ(φ(C))), ψ(C), ψ(φ(C)), ψ(φ(φ(C))), ψ(φ(φ(φ(C))))}. Средствами свёрточной нейронной сети получают карту сегментов для каждого отображения с последующей классификацией в качестве одного из объектов лесного фонда для чего через нейронную сеть пропускают исходный кроп C с итоговой функцией получения предсказания P=h(C) на кроп изображения C. В результате, на выходе сегментации свёрточной нейронной сети получается набор из восьми (для рассматриваемого примера) карт вероятности того, что каждая точка исходного кропа может быть классифицирована, как изменения лесного фонда, а также восемь вероятностей принадлежности к таким изменениям лесного фонда, как гарь, вырубка, ветровал.

К полученному набору карт вероятности применяются операции обратного отображения (поворота на –π/2 и зеркального отображения) с целью получения прообразов используемых образов применительно к выходным картам вероятности. При x=ψ(ψ(x)) и x=φ-1(x)=φ(φ(φ(x))), искомое множество Op имеет вид Op={P1, φ-1-1-1(P2))), φ-1-1(P3)), φ-1(P4), ψ(P5), ψ(φ-1-1-1(P6)))), ψ(φ-1-1(P7))), ψ(φ-1(P8))}. С помощью усреднения предсказаний уточняют границы полученных сегментов. Итоговое предсказание для каждой точки кропа изображения для предложенного варианта вычисляется по следующей формуле Pитог(i,j)=Σk=18Pk(i,j)/8. Данный подход позволяет улучшить результаты сегментации, полученные на предыдущем этапе. Объединив полученные пересекающиеся карты предсказаний с помощью взвешенной суммы, используя в качестве весов двумерное распределение Гаусса с нулем в центре кропа и среднеквадратичным отклонением σ=HSW/2·3=~85, вычисленное в точках соответствующих центрам пикселей кропа, чтобы получить сегментацию исходного изображения. Это позволит устранить конфликты и артефакты на границах кропов, так как для каждого пикселя наибольший вклад в его значение внесет тот кроп, к центру которого он ближе находится, а вклад крайних точек кропа составит ~0,2. К полученному набору вероятностей принадлежности к классам применяется операция усреднения. Полученный результат подаётся в качестве одного из признаков в классификатор на базе логистической регрессии, предусматривающий также использование агрегатированных метеоданных и данных пожаров аппаратуры Modis спутника Aqua за период времени между датой снимка и предполагаемой датой возникновения изменения лесного фонда.

Похожие патенты RU2703349C1

название год авторы номер документа
Интеллектуальная космическая система для мониторинга участков недропользования открытого типа 2018
  • Островская Анна Александровна
  • Никольский Дмитрий Борисович
  • Колесникова Ольга Николаевна
RU2718419C1
Интеллектуальная космическая система для мониторинга зданий и сооружений 2018
  • Островская Анна Александровна
  • Никольский Дмитрий Борисович
RU2707138C1
Система сегментации изображений участков недропользования открытого типа 2019
  • Островская Анна Александровна
  • Хрящев Владимир Вячеславович
RU2733823C1
Система сегментации изображений зданий и сооружений 2019
  • Островская Анна Александровна
  • Хрящев Владимир Вячеславович
RU2734058C1
СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЙ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ЗЕМЛИ С ПОМОЩЬЮ НЕЙРОННОЙ СЕТИ СО ШТРАФОМ НА ТОЧНОСТЬ ГРАНИЦЫ СЕГМЕНТАЦИИ 2019
  • Артёмов Алексей Валерьевич
  • Бурнаев Евгений Владимирович
  • Боховкин Алексей Константинович
  • Волхонский Денис Алексеевич
RU2740736C1
Способ формирования архитектуры орбитальной группировки космических аппаратов дистанционного зондирования Земли и информационно-аналитическая система для его осуществления 2021
  • Емельянов Андрей Александрович
  • Борисов Андрей Владимирович
  • Сизов Олег Сергеевич
  • Жуковская Ксения Ивановна
RU2753368C1
СПОСОБ ДИСТАНЦИОННОГО ОПРЕДЕЛЕНИЯ ДИНАМИКИ ПИРОГЕННЫХ СУКЦЕССИЙ РАСТИТЕЛЬНОСТИ 2021
  • Шинкаренко Станислав Сергеевич
  • Юферев Валерий Григорьевич
RU2814455C2
СПОСОБ ПРОГНОЗИРОВАНИЯ РАСПРОСТРАНЕНИЯ ПРИРОДНЫХ ПОЖАРОВ С ПОМОЩЬЮ ДАННЫХ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ ЗЕМЛИ И НЕЙРОННЫХ СЕТЕЙ 2022
  • Илларионова Светлана Владимировна
  • Шадрин Дмитрий Германович
  • Губанов Федор Дмитриевич
  • Игнатьев Владимир Юрьевич
  • Мироненко Максим Алексеевич
  • Бурнаев Евгений Владимирович
RU2813124C1
СПОСОБ ОПРЕДЕЛЕНИЯ ПАРАМЕТРОВ СОСТОЯНИЯ ПОЧВЕННО-РАСТИТЕЛЬНОГО ПОКРОВА ПО ДАННЫМ МНОГОСПЕКТРАЛЬНОГО АЭРОКОСМИЧЕСКОГО ЗОНДИРОВАНИЯ 2009
  • Дмитриев Егор Владимирович
  • Козодеров Владимир Васильевич
RU2424540C2
СПОСОБ ОПРЕДЕЛЕНИЯ РАЗРЕШАЮЩЕЙ СПОСОБНОСТИ ОПТИКО-ЭЛЕКТРОННОЙ АППАРАТУРЫ ДИСТАНЦИОННОГО ЗОНДИРОВАНИЯ 2019
  • Фадеев Алексей Павлович
  • Левицкий Алексей Владимирович
  • Зеленщиков Антон Николаевич
  • Садовников Илья Юрьевич
RU2730101C1

Иллюстрации к изобретению RU 2 703 349 C1

Реферат патента 2019 года Интеллектуальная космическая система для мониторинга лесного фонда

Изобретение относится к системам мониторинга лесного фонда. Технический результат заключается в обеспечении ансамблирования результатов полученных слоёв и разрешений. Система включает совокупность компьютерных средств на основе свёрточной нейронной сети, использующей данные с космических аппаратов дистанционного зондирования Земли Ресурс-П, Канопус-В, космических аппаратов компании Planet и научно-исследовательского космического аппарата Aqua с аппаратурой Modis. Система обрабатывает изображения объектов лесного фонда, принятые от космических аппаратов дистанционного зондирования Земли, с формированием методом скользящего окна прямоугольных матриц пикселей изображения с заданным шагом. Для каждой прямоугольной матрицы генерируют несколько отображений с сегментацией каждого отображения средствами свёрточной нейронной сети и его классификацией средствами свёрточной нейронной сети в качестве одного из объектов лесного фонда с использованием уточняющих данных аппаратуры дистанционного зондирования Земли Modis и получением итогового изображения, классифицированного в качестве одного из объектов лесного фонда. 3 ил.

Формула изобретения RU 2 703 349 C1

Интеллектуальная космическая система мониторинга, включающая

совокупность компьютерных средств, структурированных на основе свёрточной нейронной сети, связанных с

космическими аппаратами дистанционного зондирования Земли и

научно-исследовательским космическим аппаратом Aqua с аппаратурой дистанционного зондирования Земли Modis и обеспечивающих

получение итоговых изображений, сформированных на базе изображений, принятых от космического аппарата дистанционного зондирования Земли, и уточняющих данных дистанционного зондирования Земли, отличающаяся тем, что

компьютерные средства, структурированные на основе свёрточной нейронной сети, связаны с

космическими аппаратами дистанционного зондирования Земли типа Ресурс-П,

космическим аппаратом дистанционного зондирования Земли Канопус-В,

космическими аппаратами дистанционного зондирования Земли компании Planet Labs,

свёрточная нейронная сеть обрабатывает изображения объектов лесного фонда, принятые от космических аппаратов дистанционного зондирования Земли указанных типов, с

формированием методом скользящего окна прямоугольных матриц пикселей изображения с заданным шагом – кропов,

осуществляет генерацию нескольких отображений для каждой прямоугольной матрицы путём поворота и зеркального отображения с

сегментацией каждого отображения средствами свёрточной нейронной сети и его классификацией средствами свёрточной нейронной сети в качестве одного из объектов лесного фонда с использованием уточняющих данных аппаратуры дистанционного зондирования Земли Modis и

получением итогового изображения, классифицированного в качестве одного из объектов лесного фонда.

Документы, цитированные в отчете о поиске Патент 2019 года RU2703349C1

Интеллектуальная космическая система для управления проектами 2018
  • Тюлин Андрей Евгеньевич
  • Чурсин Александр Александрович
  • Шамин Роман Вячеславович
  • Юдин Александр Викторович
RU2679541C1
US 20040005085 A1, 08.01.2004
US 20180018543 A1, 18.01.2018
EP 2972221 B1, 25.10.2017
EP 3109659 A1, 28.12.2016
СПОСОБ ОТСЛЕЖИВАНИЯ ГРАНИЦЫ ЗОНЫ "ЛЕС-ТУНДРА" 2013
  • Бондур Валерий Григорьевич
  • Давыдов Вячеслав Федорович
  • Комаров Евгений Геннадиевич
  • Корольков Анатолий Владимирович
  • Замшин Виктор Викторович
RU2531765C1

RU 2 703 349 C1

Авторы

Рубцов Антон Олегович

Островская Анна Александровна

Даты

2019-10-16Публикация

2019-04-16Подача