Программно-аппаратный комплекс, предназначенный для обработки аэрофотоснимков видимого и дальнего инфракрасного диапазонов с целью обнаружения, локализации и классификации строений вне населенных пунктов Российский патент 2021 года по МПК G06F17/00 G06N3/02 G06T7/00 G06T7/35 

Область техники

Изобретение относится к области автоматического анализа изображений в частности к программно-аппаратному комплексу для обработки аэрофотоснимков видимого и дальнего инфракрасного диапазонов с целью обнаружения, локализации и классификации на них строений вне населенных пунктов, определения координат интересующих строений вне населенных пунктов. Техническим результатом является повышение точности распознавания объектов на изображении.

Уровень техники

Известен способ дистанционного получения информации об объектах и сценах RU 2135955 (опубл. 27.08.1999), включающий одновременную съемку объектов (сцен) в тепловом и видимом диапазонах спектра при солнечном освещении, приведение полученных теплового и видимого изображений к одному масштабу и совмещение их друг с другом, поэлементное оценивание корреляционной связи между ними, формирование единого изображения в величинах оценок корреляционной связи.

Известен способ дешифрации изображений RU 2610283 (опубл. 08.02.2017), осуществляющий сегментацию изображений на основе использования многомерной нейронной карты Кохонена по пирамидальной схеме, с сегментацией на каждом уровне пирамиды разномасштабных изображений - представлений исходного изображения и дальнейшим объединением результатов сегментации. Далее осуществляют классификацию образов на изображении с помощью древовидного классификатора, использующего в качестве простых классификаторов нейронные сети прямого распространения без обратных связей, обучаемые с помощью генетического алгоритма с использованием грамматик графовой генерации Китано для кодирования структуры сети.

Известен способ аэрокосмического геоинформационного мониторинга природных и техногенных объектов с применением метода вейвлет-преобразования для аэрокосмических цифровых фотоснимков RU 2650700 (опубл. 17.04.2018), обеспечивающий визуальное восприятие получаемого изображения и повышение эффективности процесса обработки и отображения пространственной информации при выявлении изменений изображений на аэрокосмических цифровых фотоснимках за счет повышения точности определения границы изменений изображений при вейвлет-преобразовании фрагментов исходных аэрокосмических цифровых фотоснимков.

Недостатками известных способов является отсутствие возможности обнаружения и локализации (определения координат) объектов интереса и выявления «скрытых объектов».

Раскрытие сущности изобретения

Аэрофотосъемка является важным источником информации при разведке и контроле территорий. Анализ данной информации состоит в обнаружении, локализации и классификации объектов, представляющих интерес. Задачей, на решение которой направлено заявляемое изобретение, является обработка аэрофотоснимков видимого и дальнего инфракрасного диапазонов с целью обнаружения, локализации и классификации на них строений вне населенных пунктов, определения координат интересующих строений вне населенных пунктов, выявления «скрытых» объектов. Техническим результатом является повышение точности распознавания объектов на изображении.

Технический результат достигается за счет получения тепловой карты наличия на изображении объектов интереса, получения координат интересующих строений вне населенных пунктов, классификации обнаруженных и локализованных отдельно стоящих зданий по двум классам: «жилое строение» и «развалины», обеспечения выявления «скрытых объектов» на парах аэрофотоснимков одной и той же местности, выполненных в видимом и инфракрасном диапазоне.

Основные операции процесса:

- обнаружение - определение наличия в некоторых областях изображения объектов распознавания;

- локализация - определение координат объекта;

- классификация - распознавание принадлежности объекта интереса к определенному классу: «жилое строение», «развалины»;

- выявление «скрытых объектов».

Под объектом распознавания понимается пространственно-ограниченный объект на изображении, представляющий интерес для конечного пользователя алгоритмов автоматического обнаружения, локализации и классификации.

Строением вне населенных пунктов считается строение, находящееся вне площадных объектов соответствующего слоя векторной карты и удаленное от границ площадного объекта более чем на 50 м.

Под «жилым строением» понимается строение, на изображении которого видна кровля или не видны внутренние стены.

Под «развалинами» понимается строение, на изображении которого видны внутренние стены.

Для выявления «скрытых объектов» производится сопоставление по географическим координатам выявленных алгоритмом объектов типа «жилое строение» на двух или более снимках. При этом объект считается «скрытым»:

- при отсутствии соответствия на снимке видимого диапазона объекту, обнаруженному на инфракрасном снимке;

- при отсутствии соответствия на снимке того же спектрального диапазона, сделанном в другое время.

Сущность предлагаемого программно-аппаратного комплекса, предназначенного для обработки аэрофотоснимков видимого и дальнего инфракрасного диапазонов с целью обнаружения, локализации и классификации строений вне населенных пунктов заключается в том, что на первом этапе решается задача обнаружения строений вне населенных пунктов и для этого используется алгоритм на основе сверточной нейросети, позволяющей получить на выходе массив цифровых данных. Архитектура упомянутой сверточной нейросети основана на сверточной нейросети ResNet [1], отличающаяся тем, что шесть блоков ResNet преобразованы в глубокую полносверточную нейронную сеть, результатом работы которой является сегментированное изображение, соответствующее по размерности входному. На вход глубокой полносверточной нейронной сети подается нормированный фрагмент оригинального изображения аэрофотосъемки видимого и/или дальнего инфракрасного диапазонов, на выходе полносверточной нейронной сети получается тепловая карта наличия строений вне населенных пунктов, на которой с помощью цветовых переходов отображается вероятность нахождения объектов интереса, при этом теплые цвета показывают места, имеющие наибольшую вероятность нахождения объектов интереса, холодные цвета показывают места с наименьшей вероятностью нахождения объектов интереса. Данный результат позволяет более точно осуществлять обнаружение и локализацию объектов интереса.

На втором этапе осуществляется классификация обнаруженных отдельно стоящих зданий по двум классам: «жилое строение» и «развалины». Для решения задачи классификации используется алгоритм на основе архитектуры нейронной сети NASNet, созданной с помощью компьютерной программы AutoML [2], автоматизирующей проектирование моделей машинного обучения, и эффективной для классификации постоянно повторяющихся объектов в небольших наборах данных. Для создания используемой архитектуры в AutoML были изменены методы поиска оптимальной сети, что обеспечивает возможность работы с обширными массивами информации. Для решения задачи классификации выполняется нормализация фрагментов изображений с отдельно стоящими зданиями по контрасту, позволяющая классифицирующей нейросети при обучении сконцентрироваться на форме объектов, не принимая во внимание различные условия освещения. Нормализация производится с помощью измерения среднего значения интенсивности пикселей объекта и среднеквадратического отклонения о интенсивностей пикселей объекта.

где I - интенсивность пикселей объекта.

Для обеспечения более стабильной нормализации измерение значений и σ осуществляется не по всем пикселям фрагмента, а по пикселям, интенсивности которых лежат в интервале от 2 до 98 перцентиля, что позволяет не учитывать пиксели, имеющие крайние значения (глубокая тень или пересвет).

Для обработки крупноформатных аэрофотоснимков видимого и/или дальнего инфракрасного диапазонов глубокая полносверточная нейронная сеть применяется в режиме скользящего окна с перекрытием [7] (фиг. 3). На фиг. 3 прямоугольниками, разделенными пунктирной линией, показаны фрагменты крупноформатного аэрофотоснимка, сплошными линиями показаны области перекрытия фрагментов.

Для примера фрагмент полноформатного изображения с отмеченными положениями объектов интереса и соответствующая ему тепловая карта представлены на фиг. 2. Степень уверенности обозначается цветом на изображении (фиг. 2б).

Для локализации (определения координат) интересующих строений вне населенных пунктов используется алгоритм подавления немаксимумов [6].

Кроме того, заявляемым программно-аппаратным комплексом обеспечивается возможность на первом этапе работы алгоритма выявление «скрытых объектов»: если имеется пара снимков, сделанных через интервал времени или при различных условиях видимости ландшафта, осуществляется независимая обработка обоих снимков с помощью алгоритма обнаружения и локализации. После получения результатов обнаружения и локализации в виде таблиц геопривязанных координат и показателя ранжирования s, алгоритм осуществляет сопоставление координат объектов на обоих снимках с помощью венгерского алгоритма решения задачи о назначениях с пропусками [8]. У полученных таким образом пар объектов производится сравнение показателей ранжирования s₁ и s₂, и в случае превышения разницей фиксированного порога Т, а также в случае отсутствия пары для объекта, алгоритм выдает полученные координаты как координаты «скрытого объекта».

Пример сопоставления снимков представлен на фиг. 4.

Осуществление изобретения

Способ по варианту 1 осуществляют следующим образом:

Осуществление задачи обнаружения поясняет фиг. 1. После выбора изображения из базы исходных данных 1, на которых необходимо обнаружить строения вне населенных пунктов, происходит запуск алгоритма. Каждое изображение из базы исходных данных обрабатывается независимо от всех остальных с помощью глубокой полносверточной нейронной сети 2, основанной на архитектуре ResNet. При обработке крупноформатных аэрофотоснимков видимого и/или дальнего инфракрасного диапазонов глубокая полносверточная нейронная сеть применяется в режиме скользящего окна с перекрытием (фиг. 3). На вход глубокой полносверточной нейронной сети 2, основанной на архитектуре ResNet, подается нормированный фрагмент оригинального изображения аэрофотосъемки видимого и/или дальнего инфракрасного диапазонов размером 576×576 пикселей. Результатом обработки является тепловая карта 3 наличия отдельно стоящих зданий (фиг. 2), которая поступает на вход алгоритма фильтрации координат 4, реализованный с помощью алгоритма подавления немаксимумов [6]. Полученные координаты объектов интереса добавляются в базу координат объектов 5, которая является конечным результатом работы алгоритма обнаружения и локализации.

При наличии пары снимков, сделанных через интервал времени или при различных условиях видимости ландшафта, выбирается эта пара изображений, на которых необходимо определить наличие «скрытых объектов». Для каждого из выбранной пары изображений осуществляется независимая обработка с помощью алгоритма обнаружения и локализации. Результаты обнаружения и локализации получаются в виде таблиц геопривязанных координат и показателя ранжирования s. Запускается алгоритм сопоставления координат объектов на обрабатываемой паре снимков. Производится сравнение показателей ранжирования s₁ и s₂ обнаруженных на снимках объектов. В случае превышения разницей фиксированного порога, а также в случае отсутствия пары для объекта, алгоритм выдает полученные координаты как координаты «скрытого объекта».

Для решения задачи классификации на вход глубокой полносверточной нейронной сети, основанной на архитектуре NASNet 6, подаются фрагменты размером 128×128 пикселей оригинальных изображений видимого и/или дальнего инфракрасного диапазонов, содержащие объекты интереса, в результате 7 обеспечивается визуализация соответствующего типа объекта на оригинальном изображении.

Технический результат достигается за счет использования для обнаружения и локализации глубокой полносверточной нейронной сети, полученной преобразованием сверточной сети ResNet, и использования алгоритма подавления немаксимумов для обеспечения локализации строений вне населенных пунктов и использования для их классификации алгоритма на основе архитектуры нейронной сети NASNet, созданной с помощью AutoML, путем изменения методов поиска оптимальной сети, что обеспечивает возможность работы с обширными массивами информации, за счет обеспечения возможности выявления «скрытых объектов» на парах аэрофотоснимков одной и той же местности, выполненных в видимом и инфракрасном диапазоне, или на парах аэрофотоснимков одного спектрального диапазона, сделанных в разное время.

Краткое описание чертежей

Обозначения:

1. База исходных данных.

2. Глубокая полносверточная нейронная сеть, основанная на архитектуре ResNet.

3. Тепловая карта.

4. Алгоритм фильтрации координат.

5. База координат объектов.

6. Глубокая полносверточная нейронная сеть, основанная на NASNet.

7. Результат.

Фиг. 1. Схема работы алгоритма обнаружения, локализации и классификации объектов.

Фиг. 2. Фрагмент целого изображения с отмеченными положениями объектов интереса.

Фиг. 3. Режим «скользящего окна».

Фиг. 4. Сопоставление снимков для выявления «скрытых объектов» - слева объект присутствует, справа - отсутствует.

Литература.

1. Szegedy С. et al. Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning. 2016.

2. Le Q., Zoph B. Using Machine Learning to Explore Neural Network Architecture [Electronic resource]. 2017. URL: https://ai.googleblog.com/2017/05/using-machine-learning-to-explore.html (accessed: 20.07.2018).

3. RU 2135955 (Павлов Н.И., Шуба Ю.А.) Способ дистанционного получения информации объектах и сценах.

4. RU 2610283 (Акинина Н.В., Солдатенко И.С., Семенова И.А., Шишкова Т.Е.) Способ дешифрации изображений.

5. RU 2650700 (Карпик А.П., Гук А.П., Алтынцев М.А.) Способ аэрокосмического геоинформационного мониторинга природных и техногенных объектов с применением метода вейвлет-преобразования для аэрокосмических цифровых фотоснимков.

6. Canny J.F. A computational approach to edge detection // Pattern Analysis and Machine Intelligence, IEEE Transactions on. 1986. №6. P. 679-698.

7. Jacob Ziv, Abraham Lempel. A Universal Algorithm for Sequential Data Compression IEEE Transactions on Information Theory, 23(3), pp. 337-343, May 1977.

8. Harold W. Kuhn, «The Hungarian Method for the assignment problem», Naval Research Logistics Quarterly, 2:83-97, 1955. Kuhn's original publication.

Изобретение относится к области автоматического анализа изображений. Технический результат заключается в повышении точности распознавания объектов на изображении. Такой результат достигается за счет получения тепловой карты наличия на изображении объектов интереса, получения координат интересующих строений вне населенных пунктов, степень уверенности обозначается цветом на тепловой карте и обеспечивается визуализация соответствующего типа объекта на оригинальном изображении. 1 з.п. ф-лы, 4 ил.

1. Программно-аппаратный комплекс, предназначенный для обработки аэрофотоснимков видимого и/или дальнего инфракрасного диапазонов с целью обнаружения, локализации и классификации строений вне населенных пунктов, обеспечивающий получение изображений из базы исходных данных, обработку каждого изображения, полученного из базы исходных данных, независимо от всех остальных с помощью глубокой сверточной нейросети ResNet для обнаружения и локализации строений вне населенных пунктов и нейронной сети NASNet для классификации строений вне населенных пунктов, отличающийся тем, что NASNet изменена с помощью AutoML для обеспечения возможности работы с обширными массивами информации, при этом на вход глубокой полносверточной нейросети подается нормированный фрагмент оригинального изображения аэрофотосъемки, причем при обработке крупноформатных аэрофотоснимков видимого и/или дальнего инфракрасного диапазонов глубокая полносверточная сеть применяется в режиме скользящего окна с перекрытием, на вход глубокой полносверточной нейронной сети, основанной на архитектуре ResNet, подается нормированный фрагмент оригинального изображения аэрофотосъёмки видимого и/или дальнего инфракрасного диапазонов, результатом обработки которой является тепловая карта наличия отдельно стоящих зданий, которая поступает на вход алгоритма фильтрации координат, реализованный с помощью алгоритма подавления немаксимумов, полученные координаты объектов интереса добавляются в базу координат объектов, далее на вход глубокой полносверточной нейронной сети, основанной на архитектуре NASNet, подаются фрагменты изображений видимого и/или дальнего инфракрасного диапазонов, содержащие объекты интереса, в результате получается тепловая карта наличия строений вне населенных пунктов, степень уверенности обозначается цветом на тепловой карте и обеспечивается визуализация соответствующего типа объекта на оригинальном изображении.

2. Программно-аппаратный комплекс по п. 1, отличающийся тем, что имеется возможность выявления «скрытых объектов» на парах аэрофотоснимков одной и той же местности, выполненных в видимом и инфракрасном диапазоне или на парах аэрофотоснимков одного спектрального диапазона, сделанных в разное время.