СПОСОБ ОБНАРУЖЕНИЯ И КЛАССИФИКАЦИИ МАЛОРАЗМЕРНЫХ ОБЪЕКТОВ НА ИЗОБРАЖЕНИЯХ, ПОЛУЧЕННЫХ РАДИОЛОКАЦИОННЫМИ СТАНЦИЯМИ С СИНТЕЗИРОВАННОЙ АПЕРТУРОЙ Российский патент 2019 года по МПК G06T1/40 G06K9/66 G01S13/90 

Изобретение относится к устройствам обнаружения и классификации целей для радиолокационных станций и может быть использовано для обнаружения и классификации малоразмерных объектов нескольких классов на радиолокационных изображениях (РЛИ) с продольными размерами классифицируемых объектов от 70 до 25 пикселей и менее.

Часто используемым способом для обнаружения и распознавания объектов на изображениях являются сверточные нейросети. Изначально разработанные для обработки оптических изображений, в последние годы нейросетевые подходы были адаптированы для работы с РЛИ. Так, в статье [1] описывается применение сверточной нейросети для распознавания объектов на РЛИ и проводится сравнение этого способа с ранее известными способами распознавания - при этом нейросеть обеспечила наибольшую вероятность распознавания при 10 классах объектов. Более поздние работы, например [2], подтвердили преимущества нейросетей при распознавании объектов на РЛИ среди множества классов. Также имеются работы по обнаружению (определению области нахождения объектов) на РЛИ. В [3] описан способ устойчивого обнаружения объектов, основанный на итеративном применении сверточной сети для локализации объектов нескольких классов. При этом мало работ, посвященных совместному обнаружению и распознаванию целей в рамках общей схемы обработки. Хотя методы локализации с помощью нейросетей обычно подразумевают и классификацию, но либо число классов очень невелико (2-3), либо классы имеют сильно различающиеся характеристики, как в [3]. Для классов объектов, схожих по форме и размерам (например, различные виды техники), точность классификации недостаточно высока. При этом, чем меньше размер распознаваемых объектов, тем сложнее задача классификации. Предлагаемый способ позволяет одновременно решать задачи обнаружения и классификации для объектов малых размеров и сходных форм.

Наиболее близким по своей сущности к заявляемому способу, то есть прототипом, является способ, описанный в [4] - «контекстная» основанная на областях сверточная нейросеть с многослойным слиянием для обнаружения кораблей на радиолокационных изображениях». Указанный способ использует сверточную нейросеть, в которой одна часть слоев служит для определения областей интереса (Region Proposal Network - RPN), а другая часть слоев используется для обнаружения объектов (с учетом контекстной информации об областях интереса). При этом в части обнаружения используются приведенные к одной размерности данные с нескольких слоев. Такая архитектура нейросети является вариантом архитектуры GoogLeNet [5]. Использование данного способа позволяет обнаруживать и отличать корабли от других объектов с размером около 30×30 пикселей.

К недостаткам данного способа можно отнести малое число распознаваемых классов (два класса - «корабли» и «прочее»), специализация на работе с надводными объектами (использование признаков, специфических для областей суши и водных поверхностей, является существенной частью способа), а также использование РЛИ фиксированного разрешения в качестве обучающего набора, что может ограничивать возможности обучения, а следовательно, и точность классификации нейросети, особенно при дальнейшем уменьшении размеров классифицируемых объектов.

Достигаемым техническим результатом заявляемого изобретения является повышение точности классификации объектов на радиолокационном изображении путем использования двух нейронных сетей типа: сети обнаружения (DetectNet) и остаточной сети (ResNet).

Описываемый способ отличается от прототипа тем, что для обнаружения и распознавания используются две сверточные нейросети различной архитектуры, при этом нейросеть распознавания обучается и работает с изображениями более высокого разрешения, чем нейросеть обнаружения. Последовательность действий при обработке РЛИ предлагаемым способом приведена на фигуре. На первом шаге производится обнаружение областей с потенциальными объектами и их предварительная классификация с использованием РЛИ низкого разрешения (аналогично прототипу). На втором шаге повышается разрешение для обнаруженных областей интереса путем интерполяции, причем интерполяция может быть как фиксированной (бикубическая), так и адаптивной (обучаемой -аналогично способу, используемому в прототипе при усреднении данных со слоев различной размерности при распознавании). На третьем шаге производится окончательная классификация объектов с использованием нейросети распознавания другой архитектуры, работающей с областями интереса в повышенном разрешении. Такой подход позволяет использовать для обучения нейросетей обнаружения и распознавания РЛИ с различным разрешением. Как результат, вся система обнаружения и распознавания позволяет обнаруживать и классифицировать с высокой вероятностью объекты малых размеров даже при большом числе классов. Возможность выбора вида интерполяции позволяет выбирать между более быстрым обучением (при фиксированной интерполяции) и более точной классификацией (при адаптивной интерполяции).

Обнаружение объектов осуществляется с помощью нейросети с архитектурой «Сеть Обнаружения» (DetectNet) [6], которая, как и прототип, является вариантом архитектуры (GoogLeNet) [5]. По сравнению с [6] нейросеть модернизирована с целью повышения точностных и вычислительных характеристик. В частности, число распознаваемых классов увеличено до требуемого количества, число базовых (Inception) слоев [5] уменьшено таким образом, чтобы минимизировать вычислительные затраты без потерь в качестве обнаружения (но с возможным ухудшением предварительного распознавания - это компенсируется на шаге 3). Нейросеть обнаружения обучается на полных радиолокационных изображениях с объектами. Изображения могут быть как реальными, так и синтезированными на основе реальных. В отличие от стандартной методики обучения нейросетей, по рассчитанному отклику полносвязной части сети вычисляются две функции потерь - одна для величины рассогласования позиций объектов, а другая для величины рассогласования обнаруженных областей интереса с учетом класса объекта. Сумма значений данных функций потерь затем используется для коррекции весов сети по общепринятой схеме [5].

Окончательное распознавание объектов осуществляется с помощью нейросети с архитектурой «Остаточная сеть» (ResNet) [7], которая обучается на изображениях объектов заданных классов (и дополнительно на изображениях только с фоном, без объектов, если требуется распознавание класса «Объект не обнаружен») с более высоким разрешением, чем разрешение изображений, использованных для обучения нейросети обнаружения. Такие изображения могут быть получены как путем вырезания соответствующих областей изображений, используемых при обучении обнаружению, и повышения их разрешения, так и путем вырезания областей изображения с объектами из радиолокационных изображений более высокого разрешения. Схема обучения стандартная для сверточных нейросетей [2].

Для объединения двух нейросетей применяется интерполяция, которая для каждого изображения с обнаруженным объектом с исходным разрешением повышает разрешение до используемого в нейросети распознавания. Достаточно хорошие результаты показывает бикубическая интерполяция. Повысить точность распознавания можно путем применения адаптивной обучаемой интерполяции [8] за счет больших вычислительных затрат при обучении.

Предложенный способ распознавания и обнаружения объектов на радиолокационных изображениях позволяет обнаруживать и классифицировать объекты трех и более классов при размере объектов 25 пикселей и менее с высокой вероятностью, достигаемой за счет возможности обучения нейросети распознавания на изображениях с высоким разрешением.

Предложенный способ был опробован на практике на наборе данных MSTAR с использованием бикубической интерполяции на шаге 2 и показал точность распознавания для трех классов не менее 99% при исходных размерах объектов около 20-25 пикселей.

Литература

1. H. Wang, S. Chen, F. Xu, and Y. - Q. Jin - «Приложение алгоритмов глубокого обучения к данным MSTAR» - IGARSS, 2015.

2. David А.Е. Morgan - «Глубокие сверточные нейросети для автоматического распознавания целей на радиолокационных изображениях» - Proc. of SPIE, Vol. 9475 94750F-1, 2015.

3. Yang Long, Yiping Gong, Zhifeng Xiao, and Qing Liu - «Точная локализация объектов на радиолокационных изображениях, основанная на сверточных нейросетях» - IEEE Transactions on Geoscience and Remote Sensing, Vol. 55, No. 5, May 2017

4. Miao Kang, Kefeng Ji, Xiangguang Leng, and Zhao Lin - «Контекстная, основанная на областях, сверточная нейросеть с многслойным слиянием для обнаружения кораблей на радиолокационных изображениях» - Remote Sens. 2017.

5. Christian Szegedy, Wei Liu, Yangqing Jia, Pierre Sermanet, Scott Reed, Dragomir Anguelov, Dumitru Erhan, Vincent Vanhoucke, Andrew Rabinovich - «Углубляясь в свертки», Pages: 1-9, DOI: 10.1109/CVPR. 2015. 7298594

6. Andrew Tao, Jon Barker and Sriya Sarathy - «Сеть Обнаружения: Глубокая нейросеть для обнаружения объектов в системе DIGITS» - https://devblogs.nvidia.com/parallelforall/detectnet-deep-neural-network-object-detection-digits/

7. К. Не, X. Zhang, S. Ren, and J. Sun - «Глубокое остаточное распознавание для классификации изображений» - CoRR, vol. Abs/1512.03385, 2015.

8. Tao Kong, Anbang Yao, Yurong Chen, Fuchun Sun - «ГиперСеть: к точной генерации областей интереса и объединенному обнаружению объектов» -The IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2016, pp. 845-853.

Изобретение относится к вычислительной технике. Технический результат – повышение точности классификации объектов на радиолокационном изображении. Способ обнаружения и классификации малоразмерных объектов на изображениях, полученных радиолокационными станциями с синтезированной апертурой, включает: обнаружение и классификацию областей с потенциальными объектами на основе сверточной нейросети архитектуры типа сеть обнаружения (DetectNet), причем производится обнаружение областей с потенциальными объектами и их предварительная классификация с использованием РЛИ низкого разрешения, при этом окончательную классификацию объектов производят с использованием второй нейросети распознавания типа остаточная сеть (ResNet), которая использует РЛИ с высоким разрешением, причем объединение двух нейросетей в общую систему осуществляется методом повышения разрешения для обнаруженных областей интереса путем интерполяции, причем интерполяция может быть как фиксированной - бикубической, так и адаптивной - обучаемой. 1 ил.

Способ обнаружения и классификации малоразмерных объектов на изображениях, полученных радиолокационными станциями с синтезированной апертурой, с помощью которого обнаруживают и предварительно классифицируют области с потенциальными объектами на основе сверточной нейросети архитектуры типа сеть обнаружения (DetectNet) с использованием для обучения и работы радиолокационных изображений (РЛИ) низкого разрешения, после чего повышают разрешение для обнаруженных областей, отличающийся тем, что производится обнаружение областей с потенциальными объектами и их предварительная классификация с использованием радиолокационных изображений низкого разрешения, при этом окончательную классификацию объектов производят с использованием второй нейросети распознавания архитектуры типа остаточная сеть (ResNet), которая использует для обучения и работы изображения с более высоким разрешением, a DetectNet обучается на полных радиолокационных изображениях с объектами, причем объединение двух нейросетей в общую систему осуществляется методом повышения разрешения для обнаруженных областей интереса путем интерполяции, причем интерполяция может быть как фиксированной - бикубической, так и адаптивной - обучаемой, причем возможность выбора вида интерполяции позволяет выбирать между более быстрым обучением, при фиксированной интерполяции, и более точной классификацией, при адаптивной интерполяции.