Программно-аппаратный комплекс, предназначенный для обучения и (или) дообучения алгоритмов обработки аэрокосмических изображений местности с целью обнаружения, локализации и классификации до типа авиационной и сухопутной техники Российский патент 2021 года по МПК G06N3/08 

Область техники

Изобретение относится к компьютерным системам, основанным на биологических моделях, а именно к способам обучения и/или дообучения сверточных и/или полносверточных нейронных сетей, предназначенных для обнаружения, локализации и классификации объектов до типа авиационной и сухопутной техники на аэрокосмических изображениях местности.

Уровень техники

Известны способы обучения сверточных и полносверточных нейронных сетей с помощью библиотек глубокого обучения с использованием возможностей высоко-параллельных вычислений на графических ускорителях (GPGPU-General-purpose computing for graphics processing units, неспециализированные вычисления на графических процессорах [1]). Известные библиотеки глубокого обучения, такие как Caffe [2] и Tensorflow [3], работают в предположении, что для обучения используются изображения фиксированного размера [4]. Данное упрощение позволяет значительно упростить и ускорить процесс обучения.

Обучение нейронных сетей задачам обнаружения, локализации осуществляется на основе наборов эталонных данных, на которых экспертом с высокой точностью размечены объекты интереса. При этом для решения задач обнаружения и локализации достаточно выделения объекта интереса прямоугольной рамкой, а для решения задачи классификации необходимо более детально выделить форму объекта. Существует способ определения типа объекта авиационной техники на выделенных изображениях объектов интереса, основанный на сегментации объектов с последующим обнаружением ключевых точек объектов и сопоставлением с шаблонами [5]. Однако, образцы аэрокосмических изображений местности, на которых необходимо осуществить обнаружение, локализацию и классификацию до типа авиационной и сухопутной техники могут иметь различные размеры, в том числе необходима и обработка крупноформатных изображений.

Разметка обучающих выборок состоит в сегментации изображений - отделении объектов интереса от фона. Известные подходы к выполнению сегментации аэрокосмических изображений, различаются по качеству сегментации и требуемым трудозатратам. Например, использование алгоритма GrabCut [6] не позволяет осуществлять полностью автоматическое сегментирование и требует существенных временных затрат.

Известны способы подготовки обучающих выборок с помощью аугментаций на основе формирования новых изображений путем вставки объектов интереса на различные фоновые изображения [7]. Данные способы позволяют формировать обучающие выборки для изображений с локализованными объектами интереса. На крупноформатных изображениях число элементов фона значительно превышает число элементов объектов интереса, что значительно усложняет процесс обучения.

Известные фрэймворки, позволяющие осуществлять разметку изображений для обучения нейросети (Amazon SageMaker, https://handl.ai/ Handl, Google Data Labeling https://cloud.google.com/data-labeling/docs/). Недостатком известных решений является то, что они не поддерживают обучение и дообучение.

Раскрытие сущности

Задачей, на решение которой направлено заявляемое изобретение является обучение и/или дообучение сверточных и/или полносверточных нейронных сетей, предназначенных для обнаружения, локализации и классификации объектов до типа авиационной и сухопутной техники на аэрокосмических изображениях местности. Техническим результатом является расширение по сравнению с аналогами (например, GrabCut, SegNet [10]) функциональных возможностей и повышение качества обучения и/или дообучения алгоритмов обработки аэрокосмических изображений местности с целью обнаружения, локализации и классификации до типа авиационной и сухопутной техники.

На фиг. 1 и фиг. 2 приведены схемы двух вариантов программно-аппаратного комплекса, предназначенного для обучения и/или дообучения алгоритмов обработки аэрокосмических изображений местности с целью обнаружения, локализации и классификации до типа авиационной и сухопутной техники.

На фиг. 1 ведены обозначения:

1 - база данных обучающих и тестовых выборок с экспертной разметкой;

2 - модуль дообучения;

3 - блок импорта;

4 - нейросетевое ядро;

5 - каталог нейросетевых моделей;

6 - блок нейросетевой разметки;

7 - блок корректировки нейросетевой разметки;

8 - эксперт;

9 - модуль аналитики и формирования отчетов.

Предлагаемый программно-аппаратный комплекс состоит из базы данных обучающих и тестовых выборок с экспертной разметкой 1, блока импорта 3, нейросетевого ядра 4, модуля дообучения 2, каталога нейросетевых моделей 5, блока нейросетевой разметки 6, блока корректировки нейросетевой разметки 7, модуля аналитики и формирования отчетов 9, при этом выход блока импорта 3 соединен с первым входом нейросетевого ядра 4, выход базы данных обучающих и тестовых выборок с экспертной разметкой 1 соединен со входом модуля дообучения 2, первый выход модуля дообучения 2 соединен со входом модуля аналитики и формирования отчетов 9, выход модуля аналитики и формирования отчетов 9 предназначен для контроля результатов обучения или дообучения экспертом 8, второй выход модуля дообучения 2 соединен со входом каталога нейросетевых моделей 5, выход каталога нейросетевых моделей 5 соединен со вторым входом нейросетевого ядра 4, выход нейросетевого ядра 4 соединен со входом блока нейросетевой разметки 6, выход блока нейросетевой разметки 6 соединен с первым входом блока корректировки нейросетевой разметки 7, второй вход блока корректировки нейросетевой разметки 7 предназначен для корректировки обучающих данных экспертом 8, выход блока корректировки нейросетевой разметки 7 соединен со входом базы данных обучающих и тестовых выборок с экспертной разметкой 1, причем блок нейросетевой разметки 6 выполнен с возможностью автоматической разметки обучающих данных на крупноформатных аэрокосмических изображениях с помощью нейросетей, блок корректировки нейросетевой разметки 7 выполнен с возможностью корректировки разметки экспертом 8, база данных обучающих и тестовых выборок с экспертной разметкой 1 выполнена с возможностью непрерывного пополнения и расширения обучающей выборки модуля дообучения 2 с возможностью балансировки количества объектов интереса и количества элементов фона, заключающейся в том, что в обучающую выборку добавляется количество объектов интереса и/или количество элементов фона с целью достижения сопоставимых (сбалансированных) количеств объектов интереса и элементов фона, модуль дообучения 2 выполнен с возможностью расширения области применения нейросетевых моделей на новые классы объектов и фоноцелевой обстановки, чем и обеспечивается ускорение процесса разметки.

В соответствии с другим вариантом исполнения в программно-аппаратный комплекс добавлен (см. фиг. 2) модуль автоматической аугментации 10 и он выполнен с возможностью компьютерного синтеза 3D моделей объектов интереса и размещением их в автоматическом режиме на изображения "подстилающей поверхности с учетом разрешенных областей, с возможностью автоматического генерирования изображений с различным состоянием атмосферы, угла освещения источником света ракурса съемки.

Способ формирования обучающей выборки на крупноформатных аэрокосмических изображениях с помощью нейросетей с возможностью корректировки разметки экспертом и состав заявляемого программно-аппаратного комплекса обеспечивает выполнение следующих задач:

• импорт и непрерывное накопление обучающих данных для обучения и (или) дообучения алгоритмов, обеспечивающих обнаружение, локализацию и классификацию до типа объектов авиационной и сухопутной техники на аэрокосмических снимках в видимом диапазоне длин;

• возможность добавления новых классов объектов распознавания;

• совершенствование алгоритмов, дешифрирования аэрокосмической информации;

• расширение обучающей выборки с учетом балансировки количества объектов интереса и количества элементов фона.

Увеличение объема обучающей выборки осуществляется за счет искусственного расширения обучающей выборки вручную или автоматически с помощью аугментации изображений объектов с помощью искажений в виде добавления шумов, сдвигов, случайных поворотов в плоскости и «из плоскости» в пределах 360°, сжатие и растяжение по осям абсцисс и ординат с коэффициентом 0,1; масштабирование с коэффициентом 0,1; изменения цветов; контрастности; яркости, а также путем вставки объектов интереса на различные фоновые изображения.

В соответствии с другим вариантом изобретения увеличение объема обучающей выборки осуществляется с использованием компьютерного синтеза изображений объектов интереса. Предварительно на реальных фоновых изображениях осуществляется разметка области, в которой может размещаться объект интереса. После чего в автоматическом режиме на подстилающую поверхность с учетом разрешенных областей размещается 3D модель объекта интереса. Обеспечивается возможность в автоматическом режиме генерировать изображения с различным состоянием атмосферы, угла источника освещения, ракурса съемки.

В итоге формирование обучающих выборок с учетом балансировки количества объектов интереса и количества элементов фона приводит к тому, что вероятность попадания элементов фона и объектов интереса в состав изображения выборки будет одинакова.

Кроме того, эксперт имеет возможность вручную указывать ценность или релевантность каждого объекта для обучения, что позволяет снизить вероятность добавления в обучающую выборку сгруппированных объектов, с учетом того, что для обучения обнаружению и локализации больший эффект может быть достигнут при увеличении в обучающей выборке количества изображений отдельно-стоящих объектов интереса или объектов интереса, находящихся в необычных местах, и уменьшении изображений, содержащих группы близкорасположенных объектов интереса.

В алгоритме создания обучающей выборки с близкорасположенными объектами интереса в автоматическом режиме блоком корректировки нейросетевой разметки 7 осуществляется выбор объекта интереса в зависимости от наличия рядом других объектов, с целью исключения равновероятного выбора объектов и групп близкорасположенных объектов интереса для снижения вероятности добавления в обучающую выборку групп близкорасположенных объектов интереса.

Для обучения алгоритмов обработки аэрокосмических изображений местности задаче обнаружения создаются эталонные тепловые карты, представляющие собой цветовые карты вероятностей принадлежности пикселя объекту интереса. Цвет каждого элемента тепловой карты соответствует степени уверенности алгоритма в том, что в области входного изображения, соответствующей этому элементу, находится объект интереса. Чем большее смещение цвета на тепловой карте в сторону красного по шкале от синего к красному, тем больше степень уверенности. В процессе обучения тепловая карта, полученная на выходе алгоритма обработки аэрокосмических изображений местности, сравнивается с эталонной тепловой картой. В результате вычисляется функция потерь, а также градиент данной функции по весам нейронов нейронной сети в соответствии с принципом обратного распространения ошибки [8]. На крупноформатных изображениях число элементов фона значительно превышает число элементов объектов интереса. Успешное обучение в таком случае возможно при условии снижения учета элементов фона по сравнению с элементами, принадлежащими объекту. Для решения проблемы вводится коэффициент, понижающий значение функции потерь, использующейся для определения расхождения между истинными данными и полученными ответами нейронной сети для элементов фона. Введение понижающего коэффициента для балансировки объектов приводит к появлению на выходе нейросети широких «пятен» высокого значения вероятности вокруг центров объектов. Возникновение «пятен» высокого значения вероятности затрудняет определение точного положения центра объекта. Для уменьшения размеров данных «пятен» и улучшения локализации объекта обеспечивается плавное повышение понижающего коэффициента. Значение понижающего коэффициента вокруг объекта определяется плавной, монотонно убывающей (ядерной [9]) функцией расстояния до центра объекта интереса. Из-за небольшого числа объектов такое изменение понижающего коэффициента практически не оказывает влияния на балансировку фона, но значительно уменьшает области высокого значения вероятности и улучшает локализацию объектов.

Осуществление изобретения

Сущность предлагаемого изобретения поясняется схемой программно-аппаратного комплекса, предназначенного для обучения и/или дообучения алгоритмов обработки аэрокосмических изображений местности с целью обнаружения, локализации и классификации до типа авиационной и сухопутной техники, представленной на фиг. 1 и фиг. 2. Исходные крупноформатные аэрокосмические изображения, представленные в формате цветных или полутоновых цифровых изображений поступают в блок импорта 3 и передаются в нейросетевое ядро 4 с возможностью выбора нейросетевой модели из каталога нейросетевых моделей 5, в блоке нейросетевой разметки 6 осуществляется разметка исходных крупноформатных аэрокосмических изображений с помощью выбранной нейросети, блок корректировки нейросетевой разметки 7 обеспечивает корректировку нейросетевой разметки экспертом 8 в случае необходимости, в модуле автоматической аугментации 10 (см. фиг. 2) может осуществляться автоматическое расширение объема изображений для обучающих выборок. Откорректированные размеченные изображения поступают в базу данных обучающих и тестовых выборок с экспертной разметкой 1, что обеспечивает ее непрерывное пополнение. Обучающие выборки, сформированные в базе данных обучающей выборки с экспертной разметкой 1, поступают в модуль дообучения 2, обеспечивающий дообучение нейросетевых моделей из каталога нейросетевых моделей 5. В модуле аналитики и формирования отчетов 9 формируются отчеты, позволяющие эксперту 8 контролировать процесс обучения и/или дообучения.

Технический результат обеспечивается использованием импорта и непрерывного накопления обучающих данных с автоматической разметкой на крупноформатных аэрокосмических изображениях с помощью нейросетей с возможностью корректировки разметки экспертом, возможностью увеличения объема обучающей выборки вручную и автоматически за счет различных аугментаций изображений объектов интереса, за счет компьютерного синтеза реалистичных 3D моделей объектов интереса и размещением их в автоматическом режиме на изображения подстилающей поверхности с учетом разрешенных областей, возможностью автоматического генерирования изображений с различным состоянием атмосферы, угла источника освещения, ракурса съемки, использованием балансировки обучающих выборок по числу объектов интереса и количеству элементов фона.

Литература

1. Fung J., Tang F., Mann S. Mediated Reality using Computer Graphics Hardware for Computer Vision // Proceedings of the International Symposium on Wearable Computing 2002 (ISWC2002). Seattle, Washington, USA. P. 83-89.

2. Caffe [Electronic resource]. URL: http://caffe.berkeleyvision.org/ (accessed: 20.10.2018).

3. Tensorflow [Electronic resource]. URL: https://www.tensorflow.org/ (accessed: 20.10.2018).

4. Crawford C. An Introduction to Deep Learning [Electronic resource]. URL: https://blog.algorithmia.com/introduction-to-deep-learning/ (accessed: 13.07.2018).

5. Zuo, J., Xu, G., Fu, K., Sun, X., Sun H. Aircraft Type Recognition Based on Segmentation With Deep Convolutional Neural Networks // IEEE Geosci. Remote Sens. Lett. 2018. Vol. 15, №2. P. 282-286.

6. Grabcut [Electronic resource]. URL: https://chocopoule.github.io/grabcutweb/ (accessed: 22.02.2019).

7. Dvornik, N., Mairal, J., Schmid C. On the Importance of Visual Context for Data Augmentation in Scene Understanding // ArXiv Prepr. ArXiv1809.02492. 2018.

8. Goodfellow I, Bengio Y, Courville A. Deep learning. MIT press; 2016 Nov 10

9. Rosenblatt M. Remarks on Some Nonparametric Estimates of a Density Function// The Annals of Mathematical Statistics. - 1956. - T. 27, вып. 3. - doi: 10.1214/aoms/1177728190.

10. Badrinarayanan Vijay, Kendall Alex, Cipolla Roberto. Segnet: A deep convolutional encoder-decoder architecture for image segmentation // IEEE transactions on pattern analysis and machine intelligence. - 2017. - Vol. 39, no. 12. - P. 2481-2495.

Изобретение относится к комплексу и способу формирования обучающей выборки, предназначенной для обучения и/или дообучения алгоритмов обработки аэрокосмических изображений местности с целью обнаружения, локализации и классификации объектов до типа авиационной и сухопутной техники. Технический результат заключается в повышении качества обучения алгоритмов обработки аэрокосмических изображений местности. В способе импортируют посредством блока импорта крупноформатные аэрокосмические изображения, представленные в формате цветных или полутоновых цифровых изображений; получают посредством нейросетевого ядра импортированные данные от блока импорта данных и выбирают нейросетевые модели из каталога нейросетевых моделей; осуществляют разметку исходных крупноформатных аэрокосмических изображений посредством блока нейросетевой разметки с использованием выбранной нейросетевой модели; осуществляют корректировку полученной нейросетевой разметки посредством блока корректировки нейросетевой разметки; выполняют автоматическое расширение объема изображений для обучающих выборок посредством модуля автоматической аугментации; передают откорректированные размеченные изображения в базу данных обучающих и тестовых выборок с экспертной разметкой, обеспечивая непрерывное пополнение базы данных, при этом выполняют посредством базы данных обучающих и тестовых выборок с экспертной разметкой балансировку обучающих выборок по числу объектов интереса и количеству элементов фона; выполняют дообучение нейросетевых моделей из каталога нейросетевых моделей посредством модуля дообучения на основании полученных обучающих выборок, сформированных в базе данных обучающей выборки с экспертной разметкой; посредством модуля аналитики и формирования отчетов на основании полученных на предыдущих этапах способа данных формируют отчеты, позволяющих контролировать процесс обучения и/или дообучения. 2 н. и 1 з.п. ф-лы, 2 ил.

1. Способ формирования обучающей выборки, предназначенной для обучения и/или дообучения алгоритмов обработки аэрокосмических изображений местности с целью обнаружения, локализации и классификации объектов до типа авиационной и сухопутной техники, характеризующийся тем, что в заявленном способе:

импортируют посредством блока импорта крупноформатные аэрокосмические изображения, представленные в формате цветных или полутоновых цифровых изображений;

получают посредством нейросетевого ядра импортированные данные от блока импорта данных и выбирают нейросетевые модели из каталога нейросетевых моделей;

осуществляют разметку исходных крупноформатных аэрокосмических изображений посредством блока нейросетевой разметки с использованием выбранной нейросетевой модели;

осуществляют корректировку полученной нейросетевой разметки посредством блока корректировки нейросетевой разметки;

выполняют автоматическое расширение объема изображений для обучающих выборок посредством модуля автоматической аугментации;

передают откорректированные размеченные изображения в базу данных обучающих и тестовых выборок с экспертной разметкой, обеспечивая непрерывное пополнение базы данных, при этом

выполняют посредством базы данных обучающих и тестовых выборок с экспертной разметкой балансировку обучающих выборок по числу объектов интереса и количеству элементов фона;

выполняют дообучение нейросетевых моделей из каталога нейросетевых моделей посредством модуля дообучения на основании полученных обучающих выборок, сформированных в базе данных обучающей выборки с экспертной разметкой;

посредством модуля аналитики и формирования отчетов на основании полученных на предыдущих этапах способа данных формируют отчеты, позволяющих контролировать процесс обучения и/или дообучения.

2. Программно-аппаратный комплекс, предназначенный для реализации способа по п. 1, состоящий из базы данных обучающих и тестовых выборок с экспертной разметкой, блока импорта, нейросетевого ядра, характеризующийся тем, что комплекс содержит модуль дообучения, каталог нейросетевых моделей, блок нейросетевой разметки, блок корректировки нейросетевой разметки, модуль автоматической аугментации, модуль аналитики и формирования отчетов, при этом выход блока импорта соединен с первым входом нейросетевого ядра, выход базы данных обучающей выборки с экспертной разметкой, соединен со входом модуля дообучения, первый выход модуля дообучения соединен со входом модуля аналитики и формирования отчетов, выход модуля аналитики и формирования отчетов предназначен для контроля результатов обучения или дообучения экспертом, второй выход модуля дообучения соединен со входом каталога нейросетевых моделей, выход каталога нейросетевых моделей соединен со вторым входом нейросетевого ядра, выход нейросетевого ядра соединен со входом блока нейросетевой разметки, выход блока нейросетевой разметки соединен с первым входом блока корректировки нейросетевой разметки, второй вход блока корректировки нейросетевой разметки предназначен для корректировки обучающих данных экспертом, выход блока корректировки нейросетевой разметки соединен со входом модуля автоматической аугментации, выход модуля автоматической аугментации соединен со входом базы данных обучающей выборки с экспертной разметкой, причем блок нейросетевой разметки выполнен с возможностью автоматической разметки обучающих данных на крупноформатных аэрокосмических изображениях с помощью нейросетей, блок корректировки нейросетевой разметки выполнен с возможностью корректировки разметки экспертом, база данных обучающих и тестовых выборок с экспертной разметкой выполнена с возможностью непрерывного пополнения и расширения обучающей выборки, с возможностью балансировки обучающих выборок по числу объектов интереса и количеству элементов фона, модуль дообучения выполнен с возможностью расширения области применения нейросетевых моделей на новые классы объектов и фоноцелевой обстановки и обеспечивает ускорение процесса разметки.

3. Программно-аппаратный комплекс по п. 2, отличающийся тем, что модуль автоматической аугментации выполнен с возможностью компьютерного синтеза реалистичных 3D моделей объектов интереса и размещением их в автоматическом режиме на изображения подстилающей поверхности с учетом разрешенных областей, с возможностью автоматического генерирования изображений с различным состоянием атмосферы, угла источника освещения, ракурса съемки.