Программно-аппаратный комплекс, предназначенный для обучения и (или) дообучения алгоритмов обработки аэрофотоснимков видимого и дальнего инфракрасного диапазонов с целью обнаружения, локализации и классификации строений вне населенных пунктов Российский патент 2021 года по МПК G06N3/08 

Область техники.

Изобретение относится к компьютерным системам, основанным на биологических моделях, а именно к способам обучения и/или дообучения алгоритмов на основе полносверточных нейронных сетей, предназначенным для обнаружения, локализации и классификации строений вне населенных пунктов на аэрофотоснимках видимого и дальнего инфракрасного диапазонов.

Уровень техники

Нейронные сети широко применяются для решения задач детектирования, локализации и классификации алгоритмом машинного зрения объектов интереса известного класса на изображениях произвольного размера. В качестве изображений для обработки могут использоваться изображения, полученные с помощью аэрофотосъемки видимого и дальнего инфракрасного диапазонов с целью обнаружения, локализации и классификации строений вне населенных пунктов.

Одним из наиболее существенных недостатков алгоритмов машинного обучения является необходимость создания для их обучения и работы базы образцов изображений или обучающей выборки с обозначенными объектами интереса. Создание данных баз образцов обычно выполняется вручную человеком-оператором, что представляет трудоемкую задачу, требующую достаточно большой выборки изображений, содержащих объекты интереса, снятые в различных видах и ракурсах. Известны фрэймворки, обеспечивающие автоматизацию процесса разметки изображений, такие как Amazon SageMaker, https://handl.ai/ Handl, Google Data Labeling https://cloud.google.com/datalabeling/docs/ к недостаткам существующих решений можно отнести недостаточную точность разметки изображений аэрофотоснимков видимого и дальнего инфракрасного диапазонов для обучения алгоритмов с целью обнаружения, локализации и классификации строений вне населенных пунктов, и отсутствие возможности непрерывного контроля процесса обучения и/или дообучения алгоритмов.

Для обучения алгоритмов полносверточных нейросетей, как правило, используются, так называемые, библиотеки глубокого обучения. Процесс обучения в библиотеках глубокого обучения строится на возможностях высоко-параллельных вычислений на графических ускорителях (GPGPU- General-purpose computing for graphics processing units, неспециализированные вычисления на графических процессорах) [1]. Известны библиотеки глубокого обучения, такие как Caffe [2] и Tensorflow [3]. Недостатком известных решений является невозможность их применения в случае отсутствия достаточного количества изображений объектов интереса - строений вне населенных пунктов, для создания обучающих выборок. Изображения, имеющиеся в свободном доступе, не содержат достаточного количества аэрофотоснимков одной и той же местности, снятых в разное время суток в видимом и дальнем инфракрасном диапазонах, а также не содержат необходимого количества объектов интереса или достаточного количества ракурсов объектов интереса, требуемых для решения поставленной задачи. Кроме того, аэрофотоснимки, предназначенные для распознавания, могут быть получены в разных условиях и иметь различное качество, что требует разных данных для обучения, тестирования и валидации, а также не позволяет формировать обучающие выборки для обучения алгоритмов обработки аэрофотоснимков видимого и дальнего инфракрасного диапазонов с целью обнаружения, локализации и классификации строений вне населенных пунктов в автоматическом или полуавтоматическом режимах.

Другим недостатком существующих решений обучения и/или дообучения нейронных сетей, предназначенных для обработки аэрофотоснимков с целью обнаружения, локализации и классификации объектов интереса, является то, что разработка таких алгоритмов требует обязательного участия высококвалифицированного специалиста по машинному обучению, в том числе для выполнения работ по обновлению программных компонент, обучению и/или дообучению существующих алгоритмов.

Разработанный программно-аппаратный комплекс позволяет устранить указанные недостатки.

Раскрытие сущности изобретения

Техническим результатом предлагаемого изобретения является повышение эффективности и обеспечение непрерывности процесса обучения и/или дообучения алгоритмов обработки аэрофотоснимков видимого и дальнего инфракрасного диапазонов с целью обнаружения, локализации и классификации строений вне населенных пунктов, стабилизация и ускорение процесса обучения и/или дообучения, за счет непрерывного контроля процесса обучения и/или дообучения алгоритмов, формирование обучающих выборок в автоматическом или полуавтоматическом режимах, постепенное автоматическое усложнение архитектуры нейросети при сохранении весов обученных нейронов нейросетевых алгоритмов для обеспечения многоступенчатого обучения без привлечения высококвалифицированного специалиста по машинному обучению.

Предлагаемый программно-аппаратный комплекс (см. схему на фиг. 1) состоит из последовательно соединенных: модуля импорта 1, базы данных (БД) обучающих данных 2, модуля генерации выборок 4, нейросетевого ядра 5, к которому подсоединены блок базы данных весов нейронов 3 и каталог нейросетевых моделей 7, модуля валидации 6, к которому подсоединена база данных валидационных данных 8, при этом первый выход нейросетевого ядра 5 соединен со входом блока базы данных весов нейронов 3, обеспечивающего сохранение весов обученных нейросетевых алгоритмов, второй вход нейросетевого ядра 5 соединен с выходом каталога нейросетевых моделей 7, второй вход модуля валидации 6 соединен с базой данных валидационных данных 8, обеспечивающей хранение валидационных данных для непрерывного контроля процесса обучения и/или дообучения, причем каталог нейросетевых моделей 7 выполнен с возможностью постепенного автоматического усложнения архитектуры нейросетевой модели при сохранении весов обученных нейронов нейросетевых алгоритмов, что обеспечивает многоступенчатое обучение, модуль генерации выборок 4 выполнен с возможностью обеспечения автоматизации процесса обработки обучающих данных, полученных в различных условиях и имеющих различное качество, и формирования обучающих выборок в автоматическом или полуавтоматическом режиме.

Осуществление изобретения

Осуществление предлагаемого изобретения поясняется схемой программно-аппаратного комплекса, предназначенного для обучения и/или дообучения алгоритмов обработки аэрофотоснимков видимого и дальнего инфракрасного диапазонов с целью обнаружения, локализации и классификации строений вне населенных пунктов, представленной на фиг. 1. С помощью модуля импорта 1 формируется база обучающих данных, данные из которой поступают в БД обучающих данных 2, а из нее в модуль генерации выборок 4. Сформированные обучающие выборки из модуля генерации выборок 4, выполненного с возможностью обеспечения автоматизации процесса обработки обучающих данных, полученных в различных условиях и имеющих различное качество, и формирования обучающих выборок в автоматическом или полуавтоматическом режиме, передаются в нейросетевое ядро 5 с возможностью выбора нейросети для обучения и/или дообучения из каталога нейросетевых моделей 7 с возможностью постепенного автоматического усложнения архитектуры нейросетевой модели при сохранении весов обученных нейронов нейросетевых алгоритмов для обеспечения многоступенчатого обучения, при этом для контроля процесса обучения и/или дообучения организована база данных валидационных данных 8, контроль процесса обучения и/или дообучения осуществляется в модуле валидации 6. По окончании процесса обучения формируется отчет о проведенном обучении.

Процесс формирования БД обучающих данных 2 осуществляется с учетом того, что в обучающую выборку не должны быть включены изображения объектов, в отношении которых у оператора-эксперта нет полной уверенности, являются ли они объектом интереса или нет, в нашем случае это обнаружение, локализация и классификация строений вне населенных пунктов при обработке аэрофотоснимков видимого и дальнего инфракрасного диапазонов. В процессе формирования обучающих данных обеспечивается возможность отмечать на изображениях области, в наличии объектов интереса на которых, он не уверен. В случае, если разметка объектов какого-либо типа затруднена, например, объектов слишком много, эксперт может игнорировать данные объекты, и это не приводит к ухудшению базы образцов и обучающей выборки. Вмешательство эксперта на этом заканчивается и дальнейшее обучение и/или дообучение алгоритмов на основе полносверточных нейронных сетей в рамках предлагаемого программно-аппаратного комплекса проходит без его участия. Образец такой разметки представлен на фиг. 2.

Для стабилизации и ускорения обучения обеспечивается возможность постепенного автоматического усложнения архитектуры нейросетевой модели из каталога нейросетевых моделей 7 при сохранении весов обученных нейронов нейросетевых алгоритмов, а также исключение неоднозначных примеров (это примеры, когда фрагмент изображения визуально схож с объектом интереса) из расчета функции потерь, которая используется для оценки разницы между безошибочными и полученными ответами нейронной сети, и корректировок весов нейронов нейросетевых алгоритмов. Осуществляется возможность введения нулевого коэффициента в функцию потерь для элементов, расстояние до центра которых находится в заданной области. Зона такого расстояния называется зоной нулевого штрафа.

Используется глубинный анализ отрицательных примеров, который заключается в том, что в полносверточную нейронную сеть добавляются новые слои для усложнения ее архитектуры, что ведет к повышению качества и ускорению процесса обучения и/или дообучения. В БД обучающих данных 2 включаются образцы фона, которые могут считаться сложными для восприятия человеком, например, области фона, визуально схожие по форме или внешнему виду с объектами интереса, данные образцы могут добавляться в обучающие выборки чаще, чем другие образцы фона. Дополнительное обучение на таких усложненных примерах улучшает качество обнаружения и локализации обученной нейросети.

Кроме того, используется и динамический глубинный анализ отрицательных примеров. Выходными данными нейронной сети является тепловая карта, на которой при помощи изменения цвета отображается вероятность нахождения объектов интереса, при этом теплые (красный, оранжевый, желтый) цвета показывают места, имеющие наибольшую вероятность нахождения объектов интереса, холодные цвета (фиолетовый, синий, зеленый) показывают места с наименьшей вероятностью нахождения объектов интереса. Выходные данные нейронной сети, которыми является тепловая карта объектов интереса, при обучении обнаружению имеет различное цветовое изображение в начале, середине и конце обучения. В начале обучения на тепловой карте имеется множество ложноположительных откликов. Коэффициент, балансирующий объекты и фон (балансирующий коэффициент), обеспечивает оптимальную сходимость обучения именно при таком режиме обучения. В середине и в конце обучения количество ложноположительных откликов незначительно. Данный эффект обусловлен тем, что нейросеть уже достаточно обучена отличать объект от фона с достаточно высокой степенью уверенности. Необходимо увеличение балансирующего коэффициента для обеспечения более высокого качества обнаружения. В элементы ответов нейросети, соответствующие фону, вводятся различные балансирующие коэффициенты для разных периодов обучения. В начале обучения, при большом количестве ложноположительных ответов нейросети для отрицательных примеров, балансирующий коэффициент не применяется для большинства ответов (откликов), соответствующих фону. В середине и конце обучения балансирующий коэффициент применяется для редких ложноположительных откликов, обеспечивая сложным отрицательным примерам более высокий штраф, чем простым отрицательным примерам.

Краткое описание чертежей

На фиг. 1 представлена схема программно-аппаратного комплекса, предназначенного для обучения и/или дообучения алгоритмов обработки аэрофотоснимков видимого и дальнего инфракрасного диапазонов с целью обнаружения, локализации и классификации строений вне населенных пунктов.

На фиг. 2 приведен образец разметки области нулевого штрафа.

Область нулевого штрафа при обозначении для задачи обнаружения и локализации строений выделена пунктиром.

Технический результат достигается обеспечением непрерывности процесса обучения и/или дообучения алгоритмов обработки аэрофотоснимков видимого и дальнего инфракрасного диапазонов с целью обнаружения, локализации и классификации строений вне населенных пунктов за счет формирования обучающих выборок в автоматическом или полуавтоматическом режимах, исключением неоднозначных примеров из расчета функции потерь и корректировок весов нейросети с использованием динамического глубинного анализа отрицательных примеров, автоматизации процесса обработки обучающих данных, полученных в различных условиях и имеющих различное качество, расширением функциональных возможностей, повышением качества и ускорением процесса обучения и/или дообучения за счет автоматического обновления алгоритмов путем автоматического усложнения архитектуры нейронной сети при сохранении весов обученных нейронов нейросетевых алгоритмов для обеспечения многоступенчатого обучения без привлечения высококвалифицированного специалиста по машинному обучению.

Библиографические данные источников информации

1. Fung J., Tang F., Mann S. Mediated Reality using Computer Graphics Hardware for Computer Vision // Proceedings of the International Symposium on Wearable Computing 2002 (ISWC2002). Seattle, Washington, USA. P. 83-89.

2. Caffe [Electronic resource]. URL: http://caffe.berkeleyvision.org/ (accessed: 20.10.2018).

3. Tensorflow [Electronic resource]. URL: https://www.tensorflow.org/ (accessed: 20.10.2018).

4. Crawford C. An Introduction to Deep Learning [Electronic resource]. URL: https://blog.algorithmia.com/introduction-to-deep-learning/ (accessed: 13.07.2018).

Изобретение относится к комплексу обучения и/или дообучения алгоритмов обработки аэрофотоснимков видимого и дальнего инфракрасного диапазонов. Технический результат заключается в повышении качества обучения алгоритмов обработки аэрофотоснимков. Комплекс состоит из последовательно соединенных модуля импорта, базы данных обучающих данных, модуля генерации выборок, нейросетевого ядра, к которому подсоединены блок базы данных весов нейронов и каталог нейросетевых моделей, модуля валидации, к которому подсоединена база данных валидационных данных, при этом первый выход нейросетевого ядра соединен с входом базы данных весов нейронов, обеспечивающей сохранение весов обученных нейросетевых алгоритмов, второй вход нейросетевого ядра соединен с выходом каталога нейросетевых моделей, второй вход модуля валидации соединен с базой данных валидационных данных, обеспечивающей хранение валидационных данных для непрерывного контроля процесса обучения и/или дообучения, причем формирование базы данных обучающих данных ведется с учетом возможности исключения неоднозначных примеров из расчета функции потерь и корректировок весов нейросети, с использованием динамического глубинного анализа отрицательных примеров, каталог нейросетевых моделей выполнен с возможностью постепенного усложнения архитектуры нейросетевой модели при сохранении весов обученных нейронов нейросетевых алгоритмов посредством добавления в полносверточную нейронную сеть новых слоев, модуль генерации выборок выполнен с возможностью обеспечения автоматизации процесса обработки обучающих данных и формирования обучающих выборок. 2 ил.

Программно-аппаратный комплекс, предназначенный для обучения и/или дообучения алгоритмов обработки аэрофотоснимков видимого и дальнего инфракрасного диапазонов с целью обнаружения, локализации и классификации строений вне населенных пунктов с возможностью обновления алгоритмов обработки аэрофотоснимков, расширения рабочего диапазона параметров, ввода новых классов объектов без привлечения высококвалифицированного специалиста по машинному обучению, состоящий из последовательно соединенных модуля импорта, базы данных обучающих данных, модуля генерации выборок, нейросетевого ядра, к которому подсоединены блок базы данных весов нейронов и каталог нейросетевых моделей, модуля валидации, к которому подсоединена база данных валидационных данных, при этом первый выход нейросетевого ядра соединен с входом базы данных весов нейронов, обеспечивающей сохранение весов обученных нейросетевых алгоритмов, второй вход нейросетевого ядра соединен с выходом каталога нейросетевых моделей, второй вход модуля валидации соединен с базой данных валидационных данных, обеспечивающей хранение валидационных данных для непрерывного контроля процесса обучения и/или дообучения, причем формирование базы данных обучающих данных ведется с учетом возможности исключения неоднозначных примеров из расчета функции потерь и корректировок весов нейросети, с использованием динамического глубинного анализа отрицательных примеров, каталог нейросетевых моделей выполнен с возможностью постепенного усложнения архитектуры нейросетевой модели при сохранении весов обученных нейронов нейросетевых алгоритмов посредством добавления в полносверточную нейронную сеть новых слоев, модуль генерации выборок выполнен с возможностью обеспечения автоматизации процесса обработки обучающих данных и формирования обучающих выборок.