СПОСОБ ОБРАБОТКИ ИЗОБРАЖЕНИЙ СВЕРТОЧНЫМИ НЕЙРОННЫМИ СЕТЯМИ Российский патент 2022 года по МПК G06T1/40 G06N20/00 

Заявленное техническое решение относится к области распознавания изображений, а именно к технике обнаружения и классификации объектов на изображениях с использованием 3D-моделирования и сверточной нейронной сети.

Заявленное изобретение может быть использовано для повышения вероятности обнаружения и классификации объектов на изображениях различных видов, включая изображения видимого диапазона, СВЧ-диапазона и ИК-диапазона.

Использование сверточной нейронной сети, обученной на большом числе изображений, включающих множество вариантов условий съемки объектов, изменчивости самих объектов и воздействующих на процесс съемки помех, позволяет существенно повысить возможности по обнаружению и классификации искомых объектов на исследуемых изображениях. К распознаваемым объектам могут относиться различные объекты как искусственного, так и природного происхождения, такие как различные транспортные и технические средства, здания и строительные конструкции, элементы инфраструктуры, космические объекты, элементы местности и т.п.

Современные средства получения изображений позволяют формировать изображения объектов в различных диапазонах электромагнитных волн, включая изображения видимого диапазона, СВЧ-диапазона и ИК-диапазона. Данные типы изображений существенно отличаются по своим характеристикам. Например, получаемые в СВЧ-диапазоне радиолокационные изображения (РЛИ) обладают рядом особенностей, существенно отличающих их от снимков видимого диапазона, как описано в [1]. Специфика рассеяния электромагнитных волн в сверхвысокочастотном диапазоне приводит к тому, что на РЛИ большей яркостью обладают образы объектов, имеющих более высокую электропроводность, главным образом объектов искусственного происхождения. При этом образы (изображения) объектов представляют собой совокупность локальных центров рассеяния, которые формируются вследствие однократного или многократного переотражения зондирующего сигнала от элементов объекта. Расположение и яркость таких центров определяется ракурсом наблюдения объекта, что приводит к высокой изменчивости образов, наблюдаемых на РЛИ. Также свои особенности имеют изображения в ИК-диапазоне.

Очень разнообразными могут быть условия получения изображений, такие как съемка с борта подвижных технических средств, включающих пилотируемые и беспилотные летательные аппараты, наземные и морские пилотируемые и робототехнические комплексы и т.п. При этом на формируемые изображения влияют различные условия, такие как искажения, вызванные движением носителя средства съемки или самого объекта съемки, изменением освещенности, дистанции съемки, воздействием шумовых помех различного физического происхождения и т.п. Перечисленные факторы приводят к тому, что для обучения сверточной нейронной сети, способной уверенно обнаруживать и классифицировать искомые объекты на исследуемых изображениях, необходимо использовать большое количество изображений каждого объекта, полученные в разное время суток, года, с разных средств формирования изображений, с разных ракурсов, сделанные с различным разрешением и учитывающих всевозможные воздействия. Однако это является затруднительным в силу высокой стоимости получения натурных изображений объектов в различных условиях, юридически и этически затруднительным для медицинских снимков, или физически невозможным, например, для многих космических объектов в силу их низкой доступности для наблюдения и т.п.

Эти условия требуют применения новых технических решений, таких как создание с использованием вычислительных средств электронных трехмерных моделей объектов и формирование из них множества синтетических фотореалистических изображений этих объектов, где синтетические фотореалистические изображения неотличимы от натурных изображений, используемых сверточной нейронной сетью при обучении в интересах обнаружения и классификации этих объектов.

Известен способ индексации и поиска цифровых изображений по патенту РФ №2510933, описанный в [2]. Способ относится к системам индексации и поиска цифровых изображений, содержащихся в файлах различных графических форматов. Технический результат заключается в уменьшении времени автоматической и полуавтоматической индексации изображений и в повышении быстродействия процедуры поиска изображений, содержащих схожие преобладающие цвета, в базе данных. Находят цвет, который имеет наименьшее расстояние Манхеттэна от найденного преобладающего цвета в выбранной цветовой системе координат из заранее заданного набора основных цветов, классифицированных по яркости, насыщенности и цветовому тону. Используют полученный цвет в качестве идентификатора для организации процедуры поиска в базе данных изображений. Определяют ассоциации цветов из базового набора основных цветов для формирования характеристики визуального подобия цветов и визуального контраста цветов. Формируют индекс изображения согласно предъявленному основному цвету в формате RGB, и/или названию, и/или тегу цвета. Осуществляют поиск изображений в информационной базе данных. В результате поиска формируют список изображений с индексами, совпадающими с предъявленным индексом, и/или с индексами, у которых основные цвета присутствуют в списке ассоциаций визуального сходства или в списке контрастности цветов для основного цвета в индексе поиска изображений.

Недостатком указанного аналога является ограничение способа обнаружением и классификацией объектов только по критерию цвета объекта и только на изображениях видимого диапазона.

Известен также способ вычислительно эффективного многоклассового распознавания изображений с использованием последовательного анализа нейросетевых признаков по патенту РФ №2706960, описанный в [3]. Данный способ заключается в том, что посредством сверточной нейронной сети получают вектор глубоких признаков входного изображения, применяют преобразование по методу главных компонент к данному вектору для получения последовательности главных компонент входного изображения, делят последовательность главных компонент на заранее заданное количество смежных частей, каждая из которых относится к отличающемуся от других уровню гранулярности, присоединяют часть последовательности, относящуюся к этому уровню гранулярности, к первоначально пустой подпоследовательности главных компонент входного изображения, вычисляют расстояние между подпоследовательностью и соответствующими подпоследовательностями главных компонент эталонов из множества решений-кандидатов, оценивают отношения минимального расстояния к другим расстояниям, исключают эталоны с отношениями меньше порога из множества решений-кандидатов, и если множество решений-кандидатов включают в эталоны только одного класса, идентифицируют входное изображение как относящееся к этому классу.

Недостатком указанного аналога является неустойчивость распознавания изображений при воздействии на исследуемые изображения различных искажающих воздействий при формировании изображений.

Наиболее близким по своей технической сущности к заявленному способу обработки изображений сверточной нейронной сетью является способ обработки изображений обученными сверточными нейронными сетями по патенту РФ №2709661, описанный в [4]. Способ - прототип обработки изображений сверточной нейронной сетью включает создание вычислительной системой исходного набора изображений, где каждое изображение из исходного набора изображений содержит рендеринг изображения текста, создание аугментированного набора изображений путем обработки исходного набора изображений для внесения в каждое изображение из исходного набора изображений по меньшей мере одного смоделированного дефекта эмуляции процесса фотосъемки изображения, создание обучающей выборки данных, содержащей множество пар изображений, в которых каждая пара изображений содержит первое изображение, выбранное из исходного набора изображений, и второе изображение, выбранное из аугментированного набора изображений, и обучение, с использованием обучающей выборки данных, одной или более сверточной нейронной сети для обработки изображений путем активации сверточной нейронной сети для каждого изображения из обучающей выборки данных, предварительной обработки каждого указанного изображения посредством соответствующих сверточных слоев нейронной сети, уменьшения каждого указанного изображения на заданный коэффициент масштабирования, увеличения изображения на заданный коэффициент масштабирования посредством соответствующих слоев транспонированной свертки и применение одной или более обученной сверточной нейронной сети для обработки одного или более изображений.

Особенностью способа-прототипа является то, что для обучения сверточной нейронной сети создают большой набор изображений символов с различными модификациями, такими как затемнение части изображения символов, размытие изображения символов, наложение на изображения символов мешающего шума и т.д., что позволяет обучить сверточную нейронную сеть на большом наборе различных вариантов изображений одного и того же текстового сообщения, и обеспечить устойчивое к таким модификациям обнаружение и распознавание на изображениях видимого диапазона символов текста с использованием обученной сверточной нейронной сети.

Однако в данном способе-прототипе обработки изображений сверточной нейронной сетью выполняют обнаружение и классификацию только на изображениях видимого диапазона и только алфавитно-цифровых надписей, причем условия получения таких изображений ограничиваются фотосъемкой изображений с борта наземных средств передвижений, таких как автомобиль.

Таким образом, недостатком ближайшего аналога (прототипа) способа обработки изображений сверточной нейронной сетью является относительно низкая вероятность обнаружения и классификации на изображениях объектов, представляющих собой различные транспортные и технические средства, здания и строительные конструкции, элементы инфраструктуры, элементы местности и т.п., при получении изображений различной физической природы, включающей изображения видимого диапазона, СВЧ-диапазона и ИК-диапазона, с использованием подвижных технических средств, включающих пилотируемые и беспилотные летательные аппараты и наземные и морские пилотируемые и робототехнические комплексы.

Техническим результатом заявляемого решения является разработка способа обработки изображений сверточной нейронной сетью, обеспечивающего повышение вероятности обнаружения и классификации объектов на изображениях различных видов, включая изображения видимого диапазона, СВЧ-диапазона и ИК-диапазона.

Указанный технический результат в заявляемом способе обработки изображений сверточной нейронной сетью достигается тем, что в известном способе обработки изображений сверточной нейронной сетью, включающем создание вычислительной системой исходных наборов изображений, создание аугментированного набора изображений, создание обучающих выборок данных, содержащих множество изображений, обучение с использованием соответствующей обучающей выборки данных сверточной нейронной сети, применение обученной сверточной нейронной сети, дополнительно предварительно получают наборы натурных изображений N>2 объектов и трехмерные модели объектов, причем наборы натурных изображений объектов предварительно сформированы в видимом диапазоне, или в СВЧ-диапазоне, или в ИК-диапазоне.

Создают N исходных наборов изображений объектов, где каждое изображение из исходного набора изображений является результатом рендеринга трехмерной модели объекта, причем каждое изображение из исходного набора изображений получают изменением ракурса наблюдения трехмерной модели этого объекта по азимуту и углу места.

Создают аугментированный набор изображений каждого объекта путем внесения в каждое изображение из исходного набора изображений и набора натурных изображений соответствующего объекта по меньшей мере одного изменения. Внесение изменений в каждое изображение из исходного набора изображений и набора натурных изображений соответствующего объекта выполняют путем изменения масштаба изображения, путем сокрытия части изображения этого объекта, путем деконтрастирования всего или части изображения этого объекта, путем изменения освещенности всего или части изображения этого объекта, путем расфокусировки всего или части изображения этого объекта, путем размытия изображения этого объекта, имитирующего движение объекта или устройства формирования изображения, путем наложения шумового сигнала на все или часть изображения этого объекта, путем изменения отражательных свойств всего или части изображения этого объекта, путем закрытия части изображения этого объекта изображением другого объекта. Также для внесения изменений в каждое изображение ИК-диапазона из исходного набора изображений и набора натурных изображений соответствующего объекта выполняют путем изменения излучательных свойств всего или части изображения этого объекта.

Создают обучающие выборки данных, содержащие множество изображений, выбранных из аугментированных наборов изображений объектов.

Обучение сверточной нейронной сети с использованием соответствующей обучающей выборки данных выполняют путем вычисления с помощью сверточной нейронной сети множества векторов признаков, при этом каждый вектор признаков из множества векторов признаков соответствует изображению из обучающей выборки данных в пространстве признаков изображений, вычисление для обучающей выборки данных значения функции потерь, отображающей множество вероятностей, где каждая вероятность из множества вероятностей характеризует гипотезу, ассоциирующую изображение из обучающей выборки данных классом, ассоциируемым с этим изображением, при этом функция потерь дополнительно отображает множество значений расстояния, где каждое значение расстояния вычисляют в пространстве признаков изображений между вектором признаков, представляющим изображение из обучающей выборки данных, и центром класса, ассоциируемого с этим изображением в соответствии с обучающей выборкой данных, настройку одного или более параметров сверточной нейронной сети на основе значения функции потерь.

После обучения сверточной нейронной сети применяют ее к исследуемому изображению для обнаружения и классификации изображенных на нем объектов, причем обученная соответствующим образом сверточная нейронная сеть обнаруживает и классифицирует объекты на изображениях видимого диапазона, или СВЧ-диапазона, или ИК-диапазона.

В предлагаемой совокупности действий предварительно получают наборы натурных изображений N>2 объектов и трехмерные модели этих объектов. Формирование множества синтетических фотореалистических изображений из исходного набора изображений путем рендеринга трехмерной модели соответствующего объекта изменением ракурса наблюдения трехмерной модели этого объекта по азимуту и углу места позволяет получить большое количество разнообразных изображений каждого объекта, что важно для обучения сверточной нейронной сети, способной обеспечить высокую вероятность обнаружения и классификации изображенного объекта. Важным моментом также является то, что из трехмерной модели объекта возможно формирование произвольно большого множества синтетических фотореалистических изображений этого объекта в видимом, СВЧ и ИК диапазонах электромагнитного спектра в условиях, когда получение значительных по размеру наборов натурных изображений объектов является затруднительным или невозможным в силу высокой стоимости получения натурных изображений объектов, их низкой доступности для наблюдения и т.п.

Кроме того, создают аугментированные наборы изображений каждого объекта путем внесения в каждое изображение из исходного набора изображений и набора натурных изображений соответствующего объекта множества изменений, характерных для исследуемых изображений, получаемых с борта подвижных технических средств, включающих пилотируемые и беспилотные летательные аппараты, наземные и морские управляемые транспортные средства и робототехнические комплексы, с учетом множества воздействующих в таких условиях искажений. Обучение сверточной нейронной сети с использованием сформированной таким образом обучающей выборки данных позволяет при использовании обученной сети устойчиво обнаруживать и классифицировать объекты на получаемых далее исследуемых изображениях, имеющих большую вариабельность. Описанные действия по созданию обучающей выборки данных выполняют раздельно для изображений видимого диапазона, СВЧ-диапазона и ИК-диапазона, и используют для соответствующего обучения сверточной нейронной сети, что обеспечивает адаптацию действий обнаружения и классификации объектов применительно к особенностям изображений соответствующего диапазона электромагнитных волн.

Поэтому указанная новая совокупность действий при выполнении обработки изображений сверточной нейронной сетью позволяет обеспечить повышение вероятности обнаружения и классификации объектов на изображениях различных видов, включая изображения видимого диапазона, СВЧ-диапазона и ИК-диапазона.

Заявленный способ поясняется чертежами, на которых показаны:

- на фиг. 1 - система обработки изображений сверточной нейронной сетью;

- на фиг. 2 - алгоритм обработки изображений сверточной нейронной сетью;

- на фиг. 3 - примеры натурных и модельных изображений самолета на изображениях СВЧ-диапазона с различными ракурсами;

- на фиг. 4 - примеры натурных и модельных изображений самолета в ИК-диапазоне, днем, в зимних условиях;

- на фиг. 5 - примеры визуализации трехмерной модели танка Т-90;

- на фиг. 6 - иллюстрация метода бросания лучей при рендеринге;

- на фиг. 7 - пример сокрытия части изображения объектов вида строительной и транспортной техники деревьями и строительными конструкциями;

- на фиг. 8 - пример деконтрастирования изображения объектов вида транспортных средств и элементов инфраструктуры при воздушной съемке;

- на фиг. 9 - пример изменения освещенности части изображения объекта вида вертолетная площадка, вид сверху;

- на фиг. 10 - пример размытия изображения автомобиля, обусловленного движением объекта;

- на фиг. 11 - пример наложения шумового сигнала на изображение объектов вида стоянка транспортных средств и прилегающие деревья;

- на фиг. 12 - пример изменения отражательных свойств изображения транспортных средств в видимом диапазоне света;

- на фиг. 13 - пример закрытия части изображения одних транспортных средств изображениями других транспортных средств;

- на фиг. 14 - примеры изменения излучательных свойств работающего двигателя легкового автомобиля и транспортера с нагретыми из-за трения движения гусеницами на изображениях ИК-диапазона.

Реализация заявленного способа представлена на примере системы обработки изображений сверточной нейронной сетью, показанной на фиг. 1. На вход блока рейдеринга 1 поступают предварительно созданные трехмерные модели объектов. Блок рендеринга 1, представляющий из себя вычислительную систему, из каждой трехмерной модели создает исходный набор изображений соответствующего объекта. В блоке создания аугментированного набора изображений 2 из исходных наборов изображений объектов и предварительно созданных наборов натурных изображений этих же объектов изображения подвергаются различным изменениям в различных сочетаниях. В результате создается большой по размеру аугментированный набор изображений каждого объекта, из которых в блоке создания обучающей выборки данных 3 выбирают меньшую по размеру обучающую выборку данных, которая в блоке обучения сверточной нейронной сети 4 используется для обучения сверточной нейронной сети. Обучение могут выполнять неоднократно, каждый раз меняя часть аугментированных наборов изображений, используемых в качестве текущего варианта обучающей выборки данных. Обучение заканчивается, когда при изменениях обучающей выборки данных прекращается увеличение вероятности обнаружения и классификации распознаваемых объектов с использованием обученной сверточной нейронной сети. Далее в блоке обнаружения и классификации 5, построенном на основе обученной сверточной нейронной сети, на поступающем на его вход исследуемом изображении осуществляется поиск и идентификация объектов, изображения которых возможно присутствуют на исследуемом изображении. Результатом работы является обнаружение и классификация по N типам изображенных объектов или при их отсутствии решение вида "объектов не обнаружено". Если на исследуемом изображении имеется два и более изображения объектов, то их обнаружение и классификация выполняют независимо друг от друга. Представленная система обработки изображений описывает использование сверточной нейронной сети для обнаружения и классификации объектов применительно к изображениях видимого диапазона, СВЧ-диапазона, ИК-диапазона, соответственно.

В способе реализуют следующую последовательность действий.

Алгоритм обработки изображений сверточной нейронной сетью представлен на фигуре 2.

Способы предварительного получения наборов натурных изображений N>2 объектов известны, натурные изображения объектов получают, например, с использованием электронных фотоаппаратов для изображений видимого диапазона, с использованием радиолокационных станций для изображений СВЧ-диапазона, с использованием инфракрасных датчиков для изображений ИК-диапазона. Целесообразно для каждого объекта получение множества натурных изображений, отличающихся точкой съемки, ракурсом объекта, масштабом изображения, климатическими условиями и т.п. Например, на фиг.3 показаны натурные изображения самолета в СВЧ-диапазоне с различными ракурсами (угол азимута 79 градусов в левой верхней части рисунка и 350 градусов в правой верхней части рисунка), а на фиг.4(a) - натурное изображение самолета в ИК-диапазоне, днем, в зимних условиях.

В силу возможных высоких затрат получения наборов натурных изображений или физической сложности их получения, например, для объектов в космосе или под водой, количество имеющихся натурных изображений некоторых объектов, как правило, ограничено.

Способы предварительного получения трехмерных моделей объектов известны, для их построения разработан ряд программ, таких как 3ds Max, Maya, Cinema 4D, Blender. Трехмерные модели различных объектов создают в результате их 3D-моделирования. Для построения 3D-модели объекта измеряют его геометрические размеры и оценивают его форму. Полученные 3D-модели объектов должны удовлетворять следующим требованиям: высокая степень реалистичности, визуального подобия геометрических форм создаваемых моделей самим объектам, соответствие габаритных размеров моделей размерам объектов, достаточный уровень детализации моделей, высокая точность форм, положения и размеров отдельных конструктивных элементов. Например, моделирование объектов, представляемых изображениями в СВЧ-диапазоне, описано в [5], а моделирование объектов, представляемых изображениями в видимом диапазоне, описано в [6].

При создании трехмерных моделей наиболее распространенным способом является построение объемных фигур из сетки полигонов, описываемых вершинами, ребрами и гранями. Трехмерная модель объекта, состоящая из множества полигонов, представляет собой полигональную сетку. Например, на фиг.5 показаны примеры визуализации трехмерной модели танка Т-90 из компьютерной игры "World of Tanks". Для обеспечения фотореалистичности изображения поверхностям трехмерной модели объекта придают вид реальных материалов, таких как металл, дерево, пластик и т.п.Поверхность при необходимости становится прозрачной или зеркальной. Для этого, например, используется функция редактора материалов вида Material Editor в 3ds Max.

Для каждого объекта с использованием вычислительной системы создают соответствующий набор изображений объекта, где каждое изображение из исходного набора изображений является результатом рендеринга трехмерной модели этого объекта. Для этого каждое изображение из исходного набора изображений получают изменением ракурса наблюдения трехмерной модели этого объекта по азимуту и углу места. Например, на фиг. 3 показаны сформированные из трехмерной модели изображения самолета с различными ракурсами (угол азимута 79 градусов в левой нижней части рисунка и 350 градусов в правой нижней части рисунка) в СВЧ-диапазоне, а на фиг. 4(6) -сформированное из трехмерной модели изображение самолета в ИК-диапазоне.

При рендеринге из виртуально наблюдаемой стороны трехмерной модели объекта с помощью вычислительной системы создают двумерное изображение объекта. Например, одним из способов рендеринга является метод трассировки лучей [7]. При этом методе формируемое изображение рассматривается как наблюдаемое из определенной точки. Из точки наблюдения на трехмерную модель объекта направляются лучи, с помощью которых определяется интенсивность и цвет отображаемого пикселя на двумерном изображении. Лучи прекращают свое распространение, когда достигают поверхности трехмерной модели или используемой фоновой поверхности. Иллюстрация метода трассировки лучей при рейдеринге показана на фиг. 6.

Существующую в виде электронного образа в вычислительной системе трехмерную модель объекта виртуально поворачивают на заданные угол азимута и угол места и формируют наблюдаемый ракурс изображения объекта. Значения углов азимута и углов места наблюдения трехмерной модели объекта выбирают исходя из возможных ракурсов физического наблюдения этого объекта, таких как вид спереди, сзади, с боков, горизонтально земной поверхности или под углом, включая вид сверху. Шаг изменения угла азимута и угла места выбирают не более нескольких градусов для увеличения числа изображений в наборе для каждого объекта, что позволит повысить вероятность обнаружения и распознавания этих объектов. Например, на фиг. 3 (нижняя часть рисунка) показаны изображения самолета в СВЧ-диапазоне, при наблюдении его трехмерной модели при различных углах по азимуту.

Из созданного исходного набора изображений и набора натурных изображений каждого объекта создают аугментированный набор изображений этого объекта путем внесения в каждое изображение этих наборов по меньшей мере одного изменения. Данные изменения вносятся в электронные изображения известными способами электронного редактирования. При внесении таких изменений в исходный набор изображений и набор натурных изображений учитывают возможные условия съемки и влияние различных искажений, получаемых в реальных условиях наблюдения объектов с учетом воздействия различных физических, климатических и иных факторов.

Изображения могут изменять, например, путем изменения масштаба этого изображения. Для этого для исследуемых изображений, на которых планируют выполнять операции обнаружения и классификации объектов, определяют возможные варианты масштаба изображений. Исходя из полученных вариантов масштаба исследуемых изображений, для каждого изображения из аугментированного набора изображений объекта изменяют его масштаб таким образом, чтобы полученный хотя бы в одном измененном изображении масштаб не отличался более чем на 20…30% от одного из вариантов масштаба исследуемых изображений. Изменение масштаба электронного изображения может реализоваться соответствующей функцией редактора электронных изображений, таким как Adobe Photoshop.

Изображения могут изменять, например, путем сокрытия части изображения объекта. Такое искажение может быть вызвано различными причинами, включая невозможностью наблюдения каких-либо частей объекта, скрытием части объекта окружающим ландшафтом и т.п. Способы сокрытия части изображения объекта заключаются в выделении на электронном изображении соответствующих частей и заменой их, например, фоновым изображением. Выделение на электронном изображении частей и заменой их фоновым изображением может реализоваться соответствующей функцией редактора электронных изображений, таким как Adobe Photoshop. Например, на фиг. 7 показан пример сокрытия части изображений объектов вида строительной и транспортной техники деревьями и строительными конструкциями.

Изображения могут изменяться, например, путем деконтрастирования всего или части изображения этого объекта. При деконтрастировании всего или части изображения объекта происходит снижение контрастности этого изображения. Деконтрастирование всего или части изображения объекта на практике вызвано дымкой и осадками на трассе распространения электромагнитного сигнала. В предлагаемом способе в вычислительной системе имитируют деконтрастирование всего или части изображения объекта выполнением в соответствующей части изображения амплитудного преобразования, приводящего к сужению динамического диапазона яркости, соответствующего физическим условиям съемки и особенностям устройств формирования изображения. Фильтрация всего или части изображения может реализоваться соответствующей функцией редактора электронных изображений, таким как Adobe Photoshop.Например, на фиг. 8 показан пример деконтрастирования изображения объектов вида транспортных средств и элементов инфраструктуры при воздушной съемке.

Изображения также могут изменять, например, путем изменения освещенности всего или части изображения объекта. Способы изменения освещенности всего или части изображения заключаются в формировании в вычислительной системе модели источника света, например, имитирующего солнечное светило, определение его интенсивности и местоположения относительно плоскости изображения объекта и в соответствии с углами падения имитируемых солнечных лучей на поверхности изображения объекта, изменение степени освещенности этих поверхностей. Пропорционально изменению степени освещенности изменяют значение яркости соответствующих пикселей редактируемого электронного изображения с использованием функцией редактора электронных изображений, таким как Adobe Photoshop.Например, на фиг. 9 показан пример изменения освещенности части изображения объекта вида вертолетная площадка, вид сверху.

Изображения также могут изменять, например, путем размытия изображения этого объекта, обусловленного движением объекта или устройства формирования изображения. Обнаруживаемые на изображениях объекты могут передвигаться с некоторой скоростью и/или устройства формирования изображения могут быть установлены на различных транспортных средствах, включая летательные аппараты, что на практике вызывает смещение изображения объекта в течение времени экспозиции съемки. В предлагаемом способе в вычислительной системе имитируют размытие изображения этого объекта, обусловленного движением объекта или устройства формирования изображения, путем фильтрации изображения, например, одномерным фильтром Гаусса в направлении предполагаемого взаимного изменения местоположения объекта или устройства формирования изображения, и с параметрами фильтрации, определяемыми возможными значениями скорости их взаимного перемещения. Для размытия изображения может быть использована соответствующая функция редактора электронных изображений, таким как Adobe Photoshop.Например, на фиг. 10 показан пример размытия изображения автомобиля, обусловленного движением объекта.

Изображения также могут изменять, например, путем наложения шумового сигнала на все или часть изображения этого объекта. Шумовой сигнал на изображениях объекта может быть вызван, например, шумами матрицы средства съемки, загрязнением и неидеальностью оптической системы линз средства съемки, атмосферными условиями при съемке, сжатием с потерями информации при записи снимков, помехами канала передачи изображений и т.п. В предлагаемом способе в вычислительной системе выполняют наложение шумового сигнала на все или часть изображения объекта путем генерации матрицы шумового сигнала с соответствующей интенсивностью и распределением шума и суммирование матрицы шумового сигнала с матрицей яркости пикселей изображения. Такое суммирование (микширование) двух матриц может реализоваться соответствующей функцией редактора электронных изображений, таким как Adobe Photoshop. Например, на фиг. 11 показан пример наложения шумового сигнала на изображение объектов вида стоянка транспортных средств и прилегающие деревья.

Изображения также могут изменять, например, путем расфокусировки всего или части изображения объекта. В предлагаемом способе в вычислительной системе имитируют расфокусировку всего или части изображения объекта путем выполнения операции интерполяции значений яркости соседних пикселей соответствующей части изображения объекта. При этом истинное значение яркости текущего пиксела заменяют на среднее арифметическое значение яркости соседних пикселей. Степень расфокусировки можно регулировать числом итераций выполнения операции интерполяции. Для расфокусировки всего или части изображения объекта может быть использована функция интерполяции значений яркости соседних пикселей в редакторе электронных изображений, таком как Adobe Photoshop.

Изображения также могут изменять, например, путем изменения отражательных свойств всего или части изображения объекта. На качество получаемых изображений, например, радиолокационных изображений, существенное влияние оказывают отражательные свойства этого объекта, определяемые характеристиками конструкционных материалов объекта и его составных частей. Созданные в виде электронного образа в вычислительной системе трехмерные модели объекта предполагают возможность изменения отражательных свойств всего или части изображения объекта. Для изображений в видимом диапазоне отражательные свойства меняются в зависимости от материала поверхности объекта, степени гладкости поверхности, характеристик лако-красочного покрытия и т.п. Для изображений в СВЧ-диапазоне отражательные свойства меняются в зависимости от вида материала объекта: металл, дерево, пластик, камень и т.п. Меняя в составных частей трехмерной модели объекта вид материала, степени гладкости поверхности и характеристики покрытия с известными значениями коэффициента отражения, возможно изменение отражательных свойств всего или части изображения объекта. Например, на фиг. 12 показан пример изменения отражательных свойств изображения транспортных средств в видимом диапазоне света.

Изображения также могут изменять, например, путем закрытия части изображения объекта изображением другого объекта. На практике часто происходит закрытие части изображения объекта изображением другого объекта, например, изображение наблюдаемого здания может быть частично закрыто деревьями, изображение летательного аппарата или космического тела - облаками и т.п. Способы закрытия части изображения объекта изображением другого объекта заключаются в выделении на электронном изображении объекта некоторых предположительно ненаблюдаемых частей и заменой их изображением других объектов, возможных в соответствии с условиями съемки. Выделение на электронном изображении частей и заменой их изображением других объектов может реализоваться соответствующей функцией редактора электронных изображений, таким как Adobe Photoshop. Например, на фиг. 13 показан пример закрытия части изображения одних транспортных средств изображениями других транспортных средств.

Изображения ИК-диапазона также могут изменять, например, путем изменения излучательных свойств всего или части этого объекта. Излучательные свойства объектов обусловлены рядом факторов, таких как освещенностью (нагревом) солнцем предметов, внутренними источниками тепла объектов, например, обусловленных нагревом за счет работы двигателя или за счет трения в осях механизмов, а также особенностями излучения объектом и окружающим фоном, как описано, например, в [8]. На визуализированных изображениях ИК-диапазона при изменении излучательных свойств всего или части объекта пропорционально изменяется яркость пикселей представления соответствующих частей объекта. Например, на фиг. 14 показаны примеры изменения излучательных свойств работающего двигателя легкового автомобиля и транспортера с нагретыми из-за трения движения гусеницами на изображениях ИК-диапазона.

Перечисленные изменения изображений могут быть выполнены в произвольном порядке с выбором произвольного набора изменений над различными изображениями из исходного набора изображений и набора натурных изображений каждого объекта. В результате для каждого объекта создают аугментированный набор изображений, состоящий из многих сотен - тысяч изображений, отражающих различные условия съемки данного объекта раздельно для изображений видимого диапазона, СВЧ- диапазона и ИК-диапазона.

Создание обучающих выборок данных, содержащих множество изображений, выбранных из аугментированных наборов изображений объектов, выполняют следующим образом. Раздельно для изображений видимого диапазона, СВЧ-диапазона и ИК-диапазона, из аугментированных наборов изображений объектов случайным образом выбирают часть изображений, составляющую, например, 60-90% от аугментированных наборов изображений, как рекомендуется в [9]. При этом выбранное количество изображений каждого объекта может быть или равным для всех объектов или пропорциональным частости встречаемости такого объекта на практике. Также возможно создание нескольких обучающих выборок данных для изображений из групп объектов, например, разделить все множество объектов на группы по категориям вида летательные аппараты, наземные транспортные средства, здания и строительные конструкции и т.п. Это позволит далее, зная условия съемки искомых объектов, повысить вероятность обнаружения и распознавания объектов в пределах группы объектов.

Для обнаружения и классификации объектов используют сверточную нейронную сеть, в которой для операции свертки используется лишь ограниченная матрица весов небольшого размера, которую смещают по всему обрабатываемому слою, формируя после каждого сдвига сигнал активации для нейрона следующего слоя с аналогичной позицией. То есть для различных нейронов выходного слоя используются одна и та же матрица весов, которую называют ядром свертки. Ее интерпретируют как графическое кодирование какого-либо признака, например, наличие наклонной линии под определенным углом. Тогда следующий слой, получившийся в результате операции свертки такой матрицей весов, показывает наличие данного признака в обрабатываемом слое и ее координаты, формируя так называемую карту признаков. Соответственно, в сверточной нейронной сети используют ряд наборов весов, кодирующих элементы изображения (например, линии и дуги под разными углами). При этом такие ядра свертки не закладываются исследователем заранее, а формируются на этапе обучения сети различными способами, описанными, например, в [9].

Обучение сверточной нейронной сети с использованием обучающей выборки данных выполняют, например, следующим образом. Раздельно обучают сверточную нейронную сеть для обнаружения и классификации объектов на изображениях видимого диапазона, СВЧ-диапазона и ИК-диапазона. Для обучения сети используют одну из созданных обучающих выборок данных. Например, как предлагается в [10], для каждого изображения из обучающей выборки данных с помощью сверточной нейронной сети вычисляют вектор признаков в пространстве признаков изображений, для обучающей выборки данных вычисляют значение функции потерь, отображающей множество вероятностей, где каждая вероятность из множества вероятностей характеризует гипотезу, ассоциирующую изображение из обучающей выборки данных классом, ассоциируемым с этим изображением. При этом функция потерь дополнительно отображает множество значений расстояния, где каждое значение расстояния вычисляют в пространстве признаков изображений между вектором признаков, представляющим изображение из обучающей выборки данных, и центром класса, ассоциируемого с этим изображением в соответствии с обучающей выборкой данных. На основе вычисленного значения функции потерь выполняют настройку одного или более параметров сверточной нейронной сети. Данную последовательность действий итеративно выполняют множество раз, добиваясь минимизации значения функции потерь. Если на очередных итерациях дальнейшего уменьшения значения функции потерь не происходит, то для данной обучающей выборки данных обучение сверточной нейронной сети для обнаружения и классификации объектов на изображениях соответствующего диапазона считают завершенным. Проверку достижения максимально достижимой вероятности обнаружения и классификации объектов для обученной сверточной нейронной сети выполняют на остатке множества изображений, выбранных из аугментированных наборов изображений объектов, из которого исключена использованная для обучения сети обучающая выборка данных. Запомнив полученные значения вероятности обнаружения и классификации объектов, повторно описанным выше образом из аугментированных наборов изображений объектов создают новую обучающую выборку данных, заново обучают на ней сверточную нейронную сеть, для заново обученной сверточной нейронной сети получают значения вероятности обнаружения и классификации объектов на соответствующем остатке множества изображений, выбранных из аугментированных наборов изображений объектов, из которого исключена использованная для обучения обучающая выборка данных. Если вновь полученные значения вероятности обнаружения и классификации объектов не превосходят ранее полученные значения, то обучение сверточной нейронной сети с использованием данной обучающей выборки данных завершают.

Также для повышения вероятности обнаружения и классификации объектов на исследуемых изображениях могут выполнять обучение сверточных нейронных сетей на соответствующих обучающих выборках данных для изображений из групп объектов, например, разделенных на группы объектов по категориям вида летательные аппараты, наземные транспортные средства, здания и строительные конструкции и т.п.

Применение обученной сверточной нейронной сети к исследуемому изображению для обнаружения и классификации изображенных на нем объектов выполняют следующим образом. Для обработки исследуемого изображения, полученного в соответствующем диапазоне электромагнитных волн, используют обученную для этого диапазона сверточную нейронную сеть. Результатом обнаружения и классификации изображенного на нем объекта могут быть решения вида "обнаружены и классифицированы объекты" с локализацией их места на исследуемом изображении или "на данном изображении искомых объектов не обнаружено", как показано на фиг. 1. На исследуемом изображении могут быть несколько искомых объектов одного или различных типов. Для их обнаружения на изображении параллельно выполняют поиск объектов различных типов.

Также для повышения вероятности обнаружения и классификации объектов на исследуемых изображениях, полученных в известных пространственных средах, таких как космическое пространство, подводное пространство и т.п.может быть применена сверточная нейронная сеть, обученная на соответствующих обучающих выборках данных для изображений из групп возможных наблюдаемых объектов.

Проверка теоретических предпосылок заявленного способа обработки изображений сверточной нейронной сетью выполнялась путем разработки и тестирования экспериментального образца, реализующего предлагаемый способ.

Для десятков типов объектов, являющимися транспортными средствами и строительной техникой, получены соответствующие наборы натурных изображений видимого диапазона и разработаны трехмерные модели, для которых созданы аугментированные наборы изображений объектов объемом не менее 300 для каждого объекта, и обучена сверточная нейронная сеть, имеющая следующие характеристики обнаружения и классификации объектов на исследуемых изображениях:

вероятность обнаружения объектов 96,1%:

вероятность пропуска объектов 3,9%;

вероятность правильной классификации объектов 98,5%.

Проведенные исследования подтверждают, что при использовании предлагаемого способа обеспечивается повышение вероятности обнаружения и классификации объектов на изображениях различных видов, включая изображения видимого диапазона, СВЧ-диапазона и ИК-диапазона.

Литература

[1] Радиолокационные характеристики объектов. Методы исследования / Под ред. С.М. Несторова. - М.: Изд. Радиотехника. 2015. - 312 с.

[2] Способ индексации и поиска цифровых изображений. Патент РФ №2510933 от 23.09.2011, МПК G06F 17/30 (2006.01).

[3] Способ вычислительно эффективного многоклассового распознавания изображений с использованием последовательного анализа нейросетевых признаков. Патент РФ №2706960 от 25.01.2019, МПК G06K 9/62 (2006.01).

[4] Способ обработки изображений обученными сверточными нейронными сетями. Патент РФ №2709661 от 19.09.2018, МПК G06N 3/08 (2006.01).

[5] Афиногенов А.Ю. Математическое моделирование радиолокационных портретов распределенных объектов сложной формы и некоторые его приложения: дисс…канд. физ. - мат.наук. - М.: 1996. - 275 с.

[6] Гарбуль А.А., Жданов Д.Д., Потемкин И.С., Соколов В.Г. Компьютерное моделирование изображений сложных трехмерных сцен, сформированных моделями реальных оптических систем: //Журнал Научная визуализация. МИФИ. 2013, том 5, номер 4. - С. 88-117.

[7] Ульянов А.Ю., Котюжанский Л.А., Рыжкова Н.Г. Метод трассировки лучей как основная технология фотореалистичного рендеринга: //Журнал Фундаментальные исследования. УФУ. 2015, №11. - С. 1124-1128.

[8] Михеев С.В. Основы инфракрасной техники. - СПб.: Изд. Университет ИТМО. 2017. - 127 с.

[9] Deep learning. Yann LeCun, Yoshua Bengio, Geoffrey Hinton. Nature 521, 2015.

[10] Способ обучения нейронной сети. Патент РФ №2707147 от 31.10.2018, МПК G06N 3/08 (2006.01).

Изобретение относится к области распознавания изображений, а именно к технике обнаружения и классификации объектов на изображениях. Техническим результатом является повышение вероятности обнаружения и классификации объектов на изображениях различных видов, включая изображения видимого диапазона, СВЧ-диапазона и ИК-диапазона. Способ содержит этапы, на которых получают наборы натурных изображений N>2 объектов и трехмерные модели объектов, создают с использованием вычислительной системы N исходных наборов изображений объектов, где каждое изображение из исходного набора изображений является результатом рендеринга трехмерной модели объекта, создают аугментированный набор изображений каждого объекта путем внесения в каждое изображение из исходного набора изображений и набора натурных изображений соответствующего объекта по меньшей мере одного изменения, создают обучающие выборки данных, содержащие множество изображений, выбранных из аугментированных наборов изображений объектов, выполняют обучение, с использованием соответствующих обучающих выборок данных, сверточной нейронной сети, и применяют обученную сверточную нейронную сеть к исследуемому изображению для обнаружения и классификации изображенных на нем объектов. 18 з.п. ф-лы, 14 ил.

1. Способ обработки изображений сверточной нейронной сетью, включающий создание вычислительной системой исходных наборов изображений, создание аугментированного набора изображений, создание обучающих выборок данных, содержащих множество изображений, обучение с использованием соответствующей обучающей выборки данных сверточной нейронной сети, применение обученной сверточной нейронной сети, отличающийся тем, что предварительно получают наборы натурных изображений N>2 объектов и трехмерные модели объектов, создают N исходных наборов изображений объектов, где каждое изображение из исходного набора изображений является результатом рендеринга трехмерной модели объекта, создают аугментированный набор изображений каждого объекта путем внесения в каждое изображение из исходного набора изображений и набора натурных изображений соответствующего объекта по меньшей мере одного изменения, создают обучающие выборки данных, содержащие множество изображений, выбранных из аугментированных наборов изображений объектов, после обучения сверточной нейронной сети применяют ее к исследуемому изображению для обнаружения и классификации изображенных на нем объектов.

2. Способ по п. 1, отличающийся тем, что сверточная нейронная сеть обнаруживает и классифицирует объекты на изображениях видимого диапазона.

3. Способ по п. 1, отличающийся тем, что сверточная нейронная сеть обнаруживает и классифицирует объекты на изображениях СВЧ-диапазона.

4. Способ по п. 1, отличающийся тем, что сверточная нейронная сеть обнаруживает и классифицирует объекты на изображениях ИК-диапазона.

5. Способ по п. 1, отличающийся тем, что наборы натурных изображений объектов предварительно сформированы в видимом диапазоне.

6. Способ по п. 1, отличающийся тем, что наборы натурных изображений объектов предварительно сформированы в СВЧ-диапазоне.

7. Способ по п. 1, отличающийся тем, что наборы натурных изображений объектов предварительно сформированы в ИК-диапазоне.

8. Способ по п. 1, отличающийся тем, что при создании N исходных наборов изображений объектов каждое изображение из исходного набора изображений получают изменением ракурса наблюдения трехмерной модели этого объекта по азимуту и углу места.

9. Способ по п. 1, отличающийся тем, что внесение изменения в каждое изображение из исходного набора изображений и набора натурных изображений соответствующего объекта выполняют изменением масштаба этого изображения.

10. Способ по п. 1, отличающийся тем, что внесение изменения в каждое изображение из исходного набора изображений и набора натурных изображений соответствующего объекта выполняют путем сокрытия части изображения этого объекта.

11. Способ по п. 1, отличающийся тем, что внесение изменения в каждое изображение из исходного набора изображений и набора натурных изображений соответствующего объекта выполняют путем деконтрастирования всего или части изображения этого объекта.

12. Способ по п. 1, отличающийся тем, что внесение изменения в каждое изображение из исходного набора изображений и набора натурных изображений соответствующего объекта выполняют путем изменения освещенности всего или части изображения этого объекта.

13. Способ по п. 1, отличающийся тем, что внесение изменения в каждое изображение из исходного набора изображений и набора натурных изображений соответствующего объекта выполняют путем расфокусировки всего или части изображения этого объекта.

14. Способ по п. 1, отличающийся тем, что внесение изменения в каждое изображение из исходного набора изображений и набора натурных изображений соответствующего объекта выполняют путем размытия изображения этого объекта, имитирующего движение объекта или устройства формирования изображения.

15. Способ по п. 1, отличающийся тем, что внесение изменения в каждое изображение из исходного набора изображений и набора натурных изображений соответствующего объекта выполняют путем наложения шумового сигнала на все или часть изображения этого объекта.

16. Способ по п. 1, отличающийся тем, что внесение изменения в каждое изображение из исходного набора изображений и набора натурных изображений соответствующего объекта выполняют путем изменения отражательных свойств всего или части изображения этого объекта.

17. Способ по п. 1, отличающийся тем, что внесение изменения в каждое изображение из исходного набора изображений и набора натурных изображений соответствующего объекта выполняют путем закрытия части изображения этого объекта изображением другого объекта.

18. Способ по п. 1, отличающийся тем, что внесение изменения в каждое изображение ИК-диапазона из исходного набора изображений и набора натурных изображений соответствующего объекта выполняют путем изменения излучательных свойств всего или части изображения этого объекта.

19. Способ по п. 1, отличающийся тем, что обучение сверточной нейронной сети с использованием соответствующей обучающей выборки данных выполняют путем вычисления с помощью сверточной нейронной сети множества векторов признаков, при этом каждый вектор признаков из множества векторов признаков соответствует изображению из обучающей выборки данных в пространстве признаков изображений, вычисление для обучающей выборки данных значения функции потерь, отображающей множество вероятностей, где каждая вероятность из множества вероятностей характеризует гипотезу, ассоциирующую изображение из обучающей выборки данных классом, ассоциируемым с этим изображением, при этом функция потерь дополнительно отображает множество значений расстояния, где каждое значение расстояния вычисляют в пространстве признаков изображений между вектором признаков, представляющим изображение из обучающей выборки данных, и центром класса, ассоциируемого с этим изображением в соответствии с обучающей выборкой данных, настройку одного или более параметров сверточной нейронной сети на основе значения функции потерь.