Способ мультиспектрального восстановления ночных снимков городских агломераций Российский патент 2025 года по МПК G06T1/40 

Область техники

Настоящее техническое решение относится к области дистанционного зондирования Земли (ДЗЗ), в частности к компьютерно-реализованному способу обработки геопространственных спутниковых данных и может быть использовано при исследовании хозяйственной и логистической деятельности городских агломераций, экологической нагрузки (к примеру, влияния искусственной освещенности местности), а также планировании развития данных территорий.

Предшествующий уровень техники

Для обработки изображений ранее предлагалось:

Существуют различные технологии для повышения качества изображений и видео. Одна из технологий описана в публикации патентной заявки США US 20130064474 A1, опубликованной 14.03.2013 и озаглавленной «Вычисление изображений с более высоким разрешением из множественных изображений с более низким разрешением». Проблема сверхразрешения с формулировкой, использующей апостериорный максимум, решается с использованием метода нелинейной итеративной оптимизации методом сопряженных градиентов. Однако использование итераций приводит к высоким вычислительным затратам. Предложенная технология не может восстановить мультиспектральное изображение на основе панхроматических спутниковых снимков.

Другие технологии описаны в патенте США US 9282253 B2, опубликованном 08.03.2016 и озаглавленном «Система и способ интерполяции сверхразрешения на основе множества кадров для цифровых камер». Обеспечена система цифровой камеры, которая включает в себя модуль регистрации движения, генерирующий информацию о движении, модуль интерполяции, модуль вычисления весовых коэффициентов и модуль объединения весов. Система поддерживает ввод в формате Байера. Каждый входной кадр интерполируется независимо от других кадров. Предложенная технология не может восстановить мультиспектральное изображение на основе панхроматических спутниковых снимков.

Из уровня техники известен ОБРАБОТКА ДАННЫХ ДЛЯ СВЕРХРАЗРЕШЕНИЯ [RU2652722 C1, опубл.: 2018.04.28], в котором раскрывается устройство обработки данных для сверхразрешения, содержащее блок оценки смещения, выполненный с возможностью принимать набор изображений низкого разрешения одной сцены, получать наборы смещений пикселей для изображений низкого разрешения для всех пикселей, соответствующих одним и тем же фрагментам в наборе изображений низкого разрешения, получать наборы целочисленных смещений пикселей посредством вычисления целочисленного смещения пикселя для каждого смещения пикселя, получать наборы дробных смещений пикселей посредством вычисления дробного смещения пикселя для каждого смещения пикселя; банк фильтров, выполненный с возможностью хранения наборов фильтров; блок выбора фильтров; блок получения изображения высокого разрешения, выполненный с возможностью получения изображения высокого разрешения в формате RGB. Недостатком аналога является использование как входных данных набора изображений низкого разрешения одной сцены в формате RGB, так и набора байеровских изображений низкого разрешения одной сцены. Предложенная технология не может восстановить мультиспектральное изображение на основе панхроматических спутниковых снимков.

Известны УСТРОЙСТВО И СПОСОБ ПОЛУЧЕНИЯ ИЗОБРАЖЕНИЙ С БОЛЕЕ ВЫСОКИМ РАЗРЕШЕНИЕМ ВО ВСТРОЕННОМ УСТРОЙСТВЕ [RU2512130 C2, опубл.: 2014.04.10], в котором раскрывается устройство и способ создания изображения с более высоким разрешением (ВР) по технологии сверхразрешения (СР) для последовательности сжатых изображений. Указанный технический результат достигается тем, что сжимают последовательность изображений, содержащую множество изображений с более низким разрешением (НР), определяют векторы движения между опорным изображением в последовательности и одним или несколькими последующими изображениями в последовательности и генерируют следующее прогнозируемое изображение путем применения векторов движения к реконструируемой версии опорного изображения. Генерируют разностное изображение между следующим фактическим изображением и следующим прогнозируемым изображением, декодируют изображение в последовательности на основе от блока к блоку и применяют технологию СР к каждому декодированному блоку для генерирования изображения с более ВР путем выполнения временной интерполяции и/или пространственной интерполяции опорного изображения и разностного изображения. Сжатие последовательности изображений содержит этапы определения вектора движения между опорным изображением и, по меньшей мере, одним из дополнительного изображения последовательности изображений, причем полученный вектор движения используют к опорному изображению для прогнозирования, по меньшей мере, одного дополнительного изображения и рассчитывают разностные изображения между, по меньшей мере, одним дополнительным изображением. Предложенная технология не может восстановить мультиспектральное изображение на основе панхроматических спутниковых снимков.

Известен СПОСОБ И СИСТЕМА СВЕРХРАЗРЕШЕНИЯ С ПОМОЩЬЮ КОМБИНИРОВАННОЙ РАЗРЕЖЕННОЙ АППРОКСИМАЦИИ [RU2661537 C2, опубл.: 2018.07.17], который содержит этапы: приема изображений низкого разрешения; определения контекста и условий съемки изображений и выбора словаря; вычисления матрицы преобразования изображений низкого разрешения; вычисления маски семплирования изображений низкого разрешения; объединения изображений низкого разрешения с использованием матрицы преобразования и маски семплирования для формирования изображения высокого разрешения; вычисления значения заранее заданного критерия останова и сравнения вычисленного значения упомянутого критерия останова с пороговым значением; разбиения изображения высокого разрешения на пересекающиеся патчи различной формы; вычисления разреженной аппроксимации выделенных патчей с помощью указанных словаря и маски семплирования; формирования нового изображения высокого разрешения из результатов разреженной аппроксимации патчей с перекрытием; обновления изображений низкого разрешения на основании полученного результата разреженной аппроксимации с использованием матрицы преобразования; уточнения матрицы преобразования на основании обновленных изображений низкого разрешения. Технический результат - повышение разрешения и уровня детализации изображений и видео. Предложенная технология не может восстановить мультиспектральное изображение на основе панхроматических спутниковых снимков.

В существующих концепциях и прототипах восстановление сверхразрешения изображения происходит либо за счет повышения разрешения и уровня детализации исходных изображений и видео, либо на входе предполагает использование цветных или байеровских изображений или набора изображений, при этом спектральное восстановление сверхразрешения ночных панхроматических спутниковых снимков не предполагается. Задачей изобретения является устранение недостатков прототипов.

Технический результат - мультиспектральное восстановление ночных панхроматических спутниковых снимков городских агломераций.

Сущность изобретения

Технической проблемой, на решение которой направлено заявленное техническое решение, является создание компьютерно-реализуемого способа мультиспектрального восстановления ночных снимков городских агломераций на основе панхроматических спутниковых снимков, что позволяет для дистанционного зондирования Земли (ДЗЗ) использовать только радиометры видимого и инфракрасного диапазона.

Технический результат заключается в мультиспектральном восстановлении ночных снимков городских агломераций на основе панхроматических спутниковых снимков.

В предпочтительном варианте реализации заявлен компьютерно-реализованный способ мультиспектрального восстановления ночных снимков городских агломераций, включающий этапы, на которых:

• получаем панхроматический спутниковый снимок;

• на этапе предобработки на вычислительном устройстве проводим следующие процедуры:

для каждого пикселя изображения панхроматического спутникового снимка определяем соответствующую этому пикселю область на имеющей высокое разрешение карте застроенных территорий и вычисляем средний коэффициент застройки и его стандартное отклонение по этой области;

формируем псевдо мультиспектральное (RGB) изображение, используя значения яркости пикселей изображения панхроматического спутникового снимка вместо красного слоя, средний коэффициент застройки вместо зеленого слоя и стандартное отклонение коэффициента застройки вместо синего слоя;

используя заданный размер окрестности k, проводим нарезание изображения на фрагменты k×k;

• полученные фрагменты изображения подаются на вход трех нейронных сетей, которые обучены с использованием целевой функции, основанной на половинном среднеквадратичном отклонении, и кодирующие один из трех цветов RGB модели каждая;

• на выходе каждой нейронной сети получаем представление спутникового снимка в одном из трех цветов RGB модели;

• на этапе постобработки на вычислительном устройстве проводим объединение полученных спутниковых изображений в красном, зеленом и синем спектрах для получения мультиспектрального изображения спутникового снимка в RGB модели.

Подробное описание

Ниже перечислены термины и определения, используемые в данном техническом решении.

СНС - сверточная нейронная сеть.

RGB - аддитивная цветовая модель, описывающая способ кодирования цвета для цветовоспроизведения с помощью трёх (красный, зеленый, синий) цветов, которые принято называть основными.

Панхроматическое изображение - изображение в оттенках серого, в котором на яркость каждой точки влияет интенсивность света всех длин волн диапазона.

VIIRS - это сканирующий радиометр, который собирает изображения и радиометрические измерения Земли, атмосферы, криосферы и Мирового океана во всех диапазонах в видимой и инфракрасной областях электромагнитного спектра.

HBASE (The Global Human Built-up And Settlement Extent Dataset from Landsat) - база данных о застроенных территориях и размерах агломераций;

APSP (Astronaut Photography Search Photo) - база данных мультиспектральных (RGB) спутниковых снимков с МКС;

VIIRS-DNB - база данных спутниковых панхроматических снимков городских агломераций.

В приведённом ниже подробном описании реализации изобретения приведены многочисленные детали реализации, призванные обеспечить отчётливое понимание настоящего изобретения. Однако квалифицированному в предметной области специалисту будет очевидно, каким образом можно использовать настоящее изобретение как с данными деталями реализации, так и без них. В других случаях хорошо известные методы, процедуры и компоненты не были описаны подробно, чтобы не затруднять понимание особенностей настоящего изобретения. Кроме того, из приведенного изложения будет ясно, что изобретение не ограничивается приведенной реализацией. Многочисленные возможные модификации, изменения, вариации и замены, сохраняющие суть и форму настоящего изобретения, будут очевидными для квалифицированных в предметной области специалистов. Настоящее изобретение направлено на обеспечение компьютерно-реализованного способа обработки геопространственных спутниковых данных.

Рассмотрим пример, проиллюстрированный на Фиг. 1.

Здесь представлены этапы осуществления способа с помощью вычислительного устройства. Провайдеры спутниковых данных (101) предоставляют панхроматические ночные спутниковые снимки для последующей обработки. Также используется база данных HBASE (102). Обработка включает несколько этапов: предобработка (103), обработка обученной сверточной нейронной сетью (104) и постобработку (105).

На Фиг. 2 показаны процедуры, проводимые на вычислительном устройстве на этапе предобработки (103), включающие:

• определение для каждого пикселя изображения панхроматического спутникового снимка соответствующей этому пикселю области на имеющей высокое разрешение карте застроенных территорий и вычисление среднего коэффициента застройки и его стандартного отклонения по этой области (103.1);

• формирование псевдо мультиспектрального (RGB) изображения, используя значения яркости пикселей изображения панхроматического спутникового снимка вместо красного слоя, средний коэффициент застройки вместо зеленого слоя и стандартное отклонение коэффициента застройки вместо синего слоя (103.2);

• нарезание изображения на фрагменты k×k используя заданный размер окрестности k;

Архитектура обученной сверточной нейронной сети, используемой на этапе (104), представлена на Фиг. 3. Она состоит из :

• Входного слоя k×k×3;

• 3D конволюционного слоя с 64 фильтрами 3×3×3;

• Нормализационного слоя;

• ReLU слоя;

• 2D конволюционного слоя с 4 фильтрами 3×3;

• Нормализационного слоя;

• ReLU слоя;

• Полносвязного слоя;

• Регрессионного слоя.

Постобработка (105) заключается в объединении полученных изображений отдельной агломерации для получения «цветного» изображения спутникового снимка отдельной агломерации.

Рассмотрим пример обучения новых нейронных сетей, проиллюстрированный на Фиг. 4.

Для обучения сверточной нейронной сети мы используем ранее накопленные и загруженные на вычислительное устройство базы данных: база данных VIIRS-DNB (101) - база данных спутниковых панхроматических снимков городских агломераций, полученных с использованием радиометров VIIRS; база данных HBASE (102) - база данных о застроенных территориях и размерах агломераций; база данных APSP (201) - база данных мультиспектральных (RGB) спутниковых снимков с МКС. На этапе предобработки (103) происходят процедуры, описанные выше для данного этапа. На этапе изменения разрешения (202) высокое разрешение изображений базы данных мультиспектральных (RGB) спутниковых снимков с МКС (201) приводится к разрешению изображений базы накопленных панхроматических спутниковых снимков (101). При этом для каждого «грубого» пикселя определяется среднее значение каждой цветовой компоненты (RGB) по соответсвующим пикселям исходного изображения. На этапе формирования задачника (203) результаты предобработки (103) и изменения разрешения (202) объединяются в задачник, при этом ответом для трех нейронных сетей являются RGB компоненты центрального пикселя соответствующего фрагмента изображения с измененным разрешением (202).

На этапе обучения сверточной нейронной сети (204) на Фиг. 5 формируются для каждого выходного цвета сверточные нейронные сети (204.1), архитектуры которых представлены на Фиг. 3 и описаны выше. Обучение нейронной сети происходит c использованием целевой функции в виде половинного среднеквадратичного отклонения. При обучении используются параметры (204.2):

• Оптимизатор: метод градиентного спуска с моментами;

• Размер пакета: 128;

• Число эпох: 50;

• Начальная скорость обучения 0.001;

• Скорость обучения: кусочно постоянная;

• Уменьшение скорости обучения: 0.1;

• Число эпох постоянства скорости обучения: 20;

• Перемешивание пакетов: каждую эпоху.

После обучения происходит этап тестирования (205), представленный на Фиг. 4. На этапе тестирования происходит тестирование трех обученных нейронных сетей - одна сеть для каждого цвета изображения базы данных (201). Оценка качества спектрального восстановления производится по четырем показателям: взвешенному среднеквадратичному отклонению и коэффициентам корреляции предсказанного и фактического значения каждого цвета модели RGB представления изображения.

Ниже приведены экспериментальные данные по использованию данного технического решения в одном из вариантов его реализации.

Пример простейшей реализации

В качестве простейшей реализации способа мультиспектрального восстановления ночных снимков городских агломераций была использована в качестве нейросетевого алгоритма сверточная нейронная сеть обученная и протестированная на открытых данных спутниковых панхроматических снимков. Данные использовались для восьми городских агломераций: Атланта (США), Пекин (Китай), Хайфа (Израиль), Хабаровск (Россия), Лондон (Великобритания), Неаполь (Италия), Нашвилл (США) и Тяньцзинь (Китай). Предобработка входных данных производилась с помощью программного обеспечения ArcGIS v.10.x до разрешения ~ 500 м. На Фиг. 6 представлены примеры необработанных входных данных для Хабаровска и Хайфы: изображения в RGB модели представления искусственного ночного освещения (слева), панхроматические изображения искусственного ночного освещения (середина) и изображения из базы данных HBASE (справа). Из исходного изображения базы данных HBASE (Фиг. 6 справа) получаются два изображения с разрешением 500 м, содержащие средние уровни и стандартные отклонения исходных данных базы данных HBASE высокого разрешения в каждом новом крупном пикселе (Фиг. 7б, 7в). На Фиг.7 приведены данные с разрешением 500 м для города Хайфа: а) панхроматический ночной спутниковый снимок; б) средний уровень базы данных HBASE; в) стандартные отклонения уровней базы данных HBASE; г) средний уровень красного света; д) средний уровень зеленого света; (е) средний уровень синего света. Все полученные слои разрезались ядром с единичным шагом на небольшие фрагменты размером k×k, k ∈ [3; 5; 7; 9; 11; 13; 15]. Далее проводилось обучение сверточной нейронной сети на изображениях определенной городской агломерации. Анализ изображений с помощью обученной нейронной сети был выполнен в программном обеспечении MATLAB v.R2020b с использованием функции TrainNetwork с параметрами обучения по умолчанию (204.2) (т.е. при стохастическом градиентном спуске с импульсом (SGDM); размер мини-пакета = 128; начальная скорость обучения = 0,001; обучение) график скорости = фрагментарно; коэффициент снижения скорости обучения = 0,1; период снижения скорости обучения = 20; перемешивание = каждую эпоху).

На Фиг. 8 продемонстрировано спектральное восстановление панхроматических снимков для Хайф: (a) исходный красный цвет; (б) исходный зеленый цвет; (в) исходный синий; (г) восстановленный красный; (д) восстановленный зеленый цвет; (е) восстановленный синий. Как можно заметить, между соответствующими цветовыми слоями изображения Хайфы для исходных данных из базы данных APSP и восстановленными обученной нейронной сетью сеть сходство.

На Фиг. 9 показан пример компьютерной системы общего назначения, на которой может выполняться описываемое техническое решение и которая включает в себя многоцелевое вычислительное устройство в виде компьютера 20 или сервера, включающего в себя процессор 21, системную память 22 и системную шину 23, которая связывает различные системные компоненты, включая системную память с процессором 21.

Системная шина 23 может быть любого из различных типов структур шин, включающих шину памяти или контроллер памяти, периферийную шину и локальную шину, использующую любую из множества архитектур шин. Системная память включает постоянное запоминающее устройство (ПЗУ) 24 и оперативное запоминающее устройство (ОЗУ) 25. В ПЗУ 24 хранится базовая система ввода/вывода 26 (БИОС), состоящая из основных подпрограмм, которые помогают обмениваться информацией между элементами внутри компьютера 20, например, в момент запуска.

Компьютер 20 также может включать в себя накопитель 27 на жестком диске для чтения с и записи на жесткий диск, накопитель 28 на магнитных дисках для чтения с или записи на съемный диск 29, и накопитель 30 на оптическом диске для чтения с или записи на съемный оптический диск 31 такой, как компакт-диск, цифровой видео-диск и другие оптические средства. Накопитель 27 на жестком диске, накопитель 28 на магнитных дисках и накопитель 30 на оптических дисках соединены с системной шиной 23 посредством, соответственно, интерфейса 32 накопителя на жестком диске, интерфейса 33 накопителя на магнитных дисках и интерфейса 34 оптического накопителя. Накопители и их соответствующие читаемые компьютером средства обеспечивают энергонезависимое хранение читаемых компьютером инструкций, структур данных, программных модулей и других данных для компьютера 20.

Хотя описанная здесь типичная конфигурация использует жесткий диск, съемный магнитный диск 29 и съемный оптический диск 31, специалист примет во внимание, что в типичной операционной среде могут также быть использованы другие типы читаемых компьютером средств, которые могут хранить данные, которые доступны с помощью компьютера, такие как магнитные кассеты, карты флеш-памяти, цифровые видеодиски, картриджи Бернулли, оперативные запоминающие устройства (ОЗУ), постоянные запоминающие устройства (ПЗУ) и т.п.

Различные программные модули, включая операционную систему 35, могут быть сохранены на жестком диске, магнитном диске 29, оптическом диске 31, ПЗУ 24 или ОЗУ 25. Компьютер 20 включает в себя файловую систему 36, связанную с операционной системой 35 или включенную в нее, одно или более программное приложение 37, другие программные модули 38 и программные данные 39. Пользователь может вводить команды и информацию в компьютер 20 при помощи устройств ввода, таких как клавиатура 40 и указательное устройство 42. Другие устройства ввода (не показаны) могут включать в себя микрофон, джойстик, геймпад, спутниковую антенну, сканер или любое другое.

Эти и другие устройства ввода соединены с процессором 21 часто посредством интерфейса 46 последовательного порта, который связан с системной шиной, но могут быть соединены посредством других интерфейсов, таких как параллельный порт, игровой порт или универсальная последовательная шина (УПШ). Монитор 47 или другой тип устройства визуального отображения также соединен с системной шиной 23 посредством интерфейса, например, видеоадаптера 48. В дополнение к монитору 47, персональные компьютеры обычно включают в себя другие периферийные устройства вывода (не показано), такие как динамики и принтеры.

Компьютер 20 может работать в сетевом окружении посредством логических соединений к одному или нескольким удаленным компьютерам 49. Удаленный компьютер (или компьютеры) 49 может представлять собой другой компьютер, сервер, роутер, сетевой ПК, пиринговое устройство или другой узел единой сети, а также обычно включает в себя большинство или все элементы, описанные выше, в отношении компьютера 20, хотя показано только устройство хранения информации 50. Логические соединения включают в себя локальную сеть (ЛВС) 51 и глобальную компьютерную сеть (ГКС) 52. Такие сетевые окружения обычно распространены в учреждениях, корпоративных компьютерных сетях, Интернете.

Компьютер 20, используемый в сетевом окружении ЛВС, соединяется с локальной сетью 51 посредством сетевого интерфейса или адаптера 53. Компьютер 20, используемый в сетевом окружении ГКС, обычно использует модем 54 или другие средства для установления связи с глобальной компьютерной сетью 52, такой как Интернет.

Модем 54, который может быть внутренним или внешним, соединен с системной шиной 23 посредством интерфейса 46 последовательного порта. В сетевом окружении программные модули или их части, описанные применительно к компьютеру 20, могут храниться на удаленном устройстве хранения информации. Надо принять во внимание, что показанные сетевые соединения являются типичными, и для установления коммуникационной связи между компьютерами могут быть использованы другие средства.

Изобретение относится к области цифровой обработки изображений и касается способа мультиспектрального восстановления ночных снимков городских агломераций. При осуществлении способа для каждого пикселя изображения панхроматического спутникового снимка определяют соответствующую этому пикселю область на имеющей высокое разрешение карте застроенных территорий и вычисляют средний коэффициент застройки и его стандартное отклонение. По этой области формируют псевдомультиспектральное изображение, используя значения яркости пикселей панхроматического снимка вместо красного слоя, средний коэффициент застройки вместо зеленого слоя и стандартное отклонение коэффициента застройки вместо синего слоя. Нарезают изображение на фрагменты. Фрагменты изображения подают на вход трех нейронных сетей, кодирующих один из трех цветов RGB модели. На выходе каждой нейронной сети получают представление спутникового снимка в одном из трех цветов RGB модели. Затем проводят объединение полученных спутниковых изображений в красном, зеленом и синем спектрах для получения мультиспектрального изображения спутникового снимка в RGB модели. Технический результат заключается в обеспечении возможности мультиспектрального восстановления ночных снимков городских агломераций на основе панхроматических спутниковых снимков. 9 ил.

Способ мультиспектрального восстановления ночных снимков городских агломераций, включающий этапы, на которых получают панхроматический спутниковый снимок, где на этапе предобработки на вычислительном устройстве проводят следующие процедуры: для каждого пикселя изображения панхроматического спутникового снимка определяют соответствующую этому пикселю область на имеющей высокое разрешение карте застроенных территорий и вычисляют средний коэффициент застройки и его стандартное отклонение по этой области; формируют псевдомультиспектральное RGB изображение, используя значения яркости пикселей изображения панхроматического спутникового снимка вместо красного слоя, средний коэффициент застройки вместо зеленого слоя и стандартное отклонение коэффициента застройки вместо синего слоя; используют заданный размер окрестности k, проводят нарезание изображения на фрагменты k×k; полученные фрагменты изображения подают на вход трех нейронных сетей, которые обучены с использованием целевой функции, основанной на половинном среднеквадратичном отклонении, и кодируют один из трех цветов RGB модели каждая; на выходе каждой нейронной сети получают представление спутникового снимка в одном из трех цветов RGB модели; на этапе постобработки на вычислительном устройстве проводят объединение полученных спутниковых изображений в красном, зеленом и синем спектрах для получения мультиспектрального изображения спутникового снимка в RGB модели.