СПОСОБ И СИСТЕМА ДЛЯ СЕГМЕНТАЦИИ МАТЕРИАЛА ДЛЯ СЦЕНАРИЕВ РАЗРУШЕНИЯ ЗДАНИЯ Российский патент 2025 года по МПК G06V10/26 G06V10/70 G06T7/10 

1. Область техники

Настоящее изобретение относится к технической области оборудования для сноса зданий и касается способа и системы для сегментации материала для сценариев разрушения здания.

2. Уровень техники

В ходе операций сноса, выполняемых оборудованием для сноса зданий, используются различные буровые долота в зависимости от материала, из которого выполнен объект, в отношении которого выполняют работы, а также необходима регулировка параметров соответствующим образом. В настоящее время большинство оборудования для сноса зданий работает с ручным дистанционным управлением, в большей степени полагаясь на усмотрение человека и требуя длительного наблюдения. В сценариях с большим разнообразием материалов и необходимостью в частой замене буровых долот и регулировке параметров, например, во время сноса зданий, уровень автоматизации оборудования для сноса зданий значительно ограничивается, что делает невозможной реализацию полностью интеллектуального автоматического управления.

При непрекращающихся улучшениях технологий, таких как искусственный интеллект, машинное зрение и алгоритмы глубокого обучения, интеллектуальное и автоматизированное управление оборудованием для сноса зданий становится важной тенденцией.

Таким образом, существует необходимость в способе и системе для сегментации материала, которые были бы пригодны для оборудования для сноса зданий и адаптированы к сценариям разрушения здания.

Суть изобретения

Для решения проблем маркирования выборок и слабой адаптируемости сценариев, с которыми сталкиваются в ходе сегментации материала при использовании технологии глубокого обучения, в настоящем изобретении создают выборки из сценариев разрушения здания и используют способ адаптивного доменного обучения модели для повышения эффективности построения модели и точности сегментации материала, эффективным образом повышая точность и эффективность операций по сносу. Данная технология может быть широко применена в таких областях, как добыча, прокладка туннелей, снос зданий, цементная промышленность и спасательные операции, обеспечивая безопасность персонала в сложных рабочих условиях и значительно повышая эффективность работы.

Задача: для преодоления недостатков уровня техники в настоящем изобретении представлен способ и система для сегментации материала для сценариев разрушения здания, предполагающие управление электрической роторной системой на горизонтальной и наклонной поверхностях.

Техническое решение: для решения указанных выше технических проблем техническое решение, реализуемое настоящим изобретением, заключается в следующем.

В первом аспекте представлен способ сегментации материала для сценариев разрушения здания, включающий этапы, на которых:

получают изображение целевого сценария разрушения здания, подлежащее сегментации; и

вводят изображение целевого сценария разрушения здания, подлежащее сегментации, в обученную модель сегментации материала сценария разрушения здания с получением результата сегментации материала;

причем получение обученной модели сегментации материала сценария разрушения здания включает этапы, на которых:

обучают первую модель глубокой семантической сегментации с использованием первого набора данных о материале сценария дороги с получением модели сегментации материала сценария дороги, при этом первый набор данных о материале сценария дороги содержит множество изображений сегментации материала сценария дороги и соответствующие маркеры материала;

обрабатывают набор данных семантической сегментации сценария дороги с использованием модели сегментации материала сценария дороги с получением маркированного изображения сегментации материала сценария дороги; добавляют маркированное изображение сегментации материала сценария дороги в первый набор данных о материале сценария дороги с получением второго набора данных о материале сценария дороги;

преобразуют изображения сегментации материала сценария дороги во втором наборе данных о материале сценария дороги с получением набора данных о материале сценария здания; добавляют материальные объекты области разрушения и соответствующие маркеры материала на изображение набора данных о материале сценария здания с получением набора данных о материале сценария разрушения здания;

обучают вторую модель глубокой семантической сегментации с использованием набора данных о материале сценария разрушения здания с получением базовой модели сегментации материала сценария разрушения здания; и

выполняют доменное адаптивное обучение на базовой модели сегментации материала сценария разрушения здания с использованием маркированных изображений на изображениях последовательности целевого сценария с получением обученной модели сегментации материала сценария разрушения здания.

В некоторых вариантах реализации выполнение доменного адаптивного обучения на базовой модели сегментации материала сценария разрушения здания с использованием маркированных изображений на изображениях последовательности целевого сценария включает этапы, на которых:

выбирают типичные изображения среди изображений последовательности целевого сценария для маркирования и улучшения качества данных с получением эталонного изображения; в соответствии с эталонным изображением, извлекают изображения с подобными структурами сценария из набора данных о материале сценария разрушения здания с формированием обучающего набора миграции домена;

выполняют обучение с точной настройкой на базовой модели сегментации материала сценария разрушения здания с использованием обучающего набора миграции домена с получением усовершенствованной модели; и

итеративно выполняют циклические этапы до удовлетворения заранее заданного условия с получением обученной модели сегментации сценария разрушения здания, при этом циклические этапы включают в себя: обработку изображений последовательности целевого сценария с использованием усовершенствованной модели с получением маркированного изображения целевого сценария; извлечение изображений с подобными структурами сценария из набора данных о материале сценария разрушения здания в соответствии с изображением целевого сценария с получением обновленного обучающего набора миграции домена; и выполнение обучения с точной настройкой на усовершенствованной модели с использованием обновленного обучающего набора миграции домена с получением обновленной усовершенствованной модели.

Кроме того, в некоторых вариантах реализации заранее заданное условие заключается в итеративном выполнении циклических этапов от 3 до 5 раз.

В некоторых вариантах реализации первая модель глубокой семантической сегментации и вторая модель глубокой семантической сегментации представляют собой модели SegFormer.

В некоторых вариантах реализации первый набор данных о материале сценария дороги представляет собой набор данных McubeS.

В некоторых вариантах реализации набор данных семантической сегментации сценария дороги выбирают из по меньшей мере одного из набора данных CamVid, набора данных CityScape и набора данных Kitti.

В некоторых вариантах реализации преобразование изображений сегментации материала сценария дороги во втором наборе данных о материале сценария дороги с получением набора данных о материале сценария здания включает этапы, на которых:

для каждого изображения сегментации материала сценария дороги во втором наборе данных о материале сценария дороги трансформируют сценарии здания на обеих сторонах в сценарии здания на виде спереди посредством трансформации перспективной проекцией с получением маркированных изображений переднего вида здания, составляющих набор данных о материале сценария здания.

В некоторых вариантах реализации добавление материальных объектов области разрушения и соответствующих маркеров материала на изображение набора данных о материале сценария здания с получением набора данных о материале сценария здания включает этапы, на которых:

строят область разрушения на изображении набора данных о материале сценария здания, при этом область разрушения относится к частям, которые остались стоять после естественного разрушения или сноса здания человеком;

используют набор данных о текстурах для вставки изображений неоднородных текстурных блоков в область здания, где построено изображение области разрушения, при этом изображение текстурного блока содержит по меньшей мере одно из кирпичей, щебня, глины, стальной арматуры и оконных рам; и

используют набор данных COCO для случайного наложения материальных объектов на оставшиеся части здания, имитируют внутренние объекты, которые выявлены после разрушения внешних стен здания.

Кроме того, построение области разрушения на изображении набора данных о материале сценария здания включает этапы, на которых:

получают ограничивающий прямоугольник здания для изображения набора данных о материале сценария здания, выбирают точку на любых двух из левой, верхней и правой сторон ограничивающего прямоугольника здания с формированием соединительной линии или прерывистой линии, имитируют линию проекции поперечного сечения на изображение и задают область, определенную соединительной линией или прерывистой линией и тремя сторонами ограничивающего прямоугольника здания, белого или голубого цвета для имитации разреза здания в сценарии здания;

альтернативно, начиная с верхнего края области изображения здания, случайным образом используют структурные элементы различных размеров и форм для выполнения морфологической эрозии на точках непрерывного края области изображения здания и заменяют области эрозии на среднее значение пиксела окружающей области здания.

Кроме того, в некоторых вариантах реализации улучшение качества данных включает этапы, на которых: выполняют по меньшей мере одно из обрезки, переворачивания, смещения, а также изменения яркости и цвета типичного изображения; и

добавляют материальные объекты области разрушения и соответствующие маркеры материала на типичное изображение: получают изображения множества разрушенных зданий с использованием операций усечения и эрозии, а затем накладывают изображения текстурных блоков и материальные объекты.

В некоторых вариантах реализации извлечение изображений с подобными структурами сценариев из набора данных о материале сценария разрушения здания включает этапы, на которых:

вычисляют mIoU маркированного изображения эталонного изображения/изображения целевого сценария и маркированного изображения каждого изображения набора данных о материале сценария разрушения здания, при этом mIoU – это среднее пересечение по объединению (mean intersection over union) для каждой категории материала; и

берут верхний 1% изображений из набора данных о материале сценария разрушения здания с максимальными значениями mIoU в качестве изображений с подобными структурами сценариев.

Во втором аспекте представлена система для сегментации материала для сценариев разрушения здания, содержащая память и процессор, причем память используется для хранения инструкций, а инструкции используются для управления процессором для реализации способа сегментации материала для сценариев разрушения здания, описанного в первом аспекте.

В третьем аспекте представлена машина для сноса зданий, содержащая систему для сегментации материала для сценариев разрушения здания.

Полезные эффекты: способ и система для сегментации материала для сценариев разрушения здания, представленные в настоящем изобретении, повышают эффективность построения модели и точность сегментации материала путем построения выборок из сценариев разрушения здания и использования способа доменного адаптивного обучения модели, эффективно повышая точность и эффективность операций сноса зданий. Данная технология может быть широко применена в таких областях, как добыча, прокладка туннелей, снос зданий, цементная промышленность и спасательные операции, обеспечивая безопасность персонала в сложных рабочих условиях и значительно повышая эффективность работы. Настоящее изобретение обладает следующими преимуществами:

(1) Высокая эффективность обучения выборок и построения модели

Способ построения модели, разработанный в рамках настоящего изобретения, не требует сбора большого количества изображений сценария разрушения здания или ручного маркирования категорий материалов по уровням пикселов для каждого изображения. Вместо этого, в нем непосредственно получают значительное количество изображений выборок сегментации материала сценария разрушения здания с непосредственными маркерами материала из существующих общедоступных наборов данных сценариев дороги (которые включают в себя небольшое количество наборов данных о материале и большое количество данных семантической сегментации). Этим обеспечивается возможность эффективного построения и обучения модели сегментации материала сценария разрушения здания, которая может быть быстро применена в робототехнических спасательных работах, сносе зданий и задачах выемки грунта.

(2) Высокая точность распознавания материала

Способ генерирования обучающей выборки, разработанный в рамках настоящего изобретения, может выдавать различные и точные маркированные изображения материала, что в некоторой степени повышает способность модели к распознаванию материала. С одной стороны, сгенерированные данные обучения являются значительно обширными, что обеспечивает надлежащий охват при случайном характере областей разрушения, что делает их пригодными для выбора моделей семантической сегментации, обладающих высокой производительностью, но имеющих большое количество параметров. С другой стороны, сгенерированные данные обучения сохраняют относительно сбалансированное представление о различных материалах по сравнению с фактическими данными, тем самым предотвращая проблему «тяжелого хвоста», когда модель отбрасывает категории, встречающиеся реже. Эти факторы эффективным образом обеспечивают превосходную производительность распознавания материалов.

(3) Превосходная адаптируемость к сценарию

Способ доменной адаптации для модели сегментации материала сценария здания разработан для достижения быстрой адаптивной регулировки параметров модели с использованием лишь небольшого количества собранных и маркированных изображений фактического сценария, тем самым удовлетворяя потребности в переключении рабочих сценариев оборудования для сноса зданий в различных рабочих условиях.

Описание прилагаемых чертежей

На Фиг. 1 изображена схема маркированной вручную области материала на изображении сценария разрушения здания из уровня техники.

На Фиг. 2 изображена схема способа сегментации материала для сценариев разрушения здания в соответствии с вариантом реализации настоящего изобретения.

На Фиг. 3 изображена схематическая диаграмма, на которой показано преобразование из набора данных о материале сценария дороги в набор данных о материале сценария здания с использованием трансформации перспективной проекцией, в соответствии с вариантом реализации настоящего изобретения.

На Фиг. 4 изображена схематическая диаграмма некоторых обучающих изображений, сгенерированных для сегментации материала в сценариях разрушения здания, в соответствии с вариантом реализации настоящего изобретения.

На Фиг. 5 изображена схематическая диаграмма доменной адаптации для тестовых сценариев разрушения здания в соответствии с вариантом реализации настоящего изобретения.

Конкретные варианты осуществления

Настоящее изобретение будет описано далее на конкретных вариантах реализации.

Хорошо известно, что получение достаточного количества маркированных обучающих данных является ключевым для обучения моделей глубокой сегментации материала. В случае проблемы глубокой сегментации материала в сценариях разрушения здания также необходим сбор достаточного количества данных об изображениях, а также построение обучающего набора, при этом каждому пикселу на каждом изображении должна быть присвоена категория материала. Данная работа по маркированию является времязатратной и трудоемкой. Даже при значительных капиталовложениях в ручное маркирование, результаты все равно сталкиваются со следующими проблемами (как изображено на Фиг. 1).

(1) Пропуск маркеров: потенциальные категории материалов объектов, например, стальная арматура и металлические оконные рамы, не маркируются вследствие их мелких деталей, что делает их маркирование времязатратным, и зачастую их просто не маркируют.

(2) Неясность категорий материалов: категории материалов объектов визуально нечеткие, что означает, что даже если они будут маркированы, то в маркированных категориях все равно могут быть несоответствия.

(3) Грубые границы областей материалов: границы областей материалов зачастую являются грубыми, что усложняет отличие разных областей материалов друг от друга и приводит к недостаточному или излишнему маркированию некоторых областей материалов.

Ввиду этого, маркированный набор данных сегментации материала анализируют для идентификации изображений с общими проблемами, опираясь на указанные выше проблемы. Затем на этих изображениях выполняют ручную очистку и коррекцию. Например, как изображено на Фиг. 1, оголенная стальная арматура в бетоне стен снесенного здания не была сегментирована как металл в процессе ручного маркирования. Главным образом это было вызвано тем, что металлическая арматура является тонкой, что подобно электрическому столбу в сценариях дороги, и это делает их маркирование проблематичным. Кроме того, существуют неясные случаи в отношении необходимости маркирования, например, небольшие камни в цементе или грязные дороги, которые не относятся к категориям железобетона или кирпичей.

Далее, основной метрикой для производительности сегментации материала является среднее пересечение по объединению (mIoU), которая является одним из наиболее общеиспользуемых индикаторов анализа производительности семантической сегментации изображений. Она учитывает точность семантического распознавания (если распознавание неправильное, то mIoU будет явным образом понижаться) и точность сегментации при обеспечении достоверности (недостаточная сегментация и излишняя сегментация могут снизить mIoU). Кроме того, поскольку mIoU является средним значением IoU по всем категориям, она накладывает требование к точности на каждую категорию, предотвращая негативное влияние улучшений производительности IoU для одной категории на IoU других категорий.

Для улучшения IoU важно, во-первых, обеспечить точность распознавания категорий в каждой семантической области, а во-вторых, также обеспечить точность сегментации семантических областей. Для классификации материала модель должна обладать высокой способностью к обучению; в дополнение к наличию исключительной способности к распознаванию категорий, она также должна надлежащим образом предотвращать обучение каких-либо отклонений и дисбаланса категорий, присутствующих в масках сегментации из обучающего набора. Лишь после этого mIoU потенциально может быть улучшена. В отношении сегментации, если граничное маркирование семантических областей во время ручного маркирования выполнено неосторожно, то получаемая модель в конечном итоге будет случайной, что приведет к низкой точности сегментации и, следовательно, низкой mIoU. Таким образом, очень важно обеспечить максимально возможную точность маркированных выборок.

В свете описанных выше проблем, в настоящем изобретении представлен способ сегментации материала для сценариев разрушения здания, в котором используют полуавтоматический способ генерирования обучающих выборок. Этот подход не только повышает эффективность маркирования при сегментации материала, приводя к более сбалансированному представлению категорий материалов в маркированных выборках, но также предлагает способ доменной адаптации для модели глубокой сегментации материала, что в совокупности обеспечивает превосходную производительность mIoU модели сегментации материала. Способ включает следующие этапы:

1. Генерирование обучающих выборок для сценариев разрушения здания: для эффективного снижения нагрузки маркирования категорий материалов по уровням пикселов в ходе сегментации материалов, изображения обучающих выборок и их маркеры генерируются с использованием общедоступных наборов данных. Сначала устойчивую модель сегментации материала сценария дороги обучают с использованием набора данных о материале общедоступного сценария дороги, обеспечивая возможность получения большего количества результатов сегментации материала для увеличения набора данных о материале сценария дороги. Изображения зданий с каждой стороны сценария дороги получают из фронтальной перспективы посредством обратной перспективной трансформации. Затем различные материальные объекты случайным образом накладываются на эти изображения здания для имитации областей разрушения.

2. Обучение базовой модели сегментации материала сгенерированными обучающими выборками.

3. Способ доменной адаптации для сценариев здания: модель глубокой сегментации материала, обученная на имитированных обучающих выборках (называемая базовой моделью сегментации материала), обладает фундаментальными способностями к распознаванию материала. Однако в случае конкретных вариантов применения на практике для дополнительной адаптации требуется способ доменной адаптации. Во-первых, выполняют захват последовательности изображений сценария и маркирование нескольких изображений. Затем модель может использовать захваченную последовательность сценария и маркированные изображения вместе с базовой моделью сегментации материала для автоматического достижения доменной адаптации.

Вариант реализации 1: способ сегментации материала для сценариев разрушения здания, представленный в данном варианте реализации, включает этапы, на которых:

получают изображение целевого сценария разрушения здания, подлежащее сегментации; и

вводят изображение целевого сценария разрушения здания, подлежащее сегментации, в обученную модель сегментации материала сценария разрушения здания с получением результата сегментации материала;

причем получение обученной модели сегментации материала сценария разрушения здания включает этапы, на которых:

обучают первую модель глубокой семантической сегментации с использованием первого набора данных о материале сценария дороги с получением модели сегментации материала сценария дороги, при этом первый набор данных о материале сценария дороги содержит множество изображений сегментации материала сценария дороги и соответствующие маркеры материала;

обрабатывают набор данных семантической сегментации сценария дороги с использованием модели сегментации материала сценария дороги с получением маркированного изображения сегментации материала сценария дороги; добавляют маркированное изображение сегментации материала сценария дороги в первый набор данных о материале сценария дороги с получением второго набора данных о материале сценария дороги;

преобразуют изображения сегментации материала сценария дороги во втором наборе данных о материале сценария дороги с получением набора данных о материале сценария здания; добавляют материальные объекты области разрушения и соответствующие маркеры материала на изображение набора данных о материале сценария здания с получением набора данных о материале сценария разрушения здания;

обучают вторую модель глубокой семантической сегментации с использованием набора данных о материале сценария разрушения здания с получением базовой модели сегментации материала сценария разрушения здания; и

выполняют доменное адаптивное обучение на базовой модели сегментации материала сценария разрушения здания с использованием маркированных изображений на изображениях последовательности целевого сценария с получением обученной модели сегментации материала сценария разрушения здания.

В некоторых вариантах реализации выполнение доменного адаптивного обучения на базовой модели сегментации материала сценария разрушения здания с использованием маркированных изображений на изображениях последовательности целевого сценария включает этапы, на которых:

выбирают типичные изображения среди изображений последовательности целевого сценария для маркирования и улучшения качества данных с получением эталонного изображения (обучающей выборки целевого сценария); в соответствии с эталонным изображением, извлекают изображения с подобными структурами сценария из набора данных о материале сценария разрушения здания с формированием обучающего набора миграции домена;

выполняют обучение с точной настройкой на базовой модели сегментации материала сценария разрушения здания с использованием обучающего набора миграции домена с получением усовершенствованной модели; и

итеративно выполняют циклические этапы до удовлетворения заранее заданного условия с получением обученной модели сегментации сценария разрушения здания, при этом циклические этапы включают в себя:

обработку изображений последовательности целевого сценария с использованием усовершенствованной модели с получением маркированного изображения целевого сценария;

извлечение изображений с подобными структурами сценария из набора данных о материале сценария разрушения здания в соответствии с изображением целевого сценария с получением обновленного обучающего набора миграции домена; и

выполнение обучения с точной настройкой на усовершенствованной модели с использованием обновленного обучающего набора миграции домена с получением обновленной усовершенствованной модели.

В некоторых вариантах реализации заранее заданное условие заключается в итеративном выполнении циклических этапов от 3 до 5 раз.

В некоторых вариантах реализации первая модель глубокой семантической сегментации и вторая модель глубокой семантической сегментации представляют собой модели SegFormer.

В некоторых вариантах реализации первый набор данных о материале сценария дороги представляет собой набор данных McubeS.

В некоторых вариантах реализации набор данных семантической сегментации сценария дороги выбирают из по меньшей мере одного из набора данных CamVid, набора данных CityScape и набора данных Kitti.

В некоторых вариантах реализации преобразование изображений сегментации материала сценария дороги во втором наборе данных о материале сценария дороги с получением набора данных о материале сценария здания включает этапы, на которых:

для каждого изображения сегментации материала сценария дороги во втором наборе данных о материале сценария дороги трансформируют сценарии здания на обеих сторонах в сценарии здания на виде спереди посредством трансформации перспективной проекцией с получением маркированных изображений переднего вида здания, составляющих набор данных о материале сценария здания.

В некоторых вариантах реализации добавление материальных объектов области разрушения и соответствующих маркеров материала на изображение набора данных о материале сценария здания с получением набора данных о материале сценария здания включает этапы, на которых:

строят область разрушения на изображении набора данных о материале сценария здания, при этом область разрушения относится к частям, которые остались стоять после естественного разрушения или сноса здания человеком;

используют набор данных о текстурах для вставки изображений неоднородных текстурных блоков в область здания, где построено изображение области разрушения, при этом изображение текстурного блока содержит по меньшей мере одно из кирпичей, щебня, глины, стальной арматуры и оконных рам; и

используют набор данных COCO для случайного наложения материальных объектов на оставшиеся части здания, имитируют внутренние объекты, которые выявлены после разрушения внешних стен здания.

В некоторых вариантах реализации построение области разрушения на изображении набора данных о материале сценария здания включает этапы, на которых:

получают ограничивающий прямоугольник здания для изображения набора данных о материале сценария здания, выбирают точку на любых двух из левой, верхней и правой сторон ограничивающего прямоугольника здания с формированием соединительной линии или прерывистой линии, имитируют линию проекции поперечного сечения на изображение и задают область, определенную соединительной линией или прерывистой линией и тремя сторонами ограничивающего прямоугольника здания, белого или голубого цвета для имитации разреза здания в сценарии здания;

альтернативно, начиная с верхнего края области изображения здания, случайным образом используют структурные элементы различных размеров и форм для выполнения морфологической эрозии на точках непрерывного края области изображения здания и заменяют области эрозии на среднее значение пиксела окружающей области здания.

В некоторых вариантах реализации улучшение качества данных включает этапы, на которых: выполняют по меньшей мере одно из обрезки, переворачивания, смещения, а также изменения яркости и цвета типичного изображения; и

добавляют материальные объекты области разрушения и соответствующие маркеры материала на типичное изображение: получают изображения множества разрушенных зданий с использованием операций усечения и эрозии, а затем накладывают изображения текстурных блоков и материальные объекты.

В некоторых вариантах реализации извлечение изображений с подобными структурами сценариев из набора данных о материале сценария разрушения здания включает этапы, на которых:

вычисляют mIoU маркированного изображения эталонного изображения/изображения целевого сценария и маркированного изображения каждого изображения набора данных о материале сценария разрушения здания, при этом mIoU – это среднее пересечение по объединению (mean intersection over union) для каждой категории материала; и

берут верхний 1% изображений из набора данных о материале сценария разрушения здания с максимальными значениями mIoU в качестве изображений с подобными структурами сценариев.

В некоторых конкретных вариантах реализации, как изображено на Фиг. 2, модель сегментации материала сценария дороги обучают с использованием общедоступного набора данных о материале сценария дороги McubeS (который содержит лишь 500 обучающих выборок). Может использоваться любая модель глубокой семантической сегментации, при этом предпочтительной является SegFormer. Затем модель используют для обработки общедоступного набора данных о материале сценария дороги, а изображения с достоверными результатами распознавания материала вручную выбирают и добавляют в набор данных о материале сценария дороги McubeS для его увеличения. Используя гомографическую трансформацию, здания с обеих сторон набора данных о материале сценария дороги трансформируют из изображения вида сбоку в изображение вида спереди. Все изображения вида спереди затем объединяют для создания набора данных о материале сценария здания. Далее, каждое изображение в наборе данных сценария здания используют в качестве фона для зданий, на который случайным образом добавляют изображения материальных объектов для формирования области разрушения, что дает набор данных о материале сценария разрушения здания. Используя разработанный набор данных о материале сценария разрушения здания, обучают модель глубокой семантической сегментации (которая может воспроизводить модель сегментации материала сценария дороги или может представлять собой любую другую модель глубокой семантической сегментации), что дает базовую модель сегментации материала сценария разрушения здания. Для конкретного сценария развертывания этой модели сначала собирают сегмент видео сценария. Благодаря маркированию только нескольких изображений, доменная адаптация может выполняться на базовой модели сегментации материала сценария разрушения здания, создавая усовершенствованную модель сегментации материала, которая надлежащим образом адаптирована к конкретному сценарию применения.

Конкретный вариант реализации является следующим.

1. Преобразование из набора данных семантической сегментации сценария дороги в набор данных сегментации материала сценария дороги

Доступно большое количество наборов данных семантической сегментации, большинство из которых сфокусировано на сценариях дороги главным образом за счет возрастания популярности области автономного вождения за последние годы, например, наборы данных CamVid, CityScape и Kitti. Эти наборы данных обеспечивают широкое разнообразие целевых категорий, включая дороги, автомобили, велосипеды и здания. Согласно данной заявке, они сперва преобразуются в наборы данных о материале благодаря некоторым недавно выпущенным наборам данных о материале сценария дороги, содержащим 500 изображений сегментации материала вместе с их маркерами, охватывая 20 категорий материала, подходящих для обучения сегментации материала сценария дороги. В данной заявке используются данные сегментации материала для обучения модели сегментации материала SegFormer, а также внедряется механизм трансферного обучения для ее эффективного применения к указанному выше набору данных семантической сегментации сценария дороги.

Анализ показывает, что результаты распознавания модели сегментации материала SegFormer, обученной на общих сценариях дороги, характеризуются небольшим количеством ошибок идентификации категории материала, но более значимо – ошибками сегментации. Незначительные ошибки идентификации категории материала могут быть проигнорированы или исправлены вручную, а ошибки сегментации могут быть автоматически исправлены с использованием точных семантических маркеров в наборах данных семантической сегментации сценария дороги. Этот процесс обеспечивает возможность трансформации этих наборов данных в данные о материале сценария дороги, тем самым увеличивая объем наборов данных о материале сценария дороги.

2. Преобразование из набора данных сегментации материала сценария дороги в набор данных сегментации материала сценария разрушения здания

Эта структурная схема сценариев дороги главным образом включает в себя дорогу по центру, с каждой стороны от которой находятся здания, тогда как главная структура сценария разрушения здания ориентирована непосредственно к зданию. Между ними двумя имеют место некоторые перекрытия, например, при прохождении поворотов или на T-образных перекрестках, где зачастую присутствуют фронтальные здания. Кроме того, при работе машины для сноса зданий сбоку, главное здание видео сбоку. Однако в большинстве случаев одним видом главным образом является вид сбоку, тогда как другим видом является вид спереди. Таким образом, необходимо выполнить трансформацию сценария дороги в сценарий здания, эффективным образом преобразуя набор данных о материале сценария дороги в набор данных о материале сценария здания. Это достигается путем применения трансформации перспективной проекцией (гомографической трансформации) для преобразования зданий с обеих сторон в вид зданий спереди. Трансформация перспективной проекцией представлена матрицей трансформации 3х3:

В целом, необходимо извлечь соответствующие точки из изображений перед и после трансформации (что обозначено голубыми линиями на Фиг. 3) для получения параметров матрицы трансформации. Однако этот процесс является достаточно прямолинейным. С учетом структуры сценария дороги и характеристик перспективной матрицы, может быть известно, что здания с обеих сторон создают трапециевидную область, которая кажется больше на переднем плане и меньше на заднем плане за счет перспективной проекции, которая должна представлять собой прямоугольную область без перспективной трансформации. Таким образом, в данной заявке может быть конкретизирована соответствующая трапециевидная область и прямоугольная область, а за счет использования геометрического отношения между трапециевидной областью и прямоугольной областью может быть получена матрица трансформации для завершения обратной трансформации перспективной проекцией. Это дает изображения вида спереди здания вместе с соответствующим маркированным изображением материала изображения вида спереди здания с маркированного изображения материала сценария дороги.

3. Генерирование материальных объектов и маркеров области разрушения

Основываясь на наборе данных о материале сценария здания, может быть построена область разрушения. Область разрушения главным образом относится к частям, которые остались стоять после естественного разрушения или сноса здания человеком. Сначала получают ограничивающий прямоугольник здания, выбирают точку из любых двух из левой, верхней и правой сторон ограничивающего прямоугольника здания с формированием соединительной линии или прерывистой линии (путем выбора некоторых срединных точек посредством метода половинного деления и смещения этих срединных точек по вертикали на несколько пикселов), имитируют линию проекции поперечного сечения на изображение и задают область, определенную соединительной линией или прерывистой линией и тремя сторонами ограничивающего прямоугольника здания, белого или голубого цвета для имитации разреза здания в сценарии здания. Этот способ сопоставим с удалением сначала большей части верхушки здания, которое в некоторой степени является упрощенным. Для имитации частичного разрушения, другой подход включает этапы, на которых: начиная с верхнего края области изображения здания, случайным образом используют структурные элементы различных размеров и форм (например, в форме кругов или квадратов) для выполнения морфологической эрозии на точках непрерывного края области изображения здания и заменяют области эрозии на среднее значение пиксела окружающей области здания (в основном области неба).

Кроме того, зданию присваивают специфические изображения текстурных блоков, например, кирпичей, щебня, глины, стальной арматуры и оконных рам, для имитации оголенных кирпичей, бетона и стальной арматуры после сноса здания. Поскольку эти текстуры взяты из общедоступных наборов данных о текстурах, важно соблюдать баланс серого. При применении соответствующих изображений текстурных блоков их значения серого должны быть отрегулированы на основе их среднего значения и контраста для получения, обеспечивая то, что среднее значение и контраст изображений текстурных блоков соответствуют среднему значению и контрасту области, в которой они будут применены. Формула является следующей:

Для таких текстур, как кирпичи, щебень и глина, различные формы, подобные формам в игре «Тетрис» (O, L, I, S, Z, J, T), могут быть случайным образом сгенерированы в виде изображений маски модуля M (где 0 – это фон, а 1 – это форма), которые затем поэлементно умножаются на изображения текстурных блоков P для формирования текстур, соответствующих формам, обозначенным маской модуля. Эти текстуры затем применяют к области здания. В случае стальной арматуры может быть сгенерирован кластер кривых с использованием метода генерирования кривых Безье, при этом их значения серого являются темнее (в целом ниже 30). Однако эти значения серого не должны быть фиксированными для обеспечения реалистичности. Вместо этого, значения серого должны быть заданы на основе коэффициента серого (случайное число от 0,5 до 0,8) в отношении среднего значения серого на фоне здания. Если обозначить среднее значение серого на локальном фоне, окружающем точки пикселов, где будет применена стальная арматура, как , то значение серого стальной арматуры может быть вычислено на основе .

В дополнение к изображениям неоднородных текстурных блоков, на оставшиеся структуры здания накладывают различные материальные объекты, такие как деревянные доски, кондиционеры, знаки и пластиковые завесы. Эти материальные объекты отображаются в случайном порядке и распределяются по поверхностям оставшихся структур при возможном перекрытии нескольких материальных объектов друг другом. В данной заявке для генерирования материальных объектов используется набор данных COCO, который представляет собой общую базу данных распознавания объектов, содержащую широкий ряд предметов повседневной жизни. Большинство этих категорий материалов являются относительно единообразными, при этом лишь несколько объектов включают в себя несколько материалов. Категории, имеющие единообразные типы материала, выбирают из этого набора данных, а какие-либо не единообразные изображения объектов редактируют вручную, тем самым получая обширное многообразие материальных объектов. Эти материальные объекты могут проходить различные трансформации формы и могут быть наложены на здание для имитации объектов, оголяемых после разрушения внешних стен здания. Поскольку материалы привязаны к их соответствующим категориям объектов, которые известны, а набор данных COCO обеспечивает изображения маски, указывающие на текущие расположения пикселов объектов, также могут быть получены маркеры для типов материалов объектов в области разрушения при их наложении на изображения зданий.

4. Доменное адаптивное обучение для сценариев разрушения здания

Набор данных о материале сценария разрушения здания, полученный на описанных выше этапах (как изображено на Фиг. 4), может использоваться для обучения базовой модели сегментации материала. В данной заявке выбирают SegFormer в качестве базовой модели сегментации материала, которая изначально представляет собой модель семантической сегментации. Путем преобразования ее семантических категорий объектов в необходимые категории материала и ее обучения набором данных о материале сценария разрушения здания может быть получена желаемая модель сегментации материала.

Как изображено на Фиг. 5, при фактическом применении модель сначала выполняет захват видеороликов из нового сценария, и ей необходимо лишь несколько (например, три) типичных изображений из видеоролика для маркирования. Путем использования традиционных способов аугментации данных, таких как обрезка, переворачивание, смещение, а также изменение яркости и цвета, вместе со способом генерирования выборок, предложенным на Этапе 3, который включает в себя получение изображений частично разрушенных зданий посредством операций усечения и эрозии, а также наложения на них изображений объектов и текстурных блоков, этот процесс можно рассматривать как конкретный тип аугментации данных. Таким образом, из этих изображений может быть сгенерировано значительное количество обучающих выборок. Благодаря базовой модели сегментации материала, собранным новым изображениям видеопоследовательности сценария, а также обучающим выборкам, имеющим маркеры материала, полученные из нескольких маркированных изображений, может быть инициировано доменное адаптивное обучение. Этот процесс состоит из нескольких стадий, начиная с выбора нескольких эталонных изображений из обучающих выборок с маркерами материалов, развернутыми посредством описанных выше технологий аугментации данных. Следующая стадия заключается в выполнении поиска изображений с подобными структурами сценария во всех наборах данных о материале сценария разрушения здания, используемых для обучения базовой модели сегментации материала. Этот процесс выполняется путем вычисления метрики mIoU, представляющей собой среднее пересечение по объединению для каждой категории материала, которое выполняется с использованием следующей формулы:

где обозначает то, что категория прогнозируется как категория . Важно отметить, что маркированные изображения эталонных изображений сравнивают с маркированными изображениями каждого изображения в наборе данных сегментации материала сценария разрушения здания для вычисления метрики mIoU, а верхний 1% с максимальными значениями выбирают в качестве изображений с подобными структурами сценария.

В описанном выше процессе извлечения формируется исходный набор обучения с доменным переносом, а базовая модель сегментации материала подвергается обучению с точной настройкой, что включает в себя обучение в течение нескольких циклов с низкой скоростью обучения. Это дает усовершенствованную модель I. Новые изображения видеопоследовательности сценария обрабатывают с использованием усовершенствованной модели I, а далее выбирают изображения из набора данных о материале сценария разрушения здания, что дает обновленный набор обучения с доменным переносом. Затем выполняют вторичную точную настройку, давая усовершенствованную модель II. Этот процесс повторяют, как правило, от 3 до 5 циклов.

Вариант реализации 2: основываясь на Варианте реализации 1, в данном варианте реализации представлена система для сегментации материала для сценариев разрушения здания, содержащая память и процессор, причем память используется для хранения инструкций, а инструкции используются для управления процессором для реализации способа сегментации материала для сценариев разрушения здания, описанного в Варианте реализации 1.

Вариант реализации 3: основываясь на Вариантах реализации 1 и 2, в данном варианте реализации представлена машина для сноса зданий, содержащая систему для сегментации материала для сценариев разрушения здания.

Специалисту в данной области техники будет ясно, что варианты реализации настоящего изобретения могут быть представлены в виде способов, систем или компьютерных программных продуктов. Таким образом, настоящее изобретение может принимать форму варианта реализации полностью в виде аппаратного обеспечения, варианта реализации полностью в виде программного обеспечения или варианта реализации, в котором объединены аспекты программного и аппаратного обеспечения. Кроме того, настоящее изобретение может быть представлено в форме компьютерного программного продукта, реализованного на одном или более компьютерочитаемых носителях данных (в том числе, но без ограничения, памяти на магнитном диске, CD-ROM, оптической памяти и т. д.), в котором реализован компьютерочитаемый программный код.

Настоящее изобретение описано со ссылкой на диаграммы и/или блок-схемы способа, устройства (системы) и компьютерного программного продукта согласно вариантам реализации настоящего изобретения. Следует понимать, что каждый переход и/или блок на диаграммах и/или блок-схемах и комбинация переходов и/или блоков на диаграммах и/или блок-схемах может быть реализован компьютерными программными инструкциями. Эти инструкции компьютерной программы могут быть выданы процессору компьютера общего назначения, компьютера специального назначения, встроенному процессору или другому программируемому устройству для обработки данных для получения машины, так что инструкции, исполняемые процессором компьютера или другим программируемым устройством для обработки данных, дают устройство для реализации функций, указанных в одном или более процессах на схемах и/или одном или более блоках на блок-диаграммах.

Эти инструкции компьютерной программы также могут храниться в компьютерочитаемой памяти, в результате чего компьютер или другое программируемое устройство для обработки данных может функционировать определенным образом, так что инструкции, хранящиеся в компьютерочитаемой памяти, дают изделие, содержащее инструктирующее устройство, которое реализует функции, указанные в одном или более процессах на схемах и/или одном или более блоках на блок-диаграммах.

Эти инструкции компьютерной программы также могут быть загружены на компьютер или другое программируемое устройство для обработки данных, так что ряд рабочих этапов выполняется на компьютере или другом программируемом устройстве для обработки данных для получения реализуемого на компьютере процесса, а инструкции, исполняемые на компьютере или другом программируемом устройстве для обработки данных, обеспечивают этапы для реализации функций, указанных в одном или более процессах на схемах и/или одном или более блоках на блок-диаграммах.

Выше приведены лишь предпочтительные варианты реализации изобретения, и следует отметить, что специалист в данной области техники сможет реализовать некоторые улучшения и модификации, не выходя при этом за рамки сущности изобретения, причем эти улучшения и модификации также следует рассматривать как входящие в объем защиты настоящего изобретения.

Группа изобретений относится к области оборудования для сноса зданий и может быть использована для сегментации материала для сценариев разрушения здания. Техническим результатом является повышение точности сегментации материала сносимого здания. Способ содержит этапы, на которых: вводят изображение целевого сценария разрушения здания, подлежащее сегментации, в обученную модель сегментации материала сценария разрушения здания с получением результата сегментации материала; причем получение модели сегментации материала сценария разрушения здания включает этапы, на которых: получают набор данных о материале сценария дороги; преобразуют изображения сегментации материала сценария дороги в набор данных о материале сценария дороги с получением набора данных о материале сценария здания; добавляют материальные объекты области разрушения и соответствующие маркеры материала на изображение набора данных о материале сценария здания с получением набора данных о материале сценария разрушения здания; обучают вторую модель глубокой семантической сегментации с использованием набора данных о материале сценария разрушения здания с получением базовой модели сегментации материала сценария разрушения здания; и выполняют доменное адаптивное обучение на базовой модели сегментации материала сценария разрушения здания с использованием маркированных изображений в изображениях последовательности целевого сценария с получением обученной модели сегментации материала сценария разрушения здания. 3 н. и 8 з.п. ф-лы, 5 ил.

1. Способ сегментации материала для сценариев разрушения здания, включающий этапы, на которых:

получают изображение целевого сценария разрушения здания, подлежащее сегментации; и

вводят изображение целевого сценария разрушения здания, подлежащее сегментации, в обученную модель сегментации материала сценария разрушения здания с получением результата сегментации материала;

причем получение обученной модели сегментации материала сценария разрушения здания включает этапы, на которых:

обучают первую модель глубокой семантической сегментации с использованием первого набора данных о материале сценария дороги с получением модели сегментации материала сценария дороги, при этом первый набор данных о материале сценария дороги содержит множество изображений сегментации материала сценария дороги и соответствующие маркеры материала;

обрабатывают набор данных семантической сегментации сценария дороги с использованием модели сегментации материала сценария дороги с получением маркированного изображения сегментации материала сценария дороги; добавляют маркированное изображение сегментации материала сценария дороги в первый набор данных о материале сценария дороги с получением второго набора данных о материале сценария дороги;

преобразуют изображения сегментации материала сценария дороги во втором наборе данных о материале сценария дороги с получением набора данных о материале сценария здания; добавляют материальные объекты области разрушения и соответствующие маркеры материала на изображение набора данных о материале сценария здания с получением набора данных о материале сценария разрушения здания;

обучают вторую модель глубокой семантической сегментации с использованием набора данных о материале сценария разрушения здания с получением базовой модели сегментации материала сценария разрушения здания; и

выполняют доменное адаптивное обучение на базовой модели сегментации материала сценария разрушения здания с использованием маркированных изображений на изображениях последовательности целевого сценария с получением обученной модели сегментации материала сценария разрушения здания.

2. Способ сегментации материала для сценариев разрушения здания по п. 1, отличающийся тем, что выполнение доменного адаптивного обучения на базовой модели сегментации материала сценария разрушения здания с использованием маркированных изображений на изображениях последовательности целевого сценария включает этапы, на которых:

выбирают типичные изображения среди изображений последовательности целевого сценария для маркирования и улучшения качества данных с получением эталонного изображения; в соответствии с эталонным изображением, извлекают изображения с подобными структурами сценария из набора данных о материале сценария разрушения здания с формированием обучающего набора миграции домена;

выполняют обучение с точной настройкой на базовой модели сегментации материала сценария разрушения здания с использованием обучающего набора миграции домена с получением усовершенствованной модели; и

итеративно выполняют циклические этапы до удовлетворения заранее заданного условия с получением обученной модели сегментации сценария разрушения здания, при этом циклические этапы включают в себя:

обработку изображений последовательности целевого сценария с использованием усовершенствованной модели с получением маркированного изображения целевого сценария;

извлечение изображений с подобными структурами сценария из набора данных о материале сценария разрушения здания в соответствии с изображением целевого сценария с получением обновленного обучающего набора миграции домена; и

выполнение обучения с точной настройкой на усовершенствованной модели с использованием обновленного обучающего набора миграции домена с получением обновленной усовершенствованной модели.

3. Способ сегментации материала для сценариев разрушения здания по п. 2, отличающийся тем, что заранее заданное условие заключается в итеративном выполнении циклических этапов от 3 до 5 раз.

4. Способ сегментации материала для сценариев разрушения здания по п. 1, отличающийся тем, что первая модель глубокой семантической сегментации и вторая модель глубокой семантической сегментации представляют собой модели SegFormer.

и/или первый набор данных о материале сценария дороги представляет собой набор данных McubeS;

и/или набор данных семантической сегментации сценария дороги выбирают из по меньшей мере одного из набора данных CamVid, набора данных CityScape и набора данных Kitti.

5. Способ сегментации материала для сценариев разрушения здания по п. 1, отличающийся тем, что преобразование изображений сегментации материала сценария дороги во втором наборе данных о материале сценария дороги с получением набора данных о материале сценария здания включает этапы, на которых:

для каждого изображения сегментации материала сценария дороги во втором наборе данных о материале сценария дороги трансформируют сценарии здания на обеих сторонах в сценарии здания на виде спереди посредством трансформации перспективной проекцией с получением маркированных изображений переднего вида здания, составляющих набор данных о материале сценария здания.

6. Способ сегментации материала для сценариев разрушения здания по п. 1, отличающийся тем, что добавление материальных объектов области разрушения и соответствующих маркеров материала на изображение набора данных о материале сценария здания с получением набора данных о материале сценария здания включает этапы, на которых:

строят область разрушения на изображении набора данных о материале сценария здания, при этом область разрушения относится к частям, которые остались стоять после естественного разрушения или сноса здания человеком;

используют набор данных о текстурах для вставки изображений неоднородных текстурных блоков в область здания, где построено изображение области разрушения, при этом изображение текстурного блока содержит по меньшей мере одно из кирпичей, щебня, глины, стальной арматуры и оконных рам; и

используют набор данных COCO для случайного наложения материальных объектов на оставшиеся части здания, имитируют внутренние объекты, которые выявлены после разрушения внешних стен здания.

7. Способ сегментации материала для сценариев разрушения здания по п. 6, отличающийся тем, что построение области разрушения на изображении набора данных о материале сценария здания включает этапы, на которых:

получают ограничивающий прямоугольник здания для изображения набора данных о материале сценария здания, выбирают точку на любых двух из левой, верхней и правой сторон ограничивающего прямоугольника здания с формированием соединительной линии или прерывистой линии, имитируют линию проекции поперечного сечения на изображение и задают область, определенную соединительной линией или прерывистой линией и тремя сторонами ограничивающего прямоугольника здания, белого или голубого цвета для имитации разреза здания в сценарии здания;

альтернативно, начиная с верхнего края области изображения здания, случайным образом используют структурные элементы различных размеров и форм для выполнения морфологической эрозии на точках непрерывного края области изображения здания и заменяют области эрозии на среднее значение пиксела окружающей области здания.

8. Способ сегментации материала для сценариев разрушения здания по п. 2, отличающийся тем, что улучшение качества данных включает этапы, на которых: выполняют по меньшей мере одно из обрезки, переворачивания, смещения, а также изменения яркости и цвета типичного изображения; и

добавляют материальные объекты области разрушения и соответствующие маркеры материала на типичное изображение: получают изображения множества разрушенных зданий с использованием операций усечения и эрозии, а затем накладывают изображения текстурных блоков и материальные объекты.

9. Способ сегментации материала для сценариев разрушения здания по п. 2, отличающийся тем, что извлечение изображений с подобными структурами сценариев из набора данных о материале сценария разрушения здания включает этапы, на которых:

вычисляют mIoU маркированного изображения эталонного изображения/изображения целевого сценария и маркированного изображения каждого изображения набора данных о материале сценария разрушения здания, при этом mIoU – это среднее пересечение по объединению (mean intersection over union) для каждой категории материала; и

берут верхний 1% изображений из набора данных о материале сценария разрушения здания с максимальными значениями mIoU в качестве изображений с подобными структурами сценариев.

10. Система для сегментации материала для сценариев разрушения здания, содержащая память и процессор, причем память используется для хранения инструкций, а инструкции используются для управления процессором для реализации способа сегментации материала для сценариев разрушения здания по любому из пп. 1-9.

11. Машина для сноса зданий, содержащая систему для сегментации материала для сценариев разрушения здания по п. 10.