СПОСОБ ВЫДЕЛЕНИЯ РЕЛЬЕФНЫХ ФОРМ НА 3D-МОДЕЛЯХ КАМЕННЫХ ИЗВАЯНИЙ, ПОЛУЧЕННЫХ С ПОМОЩЬЮ ФОТОГРАММЕТРИИ Российский патент 2024 года по МПК G06T15/04 G06F30/00 G06T7/50 

Изобретение относится к области компьютерного 3D-моделирования, а именно преобразования цифровых копий археологических объектов (каменных изваяний), полученных с помощью фотограмметрии, с целью анализа геометрии их поверхности и выявления углубленных контуров, сделанных выбивкой или другими техниками (прочерчивание, прошлифовка).

Область техники. Необходимость ручной прорисовки изображений на каменных изваяниях по фотографиям или микалентным копиям - это трудоемкая и субъективно неоднозначная задача исследования, требующая определенного подхода как к методам фотографирования и копирования археологического объекта, так и к интерпретации полученных результатов. На фотографии, с которой ведется прорисовка, представлено лишь двухмерное изображение трехмерного объекта, третья координата на ней отсутствует и может восприниматься лишь условно, только как комбинация светотени или субъективное видение перспективы. К тому же на фотоснимке трудно уловить границы изобразительной линии. При результатах микалентного копирования имеются те же проблемы, которые усугубляются различным качеством получаемого оттиска и деформацией используемого длинноволокнистого хлопкового полотна.

Создание цифровой копии методом фотограмметрии позволяет поместить модель в виртуальное пространство для визуализации и анализа с использованием приложения трехмерного автоматизированного проектирования (CAD), где пределы возможностей законов физики, в частности, оптики, гораздо шире, что дает возможность гораздо проще и качественнее провести прорисовку и разработать алгоритм компьютерного восприятия, работающий с SD-геометрией и взаимодействующий со светом в процессе, называемом рендерингом (визуализацией изображений).

Актуальностью такого действия является то, что подобный результат, полученный полностью в автоматическом режиме, обеспечивает исследователю существенную экономию времени, а главное позволяет получить более адекватную копию, правильно интерпретировать зафиксированную информацию и даже служить инструментом решения спорных моментов. Также объект сохраняет при этом формат 3D и может рассматриваться со всех сторон вращением, приближением с получением рендера множества ракурсов и частей. Технология применяется как ко всей модели, так и к ее части, содержащей неоднозначно трактуемую информацию.

Аналоги. Задача помощи исследователю заключается в том, чтобы рассмотреть и зафиксировать малозаметные детали, сконцентрировать его внимание на нужных участках объекта путем выделения всех выбивок на цифровой копии, а также предоставления предварительной прорисовки изобразительных линий является очень актуальной для специалистов в области археологии. За последние годы предпринимались попытки ее решения на основе применения уже существующих алгоритмов программного обеспечения, не созданных для этой цели, но имеющих функционал, который может быть использован.

Существующие аналоги подобных алгоритмов применимы для анализа специфических особенностей ландшафтов, таких как долины, хребты, вершины, ямы или аномалии, связанные с археологическими памятниками [1]. Эти алгоритмы рассматривают поверхности камня как ландшафт, а участки выбивки - в виде небольших долин, окаймленных склонами и гребнями. Использование подобных неспециализированных алгоритмов при анализе выбивок на камне имеет ряд недостатков, естественно возникающих в подобных случаях.

Применяется также один из простейших инструментов, имитирующий искусственное освещение на поверхности, который основан на том же принципе, что и использование наклонного источника света. Однако в таком случае глубина выбивки не может быть точно определена, как и какие-либо линейные аномалии, лежащие параллельно лучу света [2]. Несмотря на то, что несколько виртуальных источников света смягчают эти недостатки, данная процедура лучше адаптирована только именно к резким рельефам, чего во многих других случаях нет [2].

Известен способ затенения, основанный на алгоритме видимости (коэффициенте обзора - КО). Это широко используемый альтернативный метод затенения, в том числе для обнаружения археологических объектов по растровым данным лидара [2]. Он основан на измерении части полушария, ограниченного рельефом, видимым из заданной точки [3], и может быть получен для каждой ячейки и в пределах определенного радиуса [4]. Практически коэффициент обзора вычисляется путем дискретизации пространства в n направлениях и поиска вертикального угла (γ_i):

Обычно используют n = 8 секторов, которых считается достаточно для получения приемлемого результата при сохранении разумного времени вычислений. Значения коэффициента обзора, близкие к 1, указывают на максимальную видимость, и интерпретируется как выпуклая или горизонтальная поверхность. В то же время значения, близкие к 0, указывают на вогнутые части - долины или выбивки в нашем случае.

Недостатком представленного метода является то, что параметры (максимальный радиус) при этом устанавливается вручную с учетом размера объектов, которые будут выделены, поскольку от этого будет зависеть усиление основных структур при высоких значениях либо их детализации (а также шумов) при уменьшении радиуса. Это при одинаковой величине впадины у естественной шероховатости камня и выбивки приводит к искажению (зашумленности) результатов. К тому же максимальный видимый угол неба ограничен 90° (поскольку небо покрывает только полусферу), тогда как значения углов теоретически могут достигать 180° [5].

Также известен алгоритм, основанный на «открытости точки» или «степени доминирования или ограждения местоположения на неровной поверхности» [6]. Для вычисления положительной (или отрицательной) открытости определяется зенит (надир) для каждой ячейки в пределах искомого радиуса по восьми направлениям. Для каждого из них вычисляется наибольший угол к зениту (надиру) до пересечения с поверхностью. Затем эти значения усредняются, показывая вершины и гребни, впадины или отверстия, то есть вогнутости и выпуклости. Данный алгоритм имеет те же недостатки, что и у описанного выше, так как является неспециализированным и создан для решения других задач.

Известен метод, который был разработан для классификации форм рельефа с использованием распознавания образов, а не для дифференциальной геометрии [7]. В нем рассматривается локальная окрестность 3×3 вокруг центральной ячейки. Восемь соседей помечаются как (-), если они ниже, (+) - для более высоких значений и (0) - для равных значений. Таким образом, каждая ячейка определяется строкой из восьми меток, представляющим гео-морфон, то есть геоморфологический фенотип. Взаимосвязь между центральной ячейкой и его соседями основаны на видимости, как описано выше для «открытости точки» [7]. Недостатки представленного метода проистекают опять же из-за того, что он создан для решения других задач и не подходит для выбивки на камне, так как не обеспечивает качественного результата. В нем необходимо вручную настроить, по крайней мере, два важных параметра: расстояние поиска, которое соответствует максимальному масштабу элемента рельефа, и порог плоскостности, ниже которого любая местность считается плоской. Теоретически существует 3⁸=6561 различных (троичных) паттернов, но это число может быть уменьшено до 498 из-за наличия множества дубликатов после поворота и/или отражения. Но такое число все еще слишком велико. Поэтому геоморфоны сгруппированы в классы, соответствующие десяти наиболее распространенным формам рельефа: равнина, вершина, гребень, плечо, отрог, склон, лощина, подножие, долина и впадина [7]. Однако классифицировать подобным образом выбивку на камне зачастую просто невозможно.

Целью изобретения является полностью автоматический способ получения четкого рисунка выбивки, имеющейся на каменной поверхности изваяния, где явно выделены все возможные ее элементы (контуры, линии, углубления и т.п.).

Техническим результатом является существенное сокращение времени обработки, снижение трудоемкости, повышение точности и качества графического воспроизводства рисунка, выполненного выбивкой.

Технический результат достигается последовательностью следующих действий:

Проводят фотограмметрию археологического объекта (изваяния) с качеством модели, обеспечивающим четкий 3D-рельеф выбитых контуров. Получают UV-развертку. На 3D-модели объекта делают разрезы, зависящие от формы объекта, но их обязательно создают таким образом, чтобы получилось единое полотно. Создают два типа текстур. Первый тип получен на основании вычисления нормалей к каждому полигону поверхности, генерации облака точек на поверхности модели, поиске ближайших соседей и вычислении освещенности точки. Второй - на создании для каждой точки на поверхности луча, направленного в сторону окружающих объектов, проверки луча на пересечение с другими частями объекта, вычислении расстояния до ближайшего пересечения, в зависимости от которого вычисляется степень затенения. Затем суммируют данные этих текстур, получая конечные изображения. Изобретение осуществляется следующим образом:

1. Выполняют фотограмметрию археологического объекта (изваяния) с качеством модели, обеспечивающим четкий 3D-рельеф, необходимый для исследования выбитых контуров [8].

2. Выгруженную модель импортируют в профессиональное программное обеспечение для 3D-моделирования и визуализации (например, «Autodesk 3ds Мах» или «Blender 3D»). Создается UV-развертка (UV-развертка - это соответствие между координатами на поверхности трехмерного объекта (X,Y,Z) и координатами на текстуре (U,V)); на 3D-модели объекта делают разрезы, зависящие от формы объекта, но их обязательно создают таким образом, чтобы получилось единое полотно.

3. Для полученной модели с UV-разверткой формируют два типа текстур. В предлагаемом способе использована последовательность двух разработанных независимых алгоритмов (baking текстур первого и второго типа), основанных на том, что яркость каждой точки зависит от наличия в видимой полусфере других точек, доступности элемента поверхности лучам света и просчитывается проверкой пересечения лучей с другими участками каменной поверхности. Если такого пересечения нет и лучи уходят в бесконечность, то это увеличивает яркость точки и наоборот. В результате, чем больше точки оказываются окружены геометрией, тем они отображаются темнее - это те точки, которые находятся во впадинах. Чем дальше вглубь находится точка от поверхности, тем больше она окружена геометрией, и тем темнее будет отображаться. И, наоборот, - точки с малым количеством окружающей их геометрии (то есть выпуклые) будут выглядеть светлее. Оба алгоритма основаны на указанной логике, но имеют разную программную реализацию - первый основан на вычислении нормалей к каждому полигону поверхности, генерации облака точек на поверхности модели, поиске ближайших соседей и вычислении освещенности точки; второй - на создании для каждой точки на поверхности луча, направленного в сторону окружающих объектов, проверки луча на пересечение с другими частями объекта, вычислении расстояния до ближайшего пересечения, в зависимости от которого вычисляется степень затенения. Каждый из двух алгоритмов выделяет только часть выбивки, что связано с особенностью геометрии каждого из исследуемых объектов (формой, шероховатостью, перекрываемых зон поверхности и т.п.,). Данные алгоритмы, являясь инверсионными относительно друг друга, в конечном итоге дают сумму полученных данных, не имея зон потери информации о параметрах поверхности.

4. Суммируют данные двух типов текстур. Для этого в растровом графическом редакторе (например, «Photoshop») создают два слоя, в которые помещают полученные текстуры, при этом на верхний слой помещают текстуру первого типа. Смешивают содержимое двух слоев путем режима контрастного наложения и фильтров краевого контраста с получением конечной текстуры, на которой выделены все выбивки без потерь.

5. Применяют полученную текстуру к исходному объекту, путем помещения в текстурный слот и делают рендер.

Изобретение поясняется рисунками:

Фиг. 1. Пример археологического объекта (изваяния)

Фиг. 2. Размерная линейка

Фиг. 3. Рендер видов созданной модели

Фиг. 4. Линии разрезов

Фиг. 5. Развертка

Фиг. 6. Развертка с выделенными выбивками (первый тип текстуры) Фиг. 7. Развертка с выделенными выбивками (второй тип текстуры)

Фиг. 8. Суммирование данных двух типов текстур, где поз.1 - фигуры оленей, поз.2 - руны. Фиг. 9. а. Рендер видов модели прорисовки выбивок на текстуре камня; б. Фрагмент 1. Наложение выбивок (руны на фигуре оленя); в. Фрагмент 2. Наложение выбивок. Фиг. 10. Текстуры первого (а) и второго (б) типа и результат их сложения (в) Реализация способа поясняется следующим примером:

1. Выполняется фотограмметрия археологического объекта (изваяния) (фиг.1): 1.1 Производится фотографирование объекта. Для обеспечения качества модели с четким 3D-рельефом выбитых контуров съемку проводят современным фотооборудованием следующим образом (в общем случае при определении расстояния до объекта и количества снимков одной точки, исходят из технических характеристик фотооборудования - разрешения матрицы и фокусного расстояния объектива и глубины снимаемой выбивки.):

1.1.1 Оборудование: фотоаппарат не менее 42 мегапикселей; объектив 35-55 мм; кольцевая вспышка.

1.1.2 Настраивают такие параметры фотографирования: ISO-100, скорость затвора 1/200, значение диафрагмы F9-F14, настройка вспышки производится по гистограмме яркости.

1.1.3 Расстояние от фотоаппарата до объекта не более 0,75 м, чтобы обеспечить разрешение снимаемого участка достаточным для создания четкого 3д рельфа.

1.1.4 Фотографируют по нормали к зоне поверхности, на которую производится точка фокусировки.

1.1.5 Для первой фотографии используют мишень для управления баланса белого.

1.1.6 Для установления размера объекта на не менее, чем пяти фотоснимках, сделанных с разных точек, фиксируют размерную линейку, находящуюся на объекте в одном и том же положении (фиг.2).

1.1.7 Для каждой точки выбивки делают количество фотографий, исходя из следующего: если глубина выбивки оценивается в более, чем 0,3 мм, то одна точка объекта должна быть видна на не менее чем 8 кадрах. В случае наличия выбитых объектов, глубина выбивки которых визуально оценивается в менее чем 0,3 мм, то каждая точка такой поверхности фиксируется на не менее чем 12 снимках, сделанных с разных точек.

1.2 Полученные фотографии загружают в растровый графический редактор, (например «Photoshop» или «Capture One»), где проводят пакетную обработку настройки цветового баланса.

1.3 Обработанные снимки загружают в программный продукт, выполняющий фотограмметрическую обработку цифровых изображений и создающую на их основе 3D-модели, (например «Reality Capture» или «Agisoft Metashape»).

1.4 Полученную модель (или часть модели), содержащую необходимую для исследования выбивку для дальнейшей работы упрощают до 50 млн. полигонов. Такое количество полигонов обеспечивает достаточную точность передачи рельефа поверхности.

1.5 Модель выгружают из программы в форматах: *.obj или *.ply (фиг.3).

2. Создают UV-развертку:

2.1 Выгруженную модель импортируют в профессиональное программное обеспечение для 3D-моделирования и визуализации, например, «Autodesk 3ds Мах» или «Blender 3D».

2.2 В режиме создания UV-развертки на поверхности объекта делают разрезы для последующего переноса объемных форм на плоскость. Траектория разрезов зависит от формы объекта, но их обязательно создают таким образом, чтобы получилось единое полотно (фиг.4).

2.3 Запускают процесс создания UV-развертки.

2.4 Файл сохраняют (фиг.5).

3. Создают текстуры с выделением выбивок:

3.1 Запускают baking (запекание) первого типа текстуры со следующей логикой выполнения, которая реализована, с помощью написанной программы и реализующей метод просчета яркости каждой точки по поверхности:

3.1.1 Вычисляются нормали к каждому полигону поверхности;

3.1.2 Генерируется облако точек на поверхности модели;

3.1.3 Создается KD-дерева для быстрого поиска ближайших соседей;

3.1.4 Ищутся ближайшие соседи для каждой точки на поверхности модели с помощью KD-depeea;

3.1.5 Вычисляются освещенности точки на основе следующих параметров: радиус поиска ближайших соседей = 0.05, максимальное число ближайших соседей = 100000;

3.1.6 Сохраняются результаты в массив;

3.1.7 Создается цветовая карта на основе результатов просчета.

3.1.8 Добавляются цвета в облако точек;

3.1.9 Отображаются результаты;

3.1.10 Результаты сохраняются в растровый файл с расширенным динамическим диапазоном, для сохранения световой детализации изображения, например в формат *.hdr (High Dynamic Range) (фиг.6);

3.2 Запускают baking второго типа текстуры со следующей логикой выполнения, которая может быть реализована, например, с помощью написанной программы и реализующей метод просчета яркости каждой точки по поверхности:

3.2.1 Для каждой точки на поверхности создает луч, направленный в сторону окружающих объектов;

3.2.2 Проверяет луч на пересечение с другими частями объекта;

3.2.3 Вычисляет расстояние до ближайшего пересечения;

3.2.4 Если луч пересекает какой-либо объект, то точка на поверхности модели, из которой был выпущен луч, затеняется (находится в затененной области), иначе - осветляется (точка находится в освещенной области). Степень затенения зависит от результатов вычисления по пп. 3.2.3;

3.2.5 Создает карту, используя значения, полученные в пп. 3.2.4 для каждой точки на поверхности;

3.2.6 Отображает результаты.

3.2.7 Результаты сохраняются в растровый файл с расширенным динамическим диапазоном, для сохранения световой детализации изображения, например в формат *.hdr (фиг.7);

4. Осуществляют суммирование данных двух типов текстур путем смешивания содержимого двух исходных цветовых слоев:

4.1 В растровом графическом редакторе, например «Photoshop», создают два слоя, в которые помещают две полученные по пунктам 3.1.10 (первая) и 3.2.7 (вторая) текстуры;

4.2 Иерархия помещения текстур на слои имеет значение - на верхний слой помещают текстуру, полученную в п. 3.1.10, на нижний - текстуру, полученную по п. 3.2.7;

4.3 Осуществляют суммирование данные двух типов текстур, размещенных на двух слоях согласно иерархии, путем режима контрастного наложения слоев;

4.4 Создают смарт-слои с применением фильтра «Краевой контраст» с радиусом 15-30 пикселей для каждого из слоев с размещенной на нем текстурой;

4.5 Радиус фильтра «Краевой контраст» уточняют в ручном режиме, исходя из визуально определяемой картины максимально четкой видимости выбивок.

4.6 Слои объединяют;

4.7 Результат сохраняют в файл с расширенным динамическим диапазоном, для сохранения световой детализации изображения, например в формат *.hdr (фиг.8);

5. Применяют полученные в п. 4 текстуру к исходному объекту:

5.1 Открывают файл, полученный в пп. 2.4 в том программном обеспечении, в которым он был создан (например, «Autodesk 3ds Мах» или «Blender 3D»);

5.2 Полученную в пп. 4.7 текстуру помещают в текстурный слот;

5.3 Текстурный слот применяют к объекту;

5.4 Файл сохраняют.

В данном примере первый алгоритм, формирующий первую текстуру (фиг.6, 10а), не выделил фигуры оленей (поз.1 фиг.8, 9б), но выделил руны (поз.2 фиг.8, 9б), выбитые позже. Это произошло потому, что площади, занимаемые фигурами оленей, велики относительно других изображений и общей площади поверхности камня, и рассчитываются программой как естественная форма камня. Второй алгоритм, формирующий вторую текстуру (фиг.7), отобразил выбивки с разной глубиной (например, фигуру оленя и руны на нем) как одну выбивку (фиг.7, 10б). Поэтому на фиг.7 не видны руны, как и другие подобные наложения выбивок (фиг.9в). Суммирование текстур (фиг.8) показывает наложенные друг на друга выбивки, относящиеся к разным историческим периодам. На фиг.9б,в контуры наложенных выбивок очерчены светлыми линиями.

В результате получают файл, содержащий 3D-модель с двумя наборами текстур - исходной (фиг.5) и с текстурой прорисовки выбивок (фиг.8). При работе с этой моделью, ее можно поворачивать, рассматривая со всех сторон, увеличивать, делать рендеры и т.д. Данная работа выполнена за три часа машинного времени, что существенно меньше и менее трудоемко, чем выполнение вручную.

Список источников

1. В. Stular, Z. Kokalj, К. Ostir, L. Nuninger, Visualization of lidar-derived relief models for detection of archaeological features, J. Archaeol. Sci. 39 (2012) 3354-3360.Klemen Zaksek, Kristof Ostir and Ziga Kokalj «Sky-View Factor as a Relief Visualization Technique* // Remote Sensing, 2011,3, 398-415.

2. K. Zaksek, K. Ostir, Z. Kokalj, Sky-view factor as a relief visualization technique, Remote Sens. 3 (2011)398^15.

3. Т.Е. Oke, Boundary layer climates, Routledge Ed, 1987, pp.464.

4. J. Dozier, J. Frew, Rapid calculation of terrain parameters for radiation modeling from digital elevation data, ШЕЕ Transact. Geosci. Remote Sens. 28 (1990) 963-969.

5. M. Doneus, Openness as visualization technique for interpretative mapping of airborne Li-dar derived digital terrain models, Remote Sens. 5 (2013) 6427-6442.

6. R. Yokoyama, M. Shlrasawa, R.J. Pike, Visualizing topography by openness: A new application of image processing to digital elevation models, Photogramm. Eng. Remote Sens. 68 (2002) 257-265.

7. J. Jasiewicz, T.F. Stepinski, Geomorphons - a pattern recognition approach to classification and mapping of landforms, Geomorphology 182 (2013) 147-156.

8. Козин E.B., Карманов А.Г., Карманова H.A., Фотограмметрия СПб: Университет ИТМО, 2019.- 142 с.

Изобретение относится к области компьютерного 3D-моделирования, а именно преобразования цифровых копий археологических объектов (каменных изваяний). Технический результат заключается в повышении точности и качества графического воспроизведения рисунка каменных изваяний. Способ выделения рельефных форм на 3D-моделях каменных изваяний, полученных с помощью фотограмметрии с качеством модели, обеспечивающим четкий 3D-рельеф выбитых контуров, заключается в том, что создают UV-развертку 3D-модели, создают два типа текстур, при этом первый тип получают на основании вычисления нормалей к каждому полигону поверхности, генерации облака точек на поверхности модели, поиске ближайших соседей и вычислении освещенности точки, а второй - созданием для каждой точки на поверхности луча, направленного в сторону окружающих объектов, в зависимости от которого вычисляется степень затенения, а затем в растровом графическом редакторе создают два слоя, в которые помещают полученные текстуры, при этом на верхний слой помещают текстуру первого типа; смешивают содержимое двух слоев путем режима контрастного наложения и фильтров краевого контраста с получением конечной текстуры. 14 ил.

Способ выделения рельефных форм на 3D-моделях каменных изваяний, полученных с помощью фотограмметрии с качеством модели, обеспечивающим четкий 3D-рельеф выбитых контуров, отличающийся тем, что создают UV-развертку 3D-модели, при этом на 3D-модели объекта делают разрезы так, чтобы получилось единое полотно; создают два типа текстур, при этом первый тип получают на основании вычисления нормалей к каждому полигону поверхности, генерации облака точек на поверхности модели, поиске ближайших соседей и вычислении освещенности точки, а второй - созданием для каждой точки на поверхности луча, направленного в сторону окружающих объектов, проверкой луча на пересечение с другими частями объекта, вычислением расстояния до ближайшего пересечения, в зависимости от которого вычисляется степень затенения; затем в растровом графическом редакторе создают два слоя, в которые помещают полученные текстуры, при этом на верхний слой помещают текстуру первого типа; смешивают содержимое двух слоев путем режима контрастного наложения и фильтров краевого контраста с получением конечной текстуры.