СИСТЕМА И СПОСОБ РЕКОНСТРУКЦИИ СВОЙСТВ ПОВЕРХНОСТИ И ОПРЕДЕЛЕНИЯ ПОЛОЖЕНИЯ ОЦИФРОВАННЫХ 3D ОБЪЕКТОВ Российский патент 2023 года по МПК G06V20/20 G06T15/80 G06T19/20 

Область техники, к которой относится изобретение

Настоящее изобретение относится в общем к трехмерной (3D) визуализации и, в частности, может быть использовано в клиентских терминалах метавселенной, системах дополненной реальности или виртуальной реальности (AR/VR), 3D сканерах, устройствах ввода и т.п. для повышения точности оцифровки 3D объектов за счет более точной реконструкции поверхности 3D объектов и позиционирования 3D объектов в визуализируемой 3D сцене.

Уровень техники

В настоящее время разрабатываются различные технологии 3D визуализации, которые в особенности приспособлены для построения 3D моделей объектов и сцен для систем AR/VR и метавселенной. Кроме того, технологии 3D визуализации также используются в измерениях человеческого тела, усовершенствованных методиках инспекции изделий. Во всех этих областях техники высокую важность имеет автоматическое позиционирование 3D объектов в 3D сцене, а также реконструкция текстур поверхности с высокой точностью. В большинстве используемых в настоящее время устройств 3D визуализации используется механическое сканирование или структурированное освещение без позиционирования объектов и реконструкции текстур.

Для снижения стоимости производства модулей камер для 3D визуализации, гарнитур AR/VR, интеллектуальных устройств, снабженных оптическими системами, а также для исключения ненужных этапов создания прототипов, и для сокращения временных затрат на разработку необходимо иметь надежное программное и аппаратное обеспечение для моделирования 3D сцены. 3D сцена реального мира, захватываемая камерой или наблюдаемая через гарнитуру AR/VR, обычно моделируется путем рендеринга. Качество упомянутого моделирования определяется точностью программного обеспечения для рендеринга. Для верификации программного обеспечения для рендеринга необходим цифровой «двойник» сцены из реального мира и модуля камеры. Для приведения условий моделирования в соответствие с условиями конфигурации 3D сцены реального мира необходимо изолировать 3D сцену реального мира от внешних влияний.

Таким образом, такие технологии 3D визуализации требуют создания цифрового двойника визуализируемой 3D сцены реального мира, физически корректной модели камеры для моделирования изображения, фотореалистичного рендеринга, построения модели в случае системы AR/VR или метавселенной, а также калибровки и испытаний оптических устройств: камеры, проектора, наголовного устройства (HMD).

Реконструкция свойств поверхности сканируемого 3D объекта реального мира обычно выполняется следующим образом. В 3D сканере используется цветная камера для захвата таких свойств 3D объекта реального мира, как цвет, текстура, рассеивание света, отражательная способность. Однако в методиках 3D сканирования из уровня техники невозможна точная калибровка свойств поверхности, поскольку спектральный диапазон камеры ограничен фактически используемым байеровским фильтром или встроенным источником подсветки. Разрешающая способность ограничена расстоянием между сканером и сканируемым объектом и уменьшается вследствие размытия при движении (поскольку сканер движется при сканировании).

Одна из проблем в области 3D визуализации состоит в повышении точности размещения виртуальных объектов в сцене. Кроме того, другая проблема состоит в измерении взаимного расположения (относительного положения) объектов и его применения к виртуальной сцене.

В источнике US 10460445 B2 (Microsoft Technology, опубликован 29.10.2019) описан способ создания цифрового представления («оцифровки») объекта в изображении, в котором для оцифровки объекта камера захватывает изображения с разных сторон объекта с данными о цвете и глубине. Из этих изображений идентифицируются по меньшей мере две стороны объекта и выполняется построение упомянутых сторон объекта на основании упомянутых изображений. Определяются точки в построении, которые должны быть соединены друг с другом, и они используются для выравнивания построений. Затем выполняется слияние построений для формирования рендера объекта. Применяются различные методики экстраполяции краев, удаления швов, интеллектуального расширения цветового диапазона, отфильтровывания шума, применения к объекту скелетной структуры и дополнительной оптимизации оцифровки. Рендер объекта может быть выдан для отображения в качестве цифрового представления объекта и может быть потенциально использован в различных сферах применения (например, в играх, в сетевых приложениях и т.п.). К недостаткам данного решения следует отнести сложность высококачественного захвата текстуры ввиду фиксированных положений камеры, ограниченный спектральный диапазон, и отсутствие возможности позиционирования оцифрованных объектов в данном способе.

Источник US 8213707 B2 (City University of Hong Kong, опубликован 03.07.2012) описывает систему и способ измерения и реконструкции поверхности в 3D изображении объекта. Система содержит проектор, выполненный с возможностью проецирования структурированного света на поверхность объекта, подлежащего визуализации; и ступень обработки, выполненную с возможностью анализа искажения или искажений, вызываемых в картине структурированного света особенностями поверхностями объекта. Ступень обработки выполнена с возможностью преобразования упомянутого искажения или искажений, вызываемых в картине структурированного света особенностями поверхности, посредством, например, процесса триангуляции в представление расстояния, которое представляет форму поверхности. Ступень обработки также выполнена с возможностью электронной реконструкции формы поверхности объекта. К недостаткам данного решения следует отнести необходимость проецирования структурированного света с цветовым кодированием для 3D визуализации объекта с его поверхностью.

Источник “Modeling the Interaction of Light Between Diffuse Surface”, Cornell University/опубликовано в Computer Graphics (SIGGRAPH '84 Proceedings), том 18, № 3, июль 1984 г., стр. 213-222, описывает способ 3D визуализации, в котором для верификации теоретических результатов путем сравнения с окружением реального мира строилась и фотографировалась физическая модель простого окружения. При построении тестового куба использовались древесно-волокнистые панели, окрашенные матовыми латексными красками для минимизации зеркальных отражений. Куб состоял из одной красной панели, одной синей и трех белых панелей. Одна из сторон куба была выполнена открытой для целей наблюдения и съемки. Корнеллская коробка представляет собой часто используемую тестовую 3D модель для определения точности программного обеспечения для рендеринга путем сравнения рендерируемой сцены с фактической фотографией. К недостаткам данного известного решения можно отнести то, что оно реализуется в исходно определенном окружении, не изолировано от внешних влияний и не использует какую-либо модель камеры.

В источнике US 8933965 B2 (Canon Inc., опубликован 13.01.2015) описан способ представления комбинированного изображения, в котором изображение пространства реального мира объединено с виртуальным изображением виртуального объекта. Способ включает в себя прием данных изображения для множества захваченных изображений, которое включает в себя изображения, относящиеся к различным соответствующим частям пространства реального мира; формирование данных моделирующего изображения, представляющих изображение, охватывающее по меньшей мере заданный участок пространства реального мира, на основании принятых данных изображения для множества захваченных изображений; оценку информации об источниках света, относящейся к пространству реального мира, на основании данных моделирующего изображения; формирование данных виртуального изображения, представляющих виртуальное изображение, включая управление информацией об источниках света, относящейся к виртуальному объекту, на основании оцененной информации об источниках света, относящейся к пространству реального мира; и обновление данных моделирующего изображения после приема данных изображения для нового захваченного изображения, относящегося к данной части пространства реального мира, и обновление оцененной информации об источниках света, относящейся к пространству реального мира, на основании обновленных данных моделирующего изображения, и обновление информации об источниках света, относящейся к виртуальному объекту, на основании обновленной информации об источниках света, относящейся к пространству реального мира, и повторное формирование данных виртуального изображения. Однако в данном источнике не раскрыт какой-либо способ объединения реального и виртуального изображения, способ верификации программного обеспечения для рендеринга или испытания камеры.

Источник US 10119809 B2 (Intel Corp., опубликован 06.11.2018) описывает способ моделирования камеры в системах с множеством камер, в котором объединены компьютерная графика, моделирование одной камеры и процессор обработки сигналов изображения (ISP) для множества камер, в результате чего моделируется и оптимизируется система с множеством камер. Выполняется моделирование сцены с использованием сцен, синтезированных при помощи компьютера. Формируются изображения компьютерной графики с учетом параметров, присущих камере, и параметров, не относящихся к камере. Обработка включает в себя применение эффектов аберрации и дифракции линз к виртуальной сцене на плоскости датчика изображения для формирования необработанного изображения при помощи компьютерной графики. Данное известное решение используется для рендеринга виртуальных объектов, а не для оцифровки объектов реального мира.

Источник US 6028606 A (Leland Stanford Junior University, опубликован 22.02.2000) раскрывает методику рендеринга изображений в компьютерной графике, в частности с использованием моделей на основе камер для синтеза двухмерного изображения из данных, представляющих испускающую оптическое излучение трехмерную сцену. В частности, описан способ моделирования физической камеры в системах компьютерной графики, в котором на основании параметров из представленной производителем спецификации линз физической камеры, таких как размеры и показатели преломления линз, апертурные числа, а также характеристик затвора, расположения датчика изображения относительно системы линз, и ориентации камеры в сцене точно и эффективно имитируются физические принципы формирования изображения для получения изображения, которое приближено к изображению, получаемому посредством физической камеры. Однако в данном источнике не раскрыт какой-либо способ калибровки камеры, и данное решение не подходит для формирования набора данных изображений.

Источник US 20090102841 A1 (Sony Electronics Inc., опубликован 23.04.2009) раскрывает виртуальную систему камеры и объектива в среде моделирования трехмерной компьютерной графики, причем упомянутая система конфигурируется с использованием номинального фокусного расстояния, а также расстояния фокусировки. Вычисляется истинное фокусное расстояние. В среде моделирования трехмерной компьютерной графики создается объект оптической оси, который представляет оптическую ось виртуальной системы камеры и объектива. К оптической оси прикрепляется объект в местоположении, которое визуализирует конфигурацию виртуальной системы камеры и объектива, определенном на основании истинного фокусного расстояния. Фокусное расстояние виртуальной системы камеры и объектива устанавливается в вычисленное истинное фокусное расстояние. Расстояние фокусировки и диафрагменное число могут быть определены на основании ближней и дальней точек фокусировки. Однако в данном решении используется идеальная модель камеры, а не физически корректная модель (на физической основе). Кроме того, для формирования изображения в данном источнике используется только фокальная линза.

Источник US 7768527 B2 (Beihang University, опубликован 03.08.2010) описывает систему моделирования с аппаратными средствами в контуре управления, которая предназначена для верификации компьютерного зрения, причем система содержит: блок визуализации виртуальной реальности, который формирует виртуальную сцену, проектор, который проецирует упомянутую виртуальную сцену, камеру, которая захватывает изображение виртуальной сцены, причем блок визуализации виртуальной реальности содержит первый компьютер, и при этом упомянутый проектор соединен с блоком визуализации виртуальной реальности. Камера отправляет данные изображения, собранные при съемке изображений проецируемой сцены, на второй компьютер посредством схемы ввода кадров, при этом второй компьютер выполнен с возможностью управления приводом наклона/поворота для выбора надлежащего направления для захвата камерой изображений виртуальной сцены, проецируемой на экран. К недостаткам данного решения можно отнести использование для калибровки камеры плоских тест-объектов, а не 3D объектов.

Источник US 20180220048 A1 (Tetavi Ltd., опубликован 02.08.2018) описывает способы разделения переднего плана и фона и студийного производства объемного видео с произвольным расположением точки наблюдения (FVV). Описанный способ включает в себя проецирование на объекты в области съемки в пределах студии заданной картины структурированного света, включающей в себя большой набор признаков; формирование на основании сигналов, отраженных от объектов и захваченных множеством камер глубины, размещенных вблизи области съемки, локального облака точек для каждой камеры глубины; разделение фона и переднего плана области съемки на основании упомянутых локальных облаков точек; создание объединенного облака точек на основании локальных облаков точек; привязку точек в объединенном облаке точек к сетке для формирования 3D модели объектов; текстурирование 3D модели на основании упомянутого разделения, а также изображений, захваченных камерами глубины; и рендеринг текстурированной 3D модели в качестве FVV, включающего в себя последовательность кадров видеоданных, по отношению по меньшей мере к одной точке обзора. Однако описанный способ используется только для совмещения 3D объекта с использованием множества камер с облаком точек, проецируемым на данный объект.

Источник US 10119809 B2, описанный выше, рассматривается в качестве ближайшего аналога по отношению к настоящему изобретению.

Раскрытие изобретения

Данный раздел, раскрывающий различные аспекты заявляемого изобретения, предназначен для обеспечения краткого обзора заявляемых объектов изобретения и их вариантов выполнения. Подробная характеристика технических средств и методов, которые реализуют сочетания признаков заявляемых изобретений, приведена ниже. Ни данное раскрытие изобретения, ни подробное описание, представленное ниже вместе с сопровождающими чертежами, не следует рассматривать как определяющие объем правовой охраны заявляемого изобретения. Объем правовой охраны заявляемого изобретения определяется только прилагаемой формулой изобретения.

Техническая проблема, решаемая настоящим изобретением, состоит в необходимости формирования виртуальной сцены на основе 3D объектов реального мира с учетом текстуры поверхности, формы и положений упомянутых 3D объектов.

Задача настоящего изобретения состоит в создании технологии для формирования виртуальной сцены, содержащей один или более 3D объектов, на основании 3D сцены реального мира.

Технический результат, достигаемый при реализации заявляемого изобретения, состоит в точном рендеринге текстуры поверхности, форм и положений 3D объектов реального мира в виртуальной 3D сцене.

В первом аспекте настоящая задача решается способом формирования виртуальной сцены, содержащей один или более 3D объектов, причем способ содержит этапы, на которых: создают 3D модель 3D сцены реального мира; захватывают изображение 3D сцены реального мира с использованием физической камеры для получения захваченного изображения; создают цифровую модель камеры для физической камеры; выполняют рендеринг виртуальной 3D сцены, содержащей виртуальные 3D объекты, на основе цифровой модели камеры с использованием программного обеспечения для физически корректного рендеринга для получения виртуального изображения; минимизируют норму невязки между захваченным изображением и виртуальным изображением для оптимизации положений и параметров поверхности виртуальных 3D объектов в виртуальной 3D сцене.

Отметим, что в научно-технической литературе под термином физически корректный рендеринг (англ. physically based rendering) понимаются различные методы визуализации 3D объектов виртуальной сцены, отличающиеся высокой степенью фотореалистичности (см. Matt Pharr, Wenzel Jakob, Greg Humphreys “ Physically Based Rendering. From Theory to Implementation”, third edition, Amsterdam: Elsevier, 2016). В предлагаемом изобретении фотореалистичность достигается с помощью использования детальной модели камеры, учитывающей волновой характер света, параметры оптической системы, датчика изображения и алгоритма обработки, и оценивается значением нормы невязки между захваченным изображением и виртуальным изображением.

Минимизация нормы невязки между захваченным изображением и виртуальным изображением может содержать этап, на котором применяют алгоритм реконструкции свойств поверхности для оптимизации параметров поверхности виртуальных 3D объектов, и/или применяют алгоритм позиционирования виртуальных объектов для оптимизации положений и формы виртуальных 3D объектов. Программное обеспечение для физически корректного рендеринга может использовать параметры физической камеры для создания цифровой модели камеры, а также моделирование волнового распространения оптического излучения при рендеринге виртуальной 3D сцены. Цифровая модель камеры может содержать набор фильтров, который содержит спектральный фильтр, выполненный с возможностью расширения цветового диапазона в цифровой модели камеры. В цифровой модели камеры может использоваться датчик изображения типа «линза на чипе» (OCL), в котором два, четыре или более одинаковых соседних пикселя имеют общую линзу.

На этапе рендеринга виртуальной 3D сцены цифровая модель камеры создает изображение по меньшей мере одного объекта виртуального изображения, созданного на этапе создания 3D модели 3D сцены реального мира. Цифровая модель камеры может быть основана на модели камеры с точечной диафрагмой (так называемая пинхол-камера), на модели идеальной линзы, на модели оптической системы, свободной от аберраций за исключением дисторсии, на модели оптической системы с хроматическими аберрациями, или на детальной модели оптической системы, учитывающей аберрации и дифракцию. Цифровая модель камеры может дополнительно содержать модель поляризационного фильтра.

Во втором аспекте настоящая задача решается системой для формирования виртуальной сцены, содержащей один или более 3D объектов, причем система содержит: физическую камеру, выполненную с возможностью захвата изображения 3D сцены реального мира для получения захваченного изображения; блок оцифровки 3D сцены, выполненный с возможностью создания 3D модели 3D сцены реального мира; блок рендеринга, выполненный с возможностью обеспечения цифровой модели камеры для физической камеры и рендеринга виртуальной 3D сцены, содержащей виртуальные 3D объекты, на основе цифровой модели камеры для получения виртуального изображения; и блок оптимизации, выполненный с возможностью минимизации нормы невязки между захваченным изображением и виртуальным изображением для оптимизации положений и параметров поверхности виртуальных 3D объектов в виртуальной 3D сцене. Блок оцифровки 3D сцены может содержать 3D сканер, камеру светового поля или камеру глубины, или 3D принтер с программным обеспечением для 3D моделирования.

В третьем аспекте настоящая задача решается машиночитаемым носителем, на котором сохранена компьютерная программа для осуществления способа по первому вышеупомянутому аспекту при выполнении на компьютере или в процессоре.

Специалистам в данной области техники будет ясно, что изобретательский замысел не ограничен аспектами, охарактеризованными выше, и изобретение может принимать форму других объектов, таких как устройство, компьютерная программа или компьютерный программный продукт. Дополнительные признаки, которые могут характеризовать частные варианты выполнения настоящего изобретения, будут очевидны специалистам в данной области техники из подробного описания вариантов выполнения, приведенного ниже.

Краткое описание чертежей

Чертежи приведены в настоящем документе для облегчения понимания сущности настоящего изобретения. Чертежи являются схематичными и выполнены не в масштабе. Чертежи предназначены только для целей иллюстрации, и не предназначены для определения объема правовой охраны настоящего изобретения.

Фиг. 1 схематично иллюстрирует примерную технологию формирования виртуальной сцены, содержащей один или более 3D объектов, в соответствии с настоящим изобретением;

Фиг. 2 схематично иллюстрирует вариант выполнения, в котором цифровая модель камеры основана на модели камеры с точечной диафрагмой;

Фиг. 3 схематично иллюстрирует вариант выполнения, в котором цифровая модель камеры основана на модели идеальной линзы;

Фиг. 4 схематично иллюстрирует вариант выполнения, в котором в цифровой модели камеры используется моделируемая оптическая система с дисторсией;

Фиг. 5 схематично иллюстрирует вариант выполнения, в котором в цифровой модели камеры используется модель оптической системы с хроматическими аберрациями;

Фиг. 6 схематично иллюстрирует алгоритм работы, реализуемый программным обеспечением для физически корректного рендеринга;

Фиг. 7 схематично иллюстрирует различие между моделированием распространения оптического излучения и трассировкой лучей;

Фиг. 8 является блок-схемой способа формирования виртуальной сцены, содержащей один или более 3D объектов согласно изобретению.

Осуществление изобретения

Примерные варианты выполнения настоящего изобретения подробно описаны ниже. Примерные варианты выполнения проиллюстрированы на прилагаемых чертежах, на которых одинаковые или аналогичные ссылочные позиции или условные обозначения могут обозначать одинаковые или аналогичные элементы, или элементы, которые имеют одинаковые или аналогичные функции. Примерные варианты выполнения, описанные с обращением к прилагаемым чертежам, являются иллюстративными и используются только для пояснения настоящего изобретения, но их не следует рассматривать как какие-либо его ограничения.

Предлагаемое изобретение относится к технологии восстановления свойств поверхности и форм и положений виртуальных 3D объектов в виртуальной 3D сцене на основании 3D сцены реального мира, которая включает в себя 3D объекты реального мира. Технология согласно изобретению может быть применена в различных областях техники для получения фотореалистичной виртуальной 3D сцены, в которой виртуальные 3D объекты точно воспроизводят форму и текстуру соответствующих им 3D объектам реального мира, и они точно позиционированы в виртуальной 3D сцене.

В технологии согласно изобретению используется по меньшей мере одна камера из реального мира (далее называется физической камерой), 3D сканер или другое средство создания 3D модели 3D сцены реального мира, которые хорошо известны специалистам в данной области техники. Она может быть реализована на практике в таких продуктах, как объектив камеры, оптическая система AR/VR, программное обеспечение для рендеринга и т.п.

Предлагаемое изобретение основано на создании «цифрового двойника» 3D сцены реального мира с использованием физически корректной модели камеры (на физической основе) (которая далее также называется «цифровым двойником» физической камеры), в котором используются параметры физической камеры для создания виртуальной 3D сцены с использованием программного обеспечения для физически корректного рендеринга, таким образом «моделируя» 3D сцену реального мира в виртуальной 3D сцене. Это обеспечивает возможность фотореалистичного рендеринга виртуальной 3D сцены и построения 3D моделей, которые соответствуют 3D объектам реального мира из исходной 3D сцены реального мира, с высокой точностью их текстур, форм и положений для использования, в частности, в системах AR/VR и/или технологиях метавселенной, а также для калибровки и испытания оптических устройств, таких как камеры, проекторы, наголовные дисплеи (HMD) и т.п.

Технология согласно изобретению направлена на решение различных проблем при формировании фотореалистичных 3D моделей, таких как автоматическое позиционирование 3D объектов и реконструкция текстуры поверхности с высокой точностью, в частности для целей построения моделей для AR/VR и метавселенной, измерений человеческого тела, усовершенствованной инспекции изделий. Технология согласно изобретению также решает различные проблемы в области производства визуальных устройств, таких как удешевление производства модулей камер, гарнитур AR/VR, интеллектуальных устройств, снабженных оптикой, исключение ненужных этапов создания прототипов, сокращение времени разработки, путем создания надежного средства для моделирования 3D сцен и моделирования камер.

В общем случае, 3D сцена реального мира, захватываемая камерой или наблюдаемая через гарнитуру AR/VR, моделируется путем рендеринга. Качество моделирования определяется точностью программного обеспечения для рендеринга. Для верификации программного обеспечения для рендеринга необходимо иметь виртуальную модель («цифрового двойника») сцены реального мира и модуля камеры. Для приведения условий моделирования в соответствие с теми условиями, в которых размещена 3D сцена реального мира, необходимо изолировать 3D сцену реального мира от любых внешних влияний.

При исходном создании 3D модели 3D сцены реального мира (исходной 3D модели ) эта 3D модель является в общем неточной с точки зрения относительного положения (взаимного расположения) и формы и текстуры 3D объектов, которые присутствуют в 3D сцене реального мира.

В настоящем изобретении визуализация 3D сцены реального мира осуществляется двумя способами. С одной стороны, 3D модель 3D сцены реального мира создается с использованием 3D сканера, камеры светового поля или камеры глубины, или 3D принтера с программным обеспечением для 3D моделирования, или любого другого способа, который будет понятен специалисту в данной области техники. С другой стороны, захватывается одно или более изображений (далее называемых захватываемыми изображениями ) 3D сцены реального мира с использованием «физической» (т.е. реальной) камеры.

Кроме того, на основании параметров физической камеры при помощи соответствующего программного обеспечения создается цифровая модель камеры для физической камеры (также называемая цифровым двойником физической камеры).

Затем цифровой двойник камеры (т.е. цифровая модель камеры) используется программным обеспечением для физически корректного рендеринга для выполнения рендеринга виртуальной 3D сцены, содержащей виртуальные 3D объекты, для получения виртуального (рендерированного) изображения . В качестве примера программного обеспечения для физически корректного рендеринга можно привести, например, коммерческое программное обеспечение, которое способно выполнять функции согласно изобретению. Обычно в программном обеспечении физическая камера учитывается на уровне «художественных» эффектов (таких как размытие, дисторсия, тени и т.п.), что лишь приблизительно соответствует эффектам настоящей камеры (таким как аберрации, дифракция, виньетирование). В качестве примера, такое программное обеспечение может представлять собой, например, 3ds Max, Maya, Arnold, Blender 3D. Однако предпочтительно в настоящем изобретении те же эффекты могут быть достигнуты посредством трассировки лучей и/или оценки волнового распространения через оптическую систему физической камеры и применения тех же алгоритмов обработки изображения, что и в настоящей физической камере.

Положения и параметры поверхностей виртуальных 3D объектов в виртуальной 3D сцене оптимизируются путем минимизации нормы невязки между захваченным изображением и виртуальным изображением:

Следует отметить, что понятие невязки представляет собой математический термин, который в контексте настоящего изобретения по существу означает попиксельную разность между двумя изображениями, в частности, разность между захваченным камерой изображением и виртуальным изображением , полученным в результате рендеринга. В одном или более неограничивающих вариантах выполнения изобретения, норма невязки может представлять собой среднеквадратическую ошибку между захваченным изображением и виртуальным изображением. В этом случае норма - это L2-норма (евклидова норма). Данный параметр является безразмерным, при этом чем ниже его значение, тем лучшее совпадение обеспечивается между изображениями. Захваченное камерой изображение и виртуальное изображение представляют собой матрицы чисел, содержащие информацию об интенсивности каждого пикселя для каждого цветового канала. Изображение формируется непосредственно физической камерой. Изображение определяется в результате расчет хода лучей или моделирования волнового распространения света через цифровую модель камеры. Таким образом изображение является неявной функцией от параметров цифровой модели камеры. Варьируя параметры цифровой модели камеры, параметры свойств поверхностей или параметры формы и положение виртуальных объектов с помощью известных алгоритмов оптимизации (например, метод градиентного спуска, метод наименьших квадратов), обеспечивается минимизация нормы невязки. Невязка считается минимизированной, если она перестает существенно уменьшаться в процессе оптимизации. В качестве неограничивающего примера, это условие может считаться выполненным, если на последующем шаге оптимизации норма невязки изменяется не более чем на 1% по сравнению с предыдущим шагом оптимизации.

В частности, минимизация нормы невязки между захваченным изображением и виртуальным (рендерированным) изображением включает в себя два алгоритма - алгоритм реконструкции свойств поверхности и алгоритм позиционирования виртуальных объектов. Алгоритм реконструкции свойств поверхности оптимизирует свойства поверхности посредством упомянутой минимизации нормы невязки между захваченным изображением и виртуальным изображением. Алгоритм позиционирования виртуальных объектов оптимизирует положения и формы объектов посредством упомянутой минимизации нормы невязки между захваченным изображением и виртуальным изображением. Результатом применения упомянутых алгоритмов являются виртуальные 3D объекты с реконструированной структурой и виртуальная 3D сцена с позиционированными объектами и скорректированной формой, соответственно. В конечном итоге результатом этого является окончательная виртуальная сцена с точными текстурами, формами и размещением виртуальных 3D объектов в упомянутой сцене.

Цифровой двойник физической камеры основан на волновой оптике и включает в себя модель оптической системы камеры, модель датчика изображения и (при необходимости) модель фильтра на объективе, которые объединены для моделирования физической камеры, посредством которой захватывается захваченное изображение. Цифровой двойник камеры также осуществляет эмуляцию алгоритма обработки изображения, который является идентичным или аналогичным алгоритму физической камеры, и формирует виртуальное (рендерированное) изображение таким образом, что:

Следует отметить, что захваченное изображение, т.е. изображение, захватываемое физической камерой, является неидеальным вследствие дифракции, остаточных аберраций физической оптической системы, а также вследствие шума и нелинейности, вносимых физическим датчиком изображения. Виртуальное (рендерированное) изображение, формируемое цифровым двойником физической камеры, является почти идентичным захваченному изображению, поскольку в цифровом двойнике физической камеры учитывается дифракция и аберрации, вносимые оптической системой, влияние датчика изображения, и алгоритм обработки изображения, который является по существу тем же, что и у физической камеры. Цифровой двойник физической камеры, используемый в настоящем изобретении, имеет преимущество перед технологиями рендеринга, используемыми в уровне техники, такими как, например, трассировка лучей, основанная на модели оптической системы и не учитывающая в процессе рендеринга дифракцию, влияние датчика изображения и алгоритма обработки изображения. Другими словами, в обычных технологиях рендеринга, таких как, например, трассировка лучей

.

Следует отметить, что, в общем случае, физическая камера захватывает 3D сцену реального мира через спектральный фильтр. В настоящем изобретении моделирование волнового распространения оптического излучения от виртуальной 3D сцены через фильтр и через объектив виртуальной камеры выполняется посредством программного обеспечения для рендеринга, основанного на волновой оптике. Изобретение учитывает влияние датчика изображения в камере и алгоритм обработки изображений, которые используются в физической камере. В результате захваченное изображение и виртуальное (рендерированное) изображение являются почти подобными благодаря тому, что программное обеспечение для физически корректного рендеринга (то есть реалистичного рендеринга, учитывающего физические параметры оптической системы), которое выполняет рендеринг виртуального изображения, основано на волновой оптике с учетом модели датчика изображения физической камеры, а также ее алгоритм обработки изображения.

Волновая оптика позволяет учитывать эффекты дифракции, в то время как обычное программное обеспечение для рендеринга, основанное на трассировке лучей, не имеет таких возможностей. Кроме того, как упомянуто выше, программное обеспечение для физически корректного рендеринга использует модель датчика изображения и алгоритм обработки изображения физической камеры, в то время как, опять же, методики из уровня техники основаны только на трассировке лучей. Спектральный фильтр, используемый в физической камере, позволяет управлять цветовым диапазоном, в то время как байеровский фильтр, используемый в датчиках изображения из уровня техники, ограничивает цветовой диапазон.

Обращаясь к Фиг. 1, описана неограничивающая примерная технология формирования виртуальной сцены, содержащей один или более 3D объектов. 3D сцена 100 реального мира захватывается физической камерой 200, которая содержит по меньшей мере один фильтр 210, в результате чего получается захваченное изображение . С другой стороны, (исходная) 3D сцена создается известными средствами создания 3D сцены (3D сканнером и т.п.).

Цифровая модель камеры создает изображение по меньшей мере одного объекта исходного виртуального изображения . Математически процесс формирования изображений может быть представлен в виде функции с параметрами , которая отображает в изображение :

,

где - параметры оптической системы 300 (r - параметры формы поверхностей, например, радиусы, коэффициенты асферичности, d - параметры взаимного положения поверхностей, например, расстояния между компонентами, децентрировки, наклоны, n - параметры материалов, например показатель преломления, число Аббе); - параметры фильтра 310 в цифровой модели камеры (например, коэффициент пропускания, фазовая задержка).

Затем с использованием алгоритма распространения оптического излучения, основанного на волновой оптике, вычисляют функцию . Функция представляет собой оператор оптической системы, который отображает входной сигнал в виде распределения интенсивности на предмете в выходной сигнал в виде распределения интенсивности на изображении . Алгоритм в данном случае состоит, в качестве неограничивающего примера, в следующем:

1. Из расчета хода лучей определяется пропускание и аберрации в зависимости от координат на зрачке;

2. формируется зрачковая функция, в которую входит пропускание и аберрации;

3. вычисляется функция рассеяния в виде квадрата преобразования Фурье зрачковой функции;

4. определяется распределение интенсивности на изображении в виде свертки распределения интенсивности на предмете с функцией рассеяния.

Далее датчик 320 изображения цифровой модели камеры преобразует в изображение :

, где - параметры датчика 320 изображения, а именно s - оператор выборки и интегрирования, который описывает процесс оцифровки аналогового изображения , формируемого оптической системой, и включает в себя дискретизацию с частотой следования пикселей приемника, попиксельное интегрирование - накопление сигнала (в виде заряда или напряжения) и его квантование для каждого цветового канала; k_λ - спектральная чувствительность приемника; и μ - шум приемника.

Алгоритм 330 обработки изображения цифровой модели камеры преобразует изображение в виртуальное (рендерированное) изображение :

,

где являются параметрами алгоритма 330 обработки изображений в цифровой модели камеры, например параметры применяемых цифровых фильтров или весовые коэффициенты слоев нейронной сети.

Моделирование волнового распространения оптического излучения от исходной виртуальной 3D сцены через фильтр 310 и оптическую систему 320 цифровой модели 300 камеры осуществляется при помощи программного обеспечения для физически корректного рендеринга на с использованием волновой оптики, при этом учитывая влияние датчика 320 изображения и алгоритма 330 обработки изображения, которые соответствуют датчику и алгоритму, используемым в физической камере 200.

Затем выполняется минимизация нормы невязки между захваченным изображением , которое захвачено физической камерой, и виртуальным (рендерированным) изображением , сформированным программным обеспечением для физически корректного рендеринга с использованием цифровой модели камеры, таким образом, что:

.

В результате захваченное изображение и виртуальное изображение являются почти подобными за счет использования физически корректного рендеринга, основанного на волновой оптике, учета преобразования изображения датчиком изображения и алгоритмом обработки.

Принцип распространения волн, используемый в программном обеспечении для физически корректного рендеринга в соответствии с изобретением, основан на принципе Гюйгенса-Френеля, в котором поле в точке может быть выражено через формулу дифракции Релея-Зоммерфельда (см. Michael Bass “Handbook of optics”, том I, второе издание, New York: McGraw-Hill, 1995)

где - значения поля на апертуре , при ;

- расстояние между точкой на апертуре и точкой наблюдения .

Для приблизительных вычислений могут быть использованы следующие формулы:

Аппроксимация Фраунхофера (при ):

Аппроксимация Френеля (при ):

В одном или более неограничивающих вариантах выполнения изобретения алгоритм реконструкции свойств поверхности в соответствии с технологией согласно изобретению работает следующим образом. На этапе создания 3D модели в качестве входных данных принимают 3D объекты с приблизительными свойствами поверхности. В общем случае, свойства поверхности могут быть описаны параметрами применяемой цветовой модели (RGB, CMY и т.п.), параметрами текстуры поверхности или двулучевой функцией отражательной (пропускающей) способности (англ. Bidirectional reflectance (transmittance) distribution function - BRDF, BTDF). 3D сканер обеспечивает лишь приблизительные свойства поверхности с использованием встроенной цифровой камеры. Захватываемые цвета являются неточными вследствие ограниченности спектрального диапазона байеровского фильтра.

В настоящем изобретении применяется набор спектральных фильтров для расширения цветового диапазона. Кроме того, используется физически корректная модель фильтра в программном обеспечении для рендеринга, которая также повышает точность реконструкции свойств поверхности. При этом в технологии согласно изобретению также может применяться модель байеровского фильтра.

В алгоритме согласно изобретению учитываются аберрации и дифракция, присущие оптической системе физической камеры, и их влияние на создаваемую 3D модель минимизируется. Следует отметить, что хроматические аберрации имеют в особенности большое значение для реконструкции свойств поверхности.

Минимизация нормы невязки между захваченным изображением и виртуальным изображением осуществляется таким образом, что:

Это также относится, в частности, к хроматическим аберрациям, влияние которых минимизируется с использованием алгоритма реконструкции свойств поверхности согласно изобретению. Напротив, поскольку в программном обеспечении для рендеринга из уровня техники не используется «цифровой двойник» камеры, в рендеринге согласно уровню техники не учитываются несовершенства физической камеры, которые проявляются в аберрациях, дифракции, шуме, и не учитывается ограниченность цветового диапазона ввиду использования байеровского фильтра. Таким образом, алгоритм реконструкции свойств поверхности в соответствии с настоящим изобретением обеспечивает реалистичные свойства поверхности, снимает зависимость модели реконструируемой поверхности 3D объекта от конкретной физической камеры, и минимизирует влияние аберраций и дифракции на свойства рендерируемой поверхности.

Алгоритм позиционирования виртуальных объектов и коррекции формы в соответствии с технологией согласно изобретению работает следующим образом. На этапе создания 3D модели принимают в качестве входных данных виртуальные 3D объекты с неточным расположением и формами. С другой стороны, физическая камера формирует изображения с остаточными аберрациями, которые искажают форму и положение. Алгоритм позиционирования виртуальных объектов и коррекции формы учитывает аберрации и дифракцию и минимизирует их влияние на виртуальную модель.

Искажение (дисторсия) изображения является в особенности важной для позиционирования и коррекции формы. 3D сканер не обеспечивает точные положения объектов, которые имеются в 3D сцене реального мира. Таким образом, оцифрованные объекты в виртуальной 3D сцене необходимо позиционировать. Их размещение выполняется путем выполнения этапа минимизации нормы невязки между захваченным изображением и виртуальным изображением. Для этой цели программное обеспечение для рендеринга использует цифровой двойник физической камеры. Таким образом повышается точность рендеринга.

Применение цифрового двойника физической камеры в соответствии с изобретением, а также алгоритм позиционирования и коррекции формы виртуальных объектов в соответствии с технологией согласно изобретению устраняет зависимость между рендерируемой виртуальной 3D сценой и физической камерой. Кроме того, он обеспечивает возможность точного сопоставления пикселей между виртуальным изображением и захваченным изображением, а также точную коррекцию формы и положения оцифрованных объектов. Кроме того, при использовании данной технологии одного захваченного изображения, сформированного физической камерой, по существу достаточно для реализации способа согласно изобретению, и нет необходимости формировать множество захваченных изображений с различных точек обзора, ракурсов и т.п. Однако следует отметить, что увеличение числа захваченных изображений может дополнительно повысить точность позиционирования и коррекции формы до субпиксельных значений.

Таким образом, по сравнению с технологиями из уровня техники, в которых используется обычный 3D сканер, в котором форма 3D объектов реального мира захватывается неточно, а свойства поверхности получаются только посредством встроенной цветной камеры общего назначения, в которой цвета ограничены байеровским фильтром и пространством RGB, при захвате изображения (изображений) 3D сцены реального мира не используются фильтры, 3D объекты, присутствующие в рендерируемой 3D сцене, лишь грубо выстраиваются и оператору-человеку необходимо их позиционировать вручную, в настоящем изобретении точно захватываются свойства поверхности 3D объектов, а их форма и размещение в 3D сцене регулируются и верифицируются, используется сочетание физической камеры и цифровой модели камеры (цифрового двойника физической камеры). В технологии согласно изобретению также используется фильтр или набор фильтров в физической камере для формирования захваченного изображения, а также учитываются параметры упомянутого фильтра (или упомянутого набора фильтров) в цифровой модели камеры. В результате может быть захвачена и смоделирована любая длина волны за счет использования фильтра и учета упомянутого фильтра в цифровой модели камеры, что позволяет точно захватывать и рендерировать характеристики текстуры, а также корректировать и верифицировать форму. Изобретение обеспечивает возможность попиксельного выравнивания форм и положений 3D объектов в рендерируемой 3D сцене и автоматического позиционирования 3D объектов в рендерируемом виртуальном 3D изображении.

Описав выше общие принципы технологии согласно изобретению и ее работу, перейдем к подробному описанию вариантов выполнения ключевых элементов технологии согласно изобретению.

Согласно одному или более неограничивающим вариантам выполнения изобретения, цифровая модель камеры (также называемая цифровым двойником физической камеры) может быть сформирована в виде камеры с точечной диафрагмой для каждого канала оптического излучения (например, каждого цветового канала в пространстве RGB), отраженного от 3D сцены реального мира. Принцип работы цифровой модели камеры в данном неограничивающем варианте выполнения состоит в следующем. В камере с точечной диафрагмой оптическое излучение от сцены проходит через апертуру и проецирует перевернутое изображение на плоскость анализа. Обращаясь к схематичной иллюстрации на Фиг. 2, в цифровой модели камеры согласно настоящему изобретению точечная апертура моделируется с использованием следующих параметров:

- поле зрения (FoV) или угол, в котором регистрируется сцена реального мира на плоскости анализа;

- высота объекта в сцене реального мира;

- высота изображения в плоскости анализа;

- расстояние от объекта реального мира до точечной апертуры;

- расстояние от точечной апертуры до плоскости анализа;

- увеличение.

Данный вариант выполнения является наиболее простым в реализации, в частности, поскольку он позволяет формировать идеально резкое полностью сфокусированное изображение, быстро захватывать текстуру 3D объектов и позиционировать 3D объекты.

В другом неограничивающем варианте выполнения цифровая модель камеры (цифровой двойник камеры) может быть основана на идеальной линзе. Идеальная линза, схематично проиллюстрированная на Фиг. 3, характеризуется в общем следующими параметрами:

- фокусным расстоянием или оптической силой ;

- диаметром .

Модель идеальной линзы в контексте настоящего изобретения работает следующим образом. Любой пучок падающего оптического излучения, который попадает в апертуру, ограниченную диаметром идеальной линзы, трассируется в соответствии со следующими формулами:

где - угол между оптической осью и падающим на идеальную линзу лучом, - высота луча на линзе; - угол между оптической осью и прошедшим через линзу лучом ; - высота луча в плоскости анализа; d - расстояние между линзой и плоскостью анализа.

Любой пучок света, который не попадает в апертуру идеальной линзы, блокируется. Конкретным преимуществом данного варианта выполнения цифровой модели камеры (цифрового двойника камеры) может быть то, что он учитывает глубину резкости, а также диаметр линзы (для оценки освещенности), в отличие от варианта выполнения, в котором цифровая модель камеры основана на камере с точечной апертурой, как описано выше.

В другом варианте выполнения цифровая модель камеры (цифровой двойник камеры) может быть основана на модели оптической системы, свободной от аберраций за исключением дисторсии. В данном случае размытие изображения, которое присуще оптической системе физической камеры, не учитывается и таким образом цифровой двойник физической камеры по существу воспроизводит лишь дисторсию изображения, которая также присуща оптической системе той физической камеры, для которой создан цифровой двойник камеры. Это обеспечивается путем использования моделируемой оптической системы с дисторсией, которая схематично проиллюстрирована на Фиг. 4, в которой используется диафрагма с точечной апертурой. Это с достижением преимущества позволяет использовать цифровую модель камеры для коррекции формы 3D объектов в изображениях без размытия, но с той же дисторсией, что и у соответствующей физической камеры.

Еще в одном варианте выполнения цифровая модель камеры (цифровой двойник камеры) может быть основана на модели оптической системы с хроматическими аберрациями, как схематично проиллюстрировано на Фиг. 5, где EP означает входной зрачок, AP означает плоскость анализа, CS означает хроматизм положения, LC означает хроматизм увеличения. Хроматические аберрации обусловлены зависимостью показателя преломления оптических материалов компонентов оптической системы и углов дифракции от длины волны. Для расчета этих аберраций при трассировке лучей достаточно учесть эти зависимости. В данном случае определенные падающие пучки оптического излучения, которые входят в модель оптической системы через входной зрачок, проходят через оптическую систему, при этом формируя хроматизм положения, а также хроматизм увеличения на плоскости анализа в цифровой модели камеры, в результате чего получается рендерированное виртуальное изображение с точно такими же хроматическими аберрациями, как и в захваченном физической камерой изображении. Учет хроматических аберраций повышает точность восстановления свойств поверхностей (текстура, отражательные и цветовые свойства).

Еще в одном варианте выполнения цифровая модель камеры (цифровой двойник камеры) может использовать набор поляризационных фильтров в роли так называемого зависимого от поляризации компонента, который выполнен с возможностью ослабления или блокирования пучков оптического излучения с определенной поляризацией (например, с s-поляризацией или p-поляризацией), и таким образом устранять нежелательные эффекты, такие как блики, в виртуальном изображении, так же как устраняет нежелательные эффекты в захваченном изображении установленный в физической камере поляризационный фильтр. Это может с достижением преимущества позволять захватывать свойства поверхности 3D объектов с высокой точностью, учитывать блики на поверхностях 3D объектов и отличать блики от текстур, чтобы не воспроизводить нежелательные блики в формируемой виртуальной 3D сцене.

Еще в одном варианте выполнения цифровая модель камеры (цифровой двойник камеры) может использовать так называемый датчик изображения, выполненный по технологии «линза на чипе» (OCL), в котором, в качестве неограничивающего примера, два , четыре или более одинаковых соседних пикселя имеют общую линзу. В общем случае, датчики изображения с OCL используются в системах автофокуса с фазовым детектированием. Принцип работы OCL состоит в следующем: если изображение расфокусировано, датчик изображения обнаруживает два суб-изображения, смещенные относительно друг друга (в случае с линзой на два пикселя) или четыре смещенные суб-изображения одного и того же объекта (в случае с линзой на четыре пикселя) в визуализируемой сцене реального мира. При этом автофокусировка выполняется путем минимизации упомянутых смещений. В контексте настоящего изобретения такая цифровая модель камеры (цифровой двойник камеры) может быть предпочтительна, в частности, ввиду того, что она может использоваться с усовершенствованным датчиком изображения в цифровой модели камеры, в результате чего повышается точность положений 3D объектов за счет параллакса в суб-изображениях, формируемых моделируемым датчиком изображения с OCL.

В другом варианте выполнения программное обеспечение для физически корректного рендеринга, которое реализует цифровую модель камеры (цифровой двойник камеры) может использовать гибридное моделирование, что включает в себя, в частности, сочетание трассировки лучей и моделирования распространения волн. В таком случае алгоритм работы, реализуемый программным обеспечением для физически корректного рендеринга, является двухступенчатым алгоритмом, в котором на первой ступени пучки (лучи) света трассируются до выходного зрачка оптической системы в цифровой модели камеры, которая схематично проиллюстрирована на Фиг. 6, где EP означает входной зрачок, OS означает оптическую систему, EX означает выходной зрачок.

Результатом работы первой ступени является зрачковая функция, которая описывает воздействие на волну оптического излучения при ее прохождении через моделируемую оптическую систему. Зрачковая функция характеризуется следующим выражением:

где - координаты во входном зрачке, - коэффициент пропускания вдоль пути , - волновая аберрация, i - мнимое число.

Поле в выходном зрачке пропорционально зрачковой функции:

Во второй ступени используется распространение волн от выходного зрачка до плоскости изображения. Для быстрой оценки формула дифракции может быть аппроксимирована преобразованием Фурье:

,

где F - оператор преобразования Фурье.

Если - точечный источник, , возведенная в квадрат, представляет собой функцию рассеяния (PSF):

PSF описывает реакцию оптической системы на точечный объект. Изображение, (, формируемое оптической системой на части датчика изображения, моделируемого цифровой моделью камеры (соответствующей полю, в котором PSF может считаться инвариантной), может быть представлено в виде свертки распределения интенсивности объекта и PSF: , где подстрочная означает зависимость от длины волны. Учитывая чувствительность датчика по длинам волн , формируемое изображение определяется:

.

Изображение , формируемое на датчике изображения, оцифровывается (интегрируется по пикселям датчика изображения, дискретизируется с шагом следования пикселей и квантуется по уровню), и на него накладывается шум , что в результате дает изображение:

,

где S - оператор оцифровки.

Далее алгоритм обработки изображения цифровой модели камеры преобразует изображение в виртуальное (рендерированное) изображение :

,

где являются параметрами алгоритма 330 обработки изображений в цифровой модели камеры, например параметры применяемых цифровых фильтров или весовые коэффициенты слоев нейронной сети.

Данный вариант выполнения цифровой модели камеры (цифрового двойника камеры) является в особенности предпочтительным с точки зрения наилучшей точности восстановления свойств поверхности, позиционирования оцифрованных объектов и высокой производительности вычислений, обусловленной принципом работы модели, описанным выше.

Этап рендеринга виртуальной 3D сцены в соответствии с настоящим изобретением также может быть реализован различными способами. В общем случае, виртуальная 3D сцена создается посредством анализа формы и положения объектов реального мира, присутствующих в 3D сцене реального мира, посредством 3D сканера, или их реконструкции с использованием камер глубины, как упомянуто выше. Кроме того, оценивается двунаправленная функция рассеивающей способности (BSDF) для объектов в 3D сцене реального мира, причем BSDF представляет собой расширенное множество и обобщение двунаправленной функции отражательной способности (BRDF) и двунаправленной функции отражательной способности (BTDF), которые характеризуют угловое распределение отраженного оптического излучения и угловое распределение пропускаемого оптического излучения, соответственно. Данные от 3D сканера, а также значения BSDF используются для рендеринга виртуальной 3D сцены. Как таковая, рендерируемая виртуальная 3D сцена может быть использована в различных целях, например в качестве набора данных для верификации программного обеспечения для рендеринга, тестового объекта для испытаний камеры, набора данных для формирования пар изображений (захваченное и рендерированное) для целей машинного обучения (ML). Верификация программного обеспечения осуществляется путем сравнения виртуального изображения, формируемого тестируемым программным обеспечением, и захваченного аттестованной физической камерой изображения. И наоборот, аттестованное программное обеспечение может быть использовано для тестирования камеры, например, на производственной линии. По уровню совпадения указанных изображений можно судить о качестве программного обеспечения или камеры соответственно. Уровень совпадения оценивается по формуле Под аттестованной камерой или аттестованным программным обеспечением понимается такая камера или программное обеспечение, для которых выполняется условие для некоторой выбранной тестовой сцены.

Важно отметить, что в настоящем изобретении тестовая сцена используется для обеспечения виртуального (рендерированного) изображения , которое далее используется в этапе минимизации нормы невязки между захваченным изображением и виртуальным изображением.

При необходимости 3D сцена реального мира, подлежащая рендерингу для создания виртуального изображения, может быть расположена в помещении для испытаний, в котором создан поглощающий оптическое излучение интерьер, или которое выполнено с возможностью изоляции 3D сцены реального мира от внешних влияний посредством светонепроницаемых стен, потолка и пола, звукопоглощающих и виброизолирующих материалов. Помещение для испытаний также может представлять собой камеру с искусственной средой (климатическую камеру) для моделирования окружающих условий, таких как температура, давление, влажность. Кроме того, помещение для испытаний может иметь регулируемые параметры, такие как параметры источников света, температуры, влажности, давления и т.п. Это может дополнительно повысить точность позиционирования 3D объектов и захвата текстур, предсказуемость моделирования за счет управляемого окружения, а также упростить этап оптимизации (минимизации нормы невязки) путем устранения влияния окружения из процесса оптимизации.

В помещении для испытаний может быть использовано подвижное крепление для физической камеры, штатив, стойка, стенд для стабилизации камеры, которые обеспечивают возможность захвата изображения со свободно выбранной точки обзора в пределах помещения для испытаний. Также для исключения вибраций физической камеры могут быть использованы демпферы, амортизаторы и т.п. Это позволяет захватывать 3D сцену под любым желаемым углом обзора, с защитой от вибрации, а также со стабилизацией изображения.

Чтобы объекты виртуальной сцены располагались точно так же, как и объекты виртуальной сцены, что приводит к минимизации , можно регулировать положения виртуальных объектов в рендерируемой виртуальной 3D сцене. Однако в некоторых вариантах выполнения в условиях помещения для испытаний при рендеринге 3D сцены можно, в качестве альтернативы, регулировать положения 3D объектов реального мира, что несколько сложнее, поскольку требует использования различных механических приспособлений, но также может быть реализовано в некоторых неограничивающих вариантах реализации изобретения и также приведет к минимизации .

Использование физической камеры и цифровой модели камеры, а также использование программного обеспечения для физически корректного рендеринга для выполнения рендеринга виртуальной 3D сцены, как описано выше, позволяет осуществлять быстрое автоматическое позиционирование виртуальных объектов, получать реалистичное рендерированное виртуальное 3D изображение, осуществлять точное попиксельное совмещение объектов 3D сцены реального мира и рендерируемой виртуальной 3D сцены, а также обеспечивает точность формы и положения оцифрованных 3D объектов реального мира. Кроме того, в соответствии с технологией согласно изобретению, для осуществления способа по существу достаточно одного захваченного изображения, т.е. нет необходимости захватывать множество изображений 3D объектов в сцене реального мира с различных точек обзора и т.п. Это достигается за счет того, что известен процесс преобразования (вычисление PSF, свертка, оцифровка) и все преобразующие элементы (оптическая система, датчик изображения, алгоритм обработки) цифрового двойника для преобразования распределения интенсивности 3D объектов сцены в распределение интенсивности виртуального изображения . Т.е. между установлена взаимно-однозначная связь. Рендерируемая виртуальная 3D модель не зависит от физической камеры, поскольку все особенности физической камеры учитываются в цифровом двойнике камеры (цифровой модели камеры). Отметим, что увеличение числа захваченных изображений может увеличить точность восстановления свойств поверхностей и позиционирования виртуальных объектов 3D сцены до субпиксельных значений.

Следует отметить, что технология согласно изобретению отличается тем, что в программном обеспечении для физически корректного рендеринга, используемом в настоящем изобретении, моделирование волнового распространения оптического излучения основано на волновой оптике, в то время как программное обеспечение для рендеринга в уровне техники обычно основано на трассировке лучей. Различия между моделированием распространения оптического излучения и трассировкой лучей проиллюстрированы на Фиг. 7, где верхняя схема иллюстрирует методику моделирования распространения волн, а нижняя схема иллюстрирует методику трассировки лучей из уровня техники. В обеих схемах оптическое излучение пропускается через дифракционную решетку и линзу, которые обозначают моделируемую оптическую систему. Дифракционная решетка используется, например, при необходимости для учета дифракционных эффектов, что требуется для реалистичного моделирования физических камер, скрытых под дисплеем смартфона - поддисплейных камер (англ. under-display camera (UDC)). Структурные элементы дисплея (тонкопленочные транзисторы на пикселях, токопроводящие шины, прозрачные промежутки между пикселями) представляют собой по отношению к камере дифракционную решетку.

Следует отметить, что график PSF на верхней схеме указывает на наличие боковых лепестков (пиков) помимо главного пика, в то время как в случае с трассировкой лучей боковые лепестки отсутствуют. Методика моделирования распространения волн согласно изобретению учитывает дифракцию, в то время как методика из уровня техники не учитывает дифракцию. В результате изображение, рендерируемое с использованием технологии трассировки из уровня техники представляет собой лишь грубое приближение 3D сцены реального мира, в то время как рендерируемое изображение в соответствии с настоящим изобретением является более физически корректным, поскольку в нем учитывается дифракция, что повышает точность захвата текстур и позиционирования 3D объектов.

Программное обеспечение для физически корректного рендеринга согласно изобретению использует модель датчика изображения и алгоритм обработки изображений физической камеры, в то время как в технологиях из уровня техники, опять же, в данном отношении используется только моделирование трассировки лучей.

Другим важным признаком настоящего изобретения является использование спектрального фильтра, который расширяет цветовой диапазон цифровой модели камеры, в отличие от уровня техники, где с датчиком изображения используется байеровский фильтр, который ограничивает цветовой диапазон, а не расширяет его. В физической камере спектральный фильтр может быть реализован, например, на основе окрашенных оптических стекол, обладающих различным поглощением различных участков спектра, или на основе интерференционных покрытий, пропускающих определенную часть спектра.

В общем случае, способ согласно изобретению работает следующим образом. Способ формирования виртуальной сцены, содержащей один или более 3D объектов в соответствии с настоящим изобретением содержит следующие этапы, как проиллюстрировано на Фиг. 8.

На этапе S1 создается 3D модель 3D сцены реального мира. Для этой цели могут быть использованы различные методики, которые хорошо известны в данной области техники. Настоящее изобретение не ограничено какими-либо конкретными методиками, которыми может быть реализован данный этап. В качестве иллюстративного примера, может быть использован 3D сканер или камера светового поля, или камера глубины, или 3D принтер с программным обеспечением для 3D моделирования. Следует отметить, что эта исходная 3D модель сцены реального мира характеризуется неправильным (или неточным) расположением объектов и неточной текстурой поверхности по сравнению с 3D сценой реального мира, на которой основана упомянутая исходная 3D модель.

На этапе S2 изображение 3D сцены реального мира захватывается физической камерой для получения захваченного изображения. Физическая камера может быть любой камерой реального мира с известными параметрами (конструктивные параметры оптической системы, параметры датчика изображения, параметры алгоритма), такой как фотокамера, видеокамера, камера глубины, 3D камера и т.п. Настоящее изобретение не ограничено какой-либо конкретной физической камерой. В качестве иллюстративных примеров практической реализации изобретения можно упомянуть камеру мобильного телефона или смартфона (Samsung S22), цифровой фотоаппарат (Sony, Canon, Nikon), 3D камеру (Lytro).

Настоящее изобретение не ограничено каким-либо конкретным типом физической камеры при условии, что она способна получать захваченное изображение в соответствии с изобретением.

На этапе S3 создается цифровая модель камеры для физической камеры, например с использованием программного обеспечения для физически корректного рендеринга. Различные варианты реализации данного этапа описаны выше.

На этапе S4 выполняется рендеринг виртуальной 3D сцены, содержащей виртуальные 3D объекты, с использованием программного обеспечения для физически корректного рендеринга для получения виртуального изображения, причем рендеринг основан на цифровой модели камеры. Другими словами, выполняется рендеринг виртуального изображения с использованием программного обеспечения для физически корректного рендеринга посредством цифровой модели камеры (цифрового двойника камеры) и модели фильтров. Цифровой двойник камеры повышает точность рендеринга, в то время как набор фильтров обеспечивает захват текстур с высоким качеством.

На этапе S5 выполняется минимизация нормы невязки между захваченным изображением и виртуальным изображением для оптимизации положений и параметров текстуры виртуальных 3D объектов, .

В одном аспекте технология согласно изобретению может быть реализована системой для формирования виртуальной сцены, содержащей один или более 3D объектов. Система согласно изобретению содержит физическую камеру, выполненную с возможностью захвата изображения 3D сцены реального мира для получения захваченного изображения. Система также содержит блок оцифровки 3D сцены, выполненный с возможностью создания 3D модели 3D сцены реального мира, и блок рендеринга, выполненный с возможностью обеспечения цифровой модели камеры для физической камеры и выполнения рендеринга виртуальной 3D сцены, содержащей виртуальные 3D объекты, на основе цифровой модели камеры для получения виртуального изображения. Система дополнительно содержит блок оптимизации, выполненный с возможностью минимизации нормы невязки между захваченным изображением и виртуальным изображением для оптимизации положений и параметров поверхности виртуальных 3D объектов в виртуальной 3D сцене.

Блок оцифровки 3D сцены может содержать 3D сканер, камеру светового поля (пленоптическую) или 3D принтер с программным обеспечением для 3D моделирования, как описано выше в подробном описании технологии согласно изобретению.

Следует отметить, что среди компонентов системы, упомянутых выше, физическая камера является представляет собой именно аппаратный компонент, не говоря о том, что она также управляется своим программным/микропрограммным обеспечением. Все остальные компоненты системы могут быть реализованы в определенной степени аппаратными или программными средствами в зависимости от конкретной реализации изобретения. Например, как упомянуто выше, блок оцифровки 3D сцены может быть реализован в виде аппаратно реализованного 3D сканера или другого типа камеры, подходящей для создания 3D изображений с использованием вышеописанных принципов. Блок рендеринга и/или блок оптимизации могут состоять из одного или более процессоров, таких как центральные процессоры (CPU) общего назначения и/или специализированные процессоры, такие как GPU, DSP, или из интегральных схем, ASIC, FPGA, аппаратных логических блоков и тому подобного, которые выполняют свои соответствующие функции под управлением надлежащего программного и/или микропрограммного обеспечения и т.п., или они могут быть реализованы через соответствующее программное обеспечение на основе одного или более компьютеров общего назначения или специализированных компьютеров (например, для обработки 3D графики) или тому подобного. Настоящее изобретение не ограничено каким-либо конкретным сочетанием аппаратного и программного обеспечения, причем множество таких сочетаний может быть очевидным специалистам в данной области техники при внимательном изучении настоящего описания.

Среди технических эффектов и преимуществ, достигаемых настоящим изобретением, можно упомянуть, в частности, следующее. Изобретение обеспечивает точный способ верификации программного обеспечения для физически корректного рендеринга, в котором могут испытываться различные классы объектов. При реализации изобретения на цифровой модели камеры (цифровом двойнике камеры) могут испытываться различные свойства по глубине резкости, боке, перспективным искажениям, световому полю, цветовые свойства и т.п. Это обеспечивает надежную методику испытаний физических камер по сравнению с цифровыми моделями камер, а также тестовые объекты для испытаний камер и наборы данных для верификации программного обеспечения для физически корректного рендеринга, формирования пар изображений для целей машинного обучения и т.п. Настоящее изобретение, описанное выше, обладает промышленной применимостью в широком диапазоне областей техники, таких как, не ограничиваясь, клиентские терминалы метавселенной, гарнитуры и дисплеи дополненной реальности (AR) и виртуальной реальности (VR), наголовные дисплеи, смартфоны, 3D сканеры, устройства ввода (Kinect) и т.п., и в различных прочих областях техники, где могут быть важны фотореалистичный рендеринг и/или высокая геометрическая и цветовая точность 3D объектов в рендерируемой виртуальной 3D сцене.

Выше описана технология для формирования виртуальной сцены, содержащей один или более 3D объектов, согласно изобретению. Специалистам в данной области техники будет понятно, что изобретение может быть реализовано посредством различных сочетаний аппаратных и программных средств, и никакие из этих конкретных сочетаний не ограничивают объем правовой охраны настоящего изобретения. Технология согласно изобретению может быть реализована одним или более компьютерами, процессорами (CPU), такими как процессоры общего назначения или специализированные процессоры, такие как цифровые сигнальные процессоры (DSP), или одной или более ASIC, FPGA, логическими элементами и т.п. В качестве альтернативы, один или более из ее элементов или этапов способа может быть реализован в виде программных средств, таких как, например, программа или программы, компьютерные программные элементы или модули, которые управляют одним или более компьютерами, CPU и т.п. Эти программные средства могут быть реализованы на одном или более машиночитаемых носителях, которые хорошо известны специалистам в данной области техники, могут быть сохранены в одном или более блоках памяти, таких как ROM, RAM, флэш-память, EEPROM и т.п., или при необходимости переданы, например, с удаленных серверов по одному или более проводным и/или беспроводным сетевым соединениям, сети Интернет, соединению Ethernet, локальным вычислительным сетям (LAN) или другим локальным или глобальным вычислительным сетям.

Специалистам в данной области техники следует понимать, что выше описаны и показаны на чертежах лишь некоторые из возможных примеров технологий и материально-технических средств, которыми могут быть реализованы варианты выполнения настоящего изобретения. Подробное описание вариантов выполнения изобретения, приведенное выше, не предназначено для ограничения или определения объема правовой охраны настоящего изобретения.

Специалистами в данной области техники после внимательного прочтения вышеприведенного описания с обращением к сопровождающим чертежам могут быть предусмотрены другие варианты выполнения, охватываемые объемом настоящего изобретения, и все такие очевидные изменения, модификации и/или эквивалентные замены считаются включенными в объем настоящего изобретения. Все источники из уровня техники, приведенные и рассмотренные в настоящем документе, настоящим включены в данное описание путем ссылки, насколько это применимо.

При том, что настоящее изобретение было описано и проиллюстрировано с обращением к различным вариантам его выполнения, специалистам в данной области техники следует понимать, что в его форму и конкретные детали могут быть внесены различные изменения, не выходящие за рамки объема настоящего изобретения, который определяется только нижеприведенной формулой изобретения и ее эквивалентами.

Изобретение относится к области трехмерной (3D) визуализации и, в частности, может быть использовано в клиентских терминалах метавселенной, системах дополненной реальности или виртуальной реальности (AR/VR). Техническим результатом изобретения является обеспечение точного рендеринга текстуры поверхности, форм и положений 3D объектов реального мира в виртуальной 3D сцене. Предложен способ формирования виртуальной сцены, содержащей один или более 3D объектов, содержит создание 3D модели 3D сцены реального мира; захват изображения 3D сцены реального мира с использованием физической камеры для получения захваченного изображения; создание цифровой модели камеры для физической камеры; выполняют рендеринг виртуальной 3D сцены, содержащей виртуальные 3D объекты, на основе цифровой модели камеры с использованием программного обеспечения для физически корректного рендеринга для получения виртуального изображения; минимизацию нормы невязки между захваченным изображением и виртуальным изображением для оптимизации положений и параметров поверхности виртуальных 3D объектов в виртуальной 3D сцене. Также предложены система и машиночитаемый носитель, которые реализуют данный способ, что обеспечивает также более точный рендеринг текстуры поверхности, форм и положений 3D объектов реального мира в виртуальной 3D сцене. 3. н. и 13 з.п. ф-лы, 8 ил.

1. Способ формирования виртуальной сцены, содержащей один или более 3D объектов, причем способ содержит этапы, на которых:

- создают 3D модель 3D сцены реального мира;

- захватывают изображение 3D сцены реального мира с использованием физической камеры для получения захваченного изображения;

- создают цифровую модель камеры для физической камеры, причём цифровая модель камеры создается с использованием параметров физической камеры;

- выполняют рендеринг виртуальной 3D сцены, содержащей виртуальные 3D объекты, на основе цифровой модели камеры с использованием программного обеспечения для физически корректного рендеринга для получения виртуального изображения;

- минимизируют норму невязки между захваченным изображением и виртуальным изображением, представляющую собой попиксельную разность между захваченным изображением и виртуальным изображением, для оптимизации положений и параметров поверхности виртуальных 3D объектов в виртуальной 3D сцене.

2. Способ по п. 1, в котором минимизация нормы невязки между захваченным изображением и виртуальным изображением содержит этап, на котором применяют алгоритм реконструкции свойств поверхности для оптимизации параметров поверхности виртуальных 3D объектов.

3. Способ по п. 1, в котором минимизация нормы невязки между захваченным изображением и виртуальным изображением содержит этап, на котором применяют алгоритм позиционирования виртуальных объектов для оптимизации положений и формы виртуальных 3D объектов.

4. Способ по п. 1, в котором программное обеспечение для физически корректного рендеринга использует моделирование волнового распространения оптического излучения при рендеринге виртуальной 3D сцены.

5. Способ по п. 1, в котором цифровая модель камеры содержит набор фильтров.

6. Способ по п. 5, в котором набор фильтров содержит спектральный фильтр, выполненный с возможностью расширения цветового диапазона в цифровой модели камеры.

7. Способ по п. 1, в котором в цифровой модели камеры используется датчик изображения типа «линза на чипе» (OCL), в котором два, четыре или более одинаковых соседних пикселей имеют общую линзу.

8. Способ по п. 1, в котором на этапе рендеринга виртуальной 3D сцены цифровая модель камеры создает изображение по меньшей мере одного объекта виртуального изображения, созданного на этапе создания 3D модели 3D сцены реального мира.

9. Способ по п. 1, в котором цифровая модель камеры основана на модели камеры с точечной диафрагмой.

10. Способ по п. 1, в котором цифровая модель камеры основана на модели идеальной линзы.

11. Способ по п. 1, в котором цифровая модель камеры основана на модели оптической системы, свободной от аберраций за исключением дисторсии.

12. Способ по п. 1, в котором цифровая модель камеры основана на модели оптической системы с хроматическими аберрациями.

13. Способ по п. 1, в котором цифровая модель камеры дополнительно содержит модель поляризационного фильтра.

14. Система для формирования виртуальной сцены, содержащей один или более 3D объектов, причем система содержит:

физическую камеру, выполненную с возможностью захвата изображения 3D сцены реального мира для получения захваченного изображения;

блок оцифровки 3D сцены, выполненный с возможностью создания 3D модели 3D сцены реального мира;

блок рендеринга, выполненный с возможностью обеспечения цифровой модели камеры для физической камеры и рендеринга виртуальной 3D сцены, содержащей виртуальные 3D объекты, на основе цифровой модели камеры для получения виртуального изображения, причём цифровая модель камеры создается с использованием параметров физической камеры; и

блок оптимизации, выполненный с возможностью минимизации нормы невязки между захваченным изображением и виртуальным изображением, представляющей собой попиксельную разность между захваченным изображением и виртуальным изображением, для оптимизации положений и параметров поверхности виртуальных 3D объектов в виртуальной 3D сцене.

15. Система по п. 14, в котором блок оцифровки 3D сцены содержит 3D сканер, камеру светового поля или камеру глубины, или 3D принтер с программным обеспечением для 3D моделирования.

16. Машиночитаемый носитель, на котором сохранена компьютерная программа для осуществления способа по любому из пп. 1-13 при выполнении на компьютере или в процессоре.