Способ получения информации о форме и размерах трехмерного объекта по его двухмерному изображению Российский патент 2024 года по МПК G06T7/593 G06T15/30 G06T17/00 

Изобретение относится к области обработки изображений и фотограмметрии и может быть использовано для предварительной оценки формы и размеров объекта по одному его двухмерному изображению, а также для 3D-сканирования и создания 3D-моделей объектов.

В настоящее время широкое распространение получили видеокамеры различных диапазонов спектра, применение которых возможно для решения задач фиксации событий, наблюдения за объектами в режиме реального времени, обнаружения и распознавания и т.п. Одним из актуальнейших направлений в области обработки получаемых от камер изображений является реконструкция трехмерных сцен, отображенных на них, о чем свидетельствует вовлеченность мировых лидеров в данной отрасли [1, 2] и простых любителей [3]. Цели, которые преследуются разработчиками при этом различны: от развития и продвижения индустрии развлечений до применения в военной сфере.

Известен способ визуализации 3D-портрета человека с измененным освещением и вычислительное устройство для него [4], заключающийся в том, что принимают ввод, определяющий позу камеры и условия освещения; осуществляют растеризацию скрытых дескрипторов 3D-облака точек, причем 3D-облако точек создают на основе последовательности изображений, отснятых камерой с мигающей вспышкой при перемещений камеры вокруг верхней части тела человека, при этом последовательность изображений содержит набор изображений, снятых со вспышкой, и набор изображений, снятых без вспышки; обрабатывают растеризованные изображения глубокой нейронной сетью для прогнозирования альбедо, нормалей, карт теней окружающей среды и маски сегментации для принятой позы камеры, и объединяют спрогнозированные альбедо, нормали, карты теней окружающей среды и маску сегментации в 3D-портрет с измененным освещением в соответствии с условиями освещения.

Недостатками данного способа являются:

- необходимость получения множества двухмерных изображений объекта при перемещении камеры вокруг него, что свидетельствует о необходимости нахождения объекта в неподвижном состоянии, а также применения механизмов перемещения камеры;

- создание специальных условий освещенности объекта, что является невозможным при получении двумерного изображения объекта в полевых условиях;

- применение глубоких нейросетей для прогнозирования альбедо, нормалей, карт теней окружающей среды и маски сегментации, что существенно замедляет процесс получения результата.

Известен способ реконструкции 3D-модели объекта [5], согласно которому получают доступный набор натурных изображений объекта, на котором выполняют обучение сверточной нейронной сети. Первоначально создают множество текущих версий 3D-модели объекта на основе полученного набора натурных изображений объекта, формируют из каждой текущей версии 3D-модели объекта наборы изображений, обнаруживают объект на наборах изображений с использованием обученной сверточной нейронной сети. Вычисляют текущие значения вероятности обнаружения объекта на наборах изображений, выбирают среди вычисленных текущих значений вероятности обнаружения объекта М>2 наибольших значений вероятности обнаружения объекта и М соответствующих им текущих версий 3D-модели объекта. Из каждой выбранной версии 3D-модели объекта создают множество текущих версий 3D-модели объекта путем изменения не менее одного параметра ее формы, геометрических размеров, цветовых текстур и отражающей способности поверхности. Повторно формируют из каждой текущей версии 3D-модели объекта наборы изображений и выполняют последующие действия до тех пор, пока возрастает значение хотя бы одного из наибольших значений вероятности обнаружения объекта, иначе принимают в качестве реконструированной 3D-модели объекта текущую версию 3D-модели объекта с наибольшим значением вероятности обнаружения объекта.

Недостатками данного способа являются:

- необходимость получения набора натурных изображений объекта, что не всегда является возможным, например, в условиях ведения боевых действий;

- применение нейросетей для анализа изображений, для чего требуется их предварительное обучение, требующее временных затрат;

- многократное создание и коррекция 3D-моделей объекта до их максимального совпадения с полученными изображениями, для чего требуется высокопроизводительные ЭВМ.

Наиболее близким по технической сущности к предлагаемому изобретению является способ восстановления формы трехмерного объекта по его двухмерным изображениям [6], заключающийся в регистрации под разными ракурсами двухмерных изображений объекта и по этим зарегистрированным изображениям восстановлении трехмерной формы объекта. Контролируемую область пространства разбивают на малые объемы - элементы разрешения, нумеруют их и фиксируют их пространственные координаты. На каждом зарегистрированном изображении выделяют область, занятую непосредственно изображением объекта - область изображения объекта, расчетным путем определяют положения всех элементов разрешения на плоскостях зарегистрированных изображений. Для каждого зарегистрированного изображения выделяют номера тех элементов разрешения, изображения которых попали в область изображения объекта, выбирают те номера элементов разрешения, которые оказались выделенными одновременно для всех зарегистрированных изображений. Восстанавливают форму трехмерного объекта как совокупность элементов разрешения с выбранными номерами.

Недостатками данного способа являются:

- необходимость получения нескольких изображений объекта с различных ракурсов для более точного восстановления его формы;

- точность воспроизведения действительной формы объекта существенно зависит от количества выбранных элементов решения: так из описания следует, что если требуется максимальная точность определения формы объекта, то в качестве элемента решения следует принять пиксель изображения, что свидетельствует о необходимости обработки большого массива данных на полученных изображениях и об увеличении времени, затраченного на это.

Технической задачей данного изобретения является разработка способа получения первичной информации о форме и размерах трехмерного объекта по одному его двухмерному изображению в течение времени, не оказывающего существенного влияния на оперативность получения данных, без применения технологий с использованием нейросетей и высокопроизводительных ЭВМ.

Особенностью и преимуществами заявляемого способа являются: возможность использования всего одного двухмерного изображения объекта для получения информации о его форме и размерах, использование в качестве основного источника информации яркости пикселей получаемого изображения объекта на подстилающем фоне, а также дальности до объекта, высокая скорость обработки информации и получения результатов ввиду отсутствия громоздких математических вычислений, низкие требования к производительности ЭВМ по причине выполнения аналитических расчетов.

Сущность предлагаемого изобретения заключается в последовательной обработке получаемого изображения до достижения ожидаемого результата, как это показано на блок-схеме алгоритма на фиг.1 в следующем порядке.

A. Получение исходных данных, представленных двухмерным изображением объекта на подстилающем фоне, полученным с помощью матричного фотоприемника, расстоянием до объекта, полученным от как минимум одного лазерного дальномера, углом падения света на объект от источника освещения относительно места съемки объекта, параметрами матричного фотоприемника, с помощью которого получено изображение: углом обзора, количеством пикселей в строках и столбцах матрицы.

Б. Определение объекта на подстилающем фоне с помощью стандартных алгоритмов выделения контуров и цветового и контрастного преобразований изображения.

B. Проведение цветовой сегментации полученного изображения объекта и нумерация полученных цветовых сегментов для последовательного проведения расчетов по каждому из них.

Г. Представление полученных изображений цветовых сегментов в виде матриц значений яркости пикселей.

Д. Определение фактического размера части картинной плоскости, отображаемой одним пикселем получаемого изображения на данном расстоянии по формуле:

где L - расстояние от камеры до объекта, м;

δ - угол обзора камеры, градус;

N_пикс.L - количество пикселей в матричном фотоприемнике по его длине, шт.

Е. Задание функции распределения света от источника освещения в плоскости объекта для любого одного столбца матрицы изображения, которое затем используется при расчетах для всех других столбцов.

Солнечный свет принимается в расчетах равномерно распределенным по плоской поверхности, свет от близко расположенного точечного источника принимается распределенным по плоской поверхности по нормальному закону.

Ж. Выполнение повторяющихся для каждого от первого до последнего столбца матрицы изображения сегмента расчетов в следующем порядке:

Ж.1. Определение реального распределения света в столбце матрицы изображения в плоскости объекта по яркости рассматриваемых пикселей;

Ж.2. Определение процента несоответствия между расчетными значениями яркости пикселей и их фактическими значениями по формуле:

где I_Р - расчетное значение яркости пикселя, относительные единицы;

I_ф - фактическое значение яркости пикселя, относительные единицы.

Соответственно, если полученные значения больше 100%, то расстояние до точки объекта в данной области пространства меньше полученного от лазерного дальномера, если меньше, то расстояние до точки объекта больше;

Ж.3. Определение расстояний от камеры до каждой точки объекта в картинной плоскости осуществляется по формуле:

где n_пикс. - номер пикселя в столбце;

Е_ф.пикс. - фактическое распределение яркости по пикселям столбца матрицы изображения, относительные единицы.

3. Совмещение полученных результатов расчетов для столбцов матрицы изображения сегмента с аналогичными результатами для других сегментов в соответствии с их номерами в матрицу значений дальности до объекта с количеством строк и столбцов, соответствующих исходному изображению.

Построение графика поверхности по полученным расчетным значениям и вывод его на экран ЭВМ дают наглядное представление о форме и размерах исследуемого на изображении объекта. В качестве примера реализации заявляемого изобретения использовался стандартный 3D-объект программного продукта Blender, двухмерное изображение которого показано на фиг. 2, источник освещения задан как точечный, размещенный на одном уровне с камерой наблюдения. Результат обработки данного изображения по указанному алгоритму показан на фиг. 3 в виде точечного графика поверхности.

ИСТОЧНИКИ ИНФОРМАЦИИ

1. Официальный сайт Массачусетского технологического института США. [Электронный ресурс] URL: http://mit.edu/ (дата обращения 01.11.2022).

2. Официальный сайт экосистемы Meta. [Электронный ресурс] URL: http://meta.com/ (дата обращения 31.10.2022).

3. Информационный сайт [Электронный ресурс] URL: http://habr.com/ (дата обращения 02.11.2022).

4. RU №2757563, 2021.

5. RU №2779271, 2022.

6. RU №2653097, 2018.

Изобретение относится к вычислительной технике, а именно к способам обработки изображений. Технический результат направлен на повышение точности определения размеров трехмерного объекта по одному изображению. Способ получения информации о форме и размерах трехмерного объекта по его двухмерному изображению, заключающийся в том, что получают с помощью матричного фотоприемника исходное изображение сцены с расположенным на ней объектом и информацию о расстоянии до него с помощью как минимум одного лазерного дальномера, определяют изображение объекта на изображении подстилающего фона, представляют полученные сегменты в виде матрицы значений яркости пикселей, определяют фактический размер части картинной плоскости, задают функции распределения света от источника освещения в плоскости объекта, определяют процент несоответствия между расчетными значениями яркости пикселей и их фактическими значениями, совмещают полученные результаты расчетов для столбцов матрицы изображения сегмента с аналогичными результатами для других сегментов в соответствии с их номерами в матрицу значений дальности до объекта, осуществляют вывод на экран ЭВМ исследуемого на изображении объекта. 3 ил.

Способ получения информации о форме и размерах трехмерного объекта по его двухмерному изображению, заключающийся в том, что получают с помощью матричного фотоприемника исходное изображение сцены с расположенным на ней объектом, а также информацию о расстоянии до него с помощью как минимум одного лазерного дальномера, угле падения света источника освещения на него и параметры фотоприемной матрицы, отличающийся тем, что определяют изображение объекта на изображении подстилающего фона, сегментируют его по цвету и нумеруют сегменты по порядку для их последовательной обработки, представляют полученные сегменты в виде матрицы значений яркости пикселей, определяют фактический размер части картинной плоскости, отображаемый одним пикселем получаемого изображения на данном расстоянии, задают функции распределения света от источника освещения в плоскости объекта для любого одного столбца матрицы изображения, определяют реальное распределение света в столбце матрицы изображения в плоскости объекта по яркости рассматриваемых пикселей, определяют процент несоответствия между расчетными значениями яркости пикселей и их фактическими значениями, на основании чего определяют расстояния от камеры до каждой точки объекта в картинной плоскости, совмещают полученные результаты расчетов для столбцов матрицы изображения сегмента с аналогичными результатами для других сегментов в соответствии с их номерами в матрицу значений дальности до объекта, осуществляют вывод на экран ЭВМ исследуемого на изображении объекта.