СПОСОБ ВОССТАНОВЛЕНИЯ ФОРМЫ ТРЁХМЕРНОГО ОБЪЕКТА ПО ЕГО ДВУХМЕРНЫМ ИЗОБРАЖЕНИЯМ Российский патент 2018 года по МПК G06T15/30 

Описание патента на изобретение RU2653097C1

Изобретение относится к области фотограмметрии и может быть использовано для восстановления формы трехмерного объекта и его пространственного положения по двухмерным изображениям этого объекта в разных ракурсах.

Известен способ (аналог) определения формы трехмерного объекта по его двухмерным изображениям, которые получают с использованием структурированного освещения [1]. В качестве структурированной подсветки используют паттерны, например, в виде черных и белых полос. В этом способе проектор и камера, регистрирующая изображение, разнесены в пространстве и для точек изображения объекта решается задача триангуляции, что позволяет построить карту глубин - зависимость расстояний до поверхности объекта от координат пикселов на изображениях. Полученная информация позволяет оценить форму объекта.

Этот способ имеет следующие недостатки.

1) Для его реализации необходимо специальное оборудование, обеспечивающее создание структурированного освещения.

2) Реализация этого способа сопряжена с дополнительным энергопотреблением, необходимым для работы устройств, обеспечивающих структурированное освещение.

3) Способ со структурированной подсветкой является активным, что в ряде случаев нежелательно в интересах скрытности наблюдения за объектом.

4) Способ этот может оказаться нереализуемым в принципе при наблюдении за удаленными объектами из-за невозможности осветить объект на большом расстоянии структурированным светом.

5) Проблематична реализация способа в условиях естественного дневного освещения, когда паттерны могут оказаться невидимыми.

6) Информация о форме объекта получается опосредованной, в виде карты глубин, что требует последующей обработки для удобного представления формы объекта.

От указанных недостатков свободен способ (прототип) [2] восстановления формы трехмерного объекта на основе стереоизображений, который заключается в том, что регистрируют изображения объекта в разных ракурсах, находят на изображениях соответственные точки, вычисляют известными методами их трехмерные координаты, применяют триангуляцию для получения формы объекта.

Преимущества прототипа по сравнению с аналогом следующие.

1) Упрощение аппаратуры и экономия энергопотребления ввиду отсутствия подсветки.

2) Обеспечение скрытности наблюдения за объектом.

3) Получение результата в наглядной форме.

4) Работоспособность на больших расстояниях и в условиях естественного освещения.

Недостатки прототипа следующие.

1) Неработоспособность при условии однородности поверхности объекта, при которой изображение объекта получится однородным и выявить соответственные точки будет невозможно.

2) Высокие требования к качеству изображений, которые должны обеспечивать возможность выявления соответственных точек по изображению объекта.

3) Большие вычислительные затраты, необходимые для выявления соответственных точек и решения задачи триангуляции.

Технической задачей данного изобретения является расширение области применения способа восстановления формы трехмерного объекта на объекты с однородной структурой, снижение требований к качеству регистрируемых изображений, сокращение вычислительных затрат за счет того, что форма объекта восстанавливается без выявления соответственных точек на изображениях и без триангуляции, снижение требований к взаимному положению систем регистрации изображений вследствие отсутствия необходимости получения перекрывающихся изображений, что необходимо для определения соответственных точек.

Поставленная задача достигается тем, что в способе восстановления формы трехмерного объекта по его двухмерным изображениям, заключающемся в регистрации под разными ракурсами двухмерных изображений объекта и восстановлении по этим изображениям трехмерной формы объекта, согласно изобретению контролируемую область пространства, в которой находится объект, разбивают на малые объемы - элементы разрешения (ЭР), нумеруют их и фиксируют их пространственные координаты, на каждом зарегистрированном изображении выделяют область, занятую непосредственно изображением объекта - область изображения объекта, расчетным путем определяют положения всех ЭР на плоскостях зарегистрированных изображений, для каждого зарегистрированного изображения выделяют номера тех ЭР, изображения которых попали в область изображения объекта, выбирают те номера ЭР, которые оказались выделенными одновременно для всех зарегистрированных изображений, восстанавливают форму трехмерного объекта как совокупность ЭР с выбранными номерами.

Особенностью и главным преимуществом заявляемого способа является возможность вообще не находить на изображениях соответственные точки. Вместо этого выявляются номера ЭР, составляющих тело объекта. Для этого достаточно иметь информацию только об области изображения объекта на каждом зарегистрированном изображении. Таким образом, снимаются требования как к неоднородности объекта, так и к качеству его изображений и к положению систем регистрации изображений. Фактически, достаточно знать области, занятые изображениями объекта на плоскостях зарегистрированных изображений.

Обоснование способа.

Решаемой задачей является восстановление формы наблюдаемого объекта и его пространственного положения по двухмерным изображениям объекта, полученным в разных ракурсах. Будем полагать, что известна контролируемая область пространства, в которой находится объект.

Разобьем контролируемую область пространства на малые объемы - элементы разрешения (ЭР), пронумеруем их и зафиксируем их пространственные координаты. Обозначим пространственные координаты ЭР трехмерными координатными векторами ρ1, ρ2, …, ρN, где N - число ЭР в контролируемой области пространства.

Часть ЭР попадает в тело объекта; назовем эти ЭР элементами разрешения объекта (ЭРО). Очевидно, что совокупность всех ЭРО составляет форму объекта и определяет его положение в пространстве. Если каким-либо образом определить все ЭРО, например их номера, то тем самым мы определим форму и пространственное положение объекта. Задача состоит, таким образом, в определении номеров всех ЭР, которые являются ЭРО, по зарегистрированным изображениям.

Будем полагать, что имеется М зарегистрированных изображений, на которых отображается контролируемая область пространства (необязательно полностью) в различающихся ракурсах. На каждом зарегистрированном изображении выделим область, занятую непосредственно изображением объекта - область изображения объекта.

Изображение объекта представляет собой распределение интенсивности по области изображения объекта. На каждом изображении распределение интенсивности по области изображения объекта определяется различными факторами, такими, например, как ракурс объекта и направление падающего на него света. Существующие способы определения формы объекта основаны на анализе изображения объекта, то есть на анализе распределения интенсивности по области его изображения. Это заставляет учитывать множество факторов, например видимость той или иной особой точки объекта в видимом ракурсе данного изображения (она может оказаться заслоненной, закрытой другой частью объекта). Это делает задачу анализа изображений трудоемкой и подверженной ощутимому влиянию различных факторов. Кроме того, для реализации способа-прототипа требуется специально организованное взаимное расположение систем регистрации изображений, с малой базой стереоскопичности, чтобы особые или просто выделяющиеся каким-то образом точки объекта оказались на всех изображениях для возможности их идентификации.

В заявляемом способе распределение интенсивности по области изображения объекта исключается из рассмотрения и на результат не влияет. Опираться будем только на саму область изображения объекта.

Очевидно, что, независимо от видимого ракурса изображения, область изображения объекта представляет собой совокупность изображений всех ЭРО. Не все ЭРО будут «видны» на том или ином конкретном изображении, некоторые из них будут накладываться одно на другое, что соответствует заслонению более удаленной части объекта на изображении передней его частью в данном видимом ракурсе. Однако геометрически именно совокупность всех ЭРО составит область изображения объекта. На каждом изображении, помимо ЭРО, в область изображения объекта могут попадать и те ЭР, которые не являются ЭРО. Однако на изображениях в разных ракурсах в область изображения объекта будут попадать разные ЭР, не являющиеся ЭРО и обязательно все ЭРО. На этом факте основано решение задачи выделения тех ЭР, которые являются ЭРО и составляют форму объекта.

Решается задача следующим образом.

Расчетным путем определим положения всех ЭР на плоскостях зарегистрированных изображений. Сделаем это методом проецирования на плоскости изображений координатных векторов ЭР. Используем ортогональное проецирование, полагая объект удаленным от систем регистрации изображений.

Пусть известно, что плоскость изображения перпендикулярна заданному вектору R. Найдем оператор проецирования на эту плоскость.

Согласно [3] оператор проецирования на вектор R определяется выражением а оператор проецирования на ортогональную вектору R плоскость (плоскость изображения) - оператором

Найдем базисные орты плоскости изображения. Будем полагать, что направление базисного орта оси ординат плоскости изображения j0 определяется проекцией базисного орта j базовой системы координат на плоскость изображения, а базисный орт оси абсцисс плоскости изображения i0 составляет с векторами j0 и R правую систему координат. Это значит, что где оператор Q определяется выражением (1), [j0R] - векторное произведение, - модуль вектора.

Чтобы определить положения всех ЭР на плоскости изображения, необходимо найти проекции их координатных векторов ρ1, ρ2, …, ρN на оси координат, задаваемые ортами i0, j0. Проецирующие на эти оси операторы определяются выражениями

В выражениях (2) учтены равенства

Таким образом, проекционный оператор на плоскость изображения равен а проекция вектора ρi на эту плоскость определяется выражением

в котором вектор ρi - трехмерный вектор пространственных координат i-го ЭР, ρi0 - двухмерный вектор координат проекции ρi на плоскость изображения, ki - масштабирующий коэффициент, определяемый параметрами системы формирования изображения и дальностью ЭР. Масштабирующие коэффициенты могут быть рассчитаны для известных ЭР и параметров системы регистрации изображения.

Подставляя в (3) координатные векторы всех ЭР, получим все их проекции на плоскость изображения. Очевидно, что при проецировании не все ЭР займут отдельный участок плоскости изображения: во многих случаях они будут накладываться, попадая на плоскости изображения в одно и то же место. Часть ЭР попадет в область изображения объекта. В отсутствие искажающих факторов (которые не учитываем) в область изображения объекта попадут все ЭРО и могут попасть ЭР, не являющиеся ЭРО. Для каждого зарегистрированного изображения выделим номера тех ЭР, изображения которых попали в область изображения объекта. Для каждого изображения это будут номера всех ЭРО и, вероятно, номера «лишних» ЭР контролируемой области пространства, наложившиеся на область изображения объекта. Но на каждом изображении номера этих «наложившихся» ЭР будут различаться, так как «наложившиеся» ЭР зависят от видимого ракурса объекта.

Остается отделить номера ЭРО от «наложившихся» ЭР, не являющихся ЭРО. Для этого используем все изображения. Выберем те номера ЭР, которые оказались выделенными одновременно для всех зарегистрированных изображений. Это будут номера тех ЭР, которые попали в область изображения объекта на всех изображениях. После этого восстанавливаем форму трехмерного объекта как совокупность ЭР с выбранными номерами.

Таким образом, форма объекта получается в виде совокупности всех ЭР, выделенных выше описанным образом. Чем больше будет проанализировано изображений в разных ракурсах, тем больше отсеется лишних, «наложившихся» ЭР, не являющихся ЭРО, а ЭРО останутся. И тем точнее восстановится форма объекта.

На фиг. 1-4 приведены результаты компьютерного моделирования применения заявляемого способа. На фиг. 1 показан трехмерный объект - пирамида и составляющие ее ЭРО, они показаны кружками. На фиг. 2 и 3 показаны два изображения, положения которых определяются, соответственно, векторами R1=[1 1 1]T и R2=[-1 -1 1]T. На этих изображениях кружками показаны изображения ЭР, попавшие в область изображения объекта. На фиг. 4 показана восстановленная форма объекта по этим двум изображениям, которая представляется совокупностью тех ЭР, которые попали в область изображения объекта на обоих изображениях. Как явствует из сравнения фиг. 1 и фиг. 4, восстановленная форма включает лишние ЭР, но несмотря на это, форма объекта достаточно достоверно отображается уже по двум изображениям. При увеличении числа зарегистрированных двухмерных изображений число лишних ЭР будет уменьшаться.

Преимущества предлагаемого способа по сравнению с прототипом следующие.

1) Определение формы объекта по двухмерным изображениям без нахождения соответственных точек на изображениях, что снимает целый ряд проблем.

2) Расширение класса анализируемых объектов на объекты с однородной структурой, для которых невозможно определить соответственные точки в пассивном режиме.

3) Снижение требований к качеству регистрируемых изображений. Это преимущество достигается за счет того, что распределение интенсивности в области изображения объекта в заявляемом способе не учитывается, соответственно и качество формирования этого распределения, то есть качество изображения, становится не важным, не влияющим на результат.

4) Отсутствие требований к взаимному расположению систем регистрации изображений. Это преимущество достигается за счет того, что, в отсутствие необходимости выявлять соответственные точки, изображения могут регистрироваться таким образом, что перекрывающихся областей изображения сцены вообще не будет, не будет соответственных точек на изображениях: можно, например, использовать изображения объекта, полученные с разных его сторон; на таких изображениях соответственных точек в принципе может не быть, но заявляемый способ позволяет по таким изображениям определить форму объекта, в отличие от прототипа.

5) Повышение информативности. Это преимущество достигается за счет возможности использовать изображения объекта, зарегистрированные в существенно различающихся ракурсах, в то время как в прототипе используются стереоизображения с малой базой, иначе невозможно найти соответственные точки. Таким образом, заявляемый способ позволяет получить форму объекта, наиболее приближенную к действительной, в то время как прототип позволяет выявить форму объекта только «с одной стороны».

6) Снижение вычислительных затрат. Это преимущество достигается за счет отсутствия в заявляемом способе таких емких в вычислительном плане процедур как нахождение соответственных точек и решение задач триангуляции.

Источники информации

1) Щекин С.Б. Восстановление формы трехмерных объектов методами структурированного освещения // Научно-технический вестник информационных технологий, механики и оптики, №43, 2007, стр. 301-307 (аналог).

2) Тупицын И.В. Реконструкция трехмерной модели объекта на основе стереопары при решении задач 3D моделирования // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева, №3 (36), 2011, стр. 88-92 (прототип).

3) Самойленко В.И., Пузырев В.А., Грубрин И.В. Техническая кибернетика: Учеб. пособие. - М.: Изд-во МАИ, 1994. - 280 с., стр. 271-272.

Похожие патенты RU2653097C1

название год авторы номер документа
СПОСОБ ОПРЕДЕЛЕНИЯ ПРОСТРАНСТВЕННЫХ КООРДИНАТ ТОЧЕЧНЫХ ИСТОЧНИКОВ ПО ДВУХМЕРНЫМ ИЗОБРАЖЕНИЯМ 2017
  • Самойленко Марина Витальевна
RU2650573C1
СПОСОБ ОПРЕДЕЛЕНИЯ ОТРАЖАТЕЛЬНЫХ ХАРАКТЕРИСТИК И КООРДИНАТ ЭЛЕМЕНТОВ ОБЪЕМА ПРОТЯЖЕННОГО ОБЪЕКТА ПРИ ЕГО СВЕРХШИРОКОПОЛОСНОМ ЗОНДИРОВАНИИ 2011
  • Самойленко Марина Витальевна
RU2482510C1
СПОСОБ ОПТИЧЕСКОГО ИЗМЕРЕНИЯ ФОРМЫ ПОВЕРХНОСТИ ТРЕХМЕРНОГО ОБЪЕКТА (ВАРИАНТЫ) 2003
  • Левин Г.Г.
  • Вишняков Г.Н.
  • Лощилов К.Е.
RU2232373C1
СПОСОБ БЕСКОНТАКТНОГО КОНТРОЛЯ ЛИНЕЙНЫХ РАЗМЕРОВ ТРЕХМЕРНЫХ ОБЪЕКТОВ 2001
  • Зеляев Ю.И.
  • Климов А.В.
  • Юхин А.Л.
RU2185599C1
Способ получения информации о форме и размерах трехмерного объекта по его двухмерному изображению 2022
  • Конради Дмитрий Сергеевич
RU2816504C1
СПОСОБ ЛАЗЕРНОГО ВИДЕОИЗМЕРЕНИЯ РЕЛЬЕФА ПОВЕРХНОСТИ 2007
  • Усанов Дмитрий Александрович
  • Николенко Владимир Николаевич
  • Скрипаль Анатолий Владимирович
  • Галактионова Наталия Александровна
  • Добдин Сергей Юрьевич
RU2338998C1
СПОСОБ ОПРЕДЕЛЕНИЯ МЕСТОПОЛОЖЕНИЙ И МОЩНОСТЕЙ ИСТОЧНИКОВ ИЗЛУЧЕНИЯ ОДНОПОЗИЦИОННОЙ ЛОКАЦИОННОЙ СТАНЦИЕЙ 2012
  • Самойленко Марина Витальевна
RU2499273C1
СПОСОБ БЕСКОНТАКТНОГО ИЗМЕРЕНИЯ ЛИНЕЙНЫХ РАЗМЕРОВ ТРЕХМЕРНЫХ ОБЪЕКТОВ 2009
  • Двойнишников Сергей Владимирович
  • Меледин Владимир Генриевич
RU2433372C2
УСТРОЙСТВО ТРЕХМЕРНОГО СКАНИРОВАНИЯ СЦЕНЫ С НЕЛАМБЕРТОВЫМИ ЭФФЕКТАМИ ОСВЕЩЕНИЯ 2014
  • Марчук Владимир Иванович
  • Воронин Вячеслав Владимирович
  • Франц Владимир Александрович
  • Письменскова Марина Михайловна
  • Семенищев Евгений Александрович
RU2573767C1
СПОСОБ ФОТОГРАММЕТРИЧЕСКОГО ИЗМЕРЕНИЯ РАЗМЕРОВ И КОНТРОЛЯ ФОРМЫ ТЕЛА, ОГРАНИЧЕННОГО НАБОРОМ СВЯЗАННЫХ МЕЖДУ СОБОЙ ПОВЕРХНОСТЕЙ 2013
  • Малыгин Владимир Иванович
  • Черепенин Филипп Веденеевич
  • Лобанов Николай Владимирович
  • Мансуров Виктор Васильевич
  • Угренюк Дмитрий Михайлович
  • Рохин Олег Викторович
  • Бызова Марина Алексеевна
RU2522809C1

Иллюстрации к изобретению RU 2 653 097 C1

Реферат патента 2018 года СПОСОБ ВОССТАНОВЛЕНИЯ ФОРМЫ ТРЁХМЕРНОГО ОБЪЕКТА ПО ЕГО ДВУХМЕРНЫМ ИЗОБРАЖЕНИЯМ

Изобретение относится к области фотограмметрии. Способ восстановления формы трехмерного объекта по его двухмерным изображениям заключается в регистрации под разными ракурсами двухмерных изображений объекта и по этим зарегистрированным изображениям восстанавливают трехмерную форму объекта. Контролируемую область пространства разбивают на малые объемы - элементы разрешения (ЭР), нумеруют их и фиксируют их пространственные координаты. На каждом зарегистрированном изображении выделяют область, занятую непосредственно изображением объекта - область изображения объекта, расчетным путем определяют положения всех ЭР на плоскостях зарегистрированных изображений. Для каждого зарегистрированного изображения выделяют номера тех ЭР, изображения которых попали в область изображения объекта, выбирают те номера ЭР, которые оказались выделенными одновременно для всех зарегистрированных изображений. Восстанавливают форму трехмерного объекта как совокупность ЭР с выбранными номерами. Технический результат заключается в расширении класса анализируемых объектов на объекты с однородной структурой. 4 ил.

Формула изобретения RU 2 653 097 C1

Способ восстановления формы трехмерного объекта по его двухмерным изображениям,

заключающийся в том, что регистрируют под разными ракурсами двухмерные изображения объекта и по этим зарегистрированным изображениям восстанавливают трехмерную форму объекта,

отличающийся тем, что контролируемую область пространства, в которой находится объект, разбивают на малые объемы - элементы разрешения (ЭР), нумеруют их и фиксируют их пространственные координаты, на каждом зарегистрированном изображении выделяют область, занятую непосредственно изображением объекта - область изображения объекта, расчетным путем определяют положения всех ЭР на плоскостях зарегистрированных изображений, для каждого зарегистрированного изображения выделяют номера тех ЭР, изображения которых попали в область изображения объекта, выбирают те номера ЭР, которые оказались выделенными одновременно для всех зарегистрированных изображений, восстанавливают форму трехмерного объекта как совокупность ЭР с выбранными номерами.

Документы, цитированные в отчете о поиске Патент 2018 года RU2653097C1

ЩЕКИН С.Б
"ВОССТАНОВЛЕНИЕ ФОРМЫ ТРЕХМЕРНЫХ ОБЪЕКТОВ МЕТОДАМИ СТРУКТУРИРОВАННОГО ОСВЕЩЕНИЯ", 2007
СПОСОБ ФОРМИРОВАНИЯ ТРЕХМЕРНОГО ИЗОБРАЖЕНИЯ ЗЕМНОЙ ПОВЕРХНОСТИ В БОРТОВОЙ ДОПЛЕРОВСКОЙ РЛС С ЛИНЕЙНОЙ АНТЕННОЙ РЕШЕТКОЙ 2014
  • Клочко Владимир Константинович
RU2569843C1
US 5671007 A1, 23.09.1997
WO 1995026612 A1, 05.10.1995.

RU 2 653 097 C1

Авторы

Самойленко Марина Витальевна

Даты

2018-05-07Публикация

2017-07-05Подача