СПОСОБ ПРЕДСТАВЛЕНИЯ ИСХОДНОЙ ТРЕХМЕРНОЙ СЦЕНЫ ПО РЕЗУЛЬТАТАМ СЪЕМКИ ИЗОБРАЖЕНИЙ В ДВУМЕРНОЙ ПРОЕКЦИИ (ВАРИАНТЫ) Российский патент 2012 года по МПК G06T17/00 G06T7/00 H04N13/00 G03C9/08 

Заявляемый способ относится к способам отображения информации на основе заранее проведенной съемки во всех сферах человеческой деятельности, например в системах промышленного моделирования объектов, в операционных системах персональных компьютеров, в компьютерных программах и играх, в медицинском оборудовании, в промышленном оборудовании, в телевидении, в сотовых телефонах и коммуникаторах, то есть во всех случаях, где присутствует пользователь и экран проектора или электронного дисплея, на котором выводится информация для данного пользователя.

Восстановление исходной трехмерной сцены по результатам предварительной съемки в двумерной проекции является важной и актуальной изобретательской темой. При этом основными задачами изобретений этой тематики являются повышение надежности и достоверности восстановления исходной трехмерной сцены, повышение скорости визуализации трехмерной сцены, обеспечение компактности хранения информации об изображении, а также экономия средств, требуемых для реализации таких изобретений.

В системах визуализации стерео (или трехмерных изображений) широко известен метод проецирования для каждого глаза человека изображений, снятых с разных точек, разнесенных в пространстве по горизонтали на подобии разнесения глаз человека. Мозг человека сопоставляет изображения и выстраивает карту глубины изображения, помогая таким образом определять расположение предметов в пространстве. Этот эффект основан на том, что глаза по-разному видят одно и то же изображение, и в силу этого оптического эффекта в большинстве случаев человек может определить, какой из предметов находится к нему ближе, а какой дальше, просто обозревая объект двумя глазами. Для глаз человека, разнесенных в пространстве на несколько сантиметров, эффективное расстояние определения глубины изображения составляет не далее 25 метров (http://www.sigchi.org/chi95/proceedings/papers/cw_bdy.htm, англ.).

В уровне техники известен также способ кодирования данных трехмерных объектов, которые содержат данные точечной текстуры, данные вокселей или данные структуры октодерева, причем способ содержит этапы: формирование данных трехмерных объектов, имеющих древовидную структуру, за узлами которой закреплены метки, указывающие их типы; кодирование узлов данных трехмерных объектов, по которому выполняют кодирование информации об узле, которая указывает, является или нет текущий узел узлом ′S′ или узлом ′P′, и кодирование данных с битами детализированной информации (DIB) узла ′S′, если информация об узле указывает на то, что текущий узел является узлом ′S′, и кодирование данных DIB узла ′Р′, если информация об узле указывает на то, что текущий узел является узлом ′Р′, и этап формирования данных трехмерных объектов, чьи узлы закодированы в поток битов (RU №2267161).

Техническим результатом этого способа является обеспечение более высокой степени сжатия информации об изображении с глубиной, что может быть полезно как с точки зрения экономии места на средствах хранения данных, так и с точки зрения улучшения качества визуализации при использовании того же места на средствах хранения данных.

Недостатком этого способа являются высокие требования к ресурсной базе, а также относительно невысокая скорость визуализации трехмерных объектов.

Также известен способ (RU №2216781) представления и визуализации трехмерного объекта, включающий преобразование исходных данных трехмерного объекта в промежуточное представление, преобразование данных промежуточного представления в представление для визуализации в виде описывающего куба, с каждой гранью которого сопоставлено многослойное изображение с глубиной, и визуализацию полученного представления, в котором определяют видимые грани описывающего куба с учетом положения наблюдателя, и для каждой из видимых граней выполняют преобразование многослойного изображения с глубиной в текстуру, а видимые грани с текстурой визуализируют.

Указанный способ обеспечивает компактное хранение исходных данных трехмерного объекта и высокую скорость его визуализации, что имеет особенно большое значение при визуализации анимированных трехмерных объектов.

Способ представления и визуализации трехмерного объекта осуществляется следующим образом. На первом этапе модель трехмерного объекта преобразуется в промежуточное представление, которое формируется в виде набора из шести пар карт, состоящих из полутонового и цветного изображений, или в виде многослойного изображения с глубиной. В первом случае в промежуточном представлении сохраняется только информация о той части поверхности модели, которая видна с грани описывающего куба. Во втором случае промежуточное представление сохраняет полную информацию о поверхности модели, поскольку каждому пикселю многослойного изображения соответствует набор точек модели, проецируемых в данный пиксель, причем каждой точке набора соответствует цвет и глубина точки поверхности модели и нормаль к поверхности модели в данной точке.

На втором этапе формируют представление для визуализации в виде многослойного изображения с глубиной для каждой грани описывающего куба.

На третьем этапе производится генерация текстур, необходимых для визуализации ранее известными средствами. При этом сначала определяют видимые грани описывающего куба с учетом текущего положения наблюдателя, затем для каждой грани генерируется изображение, которое на четвертом этапе накладывается на грань как текстура.

Недостатком данного способа являются высокие требования к ресурсной базе.

Задачей настоящего изобретения является создание особого режима съемки фотографий для использования их в трехмерных системах отображения информации, например в шлемах виртуальной реальности, трехмерных дисплеях (и для динамических систем типа «голубиный глаз» отображающих трехмерный эффект на двухмерных дисплеях [заявка на изобретение RU 2007135972 от 28.09.2007]), с учетом такого явления оптических систем фиксации изображений как глубина резко изображаемого пространства (ГРИП). При этом полученное изображение легко можно будет превратить в трехмерную сцену, возможно, с ограниченным углом обзора данной сцены пользователем (то есть с ограниченным смещением виртуальной камеры).

Технический результат настоящего изобретения заключается в увеличении точности и скорости визуализации трехмерной сцены, увеличении точности построения карты глубины трехмерной сцены, а также в экономии используемых ресурсов, что позволит существенно расширить область использования технологии реконструкции трехмерной сцены вплоть до использования в быту.

Заявляемый технический результат достигается тем, что в известном способе представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции, основанном на представлении объектов съемки с учетом информации об изображении и глубине относительно каждой точки изображения, восстановление трехмерной сцены осуществляют на основе одного или более снимков, полученных в диапазоне резкости (ДР) объектива, сфокусированного на объект съемки с определенной глубиной резко изображаемого пространства (ГРИП), при этом в данном ДР помещают один или более объект съемки или его часть, после чего методом цифровой обработки изображения объект, снятый с высокой резкостью, отделяют от фона изображения, имеющего иную резкость на основе сравнения как минимум двух снимков с разной ГРИП, а на основе информации о дистанции фокусировки и параметрах устройства съемки строят карту глубины, с помощью которой восстанавливают трехмерную сцену, при этом съемку первого объекта осуществляют с минимальной ГРИП, а фоновое изображение формируют с использованием отдельного снимка с высокой величиной ГРИП, при этом отделенный от фонового изображения объект формируют на основе другого фонового изображения или замещают фоновое изображение на основе искусственной трехмерной модели.

В другом варианте реализации способа представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции, основанном на представлении объектов съемки с учетом информации об изображении и глубине относительно каждой точки изображения, восстановление трехмерной сцены осуществляют на основе одного снимка, полученного в диапазоне резкости (ДР) объектива, сфокусированного на объект съемки с определенной глубиной резко изображаемого пространства (ГРИП), при этом в данном ДР помещают один или более объект съемки или его часть, после чего методом цифровой обработки изображения объект, снятый с высокой резкостью, отделяют от фона изображения, имеющего иную резкость, уменьшив размеры изображения, объединив соседние пиксели изображения, понизив таким образом разрешение снимка, и выделяется отснятый резко объект от размытого фона, обрабатывая информацию об изображении до и после преобразования, а на основе информации о дистанции фокусировки и параметрах устройства съемки строят карту глубины, с помощью которой восстанавливают трехмерную сцену, а фоновое изображение формируют из исходного снимка или на основе другого фонового изображения или замещают фоновое изображение на основе искусственной трехмерной модели.

В следующем варианте реализации способа представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции, основанном на представлении объектов съемки с учетом информации об изображении и глубине относительно каждой точки изображения, восстановление трехмерной сцены осуществляют на основе двух или более снимков, полученных в ДР объектива, сфокусированного на объект съемки с определенной ГРИП, при этом в данном ДР помещают один или более объект съемки или его часть, потом переводят дистанцию на следующий объект и так далее, после чего каким-либо методом цифровой обработки изображения объекты, снятые с разной дистанцией фокусировки, отделяют друг от друга, а затем на основе информации о дистанции фокусировки и параметрах устройства съемки строят карту глубины, с помощью которой восстанавливают трехмерную сцену, при этом фоновое изображение формируют с использованием отдельного снимка с высокой величиной ГРИП, отделяя фоновое изображения от объектов или размещая выделенные объекты на другом фоновом изображении или на фоне объектов искусственной трехмерной модели.

В следующем варианте способа представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции, основанном на представлении объектов съемки с учетом информации об изображении и глубине относительно каждой точки изображения, восстановление трехмерной сцены осуществляют на основе одного снимка, полученного в ДР объектива, сфокусированного на объект съемки с определенной ГРИП, при этом в данном ДР помещают один или более объект съемки или его часть, после чего методом цифровой обработки изображения объект, снятый с высокой резкостью, отделяют от фона изображения, имеющего иную резкость, на основе сравнения как минимум двух изображений, при этом второе изображение, имеющее меньшую ГРИП, получают, уменьшая для этого диаметр пятна рассеивания светочувствительного сенсора, путем обработки избыточной информации (RAW), содержащейся в каждом отдельно взятом пикселе из триады RGB, и на основе информации о дистанции фокусировки и параметрах устройства съемки строят карту глубины, с помощью которой восстанавливают трехмерную сцену, а фоновое изображение формируют из исходного снимка, или на основе другого фонового изображения, или на основе искусственной трехмерной модели.

Для всех вышеперечисленных вариантов предпочтительно с целью увеличения углов обзора восстановленной трехмерной сцены перемещать устройство съемки в горизонтальной и вертикальной плоскости на расстояние, достаточное для появления на снимках эффекта диспаритета.

В следующем варианте способа представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции, основанном на представлении объектов съемки с учетом информации об изображении и глубине относительно каждой точки изображения, отличающийся тем, что восстановление трехмерной сцены осуществляют на основе видеоряда как минимум от двух видеокамер, полученных в ДР объектива, сфокусированного на объект съемки с определенной ГРИП, при этом в данном ДР помещают один или более объект съемки или его часть, после чего методом цифровой обработки изображения объект отделяют от фона изображения на основе сравнения как минимум двух снимков (видеокадров) с разной дистанцией фокусировки или разной ГРИП, а на основе информации о дистанции фокусировки и параметрах устройства съемки строят карту глубины, с помощью которой восстанавливают трехмерную сцену, при этом съемку объекта осуществляют с первой камеры с минимально необходимой ГРИП, а фоновое изображение формируют с использованием видеокадров любой камеры, или на основе другого фонового изображения, или на основе искусственной трехмерной модели.

В следующем варианте способа представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции, основанном на представлении объектов съемки с учетом информации об изображении и глубине относительно каждой точки изображения, восстановление трехмерной сцены осуществляют на основе изображений как минимум от одной или более видеокамер, полученных в ДР объектива, сфокусированного на объект съемки с определенной ГРИП, при этом в данном ДР помещают один или более объект съемки или его часть, после чего методом цифровой обработки изображения объект, снятый с высокой резкостью, отделяют от фонового изображения, полученного путем получения вторичного изображения, имеющего иную резкость (контрастностью и т.п.), с отличающейся от исходного изображения ГРИП за счет уменьшения пятна рассеивания сенсора изображения и/или за счет обработки избыточной разрешающей способности сенсора, и на основе сравнения этих двух изображений с разной ГРИП, учитывая информацию о дистанции фокусировки и параметрах устройства съемки, строят карту глубины, с помощью которой восстанавливают трехмерную сцену, а фоновое изображение формируют или из исходного снимка, представляющего собой один из кадров видеоряда, или на основе другого фонового изображения, или на основе искусственной трехмерной модели.

Заявляемый технический результат достигается путем использования эффекта глубины резко изображаемого пространства.

Заявляемое изобретение иллюстрируется следующими чертежами:

На Фиг.1 показана схема работы бинокулярного зрения при наблюдении за двумя предметами.

На Фиг.2 показана пояснительная схема к определению понятия диспаритета.

На Фиг.3 показана одна из возможных схем активной стереосъемки.

На Фиг.4 схематически представлен пример другой возможной схемы работы активной стереосъемки.

На Фиг.5 и 6 показаны пояснительные схемы к определению понятия ГРИП.

На Фиг.7 показано распределение цветных светочувствительных ячеек сенсора фирмы Samsung.

На Фиг.8 показан пример изображения с малой глубиной резко изображаемого пространства.

Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции осуществляется следующим образом.

Настраивают объектив камеры таким образом, чтобы в диапазон его резкости (ДР) был помещен один или более объект трехмерной сцены или часть такого объекта, а глубину резкости изображаемого пространства (ГРИП) устанавливают минимальной. Затем производят один или несколько снимков, используя данные параметры объектива. Затем производят один или несколько снимков с максимальной ГРИП. Затем, используя методы цифровой обработки изображений, объект, снятый с высокой резкостью, отделяют от фона изображения, имеющего иную резкость, на основе сравнения как минимум двух снимков - как минимум одного с минимальной ГРИП и как минимум одного с максимальной ГРИП. Затем на основе информации о дистанции фокусировки и параметрах устройства съемки строят карту глубины, с помощью которой в дальнейшем восстанавливают трехмерную сцену. При этом фон восстанавливаемой трехмерной сцены формируют на основе снимка с максимальной ГРИП, или на основе другого фонового изображения, или на основе трехмерной модели.

В этом и всех остальных вариантах изобретения, использующих фотосъемку, с целью увеличения углов обзора восстанавливаемой трехмерной сцены, имеет смысл в момент съемки перемешать устройство съемки в горизонтальной и вертикальной плоскости для появления на снимках эффекта диспаритета.

В другом варианте изобретения способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции осуществляется следующим образом. Настраивают объектив камеры таким образом, чтобы в его ДР был помещен один или более объект трехмерной сцены или часть такого объекта, при этом, в отличие от предыдущего варианта, ГРИП устанавливают произвольным образом. Затем производят один или несколько снимков, используя данные параметры объектива. Затем искусственным образом понижают ГРИП методом цифрового уменьшения разрешения снимка, объединяя для этого соседние пиксели снимка. Затем используя первоначальный снимок (или снимки) и снимок (снимки) с пониженной ГРИП, отделяют резко отснятый объект от фонаметодами цифровой обработки изображений. Затем на основе информации о параметрах съемки строят карту глубины, с помощью которой в дальнейшем восстанавливают трехмерную сцену. При этом фон восстанавливаемой трехмерной сцены формируют на основе исходного снимка, или на основе другого фонового изображения, или на основе трехмерной модели.

В еще одном варианте изобретения способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции осуществляется следующим образом. Настраивают объектив камеры таким образом, чтобы в его ДР был помещен один или более объект трехмерной сцены или часть такого объекта, при этом ГРИП устанавливают произвольно. Затем производят снимок один или несколько снимков, используя данные параметры объектива. Затем настройку объектива меняют таким образом, чтобы в его ДР попал другой объект (или объекты) трехмерной сцены. Затем эту же процедуру производят для всех оставшихся объектов трехмерной сцены. Затем методом цифровой обработки изображений, используя информацию о параметрах съемки, объекты, снятые с разной дистанцией фокусировки, отделяют друг от друга. Затем на основе информации о дистанции фокусировки и параметрах устройства съемки строят карту глубины, с помощью которой в дальнейшем восстанавливают трехмерную сцену. При этом фон восстанавливаемой трехмерной сцены формируют на основе отдельного снимка с высокой ГРИП, или на основе другого фонового изображения, или на основе трехмерной модели.

В другом варианте изобретения способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции осуществляется следующим образом. Настраивают объектив камеры таким образом, чтобы в его ДР был помещен один или более объект трехмерной сцены или часть такого объекта, при этом ГРИП устанавливают произвольно. Затем получают второе изображение с меньшей ГРИП, уменьшая для этого диаметр пятна рассеивания светочувствительного сенсора, путем обработки избыточной информации (RAW), содержащейся в каждом отдельно взятом пикселе из триады RGB (красный-зеленый-синий). Затем методом цифровой обработки изображения объект, снятый с высокой резкостью, отделяют от фона изображения, имеющего иную резкость. Затем на основе информации о дистанции фокусировки и параметрах устройства съемки строят карту глубины, с помощью которой в дальнейшем восстанавливают трехмерную сцену. При этом фон восстанавливаемой трехмерной сцены формируют на основе исходного снимка, или на основе другого фонового изображения, или на основе трехмерной модели.

В еще одном варианте изобретения способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции осуществляется следующим образом. Настраивают объектив видеокамеры таким образом, чтобы в ее ДР был помещен один или более объект трехмерной сцены или часть такого объекта, а ГРИП устанавливают минимальной. Затем производят видеосъемку этой камерой. Затем настраивают вторую видеокамеру таким образом, чтобы в ее ДР был помещен один или более объект трехмерной сцены или часть такого объекта а ГРИП устанавливают существенно большей минимальной. Затем методом цифровой обработки изображения объект, отделяют от фона изображения на основе сравнения как минимум двух снимков (видеокадров) с разной дистанцией фокусировки или разной ГРИП. Затем на основе информации о дистанции фокусировки и параметрах устройства съемки строят карту глубины, с помощью которой в дальнейшем восстанавливают трехмерную сцену. При этом фон восстанавливаемой трехмерной сцены формируют на основе видеокадров любой из камер, или на основе другого фонового изображения, или на основе трехмерной модели.

В еще одном варианте изобретения способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции осуществляется следующим образом. Настраивают объектив видеокамеры таким образом, чтобы в ее ДР был помещен один или более объект трехмерной сцены или часть такого объекта, при этом ГРИП устанавливают произвольным образом. Затем производят видеосъемку этой камерой. Затем получают вторичный видеоряд, имеющий иную резкость (контрастность и т.п.) и ГРИП, отличающуюся от ГРИП исходного видеоряда за счет уменьшения пятна рассеивания сенсора изображения и/или за счет обработки избыточной разрешающей способности сенсора. Затем методом цифровой обработки изображения объект отделяют от фона изображения на основе сравнения как минимум двух снимков (видеокадров) с разной дистанцией фокусировки или разной ГРИП. Затем на основе информации о дистанции фокусировки и параметрах устройства съемки строят карту глубины, с помощью которой в дальнейшем восстанавливают трехмерную сцену. При этом фон восстанавливаемой трехмерной сцены формируют на основе одного из видеокадров, или на основе другого фонового изображения, или на основе трехмерной модели.

Более подробное представление о реализации заявленных вариантов способа можно получить ниже.

Из Фиг.1 наглядно видно, что разноудаленные предметы видятся разными глазами на разном расстоянии друг от друга (h₁ не равно h₂).

Само же расстояние до предмета определяется геометрическим анализом полученных разными глазами изображений. Точки изображения, на сетчатке глаз определяющие геометрическое место одних и тех же предметов, находятся на разном расстоянии, сумма которых называется диспаритетом (Фиг.2).

Если смотреть прямо на точку «А» и одним глазом, то эта точка должна быть в проекции на сетчатке в точке «а», но так как мы смотрим двумя глазами, то глаза отступают в стороны на расстояние D/2 влево и в право, а точка «А» смещается на расстояния «С» и «С′» соответственно. То есть согласно Фиг.2 диспаритет равен:

Disp=|C|+|C′|

Обобщая вышенаписанное, можно сделать вывод, что воспользовавшись (специально снятыми со стереобазой) двумя фотоснимками и определив каким-либо алгоритмом место точек, отображающих одни и те же детали сцены изображения на двух разных снимках, можно приблизительно вычислить глубину элементов снятой сцены по диспаритету. Еще более точно можно позиционировать предметы сцены по взаимному расстоянию между предметами на разных снимках (с учетом положения относительно центра снимка). Если расстояние между предметами одинаково и на левом и на правом снимке, то предметы равноудалены от точки съемки, а если не равны, то разно удалены и соответственно на трехмерной сцене (на карте глубины) эти предметы надо расположить друг за другом (см. Фиг.1, расстояние h₁ меньше h₂).

Вышеописанный способ получения стереоизображения называется «пассивным стерео». В настоящий момент существуют не только оптические системы, которые строятся с применением двух камер для съемки и последующего получения стереоизображения (или, что, по сути, является тем же самым, трехмерной сцены с ограниченным углом просмотра), но и комбинированные системы, такие как, например, система, показанная на Фиг.3. Такая система, состоящая из луча «развертки», сделанного при помощи лазерного источника света и светочувствительного сенсора с оптической системой, носит название «активного стерео» (http://www.sigchi.org/chi95/proceedings/papers/cw_bdy.htm, англ.). Карта глубины вычисляется, например, методом триангуляции.

Известны системы (см. Фиг.4), в которых стереореконструкция производится при помощи одного кадра, но с применением подсветки объекта съемки специально структурированным светом. Данная система также является «активным стерео» (там же).

Для увеличения угла обзора трехмерной сцены и построения полноценных трехмерных фигур, сделанных на основе съемки какого-либо объекта, применяются системы с круговой съемкой объекта. В таких системах камера медленно вращается вокруг объекта съемки или, наоборот, объект вращается перед камерой.

Рассмотрим такое понятие как ГРИП. Глубиной резкости называется свойство объектива изображать в одной плоскости и практически с одинаковой резкостью предметы, удаленные от объектива на различные расстояния.

Из (школьного) курса физики известно, что для линзы фокусное расстояние рассчитывается по следующей формуле:

- где L - расстояние от объекта съемки до линзы, F - фокусное расстояние объектива, а f - расстояние от линзы до плоскости проекции изображения (сенсора).

Из формулы следует, что при одном и том же фокусном расстоянии объектива «F» существует только одна плоскость в пространстве (расстояние от объектива до объекта съемки), которая отразится резко на плоскости проекции или сенсоре изображения. В качестве сенсора может выступать фотопленка или, например, полупроводниковый датчик, такой как CMOS (для примера S5K3A1EA03 - 1/3′′ SXGA CMOS IMAGE SENSOR производства фирмы SAMSUNG).

Сенсор S5K3A1EA03 имеет следующие основные параметры:

- Process Technology: 0.18 µm Dual Gate Oxide SPQM CMOS

- Optical Size: 1/3 inch

- Unit Pixel: 3.8 µm X 3.8 µm

- Effective Resolution: 1280X1024, SXGA

Понятие глубины резкости в рассматриваемой формуле (1.1) как таковое отсутствует, но он известно из практики. Наглядной иллюстрацией физического смысла ГРИП может служить Фиг.8, на которой приведен пример изображения с малой ГРИП. Для более детального понимания физического смысла ГРИП и способа ее расчета, рассмотрим Фиг.5 и Фиг.6.

Понятие глубины резко изображаемого пространства в значительной мере условно, и ее значение оказывается тем больше, чем большим принимается диаметр допустимого кружка рассеяния (d₁ и d₂ на фигуре 5 или d₁ и d₃ на Фиг.6).

На Фиг.6 геометрически показано, что при диафрагмировании объектива (оптической системы) диаметр кружка рассеивания d₁ уменьшается до d₃.

Определим формулу, по которой можно вычислить фактическую ГРИП с учетом эффекта, вносимого в оптическую систему диафрагмой, с отверстием диафрагмы диаметром D. Ближняя плоскость ГРИП (L₂) определяется по формуле:

где L - дистанция до объекта съемки

f - главное фокусное расстояние объектива

d - допустимый диаметр кружка рассеивания

D - отверстие объектива

Дальняя плоскость ГРИП (L₁) определяется по формуле:

Возьмем для примера объектив и сенсор изображения со следующими параметрами:

f=0.2 м (фокусное расстояние объектива для бесконечно удаленного предмета);

d=0.0000076 м, или два диаметра Unit Pixel сенсора S5K3A1EA03

Диафрагменное отверстие объектива D напрямую не используется, вместо него применяют такое понятие, как «относительное отверстие объектива»:

Относительное отверстие объектива является величиной стандартизованной и обычно выбирается из ряда: ; ; ; ; ; ; ; ; ; ; ; ; ;

Такой ряд соответствует изменению освещенности проекции изображения в два раза при изменении относительного отверстия на один шаг по ряду.

Выберем два значения относительного отверстия и . Рассчитаем диаметр отверстия D для выбранных значений по формуле (1.4):

;

.

Примем расстояние до объекта равным: L=3 м. Рассчитаем ближнюю L₂ и дальнюю L₁ границу резко изображаемого пространства

Таблица 1   D_2.8 D₁₆ L 3,0 м 3,0 м f 0,02 м 0,02 м D 0,0071429 м 0,00125 м d 0,0000076 м 0,0000076 м       L₂ 2,589475 м 1,574043 м L₁ 3,5652149 м 31,8877551 м

Из расчетов, приведенных в таблице 1, можно сделать вывод (который подтверждается практикой), что при заданных параметрах L, f и d ГРИП зависит от светосилы объектива k. Из анализа формулы (1.3) также можно сделать вывод, что при условии стремления знаменателя дроби к нулю L₁ стремится к бесконечности (∞). Данный эффект часто применяют на практике при проектировании простых оптических систем, например для фото- видеокамер сотовых телефонов и т.п. Такие камеры не нуждаются в механическом управлении оптической системой и поддаются полностью электронной регулировке параметрами оптического сенсора, при этом диапазон резко снимаемого пространства обычно простирается от нескольких десятков сантиметров до бесконечности.

Найдем значение диафрагмы, при котором L₁ равна ∞. Для этого возьмем знаменатель дроби (1.3) и приравняем его к нулю:

;

Допущение (1.6) верно, если выполняется условие D>>d.

Зная значение отверстия объектива, можно найти из формул (1.4) и (1.6) значение k, при котором дальняя граница будет равна ∞:

;

Для нашего примера:

Это значение диафрагмы (относительного отверстия) физически реализуемо и доказывает достижимость и применимость перевода дальней границы резкости объектива в бесконечность в стандартных (заданных нами выше) условиях съемки.

Рассмотрим вычисления ГРИП, приведенные в Таблице 2. Таблица 2 отличается от Таблицы 1, тем, что в ней границы ГРИП рассчитаны не только для разных значений относительного отверстия, но и для разных значений пятна рассеивания.

Таблица 2   D_2.8 D₁₆     D₁₆′ L 3,0 м 3,0 м   L′ 3,0 м f 0,02 м 0,02 м   f′ 0,02 м D 0,0071429 м 0,00125 м   D′ 0,00125 м d 0,0000076 м 0,0000076 м   d′ 0,0000016 м             L₂ 2,589475 м 1,574043 м   L₂′ 2,519484 м L₁ 3,5652149 м 31,8877551 м   L₁′ 3,7069988 м

При внимательном рассмотрении формул (1.2), (1.3) и (1.8) можно увидеть, что ГРИП зависит не только от относительного отверстия объектива, но и от диаметра пятна рассеивания d. Соответственно, можно сделать вывод, что для того чтобы увеличить ГРИП при каком-то заданном D можно увеличить d и, наоборот, для уменьшения ГРИП надо уменьшить d. Для примера в Таблице 1 рассчитано значение ГРИП для столбца D₁₆′ (т.е. при k=16) и пятна рассеивания, в четыре раза меньшем, чем для столбца D₁₆.

Если сравнить полученные значения ГРИП, то видно, что при уменьшении пятна рассеивания в четыре раза ГРИП приближается от значения D₁₆ (1.5 метра - 32 метра) к значению D₁₆′ (2.5 метра - 3.7 метра), практически равному D_2.8 (2.6 метра - 3.6 метра).

Если d уменьшить в 4 раза, то разрешение матрицы надо увеличить в 16 раз и из исходных 0.5 Мп (d=2*UnitPixel) в примере оно станет 8 Мп, что вполне достижимо для современных матриц цифровых фотоаппаратов при заданной размерности сенсора (например: 1/3"). Следует также отметить, что стереоснимки (фотографии с 3D сценой) будут иметь разрешение не больше разрешения экрана монитора, а именно не более чем 1920*1080 (FullHD) или 2 Мп. Но необязательно так сильно увеличивать плотность чувствительных ячеек сенсора. Так как матрица состоит из трех светочувствительных элементов (красного, зеленого и синего) и для составления карты глубины изображения можно воспользоваться цветовыми каналами в отдельности (так называемое «сырое» изображение в RAW формате, т.е. изображение с минимальными потерями на сжатие данных), что позволит теоретически до трех раз (фактически в два раза) уменьшить пятно рассеивания и, следовательно, уменьшить ГРИП с помощью преобразования сигналов, полученных с отдельных светочувствительных ячеек фотосенсора, а не преобразования групп ячеек (красного, зеленого и синего). Таким образом, становится возможным разложить сигнал в канале яркости каждой ячейки, скомпенсировав (или проигнорировав) цветовую составляющую с помощью какого-либо алгоритма, получив, таким образом, черно-белое изображение, но с разрешением, в три раза большим, чем у соответствующего цветного. Такое преобразование позволит получить из одного изображения два снимка с разной глубиной ГРИП, используя при этом только программные средства обработки цифровых изображений без каких-либо аппаратных ухищрений. В этом случае, однако, потребуется оптимизация режима съемки для получения максимального разброса ГРИП с тем, чтобы после преобразования снимка в попиксельный режим без учета цветности с увеличенным в три раза разрешением снимка ГРИП при меньшем пятне рассеивания была как можно меньше, а в цветном режиме - как можно больше. Распределение цветных светочувствительных ячеек сенсора фирмы Samsung представлено на Фиг.7.

Обобщая вышеизложенные расчеты, можно сделать вывод, что из формул для расчета ГРИП L₁ и L₂ следует:

1) ГРИП можно изменять, изменяя отверстие объектива (относительное отверстие);

2) ГРИП можно изменять, изменяя пятно рассеивания светочувствительного элемента (фотопленки, матрицы CMOS сенсора и т.п.);

3) ГРИП можно изменять программными средствами на этапе обработки изображения, полученного с цифровой матрицы (например CMOS сенсора путем программного анализа уровня яркости каждого светочувствительного элемента (возможно, без учета цветности), а не пикселя, являющегося группой, состоящей из трех элементов (красного, зеленого и синего).

4) ГРИП можно изменять, варьируя (уменьшая) разрешающую способность исходного снимка (имея запас в разрешающей способности снимка, относительно разрешения монитора или иного устройства отображения информации), на основе анализа соседних пикселей на предмет «размытости» участков изображения. Статистический анализ изображений до и после уменьшения разрешающей способности позволит выявить по контрастности с учетом размерности фильтра (например, 4×4 пикселя, 8×8 пикселей и т.п.) участки изображения, находящиеся в фокусе и вне его, а зная расстояние фокусировки, легко построить карту глубины изображения или восстановить трехмерную сцену.

Если сделать допущение, что условия освещения сцены и чувствительность сенсора позволяют снимать изображения в некотором и достаточном диапазоне относительных отверстий и что снимаемая сцена находится в пределах от метра до бесконечности (в этом случае предпочтительно использование пейзажного объектива (стенопа), а не макрообъектива), то на основе формул (1.2), (1.3), (1.8) и вычислений, сделанных для примера выше, можно сделать следующий вывод:

1) Существует такое значение диафрагменного отверстия, входящее в диапазон конструктивно возможных значений, при котором ГРИП будет простираться от бесконечности до передней границы;

2) Существует такое значение диафрагменного отверстия, входящее в диапазон конструктивно возможных значений, при котором ГРИП будет минимально достаточной для съемки объекта или субъекта, на котором акцентируется внимание. В этом режиме съемки все остальное пространство будет выглядеть «размытым» или нечетким;

3) Существует такое пятно рассеивания, при котором выполняются п.1 и п.2;

4) При увеличении пятна рассеивания, дальняя граница резко изображаемого пространства будет стремиться в пределе к бесконечности (при этом, конечно, будет падать разрешающая способность снимка, но при достаточном запасе разрешения это не критично), а ближняя граница будет незначительно приближаться к объективу.

Вышеизложенные выводы (п.1, п.2, п.3 и п.4) позволяют построить алгоритм пространственной селекции объектов снимаемой трехмерной сцены на основе как минимум одного снимка, например в формате RAW, или как минимум двух снимков, оптимизированных по режимам съемки для получения пары изображений с ГРИП, на которой границами ГРИП выделен только объект съемки, а на втором изображении в зоне резко изображаемого пространства находятся максимально доступное количество объектов и дальнего плана (ближняя граница ГРИП минимальна, а дальняя максимальна или равна бесконечности). Данный эффект можно достичь, если, делая снимок, настроить такое диафрагменное отверстие, при котором ГРИП минимальна (например D_2.8), а потом максимальна (например D₁₆). Кроме того, достичь эффекта можно, делая снимок с диафрагменным отверстием при котором ГРИП минимальна (D_2.8), а затем обрабатывая снимок по всем каналам цвета (возможно без учета цветовой составляющей), уменьшив таким образом пятно рассеивания в 2 раза, увеличивая тем самым ГРИП. Потеря цвета в этом случае не критична, так как изображение без цветовой составляющей будет использоваться в алгоритме, вычисляющем глубину снимаемой сцены.

Пространственную селекцию объектов можно улучшить, если сделать серию снимков, фокусируясь с минимально возможной ГРИП на нескольких дистанциях (желательно с «шагом», равным или большим ГРИП). В таком случае можно избавиться от основного недостатка «пассивных» систем пространственного стерео: невозможности рассчитать расстояние для объектов со слабой контрастностью (например, стены на заднем плане или неба и т.п.) В серии снимков такие объекты легко вычислить логически и сделать их автоматически на реконструированной трехмерной сцене, например фоновыми.

Для того чтобы получить не только карту глубины изображения, но и воспроизвести трехмерную сцену на трехмерном дисплее или повернуть трехмерную сцену для отображения сцены с разных точек съемки виртуальной камеры на двухмерном (или трехмерном) дисплее, необходимо сделать снимок в стереобазе, т.е. надо иметь как минимум два снимка, сделанных как минимум на дистанции глаз человека (6....8 см). При желании можно, имея карту глубины, просто дорисовать (выдумать) ту часть изображения, которая перекрывается объектами, но все же видна только каждому глазу в отдельности (создается искусственная стереобаза).

Основное отличие настоящего способа построения карты глубины изображения от общеизвестных основано на свойствах оптической системы осуществлять пространственную селекцию объектов снимаемой сцены за счет наличия границ резко изображаемого пространства. Подбирая физические параметры оптической системы и сенсора, можно добиться получения пространственной селекции объектов, сделав как минимум один снимок. Однако можно дополнительно добиться повышения точности и появления реальной стереобазы, если сделать серию снимков, желательно с минимальным смещением как минимум в несколько сантиметров, имитируя стереобазу глаз человека или даже значительно превышая ее. Таким образом, на имеющемся сейчас цифровом фотооборудовании можно создать такой режим съемки цифровых фотографий, при котором можно будет делать снимки, обрабатывая которые (методом цифровой обработки) можно будет восстановить (как минимум частично) трехмерную сцену, для отображения на трехмерных (3D) или двухмерных (2D) дисплеях со следящей за пользователем системой, создающей эффект просмотра трехмерной сцены (заявка на изобретение RU 2007135972 от 28.09.2007).

Съемка изображений в двухмерной проекции для целей последующего восстановления исходной трехмерной сцены, основанная на эффекте глубины резко изображаемого пространства оптических систем, позволяет максимально приспособить существующие на сегодняшний день аппаратные средства фиксации видео- и неподвижных изображений к требованиям регистрации трехмерных сцен в цифровом виде и их последующей передачи для обработки и отображения на двухмерных и трехмерных дисплеях с целью визуализации, хотя бы частичной, исходной трехмерной сцены. Современные системы отображения информации рассчитаны, как правило, на представление трехмерного мира в виде проекции на двухмерные дисплеи. Необходимо принять во внимание все больше распространение технологий производства трехмерных дисплеев (с применением анаглифной, поляризационной системами трехмерного видения, технологии микролинз и т.п.), шлемов виртуальной реальности, а также появления «следящих» систем, позволяющих в динамике движения пользователя, находящегося перед двухмерным дисплеем, создавать иллюзию просмотра трехмерного изображения, где монитор является окном в трехмерный мир. Поэтому технологии съемки и передачи трехмерного изображения от источника съемки к устройству его визуализации получат в ближайшее время скачкообразное развитие. Изобретение направлено на развитие технологии, имитирующей трехмерную съемку видеоизображений и фотографий, и скорейшее внедрение в производство. На данный момент времени устройства съемки трехмерных изображений отсутствуют в широкой продаже как таковые. Есть только средства отображения. Изобретение позволят приспособить фотоаппараты и видеокамеры, путем их аппаратно-программной настройки для съемки трехмерных изображений, пусть и с ограниченным углом обзора. Для такого изобретения как заявка RU 2007135972 от 28.09.2007, ограниченные углы обзора трехмерной сцены на двухмерном (или трехмерном) мониторе не противоречат самой идее заявки, органично вписываются в нее и позволяют создать достаточный эффект объема сцены.

Процесс получения из двухмерного снимка трехмерной сцены представляет из себя синтез «слоев» параллельных плоскости экрана, состоящих из растровых (двухмерных) участков изображений с присвоением им «глубины» (дистанции от экрана) на трехмерной карте виртуального пространства, отображаемого впоследствии пользователю на трехмерной системе визуализации. На сегодняшний день для достижения данного эффекта применяют методы обработки двухмерных снимков (от двух до нескольких), снятых с разных ракурсов, методы подсвечивания изображения какой-либо линейчатой структурой света или лучом развертки (лазер). Все это позволяет достичь требуемого эффекта трехмерности, но при этом все эти методики слабо применимы в настоящий момент на практике в силу присущих им недостатков. Основной недостаток всех этих методик в том, что они не используют напрямую средства, позволяющие при помощи свойств оптических систем осуществлять пространственную селекцию дистанции до объектов съемки. Используя такое свойство оптических систем как глубина резко изображаемого пространства и приспособив его специальными методами к съемке объектов реального трехмерного мира можно достичь восстановления трехмерности (построить карту глубины), применяя уже известные методы восстановления трехмерных сцен из двухмерных снимков.

Глубина резко изображаемого пространства оптических систем является настолько гибкой, что оптимизированная под данные цели оптическая система позволяет автоматически программными настройками режимов съемки реализовать пространственную селекцию (как минимум дистанция фокусировки может быть известной величиной), а современные полупроводниковые оптические сенсоры имеют настолько высокое быстродействие, что позволяют снимать целую серию снимков в течение очень короткого периода времени. Все это позволяет очень просто реализовать построение карты глубины. Если же рассматривать уже имеющиеся в фотоаппаратах средства съемки панорамных изображений, и позволив по аналогии пользователю перемещать камеру (вместо ее поворота вокруг своей оси) для появления на снимках диспаритета (сдвига точки съемки кадров на расстояние, не меньшего расстояния глаз человека), то можно увеличить углы обзора восстановленной трехмерной сцены весьма значительно.

Заявляемый способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции (его варианты) хорошо дополняет и заменяет существующие на данный момент времени способы, отличаясь от них высокой точностью и отсутствием выраженных недостатков.

Изобретение относится к области отображения информации на основе заранее проведенной съемки. Техническим результатом является увеличение точности и скорости визуализации трехмерной сцены, увеличение точности построение карты глубины трехмерной сцены, а также экономия используемых ресурсов. Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции основан на представлении объектов съемки с учетом информации об изображении и глубине относительно каждой точки изображения. Восстановление трехмерной сцены осуществляют на основе одного или более снимков, полученных в диапазоне резкости (ДР) объектива, сфокусированного на объект съемки с определенной глубиной резко изображаемого пространства (ГРИП), при этом в данном ДР помещают один или более объекта съемки или его часть, после чего методом цифровой обработки изображения объект, снятый с высокой резкостью, отделяют от фона изображения, имеющего иную резкость на основе сравнения как минимум двух снимков с разной ГРИП, а на основе информации о дистанции фокусировки и параметрах устройства съемки строят карту глубины, с помощью которой восстанавливают трехмерную сцену, при этом съемку первого объекта осуществляют с минимальной ГРИП, а фоновое изображение формируют с использованием отдельного снимка с высокой величиной ГРИП, при этом отделенный от фонового изображения объект формируют на основе другого фонового изображения или замещают фоновое изображение на основе искусственной трехмерной модели. 6 н. и 4 з.п. ф-лы, 8 ил., 2 табл.

1. Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции, основанный на представлении объектов съемки с учетом информации об изображении и глубине относительно каждой точки изображения, отличающийся тем, что восстановление трехмерной сцены осуществляют на основе одного или более снимков, полученных в диапазоне резкости (ДР) объектива, сфокусированного на объект съемки с определенной глубиной резко изображаемого пространства (ГРИП), при этом в данном ДР помещают один или более объект съемки или его часть, после чего методом цифровой обработки изображения объект, снятый с высокой резкостью, отделяют от фона изображения, имеющего иную резкость на основе сравнения как минимум двух снимков с разной ГРИП, а на основе информации о дистанции фокусировки и параметрах устройства съемки строят карту глубины, с помощью которой восстанавливают трехмерную сцену, при этом съемку первого объекта осуществляют с минимальной ГРИП, а фоновое изображение формируют с использованием отдельного снимка с высокой величиной ГРИП, при этом отделенный от фонового изображения объект формируют на основе другого фонового изображения или замещают фоновое изображение на основе искусственной трехмерной модели.

2. Способ по п.1. отличающийся тем, что, с целью увеличения углов обзора восстановленной трехмерной сцены, устройство съемки перемещают в горизонтальной и вертикальной плоскостях на расстояние, достаточное для появления на снимках эффекта диспаритета.

3. Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции, основанный на представлении объектов съемки с учетом информации об изображении и глубине относительно каждой точки изображения, отличающийся тем, что восстановление трехмерной сцены осуществляют на основе одного снимка, полученного в диапазоне резкости (ДР) объектива, сфокусированного на объект съемки с определенной глубиной резко изображаемого пространства (ГРИП), при этом в данном ДР помещают один или более объект съемки или его часть, после чего методом цифровой обработки изображения объект, снятый с высокой резкостью, отделяют от фона изображения, имеющего иную резкость, уменьшив размеры изображения, объединив соседние пикселы изображения, понизив таким образом разрешение снимка, и выделяют отснятый резко объект от размытого фона, обрабатывая информацию об изображении до и после преобразования, а на основе информации о дистанции фокусировки и параметрах устройства съемки строят карту глубины, с помощью которой восстанавливают трехмерную сцену, а фоновое изображение формируют из исходного снимка или на основе другого фонового изображения или замещают фоновое изображение на основе искусственной трехмерной модели.

4. Способ по п.3, отличающийся тем, что, с целью увеличения углов обзора восстановленной трехмерной сцены, устройство съемки перемещают в горизонтальной и вертикальной плоскостях на расстояние, достаточное для появления на снимках эффекта диспаритета.

5. Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции, основанный на представлении объектов съемки с учетом информации об изображении и глубине относительно каждой точки изображения, отличающийся тем, что восстановление трехмерной сцены осуществляют на основе двух или более снимков, полученных в ДР объектива, сфокусированного на объект съемки с определенной ГРИП, при этом в данном ДР помещают один или более объект съемки или его часть, потом переводят дистанцию на следующий объект и так далее, после чего каким-либо методом цифровой обработки изображения объекты, снятые с разной дистанцией фокусировки, отделяют друг от друга, а затем на основе информации о дистанции фокусировки и параметрах устройства съемки строят карту глубины, с помощью которой восстанавливают трехмерную сцену, при этом фоновое изображение формируют с использованием отдельного снимка с высокой величиной ГРИП, отделяя фоновое изображения от объектов или размещая выделенные объекты на другом фоновом изображении или на фоне объектов искусственной трехмерной модели.

6. Способ по п.3, отличающийся тем, что, с целью увеличения углов обзора восстановленной трехмерной сцены, устройство съемки перемещают в горизонтальной и вертикальной плоскостях на расстояние, достаточное для появления на снимках эффекта диспаритета.

7. Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции, основанный на представлении объектов съемки с учетом информации об изображении и глубине относительно каждой точки изображения, отличающийся тем, что восстановление трехмерной сцены осуществляют на основе одного снимка, полученного в ДР объектива, сфокусированного на объект съемки с определенной ГРИП, при этом в данном ДР помещают один или более объект съемки или его часть, после чего методом цифровой обработки изображения объект, снятый с высокой резкостью, отделяют от фона изображения, имеющего иную резкость, на основе сравнения как минимум двух изображений, при этом второе изображение, имеющее меньшую ГРИП, получают, уменьшая для этого диаметр пятна рассеивания светочувствительного сенсора, путем обработки избыточной информации (RAW), содержащейся в каждом отдельно взятом пикселе из триады RGB, и на основе информации о дистанции фокусировки и параметрах устройства съемки строят карту глубины, с помощью которой восстанавливают трехмерную сцену, а фоновое изображение формируют из исходного снимка, или на основе другого фонового изображения, или на основе искусственной трехмерной модели.

8. Способ по п.5, отличающийся тем, что, с целью увеличения углов обзора восстановленной трехмерной сцены, устройство съемки перемещают в горизонтальной и вертикальной плоскостях на расстояние, достаточное для появления на снимках эффекта диспаритета.

9. Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции, основанный на представлении объектов съемки с учетом информации об изображении и глубине относительно каждой точки изображения, отличающийся тем, что восстановление трехмерной сцены осуществляют на основе видеоряда как минимум от двух видеокамер, полученных в ДР объектива, сфокусированного на объект съемки с определенной ГРИП, при этом в данном ДР помещают один или более объект съемки или его часть, после чего методом цифровой обработки изображения объект отделяют от фона изображения на основе сравнения как минимум двух снимков (видеокадров) с разной дистанцией фокусировки или разной ГРИП, а на основе информации о дистанции фокусировки и параметрах устройства съемки строят карту глубины, с помощью которой восстанавливают трехмерную сцену, при этом съемку объекта осуществляют с первой камеры с минимально необходимой ГРИП, а фоновое изображение формируют с использованием видеокадров любой камеры, или на основе другого фонового изображения, или на основе искусственной трехмерной модели.

10. Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции, основанный на представлении объектов съемки с учетом информации об изображении и глубине относительно каждой точки изображения, отличающийся тем, что восстановление трехмерной сцены осуществляют на основе изображений как минимум от одной или более видеокамер, полученных в ДР объектива, сфокусированного на объект съемки с определенной ГРИП, при этом в данном ДР помещают один или более объект съемки или его часть, после чего методом цифровой обработки изображения объект, снятый с высокой резкостью, отделяют от фонового изображения, полученного путем получения вторичного изображения, имеющего иную резкость (контрастность и т.п.) с отличающейся от исходного изображения ГРИП за счет уменьшения пятна рассеивания сенсора изображения и/или за счет обработки избыточной разрешающей способности сенсора, и на основе сравнения этих двух изображений с разной ГРИП, учитывая информацию о дистанции фокусировки и параметрах устройства съемки, строят карту глубины, с помощью которой восстанавливают трехмерную сцену, а фоновое изображение формируют или из исходного снимка, представляющего собой один из кадров видеоряда, или на основе другого фонового изображения, или на основе искусственной трехмерной модели.