СПОСОБ И УСТРОЙСТВО ДЛЯ ФОРМИРОВАНИЯ ТРЕХМЕРНОГО ИЗОБРАЖЕНИЯ Российский патент 2019 года по МПК G06T15/20 H04N13/00 

Область техники, к которой относится изобретение

Изобретение относится к обработке трехмерного изображения, и в частности, но не только, к формированию трехмерного изображения для представления на автостереоскопическом дисплее.

Уровень техники

Трехмерные дисплеи вызывают растущий интерес, и проводятся интенсивные исследования касательно того, как предоставлять трехмерное восприятие зрителю. Трехмерные дисплеи добавляют третье измерение к впечатлению от просмотра посредством предоставления для двух глаз зрителя различных видов просматриваемой сцены. Это может достигаться за счет ношения очков пользователем для того, чтобы разделять два вида, которые отображаются. Тем не менее, поскольку это относительно неудобно для пользователя, во многих сценариях желательно использовать автостереоскопические дисплеи, которые непосредственно формируют различные виды и проецируют их в глаза пользователя. Фактически, в течение некоторого времени, различные компании активно разрабатывают автостереоскопические дисплеи, подходящие для рендеринга трехмерных изображений. Автостереоскопические устройства могут представлять для зрителей трехмерное впечатление без необходимости специального шлема и/или очков.

Автостереоскопические дисплеи, в общем, предоставляют различные виды для различных углов обзора. Таким образом, первое изображение может формироваться для левого глаза, а второе изображение - для правого глаза зрителя. Посредством отображения соответствующих изображений, т.е. соответствующих с точки зрения левого и правого глаза, соответственно, можно передавать трехмерное впечатление в зрителя.

Автостереоскопические дисплеи имеют тенденцию использовать такие средства, как лентикулярные линзы или параллактические барьеры/барьерные маски, для того, чтобы разделять виды и отправлять их в различных направлениях таким образом, что они отдельно достигают глаз пользователя. Для стереодисплеев, требуются два вида, но большинство автостереоскопических дисплеев типично использует большее число видов (к примеру, девять видов).

Чтобы удовлетворять потребность в эффектах для трехмерных изображений, контент создается с возможностью включать в себя данные, которые описывают трехмерные аспекты захваченной сцены. Например, для машиногенерируемой графики, трехмерная модель может быть разработана и использована для того, чтобы вычислять изображение из данной позиции просмотра. Такой подход, например, часто используется для компьютерных игр, которые предоставляют трехмерный эффект.

В качестве другого примера, видеоконтент, такой как фильмы или телевизионные программы, все в большей степени формируется с возможностью включать в себя некоторую трехмерную информацию. Эта информация может захватываться с использованием выделенных трехмерных камер, которые захватывают два одновременных изображения из немного смещенных позиций камер, за счет непосредственно формируя стереоизображения, либо, например, могут захватываться посредством камер, которые также допускают захват глубины.

Типично, автостереоскопические дисплеи формируют "конусы" видов, причем каждый конус содержит несколько видов, которые соответствуют различным углам обзора сцены. Разность углов обзора между смежными (или в некоторых случаях дополнительно смещенными) видами формируется таким образом, что она соответствует разности углов обзора между правым и левым глазом пользователя. Соответственно, зритель, левый и правый глаз которого видит два соответствующих вида, должен воспринимать трехмерный эффект. Пример такой системы, в которой девять различных видов формируются в конусе просмотра, проиллюстрирован на фиг. 1.

Многие автостереоскопические дисплеи допускают формирование большого числа видов. Например, автостереоскопические дисплеи, которые формируют девять видов, являются очень распространенными. Такие дисплеи, например, являются подходящими для сценариев с несколькими зрителями, в которых несколько зрителей могут просматривать дисплей одновременно, и все воспринимают трехмерный эффект. Также разработаны дисплеи с еще более высоким числом видов, включающие в себя, например, дисплеи, которые могут предоставлять, например, 28 различных видов. Такие дисплеи зачастую могут использовать относительно узкие конусы видов, что приводит к тому, что глаза зрителя принимают свет из множества видов одновременно. Кроме того, левый и правый глаз типично должны позиционироваться в видах, которые не являются смежными (как в примере по фиг. 1).

Фиг. 2 иллюстрирует пример формирования трехмерного пиксела (с тремя цветовыми каналами) из нескольких субпикселов. В примере, w является горизонтальным шагом субпиксела, h является вертикальным шагом субпиксела, N является средним количеством субпикселов в расчете на одноцветное наложение. Лентикулярная линза является наклонной посредством , и шаг, измеренный в горизонтальном направлении, составляет p в единицах шага субпиксела. В трехмерном пикселе, жирные линии указывают разделение между наложениями различных цветов, а тонкие линии указывают разделение между субпикселами. Другое полезное количество представляет собой соотношение сторон субпиксела: a=w/h. Затем N=a/s. Для стандартной линзы с наклоном 1/6 в RGB-полосковом шаблоне, a=1/3 и s=1/6, так что N=2.

Что касается традиционных двумерных дисплеев, качество изображений имеет наибольшее значение для трехмерного дисплея в большинстве приложений и, в частности, является очень важным для потребительского рынка, к примеру, для трехмерных телевизионных приемников или мониторов. Тем не менее, представление различных видов предоставляет дополнительные усложнения и потенциальные ухудшения качества изображения.

В частности, чтобы поддерживать объем данных для распределения и обработки как управляемый объем, трехмерный контент типично предоставляется в формате на основе очень низкого числа двумерных изображений. Например, данные трехмерных изображений могут предоставляться посредством одного двумерного изображения, соответствующего одному углу обзора, поддерживаемому посредством карты глубины, указывающей глубину для каждого пиксела. Другое общее представление предоставляет два двумерных изображения, при этом одно предназначено для левого глаза зрителя, а другое - для правого глаза зрителя.

Таким образом, информация трехмерных изображений типично предоставляется в сжатом формате и типично представляется посредством относительно низкого числа изображений с различными точками обзора. Чтобы предоставлять изображения вида для каждого отдельного направления вида автостереоскопического дисплея, соответственно, необходимо применять значительную обработку к принимаемым данным. В частности, чтобы формировать изображения вида для автостереоскопического дисплея, типично необходимо выполнять рендеринг и также обработку (трехмерных) изображений. Например, сдвиг точки обзора на основе информации глубины зачастую необходим, чтобы формировать дополнительные виды.

В качестве другого примера, в некоторых вариантах применения, данные трехмерных изображений формируются непосредственно посредством оценки трехмерной модели, к примеру, посредством формирования данных изображений на основе трехмерной модели. Модель, например, может соответствовать графическому OpenGL-стандарту и может содержать треугольники и/или ячеистые сети в комбинации с текстурами. Таким образом, в некоторых вариантах применения, изображение для конкретного угла обзора может формироваться посредством оценки трехмерной графической модели трехмерной сцены.

При использовании автостереоскопического дисплея для трехмерного представления, относительно большое число отдельных видов, соответствующих различным углам обзора, проецируется, к примеру, типично 9, 15 или 29 видов. Соответственно, большое число изображений, соответствующих различным углам обзора, должно формироваться. Это может достигаться посредством выполнения трехмерной обработки входных данных трехмерных изображений для каждого вида. Например, для каждого вида, входное изображение, соответствующее углу обзора по умолчанию, обрабатывается, чтобы формировать соответствующий вид для требуемого угла обзора. Эта трехмерная обработка, в частности, включает в себя сдвиг диспаратности пикселов в зависимости от их глубины, заполнение зон со снятым затемнением и т.д.

Аналогично, в некоторой системе на основе оценки трехмерной модели, модель может оцениваться для каждого вида, чтобы формировать изображение, соответствующее этому углу обзора.

Таким образом, в некоторых системах, трехмерная обработка выполняется для того, чтобы формировать изображение для каждого вида автостереоскопического дисплея. Тем не менее, недостаток такого подхода заключается в том, что он является очень вычислительно емким и требует большого объема вычислительных ресурсов. Это может быть, в частности, очень важно для трехмерных изображений, которые представляют собой часть, например, видеопоследовательности или игры, требующей обработки в реальном времени.

Чтобы уменьшать вычислительную сложность, предложено подготавливать посредством рендеринга только поднабор изображений, которые требуются для автостереоскопического дисплея. Например, трехмерная обработка может формировать только 8 изображений для изображения с 15 видами. В таких системах, изображение для каждого вида может формироваться посредством выбора сформированного изображения, которое соответствует ближайшему углу обзора относительно угла обзора вида. В некоторых системах, данное изображение вида может формироваться посредством простой линейной интерполяции, например, между двумя подготовленными посредством рендеринга изображениями, окружающими изображение текущего вида (т.е. соответствующими изображениям, имеющим ближайший угол обзора в каждом направлении).

Фактически, в настоящее время, когда контент подготавливается посредством рендеринга для автостереоскопического трехмерного дисплея, типичный подход заключается в том, чтобы подготавливать посредством рендеринга фиксированное число изображений, соответствующих фиксированным углам обзора. Затем, для каждого пиксела автостереоскопического дисплея определяется требуемый выходной угол обзора, и пиксел затем формируется посредством выбора соответствующего пиксела в подготовленном посредством рендеринга изображении для ближайшего угла обзора или посредством суммирования со взвешиванием пикселов изображений с ближайшими углами обзора.

Тем не менее, хотя такой подход может уменьшать общее использование вычислительных ресурсов, он также имеет тенденцию вводить ряд недостатков. В частности, подход имеет тенденцию снижать воспринимаемое качество изображений и вводит ряд артефактов.

Например, если относительно низкое число изображений подготавливается посредством рендеринга посредством трехмерной обработки, края в воспринимаемом трехмерном изображении имеют тенденцию демонстрировать эффект двоения (например, зачастую воспринимаются несколько немного смещенных копий края объекта). Кроме того, если пользователь перемещается относительно дисплея таким образом, что глаза зрителя перемещаются через несколько видов из конуса вида, в результате получается относительно неравномерное впечатление, когда кажется, что объекты изображения прыгают или дрожат в позиции по мере того, как глаза зрителя перемещаются между видами.

Следовательно, для того чтобы формировать высокое качество изображений, желательно, чтобы большое число изображений подготавливалось посредством рендеринга. Тем не менее, это увеличивает сложность и использование ресурсов, и в силу этого предусмотрен внутренне присущий компромисс между качеством и сложностью, который имеет тенденцию быть субоптимальным в системах предшествующего уровня техники.

Следовательно, должен быть преимущественным усовершенствованный подход для формирования изображений вида, и в частности, должен быть преимущественным подход, обеспечивающий повышенную гибкость, повышенное качество изображений, меньшую сложность, меньшую потребность в ресурсах, улучшенный компромисс между сложностью и воспринимаемым качеством изображений и/или повышенную производительность.

Раскрытие изобретения

Следовательно, изобретение предпочтительно нацелено на уменьшение, облегчение или устранение одного или более вышеуказанных недостатков по отдельности или в любой комбинации.

Согласно аспекту изобретения, предусмотрено устройство для формирования выходного трехмерного изображения, причем устройство содержит: первый модуль формирования изображений для формирования промежуточного трехмерного изображения, причем промежуточное трехмерное изображение содержит множество областей, представляющих собой пространственные подразделения промежуточного трехмерного изображения, и первый модуль формирования изображений сконфигурирован с возможностью формировать, используя обработку на основе глубины, определенное число блоков изображения пиксельных значений для множества областей, причем число блоков изображения отличается, по меньшей мере, для двух областей из множества областей, и каждый блок изображения содержит пиксельные значения для группы пикселов, соответствующих направлению вида; второй модуль формирования изображений для формирования, используя обработку не на основе глубины, выходного трехмерного изображения, содержащего определенное число изображений вида, из промежуточного трехмерного изображения, причем каждое из определенного числа изображений вида соответствует направлению вида; модуль адаптации для локальной адаптации числа блоков изображения, сформированных посредством первого модуля формирования изображений, с различными направлениями просмотра, по меньшей мере, для первой области из множества областей в ответ на свойство, по меньшей мере, одного из промежуточного трехмерного изображения и представления трехмерной сцены, из которой первый модуль формирования изображений сконфигурирован с возможностью формировать промежуточное трехмерное изображение.

Изобретение во многих вариантах осуществления позволяет обеспечивать улучшенное трехмерное изображение, которое, при отображении на трехмерном дисплее, таком как автостереоскопический дисплей, может предоставлять улучшенное воспринимаемое качество изображений. Во многих вариантах осуществления, подход может приводить, например, к воспринимаемым уменьшенным эффектам перекрестных помех, например, когда второе трехмерное изображение представляется на автостереоскопическом дисплее. Подход во многих вариантах осуществления может формировать трехмерное изображение, в котором уменьшается перцепционное влияние ухудшений качества изображения и артефактов. При отображении, зритель может воспринимать более естественно выглядящую трехмерную сцену. Подход, в частности, может во многих вариантах осуществления предоставлять более плавное восприятие, когда пользователь перемещается через конусы видов автостереоскопического дисплея.

Изобретение во многих вариантах осуществления позволяет уменьшать сложность. Подход во многих сценариях позволяет существенно уменьшать требуемый объем трехмерной обработки данных изображений. Подход во многих вариантах осуществления позволяет обеспечивать более эффективное использование доступных вычислительных ресурсов или, например, может уменьшать требуемые вычислительные ресурсы. Обработка с меньшей сложностью может достигаться для больших зон выходного трехмерного изображения. Может существенно уменьшаться использование вычислительных ресурсов. Подход, например, может обеспечивать формирование относительно высокого числа изображений вида даже в устройствах с относительно низкой вычислительной мощностью.

Изобретение во многих вариантах осуществления и сценариях позволяет обеспечивать улучшенный компромисс между вычислительными ресурсами и качеством изображений. В частности, подход может обеспечивать направленность доступных вычислительных ресурсов в самых критических частях трехмерного изображения. Таким образом, адаптация числа видов, представленных посредством блоков изображения, сформированных посредством первого модуля формирования изображений на основе свойства трехмерного изображения, позволяет адаптировать доступную вычислительную мощность таким образом, чтобы повышать качество изображений, когда это с наибольшей вероятностью должно быть заметно для пользователя. В частности, она позволяет обеспечивать сосредоточение уменьшения или смягчения артефактов на зонах, в которых такие артефакты должны возникать с наибольшей вероятностью или являются наиболее заметными.

В частности, модуль адаптации может выполнять локальную адаптацию числа видов, подготовленных посредством рендеринга посредством первого модуля формирования изображений, и эта адаптация может быть основана на локальных характеристиках изображений. Таким образом, в системе, различные области промежуточного изображения могут быть представлены посредством различного числа блоков изображения, причем каждый блок изображения соответствует различному углу обзора. Число блоков/углов обзора изображения в каждой области в силу этого зависит от локального свойства изображения.

Трехмерное изображение может быть любым представлением трехмерной сцены и, в частности, может быть любыми данными, предоставляющими визуальную информацию и (ассоциированную) информацию глубины. Трехмерное изображение, например, может представлять собой два или более (потенциально частичных) изображений, соответствующих различным точкам обзора сцены. Трехмерное изображение, например, может представлять собой два двумерных изображения, соответствующих виду для просмотра левым глазом и виду для просмотра правым глазом. В некоторых сценариях, трехмерное изображение может быть представлено посредством более чем двух видов, к примеру, посредством двумерных изображений для 9 или 28 видов автостереоскопического дисплея. В некоторых сценариях, информация глубины (например, предоставляемая как данные диспаратности или смещения) может предоставляться в качестве части трехмерного изображения. В некоторых вариантах осуществления, трехмерное изображение, например, может предоставляться в качестве одного изображения вместе с ассоциированной информацией глубины. В некоторых сценариях, трехмерное изображение может предоставляться в качестве двумерного изображения из данного направления вида вместе с данными затемнения и данными глубины. Например, трехмерное изображение может предоставляться в качестве представления в виде серии срезов по оси Z и возможно ассоциированной карты глубины. Например, серия срезов по оси Z может содержать верхний слой, соответствующий полному изображению для данной точки обзора. Таким образом, двумерный дисплей может непосредственно подготавливать посредством рендеринга это изображение. Поскольку изображение содержит пикселы на различных глубинах (например, некоторые представляют собой фоновые пикселы, и другие пикселы соответствуют различным объектам переднего плана на различных глубинах), изображение верхнего слоя может иметь ассоциированную карту глубины. Второй слой серии срезов по оси Z затем может содержать информацию затемнения для верхнего слоя. В частности, для каждого пиксела верхнего слоя, второй слой может содержать пиксел, представляющий то, что должно быть видимым, если объект изображения, представленный посредством соответствующего пиксела в верхнем слое, не присутствует. В случае если соответствующий пиксел уже представляет собой фоновый пиксел (и в силу этого отсутствует затемнение), второй слой не может содержать пиксельное значение для этого пиксела. Подход может повторяться для всех дополнительных слоев серии срезов по оси Z. В некоторых вариантах осуществления, карта глубины может предоставляться для каждого слоя серии срезов по оси Z.

Первый модуль формирования изображений в некоторых вариантах осуществления может формировать промежуточное трехмерное изображение посредством обработки входного трехмерного изображения. В таких вариантах осуществления, первый модуль формирования изображений может формировать промежуточное трехмерное изображение, которое включает в себя данные изображений для большего числа видов, чем входное изображение, по меньшей мере, для некоторых областей. В некоторых вариантах осуществления, первый модуль формирования изображений может формировать данные изображений для промежуточного трехмерного изображения посредством оценки трехмерной графической модели сцены для конкретного направления просмотра.

Первый модуль формирования изображений в некоторых вариантах осуществления может формировать промежуточное трехмерное изображение посредством оценки трехмерной модели.

Первый модуль формирования изображений может быть сконфигурирован с возможностью формировать промежуточное трехмерное изображение с использованием обработки трехмерных изображений, причем обработка трехмерных изображений содержит процесс, зависимый от глубины, по меньшей мере, одного обрабатываемого пиксела изображения. Первый модуль формирования изображений может быть сконфигурирован с возможностью формировать промежуточное трехмерное изображение с использованием функциональной обработки изображений на основе/с зависимостью от глубины. Второй модуль формирования изображений может быть сконфигурирован с возможностью формировать выходное трехмерное изображение с использованием процесса, не зависимого от глубины обрабатываемых пикселов изображения. Второй модуль формирования изображений может быть сконфигурирован с возможностью формировать выходное трехмерное изображение из промежуточного трехмерного изображения с использованием обработки изображений не на основе/без зависимости от глубины. Таким образом, первый модуль формирования изображений может рассматривать информацию глубины/диспаратности при формировании промежуточного трехмерного изображения, тогда как второй модуль формирования изображений не учитывает информацию глубины/диспаратности при формировании выходного трехмерного изображения.

В частности, второй модуль формирования изображений может быть сконфигурирован с возможностью формировать выходное трехмерное изображение в ответ на линейные комбинирования со взвешиванием блоков изображения промежуточного трехмерного изображения. Например, для каждого пиксела каждого изображения вида выходного трехмерного изображения, пиксельное значение(я) может определяться в качестве линейного комбинирования со взвешиванием соответствующего пиксела в блоках изображения промежуточного трехмерного изображения, причем весовые коэффициенты зависят от угла обзора вида относительно углов обзора блоков изображения.

Первый модуль формирования изображений может формировать промежуточное трехмерное изображение посредством обработки на основе глубины входного трехмерного изображения. Такая обработка, по меньшей мере, для некоторых областей может включать в себя формирование блоков изображения, соответствующих углам обзора, для которых данные изображений не предоставляются во входном трехмерном изображении. Обработка входного трехмерного изображения, соответственно, может включать в себя сдвиг угла обзора изображения. Он может включать в себя пиксельное смещение, заполнение зон со снятым затемнением и т.д.

Область может соответствовать любому пространственному подразделению промежуточного трехмерного изображения.

Промежуточное трехмерное изображение может формироваться посредством набора блоков изображения для каждой области промежуточного трехмерного изображения, причем каждый набор блоков изображения содержит один или более блоков изображения, при этом каждый блок изображения из одного набора блоков изображения соответствует различному углу обзора. Во многих вариантах осуществления, каждый набор блоков изображения содержит минимум, например, 2, 3 или 5 блоков изображения для различных углов обзора. Во многих вариантах осуществления, блоки изображения для одного или более направлений просмотра содержатся во всех наборах блоков изображения. Таким образом, промежуточное трехмерное изображение может включать в себя определенное число полных изображений (каждое из которых ассоциировано с углом обзора). Например, промежуточное трехмерное изображение может быть представлено посредством N полных изображений вида, каждое из которых соответствует различному углу обзора, и помимо этого, поднабор наборов блоков изображения может содержать один или более блоков изображения для дополнительных углов обзора. Число дополнительных блоков изображения/дополнительных углов обзора для данного набора/области определяется посредством модуля адаптации на основе свойства изображения в окружении области набора. Число блоков изображения/дополнительных углов обзора может варьироваться между различными областями.

Выходное трехмерное изображение может содержать предварительно определенное число изображений вида. Каждое изображение вида может представлять собой полное изображение и в силу этого может содержать данные изображений для всех областей изображения. Выходное трехмерное изображение может формироваться в качестве набора из M изображений, причем каждое из M изображений непосредственно формируется в качестве изображения для одного вида автостереоскопического дисплея. Выходное трехмерное изображение может быть представлено только посредством M изображений вида и, например, может не включать в себя карты глубины или диспаратности. Выходное трехмерное изображение может представляться как набор отдельных изображений вида или, например, может быть представлено посредством переплетенного изображения, содержащего перемеженные изображения вида. В некоторых вариантах осуществления или сценариях, одно или более изображений вида могут представлять собой частичное изображение.

Блок изображения может соответствовать зоне изображения или группе пикселов, для которых предоставляются визуальные пиксельные значения. Таким образом, блок изображения может формироваться посредством пиксельных значений для группы пикселов. Пиксельные значения могут быть визуальными пиксельными значениями, такими как, например, значения сигнала яркости, сигнала цветности и/или цветности. Первый модуль формирования изображений может формировать блок изображения посредством формирования пиксельных значений для группы пикселов. Для данного направления просмотра, промежуточное трехмерное изображение может содержать зоны, для которых пиксельные значения не определены (пустые зоны или пустоты в изображении), и блоки изображения, для которых пиксельные значения сформированы посредством первого модуля формирования изображений. Блок изображения может представлять собой набор пиксельных значений для группы пикселов.

Изображение вида может представлять собой изображение для данного направления просмотра. Оно может представлять собой полное изображение без пустых зон.

Свойство может представлять собой свойство изображения для/в окружении первой области. Окружение может представлять собой окружение в промежуточном трехмерном изображении или во входном трехмерном изображении.

В некоторых вариантах осуществления, число блоков изображения для первой области из множества областей может быть адаптировано в ответ на свойство промежуточного трехмерного изображения, такое как, например, глубина и/или контрастность для первой области в промежуточном трехмерном изображении.

В некоторых вариантах осуществления, промежуточный трехмерный сигнал формируется из представления трехмерной сцены.

Трехмерная сцена, например, в некоторых вариантах осуществления может быть представлена посредством входного трехмерного изображения, и промежуточное трехмерное изображение может формироваться из входного трехмерного изображения. В некоторых вариантах осуществления, число блоков изображения для первой области из множества областей может быть адаптировано в ответ на свойство входного трехмерного изображения, такое как, например, глубина и/или контрастность для первой области во входном трехмерном изображении.

Трехмерная сцена, например, в некоторых вариантах осуществления может быть представлена посредством трехмерной модели (включающей в себя, например, моделирование текстур и источников света). Промежуточное трехмерное изображение в таких вариантах осуществления может формироваться из трехмерной модели. В некоторых вариантах осуществления, число блоков изображения для первой области из множества областей может быть адаптировано в ответ на свойство трехмерной модели, такое как, например, показатель глубины и/или контрастности для объектов модели, соответствующих первой области во входном/промежуточном трехмерном изображении.

Таким образом, во многих вариантах осуществления, модуль адаптации может быть сконфигурирован с возможностью адаптировать число блоков изображения с различными направлениями просмотра, по меньшей мере, для первой области из множества областей в ответ на свойство, по меньшей мере, одного из промежуточного трехмерного изображения, свойство входного трехмерного изображения, в ответ на которое первый модуль формирования изображений сконфигурирован с возможностью формировать промежуточное изображение, и трехмерную модель, в ответ на которую первый модуль формирования изображений сконфигурирован с возможностью формировать промежуточное изображение.

В соответствии с необязательным признаком изобретения, свойство представляет собой показатель глубины.

Свойство, в частности, может представлять собой показатель глубины окружения. Модуль адаптации может быть сконфигурирован с возможностью определять число блоков изображения для первой области в ответ на показатель глубины для окружения первой области. Окружение может представлять собой зону, содержащую, по меньшей мере, один пиксел, принадлежащий первой области. Модуль адаптации может быть сконфигурирован с возможностью определять число блоков изображения для первой области в ответ на показатель глубины для зоны, содержащей, по меньшей мере, один пиксел первой области.

Модуль адаптации может быть сконфигурирован с возможностью осуществлять эту операцию для всех областей из множества областей. Определение числа блоков изображения может выполняться независимо для каждой области.

Подход позволяет обеспечивать повышенное качество изображений по сравнению с использованием вычислительных ресурсов во многих вариантах осуществления и сценариях. Вычислительные ресурсы устройства формирования изображений, в частности, могут быть распределены неравномерно по изображению в зависимости от показателя глубины, и в частности, ресурсы для рендеринга могут сосредотачиваться на областях, имеющих существенные отклонения глубины от опорной плоскости.

Показатель глубины может служить признаком уровня глубины, таким как, например, среднее или взвешенное значение глубины, отражающее значения глубины для пикселов в окружении области. В некоторых вариантах осуществления, показатель глубины может служить признаком отклонения глубины в области от опорной глубины, которая, в частности, может представлять собой глубину уровня экрана (соответствующую нулевой диспаратности между изображениями различных видов).

В соответствии с необязательным признаком изобретения, свойство изображения представляет собой показатель контрастности окружения.

Свойство, в частности, может представлять собой показатель контрастности окружения. Модуль адаптации может быть сконфигурирован с возможностью определять число блоков изображения для первой области в ответ на показатель контрастности для окружения первой области. Окружение может представлять собой зону, содержащую, по меньшей мере, один пиксел, принадлежащий первой области. Модуль адаптации может быть сконфигурирован с возможностью определять число блоков изображения для первой области в ответ на показатель контрастности для зоны, содержащей, по меньшей мере, один пиксел первой области.

Модуль адаптации может быть сконфигурирован с возможностью осуществлять эту операцию для всех областей из множества областей. Определение числа блоков изображения может выполняться независимо для каждой области.

Подход позволяет обеспечивать повышенное качество изображений по сравнению с использованием вычислительных ресурсов во многих вариантах осуществления и сценариях. Вычислительные ресурсы устройства формирования изображений, в частности, могут быть распределены неравномерно по изображению в зависимости от показателя контрастности, и в частности, ресурсы для рендеринга могут сосредотачиваться на областях, демонстрирующих существенную локальную контрастность.

Показатель контрастности может служить признаком степени контрастности в окружении области и, например, может служить признаком степени варьирования сигнала яркости/яркости/силы света в окружении. В некоторых вариантах осуществления, показатель контрастности может служить признаком переходов краев объектов изображения в окружении.

В некоторых вариантах осуществления, показатель контрастности представляет собой показатель горизонтальной контрастности.

Во многих вариантах осуществления, свойство изображения представляет собой, по меньшей мере, одно из показателя глубины (окружения) и показателя контрастности (окружения). Модуль адаптации может быть сконфигурирован с возможностью определять число блоков изображения для первой области в ответ, по меньшей мере, на одно из показателя контрастности и показателя глубины для окружения первой области. Модуль адаптации может быть сконфигурирован с возможностью осуществлять эту операцию для всех областей из множества областей. Определение числа блоков изображения может выполняться независимо для каждой области.

В соответствии с необязательным признаком изобретения, модуль адаптации дополнительно сконфигурирован с возможностью определять число блоков изображения для первой области в ответ на доступность вычислительных ресурсов для первого модуля формирования изображений.

Изобретение, например, может предоставлять улучшенную адаптацию и зачастую оптимизацию качества изображений для доступных вычислительных ресурсов. В частности, подход может обеспечивать возможность адаптации рендеринга изображений таким образом, что ограниченные доступные ресурсы, например, могут быть направлены на зоны, в которых влияние на качество результирующего изображения оптимизировано.

В соответствии с необязательным признаком изобретения, множество областей содержат области, сформированные посредством, по меньшей мере, одной строки пикселов.

Это позволяет обеспечивать меньшую сложность и упрощенную работу во многих вариантах осуществления при одновременном предоставлении возможности очень гибкой направленности на ресурсы. Кроме того, подход во многих сценариях позволяет уменьшать вычислительные ресурсы для разделения изображения на области без результирующего недопустимого увеличения ухудшения качества изображения и/или обработки, требуемой для обработки каждой области.

Во многих сценариях, все области из множества областей формируются посредством одной или более строк пикселов.

В соответствии с необязательным признаком изобретения, по меньшей мере, одна область из множества областей содержит только поднабор пикселов строки пикселов.

Это позволяет обеспечивать улучшенную направленность на ресурсы во многих вариантах осуществления и, в частности, позволяет обеспечивать более точное выделение вычислительных ресурсов первого модуля формирования изображений.

В соответствии с необязательным признаком изобретения, первый модуль формирования изображений сконфигурирован с возможностью формировать блоки изображения для всех областей из множества областей для первого числа направлений просмотра, и модуль адаптации сконфигурирован с возможностью затем выбирать поднабор областей из множества областей, для которых можно формировать блоки изображения, по меньшей мере, для одного дополнительного направления вида в ответ на диспаратности между блоками изображения каждой области для первого числа углов обзора.

Изобретение во многих вариантах осуществления и сценариях позволяет обеспечивать улучшенный компромисс между вычислительными ресурсами и качеством изображений. Подход позволяет обеспечивать эффективную работу, обеспечивающую точное выделение ресурсов при предоставлении возможности использования несложного и нересурсоемкого подхода к управлению и выделению. Подход позволяет обеспечивать упрощенную и/или менее емкую реализацию и/или работу.

В соответствии с необязательным признаком изобретения, модуль адаптации сконфигурирован с возможностью выбирать область, для которой можно формировать блок изображения, по меньшей мере, для одного дополнительного угла обзора в ответ на показатель диспаратности, превышающий пороговое значение, причем показатель диспаратности представляет собой показатель диспаратности для двух блоков изображения для двух углов обзора, смежных с дополнительным углом обзора.

Изобретение во многих вариантах осуществления и сценариях позволяет обеспечивать улучшенный компромисс между вычислительными ресурсами и качеством изображений. Подход позволяет обеспечивать эффективную работу, обеспечивающую точное выделение ресурсов при предоставлении возможности использования несложного и нересурсоемкого подхода к управлению и выделению. Подход позволяет обеспечивать упрощенную и/или менее емкую реализацию и/или работу.

В соответствии с необязательным признаком изобретения, модуль адаптации сконфигурирован с возможностью определять поднабор областей, для которых показатель глубины ниже порогового значения, и задавать число блоков изображения в каждой области поднабора равным единице.

Для каждой области в поднаборе областей, первый модуль формирования изображений может формировать только информацию двумерных изображений.

Это позволяет уменьшать вычислительные ресурсы для поднабора областей, за счет этого освобождая выделение ресурсов для других областей. В некоторых вариантах осуществления, это может приводить к повышенному качеству изображений.

В некоторых вариантах осуществления, первый модуль формирования изображений сконфигурирован с возможностью формировать промежуточное трехмерное изображение из входного трехмерного изображения, причем входное трехмерное изображение представляется посредством, по меньшей мере, одного из набора множества двумерных изображений, соответствующих различным углам обзора, и двумерного изображения с ассоциированной картой глубины.

В некоторых вариантах осуществления, первый модуль формирования изображений сконфигурирован с возможностью формировать промежуточное трехмерное изображение посредством оценки графической трехмерной модели.

В некоторых вариантах осуществления, свойство может представлять собой непространственное свойство и, в частности, может представлять собой свойство, отличное от свойства глубины.

В соответствии с необязательным признаком изобретения, свойство представляет собой визуальное свойство.

Это позволяет обеспечивать повышенную производительность во многих вариантах осуществления. Свойство, в частности, может представлять собой визуальное свойство для окружения, по меньшей мере, одного пиксела первой области. Модуль адаптации может быть сконфигурирован с возможностью определять число блоков изображения для первой области в ответ на визуальное свойство для окружения первой области. Окружение (первой области) может представлять собой зону, содержащую, по меньшей мере, один пиксел, принадлежащий первой области. Модуль адаптации может быть сконфигурирован с возможностью определять число блоков изображения для первой области в ответ на визуальное свойство для зоны, содержащей, по меньшей мере, один пиксел первой области.

Модуль адаптации может быть сконфигурирован с возможностью осуществлять эту операцию для всех областей из множества областей. Определение числа блоков изображения может выполняться независимо для каждой области.

Визуальное свойство может служить признаком визуального свойства в окружении области и, например, может служить признаком степени варьирования сигнала яркости/яркости/силы света в окружении.

В соответствии с необязательным признаком изобретения, свойство служит признаком, по меньшей мере, одного из свойства яркости и свойства цвета.

Это позволяет обеспечивать повышенную производительность во многих вариантах осуществления. Свойство, в частности, может служить признаком, по меньшей мере, одного из свойства яркости и свойства цвета для окружения, по меньшей мере, одного пиксела первой области. Модуль адаптации может быть сконфигурирован с возможностью определять число блоков изображения для первой области в ответ, по меньшей мере, на одно из свойства яркости и свойство цвета окружения первой области. Окружение (первой области) может представлять собой зону, содержащую, по меньшей мере, один пиксел, принадлежащий первой области. Модуль адаптации может быть сконфигурирован с возможностью определять число блоков изображения для первой области в ответ на визуальное свойство для зоны, содержащей, по меньшей мере, один пиксел первой области.

Модуль адаптации может быть сконфигурирован с возможностью осуществлять эту операцию для всех областей из множества областей. Определение числа блоков изображения может выполняться независимо для каждой области.

Свойство может служить признаком, по меньшей мере, одного из свойства яркости и свойства цвета в силу наличия значения, зависимого от или, по меньшей мере, частично извлекаемого, по меньшей мере, из одного из значения яркости и значения цвета, в том числе, например, зависимого от варьирований яркости и/или цвета.

В соответствии с необязательным признаком изобретения, первый модуль формирования изображений сконфигурирован с возможностью формировать промежуточное трехмерное изображение на основе трехмерной модели трехмерной сцены; и модуль адаптации сконфигурирован с возможностью адаптировать число блоков изображения в ответ на свойство трехмерной модели.

В соответствии с аспектом изобретения, предусмотрен автостереоскопический трехмерный дисплей, содержащий: первый модуль формирования изображений для формирования промежуточного трехмерного изображения, причем промежуточное трехмерное изображение содержит множество областей, и первый модуль формирования изображений сконфигурирован с возможностью формировать, используя обработку на основе глубины, определенное число блоков изображения пиксельных значений, соответствующих направлениям вида для множества областей, причем число блоков изображения отличается, по меньшей мере, для двух областей из множества областей; второй модуль формирования изображений для формирования, используя обработку не на основе глубины, выходного трехмерного изображения, содержащего второе число изображений вида, из промежуточного трехмерного изображения, причем каждое из определенного числа изображений вида соответствует направлению вида; устройство отображения для отображения трехмерных изображений; формирователь сигналов управления отображением для возбуждения устройства отображения таким образом, чтобы отображать выходное трехмерное изображение; и модуль адаптации для локальной адаптации числа блоков изображения, сформированных посредством первого модуля формирования изображений, с различными направлениями просмотра, по меньшей мере, для первой области из множества областей в ответ на свойство, по меньшей мере, одного из промежуточного трехмерного изображения и трехмерного входного изображения для первого модуля формирования изображений.

В соответствии с аспектом изобретения, предусмотрен способ формирования выходного трехмерного изображения, при этом способ содержит: формирование промежуточного трехмерного изображения, содержащего множество областей, посредством формирования, используя обработку на основе глубины, определенного числа блоков изображения пиксельных значений, соответствующих направлениям вида для множества областей, причем число блоков изображения отличается, по меньшей мере, для двух областей из множества областей; формирование, используя обработку не на основе глубины, выходного трехмерного изображения, содержащего второе число изображений вида, из промежуточного трехмерного изображения, причем каждое из определенного числа изображений вида соответствует направлению вида; локальную адаптацию числа блоков изображения, сформированных посредством первого модуля формирования изображений, с различными направлениями просмотра, по меньшей мере, для первой области из множества областей в ответ на свойство, по меньшей мере, одного из промежуточного трехмерного изображения и трехмерного входного изображения, используемого для того, чтобы формировать промежуточное трехмерное изображение.

Эти и другие аспекты, признаки и преимущества изобретения должны становиться очевидными и должны истолковываться со ссылкой на описанные далее варианты осуществления.

Краткое описание чертежей

Далее описываются варианты осуществления изобретения только в качестве примера со ссылкой на чертежи, из которых:

Фиг. 1 иллюстрирует пример видов, сформированных из автостереоскопического дисплея;

Фиг. 2 иллюстрирует пример лентикулярного экрана, накладываемого на панель отображения автостереоскопического дисплея;

Фиг. 3 иллюстрирует схематичный вид в перспективе элементов автостереоскопического устройства отображения;

Фиг. 4 иллюстрирует вид в поперечном сечении элементов автостереоскопического устройства отображения;

Фиг. 5 иллюстрирует пример системы отображения в соответствии с некоторыми вариантами осуществления изобретения;

Фиг. 6 иллюстрирует пример проецируемого изображения вида из автостереоскопического дисплея;

Фиг. 7 иллюстрирует пример трехмерной сцены с двумя объектами;

Фиг. 8 иллюстрирует аспекты примерного подхода для формирования выходного трехмерного изображения в соответствии с некоторыми вариантами осуществления изобретения;

Фиг. 9 иллюстрирует пример трехмерной сцены с двумя объектами;

Фиг. 10 иллюстрирует аспекты примерного подхода для формирования выходного трехмерного изображения в соответствии с некоторыми вариантами осуществления изобретения; и

Фиг. 11 иллюстрирует аспекты примерного подхода для формирования выходного трехмерного изображения в соответствии с некоторыми вариантами осуществления изобретения.

Осуществление изобретения

Нижеприведенное описание акцентирует внимание на вариантах осуществления изобретения, применимых к автостереоскопическому дисплею, используемому для того, чтобы отображать трехмерные изображения. Тем не менее, следует принимать во внимание, что изобретение не ограничено этим вариантом применения и может применяться ко многим другим вариантам применения, включающим в себя, например, стереоскопические дисплеи на основе очков с разделением видов.

Автостереоскопическое устройство 301 отображения содержит панель 303 отображения. Устройство 301 отображения может содержать источник 307 света, например, когда дисплей представляет собой жидкокристаллический дисплей, но это необязательно, например, для OLED-дисплеев.

Устройство 301 отображения также содержит оптический элемент 309 формирования видов в форме лентикулярной пластины, размещаемой на стороне дисплея панели 303 отображения, которая выполняет функцию формирования видов. Оптический элемент 309 формирования видов содержит строку лентикулярных линз 311, идущих параллельно друг другу, из которых показана только одна с чрезмерно увеличенными размерами для понятности. Лентикулярные линзы 311 выступают в качестве элементов формирования видов, чтобы выполнять функцию формирования видов. Лентикулярные линзы по фиг. 3 имеют выпуклую форму, обращенную в направлении от панели отображения. Также можно формировать лентикулярные линзы с выпуклой стороной, обращенной в направлении к панели отображения.

Лентикулярные линзы 311 могут иметь форму выпуклых цилиндрических элементов, и они выступают в качестве средства направления светового выхода, чтобы предоставлять различные изображения или виды из панели 303 отображения для глаз пользователя, позиционированного перед устройством 301 отображения.

Автостереоскопическое устройство 301 отображения, показанное на фиг. 3, допускает предоставление нескольких различных видов в перспективе в различных направлениях. В частности, каждая лентикулярная линза 311 накладывается на небольшую группу отображаемых субпикселов 305 в каждой строке. Лентикулярный элемент 311 проецирует каждый отображаемый субпиксел 305 группы в различном направлении, с тем чтобы формировать несколько различных видов. По мере того, как голова пользователя перемещается слева направо, глаза поочередно принимают различные виды из нескольких видов.

Фиг. 5 иллюстрирует автостереоскопический дисплей в соответствии с некоторыми вариантами осуществления изобретения. Автостереоскопический дисплей содержит автостереоскопическое устройство 301 отображения, к примеру, автостереоскопическое устройство отображения, описанное со ссылкой на фиг. 3 и 4. Помимо этого, автостереоскопический дисплей содержит формирователь 501 сигналов управления отображением, который сконфигурирован с возможностью формировать возбуждающий сигнал для возбуждения автостереоскопического устройства 301 отображения таким образом, что оно может представлять трехмерные изображения.

Трехмерное изображение типично может быть любыми данными, предоставляющими (одновременную) визуальную информацию и информацию глубины для сцены, представленной посредством трехмерного изображения. Типично, по меньшей мере, некоторые пикселы трехмерного изображения представляются как посредством индикатора глубины, так и посредством индикатора светового выхода. Индикатор глубины, например, может быть непосредственно значением глубины или значением диспаратности. Индикатор светового выхода типично может представлять собой набор значений, содержащий, по меньшей мере, одно значение сигнала яркости и/или сигнала цветности.

Трехмерное изображение, например, может представлять собой набор N изображений, соответствующих различным видам/углам обзора. В качестве другого примера, трехмерное изображение может представлять собой стереоизображение с одним двумерным изображением для правого глаза и одним двумерным изображением для левого глаза. В качестве другого примера, трехмерное изображение может представлять собой одно двумерное изображение с ассоциированной картой глубины (например, предоставляющей значение диспаратности или глубины для каждого пиксела одного изображения). В качестве еще одного другого примера, трехмерное изображение может представлять собой серию срезов по оси Z с ассоциированной картой глубины. Одно или более (возможно все) двумерных изображений трехмерного изображения могут представлять собой частичные изображения. Таким образом, различные двумерные изображения трехмерного изображения могут содержать данные изображений для различных областей/зон.

Формирователь 501 сигналов управления отображением содержит первый модуль 503 формирования изображений, который сконфигурирован с возможностью формировать промежуточное трехмерное изображение. Первый модуль 503 формирования изображений соединяется со вторым модулем 505 формирования изображений, который сконфигурирован с возможностью формировать выходное трехмерное изображение из набора данных трехмерных изображений, принимаемого из первого модуля формирования изображения 503.

Второй модуль 505 формирования изображений соединяется с формирователем 507 сигналов управления, который сконфигурирован с возможностью формировать подходящий возбуждающий сигнал для автостереоскопического устройства 301 отображения. В частности, формирователь 507 сигналов управления принимает выходное трехмерное изображение из второго модуля 505 формирования изображений и переходит к формированию возбуждающего сигнала, инструктирующего рендеринг выходного трехмерного изображения, когда возбуждающий сигнал подается в автостереоскопическое устройство 301 отображения.

Выходное трехмерное изображение содержит определенное число изображений вида, причем каждое изображение вида соответствует (различному) направлению вида. Каждое изображение вида может предоставлять полное изображение сцены из данного направления вида. В частности, выходное трехмерное изображение может содержать множество изображений сцены из различных направлений просмотра и, в частности, из различных углов обзора. Во многих вариантах осуществления, выходное трехмерное изображение может содержать одно изображение вида для каждого вида автостереоскопического дисплея. Например, автостереоскопический дисплей может представлять собой дисплей с девятью видами, и второй модуль 505 формирования изображений может формировать выходное трехмерное изображение в качестве девяти изображений, причем каждое изображение соответствует углу обзора для одного из видов автостереоскопического дисплея.

Первый модуль 503 формирования изображений может формировать промежуточное трехмерное изображение, которое содержит множество блоков двумерного изображения, причем каждый блок изображения формируется для данного направления просмотра. Блок изображения может представлять собой частичное изображение, т.е. каждый блок изображения может представлять собой часть/фрагмент изображения. Блок изображения может представлять собой группу пикселов, для которых предоставляются визуальные значения, и в частности, группу пикселов, для которых предоставляются индикаторы светового выхода, к примеру, значения сигнала цветности и/или сигнала яркости. Данные изображений, в частности, могут быть пиксельными значениями.

Каждый блок изображения может соответствовать углу обзора и представлять часть полного двумерного изображения, соответствующего этому углу обзора. Промежуточное трехмерное изображение может содержать множество блоков изображения для данного направления просмотра. Для некоторых углов обзора, блоки изображения могут быть достаточными для того, чтобы формировать полное изображение. Таким образом, может формироваться промежуточное трехмерное изображение, которое содержит множество двумерных изображений, причем каждое изображение соответствует данному направлению просмотра, и каждое изображение потенциально представляет собой частичное изображение. Во многих вариантах осуществления, поднабор двумерных изображений представляет собой полные изображения, тогда как другой представляет собой только частичные изображения (причем объем предоставляемых данных изображений типично отличается).

Типично, двумерное изображение соответствует данной пиксельной зоне/разрешению, такому как, например, 1920×1080 пикселов. Для трехмерного изображения, каждое двумерное изображение, соответствующее данному направлению вида, представлено посредством данной пиксельной зоны/разрешения, и типично она является идентичной для всех изображений в трехмерном изображении. В примере по фиг. 5, первый модуль 503 формирования изображений может формировать промежуточное трехмерное изображение, которое содержит данные изображений для множества углов обзора. Для каждого угла обзора, назначается идентичная пиксельная зона/разрешение. Тем не менее, первый модуль 503 формирования изображений может не формировать все изображения в качестве полных изображений, т.е. данные изображений могут только предоставляться для части изображения. Таким образом, для данного направления просмотра, промежуточное трехмерное изображение может содержать один или более блоков изображения, содержащих информацию изображений, и также может содержать пустые зоны, для которых не предоставляется информация изображений. Каждый блок изображения в силу этого может представлять собой часть изображения вида. Например, пиксельная зона может разделяться на множество областей, но данные изображений могут только предоставляться для поднабора этих областей.

Во многих вариантах осуществления, первый модуль 503 формирования изображений может формировать промежуточное трехмерное изображение, которое включает в себя полный набор блоков изображения для одного или более углов обзора. Таким образом, полное изображение вида предоставляется для этих углов обзора. Тем не менее, для других углов обзора, данные изображений могут формироваться только для поднабора областей.

Число, позиция, протяженность, форма, размер и т.д. блоков изображения может отличаться для различных углов обзора. Таким образом, углы обзора, для которых данные изображений предоставляются в промежуточном трехмерном изображении, могут отличаться для различных областей/зон изображения.

Фактически, первый модуль 503 формирования изображений может формировать промежуточное трехмерное изображение на основе полотна изображения данного размера (например, соответствующего разрешению изображений для каждого изображения вида автостереоскопического дисплея). Для данной области (область, например, может составлять один пиксел или группу пикселов), промежуточное трехмерное изображение может содержать данные изображений для определенного числа различных углов обзора. Это данные изображений предоставляются в блоках изображения. Число углов обзора, для которых предоставляются данные изображений, т.е. для которых формируется блок изображения, может отличаться для различных областей (например, для различных пикселов или пиксельных групп).

Эквивалентно, промежуточное трехмерное изображение может считаться как формируемое посредством определенного числа двумерных изображений направления просмотра, причем каждое изображение направления просмотра соответствует направлению просмотра. Двумерные изображения направления просмотра могут быть частичными. Таким образом, данные изображений могут предоставляться в блоках изображения, которые представляют собой часть изображения. Другие части двумерного изображения направления просмотра могут быть пустыми. Свойства блоков изображения могут отличаться для различных изображений направления просмотра, в частности, размер и/или позиция блоков изображения, включенных в данное изображение направления просмотра, могут отличаться между изображениями направления просмотра. Например, для некоторых изображений направления просмотра, включенный блок изображения может предоставлять полное изображение, т.е. могут отсутствовать пустоты/пустые зоны для некоторых направлений просмотра. Для других направлений просмотра, изображения направления просмотра могут содержать только один или небольшое число небольших блоков изображения. Таким образом, некоторые изображения направления просмотра могут быть практически полностью пустыми.

Во многих вариантах осуществления и сценариях, по меньшей мере, некоторые блоки изображения могут иметь размер, превышающий 10, 100, 1000 или 1000 пикселов, т.е. некоторые блоки изображения могут формироваться посредством группы, по меньшей мере, в 10, 100, 1000 или 1000 пикселов.

Второй модуль 505 формирования изображений сконфигурирован с возможностью обрабатывать промежуточное трехмерное изображение, чтобы формировать выходное трехмерное изображение. Эта обработка типично включает в себя формирование полного набора изображений вида таким образом, что одно полное/полное изображение вида предоставляется для каждого из видов автостереоскопического устройства 301 отображения.

Первый модуль 503 формирования изображений сконфигурирован с возможностью формировать промежуточное трехмерное изображение на основе трехмерной обработки. Первый модуль 503 формирования изображений применяет алгоритм для того, чтобы формировать блоки изображения для данного направления просмотра, причем алгоритм включает в себя учет глубины различных объектов в сцене/изображении. В частности, первый модуль 503 формирования изображений сконфигурирован с возможностью формировать позицию пикселов, представляющих различные объекты, в зависимости от глубины объекта.

В некоторых вариантах осуществления, первый модуль 503 формирования изображений может быть сконфигурирован с возможностью формировать промежуточное трехмерное изображение из входного трехмерного изображения. Входное трехмерное изображение, например, может быть представлением с относительно низкой скоростью передачи данных, к примеру, может соответствовать двум трехмерным изображениям, соответствующим виду для просмотра левым глазом и виду для просмотра правым глазом; либо, например, одному изображению или серии срезов по оси Z с ассоциированной картой глубины.

Входное трехмерное изображение может приниматься из любого подходящего внутреннего или внешнего источника, к примеру, из локального запоминающего устройства, из носителей хранения данных, из удаленного сетевого сервера, из широковещательной радиопередачи и т.д. В некоторых вариантах осуществления, входное трехмерное изображение (фактически в качестве промежуточного трехмерного изображения и выходного трехмерного изображения) может представлять собой одно стационарное изображение. В других вариантах осуществления, входное трехмерное изображение (фактически в качестве промежуточного трехмерного изображения и выходного трехмерного изображения) может представлять собой одно изображение (один кадр) трехмерной видеопоследовательности.

В таких вариантах осуществления, первый модуль 503 формирования изображений может быть сконфигурирован с возможностью формировать блоки изображения из входного трехмерного изображения посредством выполнения трехмерных процессов, включающих в себя сдвиг вида, снятие затемнения, пиксельный сдвиг и т.д., как должно быть известно специалистам в данной области техники.

Например, для того чтобы формировать блок изображения для данного угла обзора на основе входного трехмерного изображения, сформированного посредством одного двумерного изображения и карты глубины, первый модуль 503 формирования изображений может выбирать пикселы двумерного изображения, соответствующие конкретной области. Горизонтальный пиксельный сдвиг затем вычисляется для каждого пиксела из угла обзора и глубины пикселов, как указано на карте глубины. Пикселы затем сдвигаются на вычисленную величину, и все пустоты, вызываемые посредством сдвига, заполняются с использованием подходящего подхода на основе снятия затемнения (к примеру, технологий интерполяции или экстраполяции). Результирующие определенные пиксельные значения затем соответствуют блоку изображения для угла обзора.

В некоторых вариантах осуществления, промежуточное трехмерное изображение может формироваться посредством первого модуля 503 формирования изображений, оценивающего трехмерную модель (геометрию) сцены и ассоциированных текстур и источников света и т.д. Например, для игрового приложения, первый модуль 503 формирования изображений может оценивать трехмерный элемент и вычислять данные изображений для различных углов обзора. В таких примерах, промежуточное трехмерное изображение, соответственно, может быть синтезировано посредством первого модуля 503 формирования изображений и не основано на входном изображении.

Количество углов обзора, для которых формируется блок изображения для конкретной области, может отличаться для различных областей. Например, для поднабора углов обзора для видов автостереоскопического устройства 301 отображения, полное изображение может вычисляться из входного изображения с использованием соответствующих технологий на основе глубины. Например, для автостереоскопического дисплея с девятью видами, первый модуль 503 формирования изображений может формировать блоки изображения, соответствующие полным изображениям, скажем, для пяти углов обзора.

Обработка на основе глубины типично является вычислительно очень интенсивной и требует значительной вычислительной мощности. Соответственно, преимущественно вычислять только поднабор требуемых изображений вида.

В дополнение к полным изображениям, первый модуль 503 формирования изображений дополнительно может вычислять блоки изображения для некоторых дополнительных углов обзора и, в частности, может вычислять один или более блоков изображения для углов обзора, соответствующих другим четырем видам автостереоскопического дисплея. Таким образом, эти блоки изображения могут предоставлять частичное изображение для одного или более дополнительных изображений вида.

Второй модуль 505 формирования изображений сконфигурирован с возможностью формировать выходное трехмерное изображение, содержащее изображения вида, и в частности, может формировать все изображения вида автостереоскопического дисплея. В конкретном примере, второй модуль 505 формирования изображений может переходить к формированию всех девяти изображений вида на основе промежуточного трехмерного изображения.

Обработка второго модуля 505 формирования изображений по фиг. 5 не учитывает информацию глубины для промежуточного трехмерного изображения. Наоборот, он может выполнять обработку, чтобы формировать выходное трехмерное изображение, которое не зависит от глубины объектов или пикселов в промежуточном трехмерном изображении. Обработка может представлять собой двумерную обработку изображений, что приводит к низкой сложности.

В частности, второй модуль 505 формирования изображений может формировать, по меньшей мере, часть выходного трехмерного изображения в ответ на комбинацию блоков изображения промежуточного трехмерного изображения для различных углов обзора. Комбинация, в частности, может представлять собой интерполяцию между данными изображений блоков изображения для области. Интерполяция типично может выполняться между двумя блоками изображения, которые соответствуют двум ближайшим направлениям вида вокруг направления вида, для которого вычисляются данные. Интерполяция может представлять собой линейную интерполяцию, и комбинация в силу этого может представлять собой прямое линейное суммирование со взвешиванием.

В качестве конкретного примера, первый модуль 503 формирования изображений может формировать полное изображение, соответствующее направлению изображения, скажем, видов -3, 0 и 3 (со ссылкой на фиг. 1). Второй модуль 505 формирования изображений теперь может переходить к формированию данных изображений для вида 2. Если не предусмотрено других блоков изображения для данной области, данные изображений для этой области могут формироваться посредством интерполяции между данными изображений для изображений вида для видов 0 и 3. Тем не менее, для другой области, промежуточное трехмерное изображение также может включать в себя блок изображения для вида 1. В этом случае, первый модуль 503 формирования изображений может переходить к формированию данных изображений для вида 2 посредством интерполяции между видами 1 и 3.

Второй модуль 505 формирования изображений в силу этого может использовать относительно несложный и вычислительно неемкий процесс. В частности, вычислительная нагрузка типично является значительно более низкой, чем вычислительная нагрузка первого модуля 503 формирования изображений. Тем не менее, вследствие обработки не на основе глубины, процесс типично должен предоставлять только аппроксимацию к корректному изображению для вида и, в частности, имеет тенденцию вводить трехмерные артефакты вследствие отсутствия учета глубины.

Соответственно, с точки зрения качества изображений, необходимо формировать данные изображений с использованием обработки на основе глубины первого модуля 503 формирования изображений, но с точки зрения вычислительных ресурсов, необходимо формировать данные изображений с использованием обработки не на основе глубины второго модуля 505 формирования изображений.

Автостереоскопический дисплей по фиг. 5 дополнительно содержит модуль 509 адаптации, который сконфигурирован с возможностью адаптировать число блоков изображения, сформированных посредством первого модуля 503 формирования изображений в первой области, в ответ на свойство, по меньшей мере, одного из промежуточного трехмерного изображения и представления трехмерной сцены, из которой первый модуль 503 формирования изображений сконфигурирован с возможностью формировать промежуточное изображение. Представление, в частности, может представлять собой входное изображение или трехмерную модель, из которой формируется промежуточное трехмерное изображение. В некоторых вариантах осуществления, модуль 509 адаптации может быть сконфигурирован с возможностью адаптировать число блоков изображения в ответ на входное изображение в первый модуль формирования изображений и, в частности, на свойство изображения для окружения первой области.

Нижеприведенное описание сначала акцентирует внимание на вариантах осуществления, в которых число блоков изображения адаптировано в ответ на свойство (и, в частности, на свойство изображения, такое как контрастность или глубина), по меньшей мере, в одном из промежуточного трехмерного изображения или входного трехмерного изображения.

Первая область может представлять собой пространственную область, например, заданную в качестве пространственной области в двумерном (опорном) изображении промежуточного трехмерного изображения, либо эквивалентно в качестве группы пикселов (или субпикселов) в двумерном (опорном) изображении промежуточного трехмерного изображения.

Первая область изображения может представлять собой часть опорного изображения и типично может составлять, например, менее 50%, 25% или 10% от полной зоны изображения. Первая область изображения может представлять собой часть опорного изображения и типично может превышать, например, 0,1%, 0,5%, 1%, 5% или 10% от полной зоны изображения. Во многих вариантах осуществления, изображение(я) может разделяться на множество областей изображения (зачастую, по меньшей мере, на 5 или 10 областей изображения и/или зачастую не более чем на 50, 100 или 500 областей).

Во многих вариантах осуществления, первая область может иметь размер, превышающий 10, 100, 1000 или даже 1000 пикселов опорного изображения.

Для ясности и краткости, нижеприведенное описание акцентирует внимание на подходе, в котором адаптация выполняется для множества областей. Следует принимать во внимание, что первая область может представлять собой любую из этих областей.

Таким образом, в системе по фиг. 5, число углов обзора, представленных в промежуточном трехмерном изображении, может быть динамически и локально адаптировано. Оно может отличаться для различных областей. В частности, для данной области, промежуточное трехмерное изображение может содержать определенное число блоков изображения, соответствующих различным направлениям/углам просмотра. Число блоков изображения для данной области может быть адаптировано посредством модуля 509 адаптации на основе свойства изображения и, в частности, на основе свойства изображения для окружения области. Таким образом, число углов обзора, для которых информация изображений формируется посредством первого модуля 503 формирования изображений, адаптировано на основе локальных свойств изображения.

Адаптация числа блоков изображения, сформированных посредством первого модуля 503 формирования изображений на основе локальных свойств изображения, обеспечивает возможность модулю 509 адаптации типично выполнять динамическую и локализованную адаптацию компромисса между использованием вычислительных ресурсов и качеством изображений. Чем больше блоков изображения, которые подготавливаются посредством рендеринга посредством первого модуля 503 формирования изображений, тем выше качество результирующих изображений вида, сформированных посредством второго модуля 505 формирования изображений, поскольку доступен больший объем информации изображений на основе вычисления полностью на основе глубины. Тем не менее, чем меньше блоков изображения подготовлено посредством рендеринга для области, тем меньше объем вычислительных ресурсов, поскольку обработка посредством второго модуля 505 формирования изображений таким образом, чтобы формировать отсутствующую информацию, типично требует гораздо меньшего объема вычислительных ресурсов, чем обработка полностью на основе глубины. Далее, рендеринг на основе глубины посредством первого модуля 503 формирования изображений также упоминается в качестве рендеринга.

Таким образом, модуль 509 адаптации может выполнять локализованную адаптацию компромисса между вычислением данных изображений для данного изображения вида на основе рендеринга на основе глубины первого модуля 503 формирования изображений и обработкой не на основе глубины второго модуля 505 формирования изображений.

Например, число областей может определяться для промежуточного трехмерного изображения и эквивалентно для входного трехмерного изображения.

Модуль 509 адаптации, например, может разделять промежуточное трехмерное изображение на определенное число областей и для каждой области может определять локальное свойство изображения для промежуточного трехмерного изображения в окружении области. Размер и/или форма областей могут отличаться в различных вариантах осуществления и, например, могут изменяться динамически, например, в ответ на характеристики изображений.

Например, в некоторых вариантах осуществления модуль 509 адаптации может сегментировать промежуточное трехмерное изображение на различные сегменты изображения (например, на основе цвета и/или сигнала яркости, как должно быть известно специалистам в данной области техники). Сегментация может непосредственно предоставлять идентификацию различных объектов изображения, либо в некоторых вариантах осуществления определенные сегменты, например, могут комбинироваться в объекты изображения.

В качестве другого примера, первое трехмерное изображение может разделяться на области предварительно определенного размера и позиции. Например, изображение может разделяться на сетку прямоугольных областей изображения предварительно определенного размера. Фактически, во многих вариантах осуществления, каждая область может соответствовать одному пикселу.

Область, например, может задаваться относительно одного двумерного изображения промежуточного трехмерного изображения. Например, область может задаваться относительно изображения центрального вида для промежуточного трехмерного изображения. В этом изображении (или полотне изображения), области могут задаваться как группы пикселов. Фактически, каждый пиксел может считаться как представляющий собой область. В некоторых вариантах осуществления, такое опорное изображение может разделяться на пиксельные области, например, посредством предварительно определенного фиксированного разделения на сетку прямоугольных пиксельных групп.

Модуль адаптации затем может переходить к определению подходящего свойства изображения для каждой области, причем свойство изображения определяется в окружении области. Свойство изображения может определяться посредством анализа опорного изображения или, например, может формироваться посредством анализа соответствующих частей других изображений промежуточного трехмерного изображения.

Например, в некоторых вариантах осуществления, модуль 509 адаптации может разделять опорное изображение промежуточного трехмерного изображения на сетку прямоугольных пиксельных групп. Например, пиксел 1920×1080 может разделяться на 64 области, каждая из которых формируется посредством пикселов 240×135. Для каждой из этих областей, модуль 509 адаптации может определять доминирующий диапазон цветов для пикселов в окружении области. Окружение, в частности, может соответствовать непосредственно области, и в силу этого свойство изображения, определенное для каждой области, например, может быть медианным или средним значением сигнала цветности (например, средними UV-значениями представления YUV-цветов) пикселов опорного изображения в области. В некоторых сценариях, дисперсия сигнала цветности также может определяться.

На основе этого среднего сигнала цветности (и необязательно дисперсии), модуль 509 адаптации может определять число блоков изображения для области, т.е. число различных углов обзора, для которых данные изображений формируются для области посредством первого модуля 503 формирования изображений. Например, модуль 509 адаптации может оценивать то, находится или нет средний сигнал цветности в пределах диапазона, который, как считается, соответствует тонам человеческой кожи. Если да, и, например, если дисперсия сигнала цветности является достаточно низкой, модуль 509 адаптации обозначает область в качестве потенциальной области человеческой кожи.

Модуль 509 адаптации затем может выбирать число блоков изображения, которые следует формировать для области, в зависимости от того, обозначается она как потенциальная область человеческой кожи или нет. Например, для потенциальной области человеческой кожи, блоки изображения могут формироваться для всех углов обзора автостереоскопического устройства 301 отображения. Тем не менее, для всех других областей, блоки изображения формируются только для поднабора углов обзора. Например, девять блоков изображения, соответствующих каждому углу обзора автостереоскопического дисплея с девятью видами, могут формироваться для потенциальных областей человеческой кожи, тогда как только три блока изображения, соответствующие, например, видам -3, 0 и+3, формируются для других областей.

Таким образом, повышенное качество за счет вычислительных ресурсов достигается для зон, которые с большой вероятностью соответствуют человеческой коже. Это, например, позволяет повышать качество изображений и трехмерное восприятие, например, человеческих лиц, при одновременном поддержании общего использования вычислительных ресурсов на низком уровне.

Следует принимать во внимание, что размер и/или форма окружения, в котором определяется свойство изображения, могут отличаться в различных вариантах осуществления и сценариях и зависят от конкретных требований и настроек отдельного варианта осуществления.

Например, свойство изображения зачастую может определяться, например, в качестве показателя контрастности или показателя глубины в окружении, которое крупнее и, возможно, значительно крупнее области. Например, если каждый пиксел соответствует области, показатель контрастности может определяться посредством рассмотрения пикселов в зоне вокруг пиксела. Зона, например, может определяться посредством взвешенного пространственного фильтра, что приводит к мягкому переходу.

Во многих вариантах осуществления, окружение для области может представлять собой группу пикселов, имеющих расстояние до пиксела области не более, например, 50, 100, 250 или 500 пикселов. Во многих вариантах осуществления, окружение для области может представлять собой группу пикселов, имеющих вертикальное расстояние до пиксела области не более 5%, 10% или, например, 20% от размера по вертикали промежуточного трехмерного изображения и имеющих горизонтальное расстояние до пиксела области не более 5%, 10% или, например, 20% от размера по горизонтали промежуточного трехмерного изображения. Размеры по вертикали и горизонтали, например, могут измеряться в качестве вертикального или горизонтального разрешения в пикселах, т.е. в качестве общего числа строк или столбцов пикселов для изображения.

Окружение первой области может представлять собой зону, содержащую, по меньшей мере, один пиксел, принадлежащий первому пикселу.

Следует принимать во внимание, что определение свойства изображения может быть основано на промежуточном трехмерном изображении, и что свойство изображения затем может использоваться для того, чтобы адаптировать то, какие блоки изображения формируются для промежуточного трехмерного изображения. Таким образом, может использоваться итеративный подход, в котором, например, сначала формируется часть промежуточного трехмерного изображения (к примеру, центральное изображение или другое опорное изображение). На основе этого изображения, свойства изображения могут формироваться для одной или более областей. На основе результирующего свойства изображения, модуль 509 адаптации затем может определять то, какие дополнительные блоки изображения следует формировать.

В вышеприведенном описании, свойство изображения определяется на основе промежуточного трехмерного изображения. Тем не менее, следует принимать во внимание, что свойство изображения для области не должно определяться непосредственно посредством оценки или анализа промежуточного трехмерного изображения, но, например, может определяться посредством анализа свойства, которое может предоставлять индикатор относительно свойства изображения для промежуточного трехмерного изображения.

В частности, в примере, в котором промежуточное трехмерное изображение формируется из входного трехмерного изображения, возникает близкое соответствие между входным трехмерным изображением и промежуточным трехмерным изображением. Фактически, во многих вариантах осуществления, свойство изображения может формироваться посредством анализа входного трехмерного изображения.

Фактически, следует принимать во внимание, что возникает соответствие между областями в промежуточном трехмерном изображении и во входном трехмерном изображении. Например, для области, заданной относительно изображения центрального вида промежуточного трехмерного изображения, соответствующая область может считаться существующей в изображении(ях) входного трехмерного изображения. Например, если изображение задается как одно центральное двумерное изображение с ассоциированной картой глубины, группа пикселов в центральном изображении входного трехмерного изображения может непосредственно соответствовать идентичной группе пикселов в двумерном изображении входного трехмерного изображения.

В сценариях, в которых имеется разность углов между опорным изображением, относительно которого задаются области, и изображением входного трехмерного изображения или промежуточного трехмерного изображения, на основе которого определяется свойство изображения, соответствующая диспаратность может учитываться. Например, свойство изображения для области центрального изображения промежуточного трехмерного изображения может определяться посредством оценки характеристик изображений другого изображения в области, которая сдвигается с тем, чтобы отражать разность угла обзора между изображениями. Тем не менее, в некоторых сценариях, такой сдвиг не может компенсироваться, и просто рассматриваются идентичные зоны (например, если сдвиг считается достаточно небольшим по сравнению с окружением, в котором определяется свойство изображения, либо если секция включает в себя полные строки пикселов).

Также следует принимать во внимание, что индикатор относительно свойства изображения для области, например, изображения, заданного относительно одного направления просмотра (например, центрального или опорного изображения), может определяться посредством рассмотрения данных для других направлений просмотра. Например, индикатор глубины для пиксела в центральном изображении может определяться посредством измерения диспаратности между пикселами двух изображений для углов обзора на каждой стороне этого опорного центрального изображения (и фактически эти два изображения могут представлять собой двумерные изображения промежуточного трехмерного изображения или входного трехмерного изображения, например, они могут представлять собой входное изображение для левого глаза и правого глаза).

В некоторых вариантах осуществления, свойство изображения, в частности, может представлять собой показатель глубины окружения. Модуль 509 адаптации может быть сконфигурирован с возможностью определять число блоков изображения для первой области в ответ на показатель глубины для окружения первой области. Показатель глубины для области служит признаком характеристики глубины в окружении области.

В некоторых вариантах осуществления, свойство изображения, в частности, может представлять собой показатель контрастности окружения. Модуль 509 адаптации может быть сконфигурирован с возможностью определять число блоков изображения для первой области в ответ на показатель контрастности для окружения первой области. Показатель глубины для области служит признаком характеристики контрастности в окружении области.

Во многих вариантах осуществления, модуль 509 адаптации преимущественно может быть сконфигурирован с возможностью определять число блоков изображения для первой области и в ответ на показатель контрастности и в ответ на показатель глубины для окружения первой области.

Следует принимать во внимание, что размер окружения, в котором определяется показатель, не обязательно должен быть идентичным размеру области, и может быть больше и меньше него. Окружение, используемое для определения показателя глубины и показателя контрастности, может быть идентичным или может отличаться.

Например, показатель контрастности зачастую может определяться, чтобы отражать варьирования значений силы света канала сигнала яркости или цветового канала в окружении, которое крупнее и, возможно, значительно крупнее области. Например, если каждый пиксел соответствует области, показатель контрастности может определяться посредством рассмотрения пикселов в зоне вокруг пиксела. Зона, например, может определяться посредством взвешенного пространственного фильтра, что приводит к мягкому переходу.

В качестве другого примера, показатель глубины во многих вариантах осуществления может определяться в качестве, например, среднего или взвешенного значения глубины для пикселов в окружении области. Например, для области, соответствующей одному пикселу, показатель глубины может быть значением средней глубины для зоны вокруг пиксела. Типично, показатель глубины вычисляется таким образом, что он включает в себя некоторую пространственную фильтрацию или усреднение. Например, если область соответствует сегменту изображения или объекту, показатель глубины может вычисляться как среднее, минимальное, максимальное или медианное из всех уровней глубины в области. В некоторых вариантах осуществления, окружение меньше области. Например, если большой сегмент изображения идентифицируется, показатель глубины может формироваться в качестве среднего уровня глубины для пикселов вокруг центра сегмента изображения.

Глубина зачастую может представляться посредством значений диспаратности, и по сути, значения могут отражать расстояние до опорной плоскости уровня экрана. Это может быть практически полезным во многих сценариях, поскольку величина воспринимаемых артефактов и величина ухудшения качества посредством использования обработки не на основе глубины типично лучше связана со значениями диспаратности, чем с непрерывными глубинами значений по оси Z. Например, бесконечная глубина может соответствовать пиксельной диспаратности, скажем, в 65 мм. Величина артефакта/размытости, вызываемая для таких диапазонов глубин, имеет тенденцию лучше представляться посредством масштаба глубин в [0; 65 мм], чем в [0; ∞]. Примеры возможных показателей глубины включают в себя, например, среднее, медиану, максимум или среднеквадратичную ошибку (RMS) значений диспаратности.

Следует принимать во внимание, что показатель глубины не должен определяться или вычисляться в качестве одного значения глубины. Например, диспаратность между областями непосредственно зависит от глубины области, и поскольку диспаратность может отражаться посредством того, насколько аналогичными (или нет) являются соответствующие зоны изображения, это позволяет обеспечивать подходящий индикатор/показатель глубины. Таким образом, явное вычисление/оценка отдельных значений глубины не требуется. Наоборот, вместо этого, система может принимать трехмерное изображение, содержащее несколько видов, а не явные значения глубины (например, карта глубины может не приниматься). В таком случае, разность между видами служит признаком глубины и может использоваться. Например, система может быть сконфигурирована с возможностью оценивать принятые виды и адаптировать число блоков изображения на основе разности между контентом изображений этого вида (в окружении области) и соответствующим контентом изображений (типично) соседнего вида.

В некоторых вариантах осуществления, значения глубины могут непосредственно быть доступными для модуля 509 адаптации, например, посредством предоставления первого трехмерного изображения в качестве изображения с картой глубины или диспаратности. В других вариантах осуществления, к примеру, когда входное трехмерное изображение формируется посредством нескольких изображений, соответствующих различным углам обзора, значения глубины могут сначала вычисляться из принимаемых изображений. Например, карта диспаратности может формироваться из сравнения двух изображений. Показатель локальной глубины затем может вычисляться из сформированной карты диспаратности, например, посредством применения пространственной фильтрации, предоставляющей эффект усреднения.

Во многих вариантах осуществления, показатель глубины может служить признаком отклонения глубины от опорной глубины, соответствующей уровню экрана отображения, т.е. соответствующей глубине, для которой отсутствует диспаратность в проецируемом изображении для различных видов. Таким образом, показатель глубины может представлять собой индикатор относительно отклонения глубины в окружении области от опорной глубины уровня экрана. В некоторых вариантах осуществления, глубина может быть непосредственно представлена посредством значений диспаратности, и в силу этого глубина непосредственно предоставляется относительно глубины, соответствующей нулевой диспаратности.

Модуль 509 адаптации, например, может формировать показатель локальной контрастности для области, в которой показатель локальной контрастности служит признаком варьирования яркости/силы света в окружении пиксела (например, варьирования сигнала яркости для пикселов или силы света в одном цветовом канале).

Таким образом, показатель контрастности, например, может формироваться для окружения вокруг пиксела/сегмента. Окружение, например, может считаться предварительно определенной зоной вокруг каждого пиксела или, например, может определяться динамически. Например, размер окружения может динамически изменяться, например, на основе значения глубины пиксела, среднего уровня яркости и т.д. Следует принимать во внимание, что окружение может иметь резкие границы или может иметь постепенный переход. Также следует принимать во внимание, что модуль 509 адаптации не должен обязательно явно определять область, но что это типично может быть внутренне присущим в алгоритме, используемом для того, чтобы определять показатель контрастности.

Модуль 509 адаптации может использовать любой подходящий алгоритм для определения показателя контрастности. Например, в некоторых вариантах осуществления, может выполняться пространственная фильтрация верхних частот, после чего выполняется пространственное усреднение, чтобы формировать индикатор относительно варьирования локального сигнала яркости. В качестве другого примера, переходы изображения (сигнал яркости и/или сигнал цветности) могут идентифицироваться, и показатель контрастности может определяться в качестве градиента перехода. Показатель локальной контрастности в некоторых вариантах осуществления может в некоторых вариантах осуществления может представлять собой просто (например, перцепционно взвешенное) яркостное различие между текущим пикселом и окружением пикселов.

В качестве другого примера, показатель контрастности, например, может формироваться в качестве оценки контрастности на основе сигнала яркости и/или показателя цветового расстояния между соседними видами. Подходящие показатели цветового расстояния включают в себя сумму абсолютных разностей (SAD), сумму квадратов разности (SSD) и аппроксимации перцепционного расстояния, к примеру, L*a*b*ΔE, предпочтительно сигнала после полосовой фильтрации (S-CIELAB).

Во многих вариантах осуществления, модуль 509 адаптации может быть сконфигурирован с возможностью формировать показатель контрастности в качестве показателя горизонтальной контрастности. Таким образом, варьирования сигнала яркости или силы света в горизонтальном направлении могут учитываться, тогда как варьирования сигнала яркости или силы света в вертикальном направлении могут практически игнорироваться.

Это позволяет во многих вариантах осуществления предоставлять повышенную производительность и позволяет, в частности, обеспечивать возможность адаптации блока изображения для более тесной адаптации к воспринимаемому изображению. В частности, вследствие трехмерного эффекта, вводящего горизонтальное, но не вертикальное, смещение и диспаратность, влияние высококонтрастных зон может вводить значительные визуальные артефакты, если переходы возникают в горизонтальном направлении, но не вводить, если они возникают в вертикальном направлении. Авторы изобретения выяснили, что посредством конкретного рассмотрения горизонтальной контрастности, повышение качества, возможное посредством локальной адаптации глубины и/или тонального преобразования, может значительно увеличиваться.

Преобразователь 505 изображений, соответственно, сконфигурирован с возможностью локально адаптировать число углов обзора, для которых данные изображений формируются посредством обработки полностью на основе глубины посредством первого модуля 503 формирования изображений, в ответ на показатель локальной контрастности и/или глубины. В частности, модуль 509 адаптации может быть сконфигурирован с возможностью увеличивать число блоков изображения, соответствующих различным направлениям просмотра для возрастающего показателя контрастности и/или показателя глубины (т.е. для показателей, указывающих возрастающую контрастность или глубину). Число блоков изображения может быть монотонно возрастающей функцией показателя контрастности и/или монотонно возрастающей функцией показателя глубины.

Система по фиг. 5 может предоставлять улучшенный компромисс между качеством изображений (включающим в себя улучшенное трехмерное впечатление и восприятие) и использованием вычислительных ресурсов. В частности, во многих сценариях повышенное качество изображений достигается для данного использования вычислительных ресурсов, и/или уменьшенное использование вычислительных ресурсов достигается для данного качества изображений. Это, в частности, может достигаться посредством локальной адаптации величины углов обзора, для которых конкретные данные изображений формируются посредством обработки на основе глубины в зависимости от локальной контрастности и/или глубины.

В частности, авторы изобретения выяснили, что при динамической адаптации числа блоков изображения для данной области, влияние ухудшения качества, введенное посредством определения данных изображений для различных видов из простой интерполяции или аналогичных подходов не на основе глубины, может минимизироваться. Базирование адаптации на локальной глубине и/или контрастности, в частности, обеспечивает сосредоточение вычислительных ресурсов на зонах, которые с наибольшей вероятностью являются чувствительными к упрощенной обработке.

Это может быть проиллюстрировано посредством рассмотрения примерного изображения по фиг. 6. Пример иллюстрирует артефакты перекрестных помех и, в частности, двоение для изображения. В изображении, может наблюдаться первая зона 601, в которой отклонение контрастности и глубины является довольно высоким. В зоне, может наблюдаться высокая степень двоения, что существенно снижает воспринимаемое качество изображений. Напротив, другая зона 603 изображения имеет практически опорный уровень глубины, т.е. практически отсутствует отклонение глубины. В этой зоне, фактически отсутствует двоение, несмотря на относительно высокую степень контрастности, и в силу этого фактически отсутствуют артефакты перекрестных помех. В еще одной другой зоне 605 изображения, отклонение глубины является довольно высоким, но уровень контрастности является очень низким. В этой зоне, эффект двоения может присутствовать, но не формирует очень видимые артефакты. Таким образом, как можно видеть, существенное ухудшение качества возникает, когда отклонение глубины и контрастность являются высокими, тогда как несущественное ухудшение качества возникает, когда отклонение глубины и контрастность являются низкими.

Авторы изобретения выяснили, что наличие и перцепционная значимость ухудшений качества, вызываемых посредством упрощенной обработки, могут управляться посредством локальной адаптации баланса между сложной обработкой на основе глубины и упрощенной обработкой не на основе глубины на основе показателей локальной контрастности и глубины. Фактически, этот подход может обеспечивать возможность идентификации секций, которые являются особенно перцепционно чувствительными, таким образом, что доступная вычислительная мощность может сосредотачиваться на них.

Можно считать, что глубина указывает то, сколько диспаратности и смещения находится между изображениями различных видов, т.е. она может считаться индикатором относительно того, насколько аналогичными или отличающимися являются изображения различных видов. В связи с этим, глубина может восприниматься как индикатор относительно перцепционной значимости обработки полностью на основе глубины.

Аналогично, локальная контрастность может наблюдаться в качестве индикатора относительно того, насколько отличающийся изображения находятся в визуальной области (сигнала яркости/сигнала цветности), и в силу этого может наблюдаться в качестве индикатора относительно того, насколько большие ошибки могут вводиться, например, посредством простой интерполяции.

Соответственно, посредством совместного рассмотрения локальной глубины и контрастности, может получаться очень хороший индикатор относительно того, насколько значительным может быть ухудшение качества в конкретной зоне. Таким образом, два показателя синергетически предоставляют хороший индикатор относительно перцепционного влияния и могут предоставлять информацию, которая более точно представляет перцепционное влияние, чем с учетом только одного параметра. В частности, он может обеспечивать возможность более точной идентификации критических зон.

Соответственно, в некоторых вариантах осуществления, модуль 509 адаптации сконфигурирован с возможностью локально регулировать число конвейеров для рендеринга, используемых посредством первого модуля 503 формирования изображений для того, чтобы формировать блоки изображения в зависимости от локальной глубины и контрастности. Когда отклонение глубины от опорной плоскости отображения (соответствующее отсутствию диспаратности между видами) увеличивается (позади или перед экраном), соседние виды становятся все более и более разделенными, т.е. пиксельные диспаратности увеличиваются. Посредством формирования большего числа блоков изображения для увеличения диспаратностей может достигаться то, что диспаратность между двумя смежными изображениями поддерживается на низком уровне, за счет этого обеспечивая улучшенную интерполяцию посредством второго модуля 505 формирования изображений. В описанном подходе, сдвиг пиксела между смежными видами, например, может поддерживаться ниже данного порогового значения посредством создания дополнительных блоков изображения, если диспаратность между блоками текущего изображения для области является слишком высокой. Вместо увеличения числа подготовленных посредством рендеринга видов для полного изображения/последовательности, подход может увеличивать его только в зонах с большой глубиной, за счет этого уменьшая использование вычислительных ресурсов.

Этот сдвиг между смежными видами является более видимым в зонах с высокой контрастностью, чем в зонах с низкой контрастностью. Фактически, если контрастность является низкой, результирующее значение интерполяции с большой вероятностью не должно сильно отличаться от значения интерполяции, сформированного посредством полной трехмерной обработки. Соответственно, может быть необязательным формировать дополнительные блоки изображения, даже если диспаратность является относительно высокой.

В некоторых вариантах осуществления, модуль 509 адаптации может быть сконфигурирован с возможностью определять число блоков изображения, сформированных посредством первого модуля 503 формирования изображений, по меньшей мере, для одной области из множества областей в ответ на доступность вычислительных ресурсов для первого устройства формирования изображений.

Фактически, во многих сценариях, модуль 509 адаптации может выбирать число блоков изображения для промежуточного трехмерного изображения таким образом, что полная потребность в вычислительных ресурсах приближается, но не превышает, данную доступность вычислительных ресурсов.

В качестве примера, формирователь 501 сигналов управления отображением может в реальном времени обрабатывать входные трехмерные изображения, которые представляют собой часть видеопоследовательности. Таким образом, для каждого кадра, принимается входное трехмерное изображение, и формируется выходное трехмерное изображение. Первый модуль 503 формирования изображений может быть сконфигурирован с возможностью формировать предварительно определенное число N изображений вида, причем каждое изображение вида формируется для угла обзора автостереоскопического устройства 301 отображения, при этом N меньше общего числа M видов автостереоскопического устройства 301 отображения.

Например, для автостереоскопического устройства 301 отображения с M=15 видами, первый модуль 503 формирования изображений может быть сконфигурирован с возможностью всегда формировать, скажем, N=3 полных изображения вида из входного трехмерного изображения кадра (которое, например, может предоставляться в качестве двумерного изображения с ассоциированной картой глубины).

Вычислительные ресурсы, требуемые для этой обработки, могут оцениваться относительно точно (или, по меньшей мере, максимальный объем вычислительных ресурсов может оцениваться). Помимо этого, первый модуль 503 формирования изображений может иметь дополнительные резервные доступные ресурсы, и объем резервных ресурсов может быть известен, оценен или предположен посредством модуля 509 адаптации. Например, обработка первого модуля 503 формирования изображений может допускать, что резервные ресурсы являются достаточными для того, чтобы формировать, скажем, K=100 дополнительных блоков изображения для каждого кадра. (K, например, может быть динамически адаптирован посредством модуля 509 адаптации).

Модуль 509 адаптации, соответственно, для каждой области может определять показатель глубины и контрастности и может формировать комбинированный показатель значимости для области, в которой показатель значимости отражает локальную контрастность и глубину. Модуль 509 адаптации затем может переходить к приоритезации областей и определению числа блоков изображения, которые должны формироваться для каждой области, на основе показателя значимости для области. Например, если показатель значимости является достаточно высоким, может быть определено то, что первый модуль 503 формирования изображений должен формировать блок изображения для каждого угла обзора автостереоскопического устройства 301 отображения. Для меньших значений показателя значимости, например, может определяться то, что блок изображения формируется для каждого второго направления вида, что приводит к формированию пяти дополнительных блоков изображения для этой области.

Модуль 509 адаптации в силу этого может переходить к выделению блоков изображения в области до тех пор, пока не будет использован пул ресурсов, т.е. в конкретном примере, до тех пор, пока не будут выделены 100 блоков изображения. Таким образом, модуль 509 адаптации может сосредотачивать доступные ресурсы на конкретных частях изображения, в которых обработка на основе глубины имеет наиболее значимый эффект.

Таким образом, в некоторых вариантах осуществления, модуль 509 адаптации может реализовывать механизм приоритезации, который выделяет ресурсы для K блоков изображения в зависимости от показателей локальной глубины и контрастности, где K является числом блоков изображения, которые известны или предположительно могут вычисляться посредством доступных аппаратных ресурсов. Число K может быть фиксированным или, например, оцениваться при выполнении в синхронизированном контуре обратной связи. В некоторых вариантах осуществления, пороговое значение λ может оцениваться таким образом, что примерно (или самое большее) K показателей значимости (глубины или контрастности) больше λ. Первый модуль 503 формирования изображений затем может обрабатывать входное трехмерное изображение и формировать дополнительные блоки изображения для тех областей, в которых показатели значимости (глубины или контрастности) превышают пороговое значение λ.

Во многих вариантах осуществления, по меньшей мере, одна и типично все области могут формироваться посредством одной или более строк пикселов. Таким образом, в таком варианте осуществления область не должна включать в себя только часть строки пикселов, а наоборот, либо вся строка пикселов должна быть включена, либо пикселы из строки пикселов вообще не должны быть включены. В качестве конкретного примера, области могут формироваться посредством разделения центрального двумерного изображения промежуточного трехмерного изображения на строки пикселов, т.е. каждая строка пикселов может формировать одну область, и эквивалентно каждая область формируется посредством одной строки пикселов. В других вариантах осуществления, может формироваться меньшее число областей, причем одна или более областей содержат множество смежных строк пикселов.

Следует принимать во внимание, что в других вариантах осуществления, области, возможно, не должны формироваться посредством всех строк пикселов, а могут фактически включать в себя одну или более областей, для которых включен только поднабор пикселов строки пикселов. Это позволяет обеспечивать дополнительную гибкость и обеспечивать возможность большей степени детализации при выборе зон, для которых можно формировать дополнительные блоки изображения. Это позволяет уменьшать вычислительные ресурсы в некоторых вариантах осуществления.

Тем не менее, использование областей на основе всех строк пикселов, в частности, может быть преимущественным во многих вариантах осуществления. В частности, трехмерная обработка, такая как сдвиг вида, снятие затемнения и т.д., основана на горизонтальных диспаратностях и, соответственно, на обработке на основе строк пикселов. Во многих вариантах осуществления, разность в использовании вычислительных ресурсов между обработкой всей строки пикселов и обработкой только части строки пикселов может быть довольно небольшой. Фактически, во многих сценариях, дополнительные ресурсы, требуемые для того, чтобы разделять строки пикселов на меньшие секции, определять показатели для каждой секции, оценивать каждую секцию и т.д., могут быть существенно выше добавочных ресурсов, требуемых для обработки всей строки пикселов. Соответственно, базирование областей на всех строках пикселов зачастую позволяет не только уменьшать сложность, но также позволяет уменьшать общее использование ресурсов.

Кроме того, обработка на основе глубины типично представляет собой не только построчную операцию, счет этого уменьшая сложность и использование ресурсов, но подход также типично могут приводить к повышенному качеству изображений. Например, артефакты по краям могут формироваться, когда некоторые пикселы строки пикселов сдвигаются по диспаратности, в то время как соседние пикселы не сдвигаются.

Как упомянуто выше, итеративный подход может использоваться в некоторых вариантах осуществления.

В качестве примера, первый модуль 503 формирования изображений может сначала переходить к формированию блоков изображения для всех областей для первого числа направлений вида. Посредством формирования блоков изображения для всех областей для одного направления вида, формируется полное изображение для направления вида. Первый модуль 503 формирования изображений может переходить к первоначальному формированию числа таких полных изображений вида. Например, как указано в вышеприведенном примере, первый модуль 503 формирования изображений может формировать N=3 полных изображения вида для автостереоскопического устройства 301 отображения с M=15 видами.

Затем, автостереоскопическое устройство 301 отображения может переходить к формированию показателя глубины для каждой из областей, к примеру, для каждой строки пикселов. Показатель глубины может формироваться на основе уже сформированных изображений вида. В частности, диспаратность между сформированными изображениями вида для отдельных областей может определяться. Например, для подхода на основе строк, максимальная или средняя (или, например, RMS-) диспаратность может определяться для каждой строки на основе блоков изображения, уже сформированных, т.е. на основе строк пикселов сформированных изображений вида.

Модуль 509 адаптации затем может переходить к выбору областей, для которых дополнительные блоки изображения, соответствующие новым видам, должны формироваться на основе этих диспаратностей. Например, первый модуль 503 формирования изображений может иметь резервную производительность для того, чтобы обрабатывать дополнительные 200 строк пикселов для промежуточного трехмерного изображения, для которого каждое изображение вида имеет разрешение по вертикали, скажем, 1080 строк пикселов. Затем он может переходить к выбору 200 строк пикселов с наибольшим показателем диспаратности. Для этих строк пикселов, могут формироваться дополнительные блоки изображения, соответствующие оставшимся направлениям вида автостереоскопического устройства 301 отображения.

Следует принимать во внимание, что модуль 509 адаптации может не формировать блоки изображения для всех видов выбранной области. Например, в некоторых вариантах осуществления, модуль 509 адаптации может компоноваться для блоков изображения, которые должны формироваться для всех видов автостереоскопического устройства 301 отображения для областей, для которых показатель глубины или показатель контрастности выше первого порогового значения, для каждого второго вида для областей, для которых показатель глубины или показатель контрастности ниже первого порогового значения, но выше второго порогового значения, для каждого третьего вида для областей, для которых показатель глубины или показатель контрастности ниже второго порогового значения, но выше третьего порогового значения, и т.д.

В некоторых вариантах осуществления, модуль 509 адаптации может быть сконфигурирован с возможностью выбирать область, для которой можно формировать блок изображения для дополнительного угла обзора, в ответ на показатель диспаратности для этой области, превышающий пороговое значение. Показатель диспаратности может представлять собой показатель диспаратности для двух блоков изображения, уже сформированных для двух смежных углов обзора. Если показатель диспаратности превышает пороговое значение, модуль 509 адаптации переходит к управлению первым модулем 503 формирования изображений таким образом, чтобы формировать дополнительный блок изображения для направления вида между двумя смежными направлениями вида, для которых сформирован показатель. Типично, может формироваться блок изображения для промежуточного угла обзора.

Например, для данной строки пикселов, модуль 509 адаптации может анализировать все пары блоков изображения, уже сформированных. Если какая-либо такая пара приводит к значению диспаратности (например, средней, максимальной или RMS-диспаратности), которое превышает данное пороговое значение, модуль 509 адаптации может управлять первым модулем 503 формирования изображений таким образом, чтобы формировать данные изображений для строки пикселов для угла обзора, который является промежуточным между углом обзора для пары блоков изображения. Таким образом, новый блок изображения для строки пикселов формируется каждый раз, когда диспаратность между двумя смежными блоками изображения является слишком высокой. Процесс, например, может итеративно выполняться для каждой строки пикселов до тех пор, пока все диспаратности между смежными блоками изображения не станут ниже порогового значения. Подход дополнительно может выполняться для всех строк пикселов, за счет этого обеспечивая то, что, обработка на основе глубины первого модуля 503 формирования изображений предоставляет данные изображений, для которых максимальная диспаратность ниже порогового значения.

Таким образом, следует принимать во внимание, что число блоков изображения, сформированных для области, не должно обязательно явно определяться посредством модуля 509 адаптации с последующим формированием этого числа блоков изображения, но, например, итеративный процесс непрерывного формирования дополнительных блоков изображения, например, в зависимости от разности диспаратности существующих блоков изображения должен приводить к формированию другого числа блоков изображения для областей в качестве функции локального свойства изображения.

В качестве другого примера, модуль 509 адаптации может сначала определять показатель диспаратности для каждой строки пикселов каждой пары блоков изображения со смежными/соседними углами/направлениями просмотра. Он может сохранять все сформированные показатели диспаратности в таблице, упорядоченной в качестве функции от размера показателя диспаратности. Он затем может выбирать наибольший вычисленный показатель диспаратности и переходить к управлению первым модулем 503 формирования изображений таким образом, чтобы формировать дополнительный блок изображения для угла обзора между углами обзора двух блоков изображения. Максимальный показатель диспаратности затем может удаляться, и вместо этого показатель диспаратности может вычисляться для каждой из двух новых смежных пар блока изображения. Эти два новых показателя диспаратности могут добавляться в таблицу показателей диспаратности. Модуль 509 адаптации затем может повторять процесс выбора пары блоков изображения с максимальным показателем диспаратности, формирования нового блока изображений между этой парой, удаления предыдущего показателя диспаратности и добавления двух новых показателей. Этот процесс может повторяться до тех пор, пока времени обработки более недоступно. Таким образом, в таком подходе, модуль 509 адаптации может переходить к выделению ресурсов всегда конкретной зоне, в которой диспаратность является наибольшей. Как результат, вычислительные ресурсы сосредотачиваются на секции, которая с большой вероятностью является наиболее важной.

В некоторых вариантах осуществления, модуль 509 адаптации может быть сконфигурирован с возможностью определять поднабор областей, для которых показатель глубины ниже порогового значения. Например, для входного изображения, содержащего одно двумерное изображение и ассоциированную карту глубины, модуль 509 адаптации может определять максимальную глубину для каждой строки пикселов посредством сканирования карты глубины. Максимальная глубина может сравниваться с пороговым значением, и могут идентифицироваться все строки пикселов, для которых максимальная глубина ниже порогового значения.

Модуль 509 адаптации затем может переходить к управлению первым модулем 503 формирования изображений таким образом, чтобы формировать только один блок изображения для идентифицированных областей. Таким образом, для идентифицированных строк пикселов, промежуточное трехмерное изображение формируется таким образом, что оно включает в себя только один объект изображения, т.е. пиксельные значения предоставляются только для одного направления вида. Направление вида, в частности, может соответствовать центральному виду автостереоскопического устройства 301 отображения и, например, может формироваться просто посредством копирования соответствующих пиксельных значений из соответствующей строки двумерного изображения входного трехмерного изображения.

Таким образом, в этом подходе, идентифицируется число областей, для которых глубина является достаточно низкой, и для этих областей только двумерный вывод формируется для промежуточного трехмерного изображения. Соответственно, для этих областей, второй модуль 505 формирования изображений должен переходить к формированию идентичных данных изображений для всех видов автостереоскопического устройства 301 отображения, и в частности, он может просто копировать данные изображений из промежуточного трехмерного изображения. Таким образом, в примере, строки пикселов, для которых имеется очень низкая глубина, представляются посредством автостереоскопического устройства 301 отображения в качестве плоских двумерных областей.

Этот подход позволяет не только уменьшать использование вычислительных ресурсов практически, но также позволяет предоставлять повышенное качество изображений во многих сценариях, поскольку, например, перекрестные помехи могут уменьшаться. Это улучшение может достигаться вследствие уменьшенного трехмерного эффекта, но поскольку оно, в частности, выполняется для областей изображения, которые считаются достаточно плоскими, оно может быть приемлемым и фактически предпочтительным во многих вариантах осуществления и вариантах применения.

В вышеприведенном описании внимание акцентируется на вариантах осуществления, в которых промежуточное трехмерное изображение формируется из входного трехмерного изображения. Тем не менее, как упомянуто выше, в некоторых вариантах осуществления, первый модуль 503 формирования изображений вместо этого (или возможно дополнительно) может быть сконфигурирован с возможностью формировать промежуточное трехмерное изображение посредством оценки графической трехмерной модели. Таким образом, в некоторых вариантах осуществления, первый модуль 503 формирования изображений может быть сконфигурирован с возможностью формировать промежуточное трехмерное изображение на основе трехмерной модели трехмерной сцены.

Например, графическая трехмерная модель типично может использоваться, например, для игрового приложения, и фактически многие игры на сегодня основаны на использовании геометрии трехмерных сцен, текстур и источников света. В таких сценариях, виртуальная перспективная камера используется с трехмерной моделью, чтобы синтезировать вид сцены в зависимости от пользовательского ввода во время игры.

Далее описываются некоторые варианты осуществления, которые, в частности, связаны (но не ограничены) с использованием OpenGL-стандарта для трехмерной графики. В частности, видеокарта может управляться через прикладной OpenGL-интерфейс. Язык обработки OpenGL-полутонов добавляет гибкость в использовании видеокарты для рендеринга через OpenGL. Далее описывается подход, который может использовать существующие OpenGL-механизмы для того, чтобы избирательно отрисовывать только часть сцены в буфер запоминающего устройства, за счет этого снижая объем вычислений. В частности, OpenGL-механизмы используются для того, чтобы формировать промежуточное трехмерное изображение с различными блоками изображения для различных областей и с дальнейшим формированием последующего выходного трехмерного изображения из промежуточного изображения.

В следующих примерах, углы обзора для промежуточного трехмерного изображения и углы обзора для выходного трехмерного изображения являются идентичными, и в частности, углы обзора соответствуют углам обзора для автостереоскопического устройства 301 отображения. Таким образом, блоки изображения промежуточного трехмерного изображения формируются для углов обзора автостереоскопического устройства 301 отображения. Тем не менее, в примере, формируется выходное трехмерное изображение, которое содержит полное двумерное изображение для каждого угла обзора автостереоскопического устройства 301 отображения (т.е. для каждого вида), тогда как формируется промежуточное трехмерное изображение, которое содержит только частичные изображения, по меньшей мере, для некоторых углов обзора. Другими словами, блоки изображения для промежуточного трехмерного изображения могут формироваться посредством первого модуля 503 формирования изображений только для некоторых углов обзора в некоторых областях.

В примере, первый модуль 503 формирования изображений и второй модуль 505 формирования изображений используют идентичные буферы изображений. В частности, устройство может содержать буфер изображений для каждого угла обзора автостереоскопического устройства 301 отображения. Первый модуль 503 формирования изображений затем может сначала формировать блоки изображения и сохранять их в соответствующих буферах. Для данной области, блоки изображения, соответственно, могут формироваться для одного или более углов обзора автостереоскопического устройства 301 отображения и сохраняться в соответствующем буфере(ах). Число углов обзора и в силу этого буферов, для которых первый модуль 503 формирования изображений формирует блоки изображения, должно отличаться для различных областей (например, типично в зависимости от глубины и/или контрастности в области).

Фиг. 7 иллюстрирует пример трехмерной сцены с двумя объектами.

Геометрия первого объекта 701 является близкой к опорной глубине, т.е. к глубине отображения и, следовательно, имеет только небольшой параллакс/диспаратность. Для этой геометрии, первый модуль 503 формирования изображений может формировать только блоки изображения только для одного угла обзора, типично соответствующего центральному виду, и затем использовать их для всех видов выходного трехмерного изображения. Фактически, поскольку диспаратность является очень низкой, допустимо использовать идентичную перспективу для всех видов, за счет этого эффективно уменьшая геометрию объектов до плоскости при просмотре на (авто)-стереоскопическом дисплее.

Первый модуль 503 формирования изображений может выполнять следующую последовательность операций:

1. Задание ближней и дальней плоскостей отсечения таким образом, что они включают в себя только первый объект 701;

2. Задание порта вида в OpenGL таким образом, что он соответствует номеру центрального вида;

3. Рендеринг сцены.

4. Сохранение результирующих данных для первого объекта в буфере изображений центрального вида.

Таким образом, первый модуль 503 формирования изображений за счет этого формирует один блок изображения для областей, в которых первый объект 701.

Второй модуль 505 формирования изображений затем может формировать соответствующие пикселы выходного трехмерного изображения посредством простого копирования данных изображений из буфера изображений центральных видов в буферы видов изображений из всех других видов.

Тем не менее, сцена также может содержать второй объект 703, который является дальним от опорной глубины и который в силу этого имеет высокую степень параллакса/диспаратности. Для этого объекта используется другой подход. В частности, первый модуль 503 формирования изображений может выполнять следующие этапы:

1. Задание ближней и дальней плоскостей отсечения таким образом, что они включают в себя только второй объект 703;

2. Циклический обход по всем видам автостереоскопического устройства 301 отображения, и для каждого цикла:

a. Задание порта вида в OpenGL таким образом, что он соответствует текущему виду;

b. Рендеринг сцены для этого вида с использованием корректной перспективы;

c. Сохранение результирующих данных изображений для второго объекта 703 в буфере изображений для текущего вида.

Таким образом, первый модуль 503 формирования изображений может формировать блоки изображения для всех возможных углов обзора. Таким образом, для этих блоков изображения, второй модуль 505 формирования изображений может формировать выходное трехмерное изображение посредством непосредственного использования блоков изображения, уже сформированных посредством первого модуля 503 формирования изображений и сохраненных в корректных буферах.

Фиг. 8 иллюстрирует различные примерные подходы.

В некоторых вариантах осуществления, второй модуль 505 формирования изображений может быть сконфигурирован с возможностью добавлять фиксированный параллакс при копировании блоков изображения из центрального вида в другие виды в первом примере (для первого объекта 701). Это может обеспечивать возможность второму модулю 505 формирования изображений позиционировать первый объект 701, например, на плоскости позади экрана, а не в глубине экрана. Эта ситуация проиллюстрирована на фиг. 9. Чтобы вводить этот параллакс и сдвиг глубины, операция копирования, выполняемая посредством второго модуля 505 формирования изображений, может вводить горизонтальный сдвиг посредством данной в зависимости от намеченной глубины для первого объекта 701.

В примере, первый объект 701 представлен только посредством блока(ов) изображения для центрального вида. В других примерах, первый объект 701 может быть представлен посредством блоков изображения для множества углов обзора автостереоскопического устройства 301 отображения, к примеру, для каждого второго угла обзора. Такой пример проиллюстрирован на фиг. 10. В этом примере, второй модуль 505 формирования изображений может формировать данные изображений для оставшихся углов обзора посредством интерполяции.

Текстовые или графические наложения, которые отображаются сверху подготовленной посредством рендеринга сцены, имеют тенденцию зачастую вызывать артефакты вследствие размытости с выходом за пределы экрана. Аналогично вышеописанному подходу, объект текстового или графического наложения может эффективно подготавливаться посредством рендеринга посредством копирования идентичной информации или, например, с фиксированным параллаксом/диспаратностью между смежными видами во все виды автостереоскопического устройства 301 отображения.

Это, например, может выполняться посредством первого модуля 503 формирования изображений, формирующего объект наложения и сохраняющего его в буфере центрального вида. Второй модуль 505 формирования изображений затем может копировать его во все другие виды. Фиг. 11 иллюстрирует такой подход.

В некоторых вариантах осуществления, модуль (509) адаптации в силу этого может быть сконфигурирован с возможностью адаптировать число блоков изображения в ответ на свойство трехмерной модели. Свойство, например, может представлять собой свойство, определенное посредством оценки модели, или свойство параметра, используемого в обработке модели. Например, свойство может представлять собой глубину для объектов, для которых формируются объекты изображения, к примеру, представленные посредством близких и дальних плоскостей отсечения (которые типично формируются на основе геометрии модели). В качестве другого примера, число блоков изображения может быть адаптировано на основе свойства объекта трехмерной модели, такого как, например, свойство текстуры для объекта. Если текстура представляет собой высококонтрастную текстуру, большее число блоков изображения может формироваться, чем когда текстура представляет собой низкоконтрастную текстуру.

Следует принимать во внимание, что пример копирования данных в другие буферы изображений является просто примером, и что возможно множество других подходов. Например, вместо явного копирования данных во все буферы вида, второй модуль 505 формирования изображений может формировать переплетенное изображение, и в качестве части этого процесса может непосредственно получать данные, например, из ближайшего буфера вида, в которых данные изображений сохраняются для конкретного местоположения. Аналогично, описанное копирование или интерполяция могут заменяться или улучшаться посредством других функций, таких как непосредственное переплетение из нескольких по-разному подготовленных посредством рендеринга частей или наличие поиска в такие буферы, потенциально с использованием буфера глубины в качестве маски выбора.

В вышеприведенном описании приведены примеры, иллюстрирующие подход формирования выходного изображения с определенным числом изображений вида из промежуточного изображения, в котором различные пространственные области (пространственные подразделения) имеют различное число направлений вида, представленных посредством блоков пиксельных значений (причем каждый блок соответствует направлению вида). Таким образом, процесс описан с двухстадийным формированием выходного изображения. Во-первых, формируется промежуточное изображение, которое содержит блоки пиксельных значений, соответствующих различным направлениям вида. Дополнительно, число блоков отличается, по меньшей мере, в некоторых областях, т.е. число блоков/представленных направлений вида отличается между различными пространственными подразделениями. Во-вторых, выходное изображение затем формируется из блоков пиксельных значений (блоков изображения) промежуточного изображения.

В описанных примерах, число блоков, соответствующее различному направлению вида, не является статическим/фиксированным/предварительно определенным. Наоборот, модуль адаптации адаптирует число различных направлений вида на основе свойства промежуточного изображения или представления базовой сцены. Таким образом, примеры описывают подход адаптации числа направлений вида, предоставленных для отдельной области на основе свойства изображения.

В качестве дополнительного конкретного примера, может быть предположено изображение, которое включает в себя человеческое лицо и красный шар перед голубым небом. Для такого изображения, система может задавать две области, одна из которых соответствует лицу, а одна соответствует красному шару. Модуль адаптации затем может переходить, например, к оценке цветов в областях и определению того, что область, соответствующая лицу, может иметь преимущественно телесный цвет, тогда как область, соответствующая красному шару, по существу является красной. Модуль адаптации затем может выбирать то, что для области лица, блок изображения формируется для каждых пяти градусов в подходящем диапазоне (т.е. он может реализовывать алгоритм, который требует разности в пять градусов для областей, которые имеют преимущественно телесный цвет). Тем не менее, для области шара, модуль адаптации может выбирать блок изображения, который следует формировать только для каждых двадцати градусов (т.е. он может реализовывать алгоритм, который требует разности в пять градусов для областей, которые имеют преимущественно красный (или возможно, в общем, первичный) цвет).

Таким образом, при условии, что диапазон, скажем, от -20° до +20° должен охватываться, промежуточное изображение может формироваться таким образом, что оно имеет блоки пиксельных значений для области лица в -20°,-15°,-10°,-5°, 0°, 5°, 10°, 15° и 20° и для области шара в -20°, 0° и 20°. Таким образом, вследствие конкретного свойства изображения, одна область представлена посредством девяти блоков изображения с близкими углами точки обзора, тогда как другая область представлена посредством только трех блоков изображения, которые имеют большие разности углов обзора.

Система затем может переходить к формированию выходного изображения из этого промежуточного изображения. Тем не менее, обработка основана на различном числе блоков в различных областях. Например, система может формировать выходное изображение вида для направления вида в -10°. В этом изображении, второй модуль формирования изображений может формировать зону, соответствующую лицу, непосредственно посредством выбора пиксельных значений блоков в -10° области лица. Тем не менее, для зоны шара, второй модуль формирования изображений должен формировать пиксельные значения из блоков, соответствующих другим направлениям просмотра. Например, он может интерполировать между блоками, соответствующими -20° и 0°.

Хотя представляет собой довольно упрощенный пример, он демонстрирует то, как описанные принципы могут позволять системе осуществлять адаптацию и компромисс на основе (локальных) свойств изображения между конкретными характеристиками процессов первой и второй стадии.

Следует принимать во внимание, что принципы вышеописанных подходов не зависят или ограничены любым конкретным способом формирования промежуточного изображения или формирования выходного изображения из промежуточного изображения.

Например, как описано выше, один вариант заключается в том, чтобы формировать промежуточное изображение посредством выполнения сдвига вида на основе входного трехмерного изображения. Фактически, как описано, система может выполнять сдвиг вида, снятие затемнения, пиксельный сдвиг и т.д. Тем не менее, это представляет собой просто пример некоторых вариантов осуществления, и этот подход никоим образом не ограничен или не зависит от такого конкретного процесса. Фактически, другой пример представляет собой формирование промежуточного изображения из трехмерной модели сцены, включающей в себя, например, информацию текстур и источников света.

В предыдущих примерах внимание акцентируется на формировании выходного изображения с использованием интерполяции и, в частности, с использованием суммирования со взвешиванием. Если обобщать, второй формирователь изображений, например, может формировать выходное изображение посредством комбинации блоков изображения. Тем не менее, множество других возможных комбинаций являются возможными, и фактически необязательно выполнять комбинации. Например, второй формирователь изображений может формировать изображение для данного направления просмотра посредством, для каждого пиксела, простого выбора пиксельного значения пиксела в этой позиции в блоке изображения, который формируется для ближайшего направления вида. Например, в вышеприведенном примере, пикселы для области лица могут выбираться в качестве пиксельных значений для блоков изображения для угла -10°, и пикселы для области шара могут выбираться в качестве пиксельных значений для блоков изображения для угла -20° (или 0°).

Кроме того, в соответствии с предыдущими примерами, формирование промежуточного изображения посредством первого модуля формирования изображений фактически может быть основано на информации глубины. Тем не менее, в других вариантах осуществления формирование промежуточного изображения посредством первого модуля формирования изображений может не быть основано на информации глубины. Например, использование рендеринга на основе экстраполяции и интерполяции представляет собой возможные подходы для формирования блоков изображения для промежуточного изображения.

В предыдущих примерах внимание акцентируется на первом модуле формирования изображений, использующем рендеринг/алгоритм на основе глубины, тогда как второй модуль формирования изображений использует рендеринг не на основе глубины. Это предоставляет сверхпреимущественный подход во многих сценариях. В частности, во многих вариантах применения, первый модуль формирования изображений может использовать относительно сложный и ресурсоемкий алгоритм на основе глубины для того, чтобы формировать блоки изображения с относительно высоким качеством, тогда как второй модуль формирования изображений может использовать относительно несложный и нересурсоемкий, но менее точный, алгоритм не на основе глубины для того, чтобы формировать изображения вида из блоков изображения. Например, первый модуль формирования изображений может использовать алгоритм синтеза видов на основе глубины для того, чтобы формировать блоки изображения для промежуточного изображения, и второй модуль формирования изображений может просто интерполировать (или даже просто выбирать из них). В таких случаях, подход может обеспечивать возможность пространственно разнесенной адаптации и компромисса между первой стадией и второй стадией.

Тем не менее, в других вариантах осуществления, первый модуль формирования изображений может быть сконфигурирован с возможностью формировать высококачественные блоки изображения с использованием алгоритма не на основе глубины. Например, первый модуль формирования изображений может быть сконфигурирован с возможностью принимать ввод в форме большого числа высококачественных захваченных изображений, соответствующих различным направлениям вида. Он может переходить к формированию требуемых блоков изображения для области посредством применения сложной интерполяции на основе применения сложных пространственных фильтров и на основе нескольких принимаемых изображений. Второй модуль формирования изображений затем может формировать выходное изображение, например, посредством простой интерполяции или посредством выбора блоков изображения с ближайшим направлением вида. В таком варианте осуществления, модуль адаптации по-прежнему может, посредством адаптации числа точек обзора изображений, представленных в различных областях, предоставлять компромисс между характеристиками различных стадий. Например, он может обеспечивать возможность адаптации, при которой дополнительные ресурсы выделяются областям, которые считаются более значимыми (например, дополнительные ресурсы используются для формирования большего числа блоков изображения для области лица, чем для области красного шара).

Также следует отметить, для второго модуля формирования изображений также целесообразно использовать обработку на основе глубины. Например, в вышеприведенном примере, промежуточное изображение может формироваться с высоким качеством изображения (например, с высоким разрешением, высокой глубиной цвета, расширенным динамическим диапазоном). Второй модуль формирования изображений, при формировании изображений вида, может рассматривать информацию глубины. Например, он может формировать пиксел для изображения вида посредством сдвига вида из соответствующего блока изображения с ближайшим направлением вида. Этот сдвиг вида может быть основан, например, на карте глубины низкого разрешения, содержащей входное изображение, но не рассматриваемой посредством первого модуля формирования изображений. Таким образом, в таком варианте осуществления, формирование промежуточного изображения может выполняться не на основе глубины, тогда как формирование выходного изображения из промежуточного изображения может выполняться на основе глубины. Такой подход, например, может также обеспечивать возможность адаптации таким образом, что дополнительные ресурсы расходуются в соответствующих областях (например, в области лица).

Также следует отметить, что не обязательно то, что алгоритм, используемый посредством первого модуля формирования изображений, должен быть более сложным, более высококачественным или более ресурсоемким, чем алгоритм, используемый посредством второго модуля формирования изображений. Хотя такие варианты осуществления могут предоставлять сверхпреимущественную реализацию во многих сценариях, подход также может применяться в вариантах осуществления, в которых дело обстоит не так. Например, подход по-прежнему может обеспечивать возможность адаптации, при которой полное воспринимаемое качество изображений повышается посредством сосредоточения ресурсов на зонах, которые считаются особенно значимыми.

Следует принимать во внимание, что вышеприведенное описание для понятности описывает варианты осуществления со ссылкой на различные функциональные схемы, модули и процессоры. Тем не менее, должно быть очевидным, что любое надлежащее распределение функциональности между различными функциональными схемами, модулями или процессорами может быть использовано без отступления от изобретения. Например, функциональность, проиллюстрированная как выполняемая посредством отдельных процессоров или контроллеров, может быть выполнена посредством одного процессора или контроллера. Следовательно, ссылки на конкретные функциональные модули или схемы должны рассматриваться только как ссылки на надлежащее средство предоставления описанной функциональности, а не обозначать точную логическую или физическую структуру либо организацию.

Изобретение может быть реализовано в любой надлежащей форме, включающей в себя аппаратные средства, программное обеспечение, микропрограммное обеспечение или любую комбинацию вышеозначенного. Необязательно, изобретение может быть реализовано, по меньшей мере, частично как вычислительное программное обеспечение, выполняемое на одном или более процессоров данных и/или процессоров цифровых сигналов. Элементы и компоненты варианта осуществления изобретения могут быть физически, функционально и логически реализованы любым надлежащим образом. Фактически, функциональность может быть реализована в одном модуле, во множестве моделей или как часть других функциональных модулей. По существу, изобретение может быть реализовано в одном модуле или может быть физически и функционально распределено между различными модулями, схемами и процессорами.

Хотя настоящее изобретение описано в связи с некоторыми вариантами осуществления, оно не имеет намерение быть ограниченным конкретной изложенной в данном документе формой. Вместо этого, объем настоящего изобретения ограничен только посредством прилагаемой формулы изобретения. Дополнительно, хотя предположительно признак описывается в данном документе в связи с конкретными вариантами осуществления, специалисты в данной области техники должны признавать, что различные признаки описанных вариантов осуществления могут быть комбинированы в соответствии с изобретением. В формуле изобретения, термин "содержащий" не исключает наличия других элементов или этапов.

Более того, хотя перечислены по отдельности, множество средств, элементов, схем или этапов способа может быть реализовано посредством, к примеру, одной схемы, модуля или процессора. Дополнительно, хотя отдельные признаки могут быть включены в различные пункты формулы изобретения, они могут быть преимущественно комбинированы, и их включение в различные пункты формулы изобретения не подразумевает, что комбинация признаков не является выполнимой и/или преимущественной. Так же, включение признака в одну категорию пунктов формулы изобретения не налагает ограничение на эту категорию, а вместо этого указывает то, что признак в равной степени применим к другим категориям пунктов формулы изобретения по мере необходимости. Более того, порядок признаков в пунктах формулы изобретения не налагает какой-либо конкретный порядок, в котором должны осуществляться признаки, и в частности, порядок отдельных этапов в пункте формулы изобретения на способ не подразумевает, что этапы должны выполняться в этом порядке. Вместо этого, этапы могут выполняться в любом надлежащем порядке. Кроме того, упоминание элементов или этапов в единственном числе не исключает их множества. Ссылки с номерами в формуле изобретения предоставлены просто в качестве поясняющего примера, и они не должны истолковываться как каким-либо образом ограничивающие объем формулы изобретения.

Изобретение относится к вычислительной технике. Технический результат – обеспечение улучшенного трехмерного изображения. Устройство для формирования выходного трехмерного изображения содержит: первый модуль формирования изображений для формирования промежуточного трехмерного изображения, причем формируется, используя обработку на основе глубины, число блоков изображения пиксельных значений для множества областей, причем число блоков изображения отличается для двух областей из множества областей, и каждый блок изображения содержит пиксельные значения для группы пикселов, соответствующих направлению вида; второй модуль формирования изображений для формирования, используя обработку не на основе глубины, выходного трехмерного изображения, содержащего число изображений вида; модуль адаптации для локальной адаптации числа блоков изображения, сформированных посредством первого модуля формирования изображений, с различными направлениями просмотра для первой области из множества областей в ответ на свойство одного из промежуточного изображения и представления трехмерной сцены, из которой первый модуль формирует промежуточное трехмерное изображение. 3 н. и 11 з.п. ф-лы, 11 ил.

1. Устройство для формирования выходного трехмерного изображения, причем устройство содержит:

первый модуль (503) формирования изображений для формирования промежуточного трехмерного изображения, причем промежуточное трехмерное изображение (503) содержит множество областей, представляющих собой пространственные подразделения промежуточного трехмерного изображения (503), и первый модуль (503) формирования изображений сконфигурирован с возможностью формировать, используя обработку на основе глубины, число блоков изображения пиксельных значений для множества областей, причем число блоков изображения отличается по меньшей мере для двух областей из множества областей, и каждый блок изображения содержит пиксельные значения для группы пикселов, соответствующих направлению вида;

второй модуль (505) формирования изображений для формирования, используя обработку не на основе глубины, выходного трехмерного изображения, содержащего число изображений вида, из промежуточного трехмерного изображения, причем каждое из числа изображений вида соответствует направлению вида;

модуль (509) адаптации для локальной адаптации числа блоков изображения, сформированных посредством первого модуля формирования изображений, с различными направлениями просмотра по меньшей мере для первой области из множества областей в ответ на свойство по меньшей мере одного из промежуточного трехмерного изображения и представления трехмерной сцены, из которой первый модуль (503) формирования изображений сконфигурирован с возможностью формировать промежуточное трехмерное изображение.

2. Устройство по п. 1, в котором свойство представляет собой показатель глубины.

3. Устройство по п. 1, в котором свойство представляет собой показатель контрастности.

4. Устройство по п. 1, в котором модуль (509) адаптации дополнительно сконфигурирован с возможностью определять число блоков изображения для первой области в ответ на доступность вычислительных ресурсов для первого модуля (501) формирования изображений.

5. Устройство по п. 1, в котором множество областей содержит области, сформированные посредством по меньшей мере одной строки пикселов.

6. Устройство по п. 1, в котором по меньшей мере одна область из множества областей содержит только поднабор пикселов строки пикселов.

7. Устройство по п. 1, в котором первый модуль (503) формирования изображений сконфигурирован с возможностью формировать блоки изображения для всех областей из множества областей для первого числа направлений просмотра, и модуль (509) адаптации сконфигурирован с возможностью затем выбирать поднабор областей из множества областей, для которых необходимо формировать блоки изображения по меньшей мере для одного дополнительного направления вида в ответ на ***диспаратности между блоками изображения каждой области для первого числа углов обзора.

8. Устройство по п. 1, в котором модуль (509) адаптации сконфигурирован с возможностью выбирать область, для которой необходимо формировать блок изображения по меньшей мере для одного дополнительного угла обзора в ответ на показатель диспаратности, превышающий пороговое значение, причем показатель диспаратности представляет собой показатель диспаратности для двух блоков изображения для двух углов обзора, смежных с дополнительным углом обзора.

9. Устройство по п. 1, в котором модуль (509) адаптации сконфигурирован с возможностью определять поднабор областей, для которых показатель глубины ниже порогового значения, и задавать число блоков изображения в каждой области поднабора равным единице.

10. Устройство по п. 1, в котором свойство представляет собой визуальное свойство.

11. Устройство по п. 1, в котором свойство характеризует по меньшей мере одно из свойства яркости и свойства цвета.

12. Устройство по п. 1, в котором первый модуль (503) формирования изображений сконфигурирован с возможностью формировать промежуточное трехмерное изображение на основе трехмерной модели трехмерной сцены; и

модуль (509) адаптации сконфигурирован с возможностью адаптировать число блоков изображения в ответ на свойство трехмерной модели.

13. Автостереоскопический трехмерный дисплей, содержащий:

первый модуль (503) формирования изображений для формирования промежуточного трехмерного изображения, причем промежуточное трехмерное изображение (503) содержит множество областей, представляющих собой пространственные подразделения промежуточного трехмерного изображения (503), и первый модуль (503) формирования изображений сконфигурирован с возможностью формировать, используя обработку на основе глубины, число блоков изображения пиксельных значений для множества областей, причем число блоков изображения отличается по меньшей мере для двух областей из множества областей, и каждый блок изображения содержит пиксельные значения для группы пикселов, соответствующих направлению вида;

второй модуль (505) формирования изображений для формирования, используя обработку не на основе глубины, выходного трехмерного изображения, содержащего число изображений вида, из промежуточного трехмерного изображения, причем каждое из числа изображений вида соответствует направлению вида;

устройство (301) отображения для отображения трехмерных изображений;

формирователь (507) сигналов управления отображением для побуждения устройства (301) отображения отображать выходное трехмерное изображение; и

модуль (509) адаптации для локальной адаптации числа блоков изображения, сформированных посредством первого модуля формирования изображений, с различными направлениями просмотра по меньшей мере для первой области из множества областей в ответ на свойство по меньшей мере одного из промежуточного трехмерного изображения и трехмерного входного изображения для первого модуля (503) формирования изображений.

14. Способ формирования выходного трехмерного изображения, при этом способ содержит этапы, на которых:

формируют промежуточное трехмерное изображение, содержащее множество областей, представляющих собой пространственные подразделения промежуточного трехмерного изображения (503), посредством формирования, используя обработку на основе глубины, числа блоков изображения пиксельных значений для множества областей, причем число блоков изображения отличается по меньшей мере для двух областей из множества областей, и каждый блок изображения содержит пиксельные значения для группы пикселов, соответствующих направлению вида;

формируют, используя обработку не на основе глубины, выходное трехмерное изображение, содержащее число изображений вида, из промежуточного трехмерного изображения, причем каждое из числа изображений вида соответствует направлению вида;

локально адаптируют число блоков изображения, сформированных посредством первого модуля формирования изображений, с различными направлениями просмотра по меньшей мере для первой области из множества областей в ответ на свойство по меньшей мере одного из промежуточного трехмерного изображения и трехмерного входного изображения, используемого для того, чтобы формировать промежуточное трехмерное изображение.