СПОСОБ И УСТРОЙСТВО ДЛЯ ПРЕДОСТАВЛЕНИЯ МНОГОСЛОЙНОЙ МОДЕЛИ СЦЕНЫ С ГЛУБИНОЙ И СИГНАЛ, СОДЕРЖАЩИЙ МНОГОСЛОЙНУЮ МОДЕЛЬ СЦЕНЫ С ГЛУБИНОЙ Российский патент 2014 года по МПК G06T15/20 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к способу и устройству для предоставления многослойной модели с глубиной трехмерной сцены, а также к сигналу, содержащему многослойную модель сцены с глубиной.

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Устройства отображения, пригодные для отображения трехмерных изображений, получают все больший интерес в исследованиях. Кроме того, значительные исследования предпринимаются для того, чтобы установить то, как предоставить конечным пользователям удовлетворительное зрительное восприятие высокого качества.

Трехмерные (3D) дисплеи добавляют третье измерение к зрительному восприятию путем предоставления каждому из глаз зрителя различных видов просматриваемой сцены. Этого можно достичь, заставив зрителя надеть очки для разделения двух показываемых видов. Однако, так как очки могут рассматриваться неудобными для пользователя, во многих сценариях отдается предпочтение использованию автостереоскопических дисплеев, в которых используются средства дисплея (такие как линзы или перегородки) для разделения видов и направления их в разных направлениях, где они могут раздельно достичь глаз зрителя. Для стереодисплеев необходимо два вида, тогда как в автостереоскопических дисплеях требуется большее количество видов (например, 9 видов).

Чтобы эффективно поддерживать 3D представление, важно использовать подходящее представление создаваемого 3D контента. Например, для различных стереодисплеев два вида не обязательно одинаковы, и оптимальное зрительное восприятие обычно требует адаптации данных контента для конкретной комбинации размера экрана и расстояния просмотра. Такие же соображения, как правило, применяются и к автостереоскопическим дисплеям.

Популярным подходом к представлению трехмерных изображений является использование одного или более многослойных изображений в сочетании с представлением глубины. Например, изображение переднего плана и фоновое изображение, каждое с ассоциированными сведениями о глубине, могут быть использованы для представления трехмерной сцены.

В работе «High-quality video view interpolation using a layered representation» L. Zitnick, et al., ACM TRANSACTIONS ON GRAPHICS, ACM, US, vol. 23, no. 3,8, August 2004, показано, что виды могут отображаться на основе нескольких входных видов и сопровождающих попиксельных карт глубины, так называемых основных видов. Однако изображения, отображенные таким образом, все еще страдают от искажений, вызванных резкими переходами между передним планом и фоном.

В целях решения этой проблемы предложено двухслойное представление для основных видов, в котором созданы пограничные зоны возле переходов глубины, и создана стыковочная информация для областей возле разрывов переднего плана/фона. Таким образом, становится возможным отображение изображения более высокого качества. Во время отображения выбираются два основных вида, ближайших к новому виду, и потом все соответствующие слои искривляются. Искривленные слои комбинируются на основе их соответствующих глубин пикселей, непрозрачности пикселей и близости к новому виду.

В зависимости от контекста применения, термин «информация о глубине» используется для указания информации, указывающей на расстояния от соответствующих элементов изображения до точки просмотра, либо информации, указывающей на расхождение соответствующих элементов изображения между двумя соответствующими точками просмотра. Так как расхождение, то есть видимое смещение элементов изображения между видами левого и правого глаза, обратно пропорционально глубине, следовательно, и то, и другое представление может быть использовано в качестве входных данных для отображения видов многослойной модели с глубиной.

Использование изображения и представления глубины имеет несколько преимуществ в том, что это позволяет отобразить двухмерные виды с достаточно низкой сложностью, и обеспечивает эффективное представление данных по сравнению с хранением множества видов, тем самым снижая, например, требования к ресурсам хранения и передачи для данных трехмерных изображений (и видео). Подход так же позволяет генерировать двухмерные изображения c точками просмотра и углами просмотра, отличными от двухмерных изображений, которые включены в трехмерное представление. Более того, представление может быть легко адаптировано и поддерживать различные конфигурации показа.

Во время отображения вида под углом просмотра, отличающимся от представленного в многослойных изображениях, пиксели переднего плана сдвигаются в зависимости от их глубины. Это приводит к тому, что области, скрытые при исходном угле просмотра, становятся видимыми. Эти области потом заполняются с использованием фонового слоя, или, если подходящая информация фонового слоя не доступна, например, повторяющимися пикселями изображения переднего плана. Однако такое копирование пикселей может привести к видимым артефактам. Данные фонового слоя обычно необходимы только вблизи границ объектов изображения переднего плана, и, таким образом, для большинства содержания обладают высокой степенью сжимаемости.

Известно, что многослойная модель сцены с глубиной может быть сведена из множества слоев к двум слоям, являющимся верхним слоем и слоем окклюзии. В такой модели слой окклюзии используется для предотвращения видимых артефактов, связанных с повторением пикселей или интерполяцией фона. В системах известного уровня техники такие слои представляются для некоторых из всех возможных скрытых областей с учетом заданного числа углов просмотра.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Существует проблема, заключающаяся в том, что уменьшение размера такой многослойной модели с глубиной может привести к видимым артефактам во время отображения. Также, кодирование многослойной модели с глубиной может привести к похожим артефактам. Это особенно верно в случаях, когда использование данных окклюзии активизируется неявно самим содержанием материала, например, в результате присутствия переходов глубины в уменьшенной многослойной модели с глубиной, а не посредством явно закодированных метаданных (которые не могут быть правильно уменьшены с использованием традиционных способов).

Задачей настоящего изобретения является уменьшение таких артефактов, получающихся в результате уменьшения.

Эта задача достигается посредством способа представления многослойной модели сцены с глубиной, слоев модели с глубиной в, содержащих данные основного вида для основного вида сцены в основном направлении просмотра и данные окклюзии, связанные с данными основного вида для использования при отображении других видов сцены, в котором: данные основного вида содержат сегменты слоя модели, которые являются ближайшими по глубине в отношении основного направления просмотра, и данные окклюзии содержат остальные сегменты слоя модели, и в котором данные окклюзии содержат область безопасности, прилегающую к переходу глубины, для которого предоставляются данные окклюзии, и в котором область безопасности содержит соответствующие сегменты данных основного вида, и в котором область безопасности расположена на той стороне относительно перехода глубины, которая находится дальше по глубине в отношении основного направления просмотра.

Вследствие изменения размера или сжатия многослойной модели с глубиной, содержащей данные окклюзии, например, с целью хранения или передачи, будет повреждено представление многослойной модели с глубиной и, в частности, данные окклюзии. В результате отображающее устройство может оказаться не в состоянии правильно определить изменения глубины. В частности, когда определение таких переходов глубины используется для включения использования данных окклюзии, это может привести к явно видимым артефактам.

Эти артефакты сами по себе могут быть более раздражительными, чем те, которые появляются при использовании традиционных способов, таких как повторение пикселей, так как они обычно не постоянны во времени и, как результат, выделяются вследствие своего «мерцания». Поочередное изменение размера может привести к выявлению в отображающем устройстве изменений глубины там, где не было таких переходов до масштабирования. Однако, как правило, артефакты, возникающие вследствие последней ошибки, являются менее заметными.

Настоящее изобретение эффективно гарантирует, что в областях безопасности, представляющих собой области вне переходов глубины и прилегающие к ним, для которых доступны данные окклюзии, данные окклюзии идентичны данным окклюзии основного вида. В результате улучшается определение переходов глубины в уменьшенном сигнале, которое, как правило, затрагивает как значения глубины, содержащиеся в данных основного вида, так и значения глубины, содержащиеся в данных окклюзии. В результате надежность включения использования данных окклюзии в видеосодержание сама по себе улучшается.

Обычно как данные основного вида, так и данные окклюзии содержат:

- данные изображения, которые предоставляют цветовые/текстурные данные для использования при отображении деокклюдированных областей, равно как

- данные глубины, которые предоставляют данные глубины для использования при отображении деокклюдированных областей.

Используя данные окклюзии, соответствующие текстуры, которые становятся видимыми под другим углом просмотра, могут отображаться с использованием подходящего смещения соответствующей текстуры окклюзии, на основе угла просмотра и данных глубины.

В одном из вариантов осуществления многослойная модель с глубиной, содержащая более двух слоев, сжимается в двухслойную модель. Такая модель сама по себе является снова многослойной моделью с глубиной. В последней многослойной модели с глубиной верхний слой содержит данные основного вида, а слой окклюзии содержит данные окклюзии. Явным преимуществом является то, что верхний слой фактически может быть использован на традиционных двухмерных отображающих устройствах без дальнейшей обработки. В случае, если оригинальная многослойная модель с глубиной также содержит прозрачность, верхний слой может быть составным слоем, содержащим данные многих других слоев.

В одном из вариантов осуществления слой окклюзии содержит сегменты верхнего слоя всегда, когда нет дополнительных сегментов слоев модели, которые по своей глубине являются ближайшими к верхнему слою. В результате слой окклюзии представляет дополнительное полное изображение для использования при отображении, и нет необходимости в сигнализации наличия данных окклюзии в слое окклюзии, или в динамическом построении полного слоя окклюзии.

В одном из вариантов осуществления размер соответствующих сегментов данных окклюзии в данных слоя окклюзии основан на максимальном отклонении от угла просмотра основного вида и данных глубины сцены. В другом варианте осуществления размер соответствующих сегментов основан на заранее определенной ширине с внутренней стороны синхронных переходов глубины как в верхнем, так и в составном слоях. В еще одном варианте осуществления размер соответствующих сегментов основан на заранее определенной ширине с внутренней стороны и на дополнительно заранее определенной ширине с внешней стороны перехода глубины, для которого доступны данные окклюзии. Каждый из этих вариантов осуществления предоставляет преимущества, заключающиеся в том, что первый вариант осуществления позволяет возможность кодировать слой окклюзии, что делает возможным правильное отображение в пределах ограничений угла просмотра и глубины. Второй вариант осуществления делает возможной более удобную для хранения реализацию. Третий вариант осуществления изобретения позволяет предотвращать артефакты сжатия, такие как москитный шум при кодировании данных окклюзии.

В следующем варианте осуществления размер области безопасности основан на заранее определенном максимальном коэффициенте уменьшения размера. Эта особенность позволяет контент-провайдеру иметь возможность определить диапазон разрешений, в котором уменьшение размера информации об окклюзии должно привести к минимальным артефактам масштабирования. Для примера рассмотрим содержание, распространяемое с разрешением 1920×1080 пикселей, так же рассмотрим, что эластичность уменьшения размера требуется вплоть до разрешения 640×480. В этом случае для того, чтобы сохранить область безопасности шириной в 2 пикселя при наименьшем разрешении, вводится область безопасности шириной 7 точек. Аналогично, размер области безопасности может базироваться на степени детализации кодера-декодера, используемого для кодирования данных окклюзии.

Так как защита уменьшения размера с использованием изобретения может применяться к обоим направлениям x и y независимо, то область безопасности может выбираться независимо для каждого соответствующего направления, основываясь на желаемой устойчивости.

В предпочтительном варианте осуществления многослойная модель c глубиной также содержит данные прозрачности, как минимум, для данных основного вида. В соответствии с вариантом осуществления, значения прозрачности в области безопасности, примыкающей к переходу глубины, в основном прозрачны, а значение прозрачности в области безопасности на другом конце области безопасности является в основном непрозрачным. Строго говоря, области прозрачности не требуются в области безопасности для данного варианта осуществления изобретения, так как данные основного вида и данные окклюзии в данном варианте осуществления идентичны. Однако, чтобы сделать многослойную модель с глубиной, более устойчивой к масштабированию, предпочтительно применять гладкий переход с или без дополнительной зоны безопасности. В дальнейшем более предпочтительном варианте осуществления область безопасности содержит заранее определенное количество последовательных прозрачных пикселей, примыкающих к переходу глубины, возможно в дополнение к градиенту от по существу прозрачного (примыкающего к последовательным прозрачным пикселям), к по существу непрозрачному на конце области безопасности, отдаленному от перехода глубины. Благодаря этому конкретному выбору значений прозрачности, любые значения непрозрачности/прозрачности/альфа верхнего слоя могут быть в значительной степени сохранены при уменьшении размера. Подобным образом, заранее определенное количество последовательных значений прозрачности может быть использовано на конце областей безопасности после градиента для обеспечения того, что значения в непосредственной близости от области безопасности не «сорвались» во время уменьшения размера.

В качестве альтернативы, вместо использования градиента между последовательными прозрачными/непрозрачными пикселями, так же может быть возможным использование резкого перехода, при условии что он находится на границе блока кодера-декодера. Последовательные прозрачные и/или последовательные непрозрачные пиксели могут быть использованы для правильного позиционирования перехода на границе. Полученный выровненный переход может быть закодирован более эффективно. Это, в свою очередь, может помочь предотвратить внесение артефактов кодирования, что приведет к повышению устойчивости.

В дальнейшем предпочтительном варианте осуществления предоставляется защитная область глубинной ямы для данных основного вида для области, содержащей глубинную яму; т.е. переход глубины вниз, за которым следует переход глубины вверх, не далее чем через первое пороговое число пикселей. Для такой глубинной ямы предпочтительнее, чтобы данным глубины основного вида присваивали либо одно из значений глубины верхнего края глубинной ямы, либо среднее от значений глубины обоих верхних краев, либо градиент между значениями глубины верхних краев, либо интерполированный сегмент, основанный на значениях глубины обоих верхних краев глубинной ямы. Кроме того, предпочтительнее устанавливать значения прозрачности между соседними скачками глубины по существу прозрачными. В результате глубинная яма лучше защищена от уменьшения размера.

В дальнейшем предпочтительном варианте осуществления изобретения предоставляется защитная область глубинного пика для данных основного вида для области, содержащей глубинный пик; т.е. переход глубины вверх, за которым следует переход глубины вниз, не далее чем через второе пороговое число пикселей. Для такого глубинного пика предпочтительнее, чтобы данным глубины основного вида присваивали значение глубины вершины глубинного пика в пределах защитной области глубинного пика, и значения прозрачности в защитной области глубинного пика вне глубинного пика устанавливались по существу прозрачными. В результате глубинный пик лучше защищен от уменьшения размера.

Способ в соответствии с настоящим изобретением может с успехом применяться в способе обработки трехмерной модели сцены посредством получения трехмерной модели, представления многослойной модели сцены с глубиной согласно настоящему изобретению и обработки трехмерной модели сцены.

Настоящее изобретение также относиться к сигналу, содержащему многослойную модель сцены c глубиной, слои модели с глубиной содержащие: кодированные данные основного вида для основного вида сцены в основном направлении просмотра, данные основного вида содержат сегменты слоя модели, которые ближе всего по глубине по отношению к основному направлению просмотра, и кодированные данные окклюзии, связанные с данными основного вида для использования при отображении других видов сцены, в котором данные окклюзии содержат дополнительные сегменты слоя модели и в котором данные окклюзии содержат область безопасности, прилегающую к переходу глубины для которого предоставляются данные окклюзии, и в котором область безопасности содержит соответствующие сегменты данных основного вида, и в котором область безопасности расположена с той стороны относительно перехода глубины, которая по глубине дальше всего в отношении основного направления просмотра.

Настоящее изобретение также относится к устройству, представляющему многослойную модель глубины сцены, слои модели с глубиной, содержащие данные основного вида для основного вида сцены в основном направлении просмотра, и данные окклюзии, связанные с данными основного вида для использования при отображении других видов сцены, устройство организовано предоставлять: данные основного вида, такие, которые содержат сегменты слоя модели, которые по отношению к их глубине ближе всего к точке просмотра основного вида, и данные окклюзии такие, которые содержат дополнительные сегменты слоя модели, и в котором данные окклюзии содержат область безопасности, прилегающую к переходу глубины, для которого предоставляются данные окклюзии, и в котором область безопасности содержит соответствующие сегменты данных основного вида, и в котором области безопасности расположены на той стороне относительно перехода глубины, которая по глубине дальше всего в отношении основного направления просмотра.

Эти и другие аспекты, особенности и преимущества изобретения будут очевидны и объяснены, ссылаясь на варианты осуществления, описанные далее.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Ниже, исключительно в качестве примера, будут описаны варианты осуществления изобретения на примере чертежей, где одинаковые числа соответствуют элементам с одинаковыми функциями, в которых:

на Фиг. 1A показано горизонтальное сечение многослойной модели трехмерной сцены с глубиной,

на Фиг. 1B показан верхний слой многослойной модели с глубиной из Фиг. 1A,

на Фиг. 1C показан соответствующий известному уровню техники слой окклюзии многослойной модели с глубиной из Фиг. 1A,

на Фиг. 1D проиллюстрировано понятие областей безопасности окклюзии для многослойной модели с глубиной из Фиг. 1A в соответствии с вариантом осуществления настоящего изобретения,

на Фиг. 2A проиллюстрировано добавление прозрачности к многослойной модели с глубиной из Фиг. 1A,

на Фиг. 2B проиллюстрировано добавление прозрачности для области безопасности в соответствии с вариантом осуществления настоящего изобретения,

на Фиг. 3 проиллюстрировано добавление прозрачности к области безопасности, прилегающей к переходу глубины в соответствии с предпочтительным вариантом осуществления изобретения,

на Фиг. 4A проиллюстрирован процесс защиты глубинной ямы для данных основного вида,

на Фиг. 4B проиллюстрирован процесс защиты глубинного пика для данных основного вида,

на Фиг. 5 проиллюстрирован способ по настоящему изобретению,

на Фиг. 6A проиллюстрировано обрабатывающее устройство и сигнал в соответствии с настоящим изобретением,

на Фиг. 6B проиллюстрировано устройство и сигнал в соответствии с настоящим изобретением,

на Фиг. 6C проиллюстрировано дополнительное устройство и сигнал согласно настоящему изобретению,

на Фиг. 7A проиллюстрированы соответствующие фрагменты текстуры, глубины, текстуры окклюзии и данные глубины окклюзии двухслойной модели с глубиной в соответствии с текущим уровнем техники,

на Фиг. 7B проиллюстрированы соответствующие фрагменты текстуры, глубины, текстуры окклюзии и данные глубины окклюзии двухслойной модели с глубиной в соответствии с вариантом осуществления настоящего изобретения,

на Фиг. 7C проиллюстрирован отображенный вид, основанный на входных данных из Фиг. 7A, и

на Фиг. 7D проиллюстрирован отображенный вид, основанный на входных данных их Фиг. 7B.

ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ

Использование многослойного представления глубины для использования при отображении новых видов на основании многослойного представления глубины привлекает внимание исследователей в течение продолжительного периода времени. В работе «Layered Depth Images» Shade и соавторов, опубликованной в Proceedings of ACM SIGGRAPH в 1998 году описано хранение трехмерной модели на основе многослойного изображения, а так же отображение содержания на его основе.

В работе «High-quality video view interpolation using a layered representation» Zitnick и соавторов, опубликованной в Proceeding of ACM SIGGRAPH в 2004 году, раскрыто создание многослойной модели сцены с глубиной, где многослойная модель с глубиной содержит данные окклюзии в виде граничного цвета, граничной глубины и граничной альфы (непрозрачности). Кроме того, представлен способ отображения видов из многослойной модели с глубиной.

Авторы настоящего изобретения поняли, что на практике, когда содержание распространяется с использованием многослойного режима с глубиной, может потребоваться уменьшить размер и/или сжать многослойную модель с глубиной. Однако, если для этого используется программный блок масштабирования или аппаратный блок масштабирования, которые безразличны к проблеме (проблемам), рассматриваемой настоящим изобретением, то это, как правило, приводит к видимым артефактам. Пример таких артефактов показан на Фиг. 7C, где артефакты в области 745 показаны увеличенными в области 740.

Вышеописанная проблема особенно справедлива для ситуаций, когда данные глубины из многослойной модели с глубиной, используются для включения использования данных окклюзии. В такой ситуации уменьшение размера многослойной модели с глубиной может повлиять на данные основного вида и данные окклюзии таким образом, что переход глубины более не будет корректно распознан, или же будет распознан в том случае, когда его не было до уменьшения размера.

Возможная эвристическая процедура для кодирования данных окклюзии приведена ниже. Указано, что она всего лишь иллюстративна и другие механизмы включения могут применяться. Тем не менее, из данного описания будет ясно, что уменьшение размера данных глубины как в данных основного вида, так и в данных окклюзии может повлиять на правильное включение использования данных окклюзии.

Данные окклюзии должны быть представлены для перехода глубины когда:

низкие пиксели данных основного вида и данных окклюзии похожи, например, может использоваться фиксированное пороговое значение,

высокий пиксель в данных основного вида перехода должен быть существенно больше, чем пиксель данных окклюзии; например, может использоваться дополнительное фиксированное пороговое значение, и

высокий пиксель данных основного вида должен быть существенно больше, чем низкий пиксель данных основного вида. Это предотвращает детектирование переходов, когда данные основного вида однородны и данные окклюзии внезапно «заканчиваются». В настоящем изобретении этот вопрос уменьшения размера решается тем, что изобретение предоставляет решение, которое позволяет отображать модель после уменьшения размера таким образом, который приводит к меньшему числу артефактов, как это изображено на Фиг. 7D, на которой в области 755 (сравнить с 745) показаны артефакты, а в области 750 приведено увеличение области 755.

На Фиг. 1A представлено горизонтальное сечение многослойной модели трехмерной сцены с глубиной. Эта конкретная модель содержит пять слоев; суть слой L1, слой L2, включающий сегменты L2,1 и L2,2, слои L3 и L4, и фоновый слой L5. Хотя в этом примере все слои представлены горизонтальными линиями, т.е. они имеют одну глубину на всем протяжении, это является не обязательным условием, а всего лишь упрощением для ясности. Следует отметить, что глубина в пределах слоя, как правило, будет варьироваться. На практике при использовании основанного на объектах кодирования, такие внутрислойные вариации глубины, как правило, относятся к глубине объекта.

Когда многослойное изображение с глубиной, как представлено на Фиг. 1A, отображается для наблюдения в основном направлении просмотра (PVD), полученный вид будет содержать сегменты слоев модели, которые по отношению к их глубине являются ближайшими к точке просмотра основного вида. Эти сегменты в совокупности образуют верхний слой TL.

Для определения верхнего слоя, моделью камеры, используемой для создания слоя окклюзии, является камера, помещенная на бесконечности по направлению основного направления просмотра, обозначенного PVD. В результате верхним слоем в многослойном изображении с глубиной является такой слой, в котором некоторая позиция (x, y) является по глубине, ближайшей к камере, в данном случае самый высокий слой.

На Фиг. 1C проиллюстрированы сегменты многослойной модели с глубиной, формирующие слой окклюзии в соответствии с известным уровнем техники. Слой окклюзии содержит дополнительные сегменты слоя для слоев модели, которые относительно их глубины являются ближайшими к верхнему слою, как обозначено на Фиг. 1С посредством слоя окклюзии OL. В результате, когда существует слой, следующий по глубине за верхним слоем, тогда этот слой предоставляет данные окклюзии. Следует отметить, что в фигурах «за», с учетом направления просмотра PVD, соответствует «под». Так как слой окклюзии в данном примере находится под верхним слоем, то слой окклюзии, как правило, изменяет слой c учетом разрывов или скачков в верхнем слое, как отмечено с использованием скачков J1, J2, J3 и J4.

В отношении слоя окклюзии OL следует отметить, что, хотя на Фиг. 1C центральный сегмент под L1 включен в слой окклюзии, это не является обязательным условием. На самом деле, так как существует только очень малая вероятность того, что для отображенного вида потребуется отображение этого сегмента слоя окклюзии, то он может быть удален из модели полностью, таким образом сэкономив место для хранения. Однако при не включении этих данных может оказаться необходимым прибегнуть к интерполяции или повторению пикселей, для того чтобы заполнить такую дыру в слое окклюзии во время отображения.

Вышесказанное явно показывает, что эвристические процедуры могут играть важную роль при определении того, что включается в слой окклюзии, а что нет.

На Фиг. 1D проиллюстрированы данные окклюзии, здесь в виде слоя окклюзии OL2, в соответствии с настоящим изобретением. Как показано на Фиг. 1D, сегменты слоя окклюзии в областях безопасности SR1, SR2, SR3 или SR4, прилегающие к одновременным переходам глубины J1, J2, J3 или J4 как в верхнем слое TL, так и в слое окклюзии, заменяются соответствующими сегментами верхнего слоя TL1, TL2, TL3 или TL4. Область безопасности расположена на внешней стороне перехода глубины, которая соответствует той стороне перехода глубины в верхнем слое, где значения глубины наименьшие по отношению к основному направлению просмотра PVD.

Слои окклюзии и слои глубины, представленные на Фиг. 1A-1D, содержат как данные текстуры (здесь черное/серое), так и данные глубины (z-компонента).

Для специалиста будет очевидно, что многослойная модель с глубиной, содержащая данные основного вида и данные окклюзии OL2, как показано на Фиг. 1D, может быть закодирована большим числом способов. Первый подход, например, заключается в том, чтобы закодировать многослойную модель с глубиной, как показано на Фиг. 1A, и в дополнение закодировать информацию, относящуюся к областям безопасности TL1, TL2, TL3 и TL4 так, как если бы она являлась информацией окклюзии. Другой подход заключается в том, чтобы закодировать верхний слой, как представлено на Фиг. 1B, и слой окклюзии OL2, как представлено на Фиг. 1D, и использовать эти два слоя в сочетании в качестве упрощенной многослойной модели с глубиной. Тем не менее, независимо от того, как многослойная модель с глубиной закодирована, соответствие данных окклюзии OL2 данным верхнего слоя TL в областях безопасности это то, что отличает многослойную модель с глубиной в соответствии с настоящим изобретением.

Слой окклюзии, как представлено на Фиг. 1C, соответствует слою окклюзии, где каждому пикселю назначены значения яркости и глубины. В результате, динамическое построение слоя окклюзии не требуется.

На Фиг. 2A показано многослойное изображение с глубиной, включая верхний слой TL, соответствующий приведенному на Фиг. 1A. Кроме того, на Фиг. 2A проиллюстрировано использование прозрачности для сегментов верхнего слоя TL с целью получения гладких краев объекта при отображении. Здесь прозрачность используется для предотвращения возникновения неровных краев. Следует отметить, что по направлению к концам соответствующих сегментов слоев, значения альфа, соответствующие непрозрачности, уменьшены, что приводит к прозрачным краям в верхнем слое многослойной модели с глубиной.

На Фиг. 2B показано многослойное изображение с глубиной, включая слой окклюзии в соответствии с вариантом осуществления настоящего изобретения, как описано в отношении Фиг. 1D. Данные прозрачности верхнего слоя, которые представлены в соответствии с вариантом осуществления настоящего изобретения с исправленными значениями прозрачности/непрозрачности в областях безопасности, включены в Фиг. 2B. Хотя, строго говоря, области прозрачности не требуются в областях безопасности, как показано выше, добавление таких данных может улучшить уменьшение размера или сжатие многослойной модели с глубиной.

На Фиг. 3 показано дальнейшее уточнение значений прозрачности в пределах области безопасности в соответствии с предпочтительным вариантом осуществления изобретения. На этой фигуре заранее определенное количество последовательных прозрачных пикселей расположены примыкающими к переходу глубины. Также на левой стороне перехода использовано заранее определенное количество последовательных полностью непрозрачных пикселей. В результате наличия этих дополнительных прозрачных/непрозрачных пикселей в области безопасности, влияние градиента прозрачности области безопасности на прозрачность масштабированного верхнего слоя сведено к минимуму. Благодаря этим пикселям, данные прозрачности основного вида останутся по существу не подвергшимися влиянию градиента прозрачности в области безопасности; т.е. обеспечено, что количество полностью прозрачных пикселей выбрано достаточно большим, чтобы компенсировать коэффициент уменьшения размера.

Хотя изобретение было описано для обеспечения области безопасности вдоль горизонтального направления, т.е. вдоль направления оси x, настоящее изобретение может так же с успехом применяться вдоль вертикального направления.

Например, при уменьшении размера содержания, предоставленного с максимальным разрешением 1920×1080, которое должно быть в состоянии быть уменьшенным до 640×480, что соответствует коэффициенту уменьшения размера равному 3, в горизонтальном направлении, предпочтительно ввести в горизонтальном направлении область безопасности шириной в 7 пикселей. Предпочтительно иметь область безопасности в 2 пикселя, чтобы не позволить кодированию влиять на границы слоя. В результате теоретически будет достаточно использовать область безопасности в 6 пикселей. На практике в результате, например, асимметричных ядер фильтра, область безопасности шириной 7 пикселей предпочтительна. Так как артефакты в вертикальном направлении для большинства текущих применений являются менее значимыми, там применяется область безопасности в 3 пикселя.

Коэффициент использования области безопасности для защиты данных окклюзии проиллюстрирован на Фиг. 7A-7D. На Фиг. 7A представлен набор фрагментов входных изображений, представляющих верхний слой и слой окклюзии многослойной модели с глубиной. На изображении 710 приведен фрагмент цветного изображения, в котором эллиптический объект частично перекрывает прямоугольный полосатый объект. На изображении 712 приведен фрагмент, который показывает соответствующую карту глубины, где более светлые тона ближе к «камере», изображения 710 и 712 вместе образуют верхний слой. Аналогично, слой окклюзии представлен изображениями 714, 716, включающими перекрываемое цветное изображение и карту глубины окклюзии соответственно.

На Фиг. 7B представлен набор фрагментов входных изображений 720, 722, 724 и 726, соответствующих соответствующим изображениям 710, 712, 714 и 716, за исключением того, что слой окклюзии был создан в соответствии с вариантом осуществления настоящего изобретения. В частности, указано, что данные цвета и данные глубины верхнего слоя, относящиеся к полосатому прямоугольному объекту, покрывают большую площадь в слое окклюзии на Фиг. 7B, чем на Фиг. 7A (т.е. меньше данных окклюзии для звезд позади полосатого прямоугольника). Это результат того, что данные верхнего слоя «копируются» в слой окклюзии.

На Фиг. 7C показан отображенный вид, основанный на входных изображениях, фрагменты которых показаны на Фиг. 7A; т.е. основанный на слое окклюзии в соответствии с текущим уровнем техники (после кодирования/декодирования). На Фиг. 7С видны существенные артефакты отображения, как отмечено в области 745 и еще раз в увеличении в области 740.

На Фиг. 7D показан отображенный вид, основанный на входных изображениях, фрагменты которых показаны на Фиг. 7A; т.е. основанный на слое окклюзии (после кодирования/декодирования) в соответствии с настоящим изобретением. На Фиг. 7D видно существенно меньше артефактов, как отмечено в области 755 и еще раз в увеличении в области 750.

Слой окклюзии, как описано выше, может с успехом использоваться для хранения или распространения содержания. В результате это содержание, которое было представлено с таким образом обработанным слоем окклюзии, может быть уменьшено с использованием средств уменьшения, широко доступных на дату приоритета. Такое содержание также более эластично к кодированию/декодированию. Более того, нет необходимости настраивать такие алгоритмы масштабирования для обслуживания конкретных особенностей фактически используемого формата окклюзии, вместо этого, как правило, данные окклюзии могут быть уменьшены способом, близким к обычным двухмерным изображениям. Альтернативно, описанный здесь способ может быть применен непосредственно перед уменьшением размера (не обязательно на стороне генерации содержания). Или он может применяться на стороне генерации содержания с защитными полями, достаточно большими для защиты от кодирования, но не обязательно с большими коэффициентами уменьшения размера, и потом позже с большими защитными полями c учетом предстоящих операций уменьшения размера.

На Фиг. 4A проиллюстрировано понятие области защиты глубинной ямы DHP для данных основного вида в соответствии с еще одним вариантом осуществления настоящего изобретения. На Фиг. 4A показан профиль глубины, содержащий две ямы. При условии, что такие ямы достаточно узкие, так, что ширина области защиты глубинной ямы DHP меньше первой пороговой величины, например, 3 пиксела при уменьшении размера в три раза, глубинная яма после масштабирования может полностью исчезнуть. Фиг. 4А иллюстрирует схему защиты глубинной ямы, которая комплементарна областям безопасности данных окклюзии.

На Фиг. 4A две ямы в данных основного вида «залатаны» посредством установления значений глубины для секций D1 и D2 равными таким значениям, которые представляют линейную интерполяцию высоких краев глубинной ямы. Кроме того, непрозрачность секций D1 и D2 установлена в 0; т.е. они сделаны прозрачными. В результате этого подхода две глубинные ямы в данных основного вида фактически замещены двумя прозрачными «окнами», которые имеют меньше шансов вызвать артефакты.

На Фиг. 4B проиллюстрировано понятие защитной области глубинного пика DSP для данных основного вида в соответствии с вариантом осуществления настоящего изобретения. На Фиг. 4B показан профиль глубины, содержащий глубинный пик. При условии, что такой пик является достаточно узким, так что ширина пика меньше некоторого количества пикселей, например, 3 пикселя при уменьшении размера в три раза, после масштабирования глубинный пик может полностью исчезнуть. На Фиг. 4B проиллюстрирована схема защиты глубинного пика, которая комплементарна областям безопасности данных окклюзии.

На Фиг. 4B пик в данных основного вида расширен посредством установления значений глубины для секций D3 и D4 равными значениям, которые представляют собой продолжение высоких краев пика. Кроме того, непрозрачность секций D3 и D4 установлена в 0, т.е. они сделаны прозрачными. В результате этого подхода пик сделан широким достаточно, чтобы пережить процесс масштабирования, но «боковые выступы» сделаны прозрачными посредством значений прозрачности.

На Фиг. 5 показана блок-схема способа обработки 500 многослойной модели сцены с глубиной. Способ включает этап получения 505 трехмерной модели сцены, которая может быть многослойной моделью с глубиной, или каркасной моделью, или другой подходящей трехмерной моделью сцены.

Способ также содержит предоставление 510 многослойной модели сцены с глубиной, где многослойная модель с глубиной содержит данные основного вида для основного вида сцены в основном направлении просмотра и данные окклюзии, связанные с данными основного вида, для использования при отображении других видов сцены. Данные основного вида, в свою очередь, содержат сегменты слоя модели, которые по глубине являются ближайшими по отношению к основному направлению просмотра. Данные окклюзии содержат дополнительные сегменты слоя модели. Данные окклюзии содержат область безопасности, прилегающую к переходу глубины, для которого предоставляются данные окклюзии. Область безопасности, в свою очередь, содержит соответствующие сегменты данных основного вида, и область безопасности расположена на той стороне по отношению к переходу глубины, которая по глубине является дальней по отношению к основному направлению просмотра.

Опционально, способ, изображенный на Фиг. 5, может также содержать этап обработки 515 многослойной модели с глубиной, такой как уменьшение размера, кодирование, сохранение, передача и/или альтернативное отображение.

На Фиг. 6A показано устройство 600 для обработки трехмерной модели сцены. Устройство содержит средства приема 670, расположенные для приема трехмерной модели сцены. В качестве средств приема может выступать приемник для приема данных по беспроводной сети, или альтернативный входной узел для получения трехмерной модели сцены, например, с носителя данных.

Устройство 600 также содержит устройство 610 для предоставления многослойной модели сцены с глубиной 605. Слои модели с глубиной 605, как это предусмотрено, содержат данные основного вида для основного вида сцены в основном направлении просмотра и данные окклюзии, связанные с данными основного вида, для использования при отображении других видов сцены. Устройство 610 выполнено с возможностью предоставления данных основного вида таких, которые содержат сегменты слоя модели, которые по отношению к их глубине являются ближайшими к точке просмотра в основном направлении просмотра, и данные окклюзии, такие которые содержат дополнительные сегменты слоя модели. Данные окклюзии содержат область безопасности, прилегающую к переходу глубины, для которого данные окклюзии предоставляются, и где область безопасности содержит соответствующие сегменты данных основного вида, и где области безопасности расположены на той стороне по отношению к области перехода, которая по глубине дальняя по отношению к основному направлению просмотра.

Опционально, устройство может также содержать средства обработки 680, в качестве которых может выступать, например, процессор общего назначения, специализированная для решения конкретной задачи интегральная схема (ASIC) или другая платформа обработки, для обработки многослойной модели с глубиной 605. Обработка может включать, например, уменьшение размера, кодирование, хранение, передачу и/или альтернативное отображение.

Устройство 610, как представлено на Фиг. 6A, может также быть приспособлено для вывода сигнала 615 отдельно на потребляющее устройство 620, или, в качестве альтернативы, как показано на Фиг. 6B, сигнал 615 может распространяться по сети 630, в качестве которой может выступать, например, домашняя сеть, другая внутренняя сеть или Интернет.

Хотя устройство 610 было описано для обработки трехмерной модели сцены, трехмерная модель сцены может быть также многослойной моделью с глубиной, которая в частном благоприятном случае может быть двухслойной формой, включающей верхний слой 625, который также может быть передан как составной слой, и слой окклюзии 635, как показано на Фиг. 6С.

Следует иметь ввиду, что в приведенном выше описании для ясности описаны варианты осуществления изобретения со ссылкой на различные функциональные узлы и обработчики. Однако, будет очевидно, что любое подходящее распределение функциональности между функциональными узлами или обработчиками может быть применено не умаляя изобретение. Например, функциональность, выполняемая в описании раздельными узлами, процессорами или контроллерами, может выполняться одним и тем же процессором или контроллером. Следовательно, ссылки на определенные функциональные узлы следует рассматривать только как ссылки на подходящие средства для обеспечения описанной функциональности, а не как указывающие на строгую логическую или физическую структуру или организацию.

Изобретение может быть реализовано в любой подходящей форме, включая устройство, программу, встроенную программу или любую их комбинацию. Изобретение может при желании быть реализовано хотя бы частично как компьютерная программа, выполняемая на одном или более обработчике данных и/или обработчике цифровых сигналов. Элементы и компоненты варианта осуществления изобретения могут быть физически, функционально и логически реализованы любым подходящим способом. Соответственно, функциональность может быть реализована в одном узле, в множестве узлов или как часть других функциональных узлов. Таким образом, изобретение может быть реализовано в качестве единого узла, или может быть физически и функционально распределено между различными узлами и обработчиками.

Хотя настоящее изобретение было описано в связи с некоторыми вариантами осуществления, оно не подразумевает ограничение конкретной формой, изложенной здесь. Скорее, рамки настоящего изобретения ограничены только сопровождающей формулой изобретения. Кроме того, хотя может показаться, что признак описан в связи с конкретным вариантом осуществления, специалист в данной области признает, что различные признаки описанных вариантов осуществления могут комбинироваться в соответствии с изобретением. В формуле изобретения термин «содержит» не исключает наличие других элементов или этапов.

Более того, хотя многие средства, элементы или этапы способа описаны индивидуально, они могут быть реализованы, например, одним узлом или обработчиком. Кроме того, хотя отдельные признаки могут быть включены в различные пункты формулы изобретения, возможно, окажется выгодным их комбинировать, и включение в различные пункты формулы изобретения не означает, что совокупность признаков не является возможной и/или выгодной. Также, включение признака в одну категорию пунктов формулы изобретения не означает ограничение этой категорией, а скорее указывает на то, что признак одинаково применим к другим категориям пунктов формулы изобретения при необходимости. Более того, порядок признаков в формуле изобретения не влияет на какой-либо определенный порядок, в котором эти признаки должны работать, и, в частности, порядок индивидуальных этапов в пункте формулы изобретения на способ не означает, что этапы должны выполняться в этом порядке. Скорее, этапы могут выполняться в любом подходящем порядке. Кроме того, упоминания в единственном числе не исключают множественности. Таким образом, «первый», «второй» и т.д. не исключают множественность. Позиционные обозначения в формуле изобретения, приведенные только в качестве поясняющего примера, не должны быть истолкованы в качестве каким-либо образом ограничивающих объем формулы изобретения.

Изобретение относится к способу и устройству для предоставления многослойной модели с глубиной трехмерной сцены. Техническим результатом является уменьшение артефактов, получающихся в результате уменьшения многослойной модели с глубиной. Способ предоставления многослойной модели, содержащей информацию основного вида для основного вида сцены с основного направления просмотра (PVD) и информацию окклюзии, связанную с информацией основного вида для использования при отображении других видов сцены, в котором информация основного вида содержит сегменты слоя модели, которые являются ближайшими по глубине по отношению к основному направлению просмотра, и информация окклюзии содержит дополнительные сегменты слоя модели и при этом информация окклюзии содержит область безопасности (SR), прилегающую к переходу глубины, для которого предоставляется информация окклюзии (J1, J2, J3, J4), и при этом область безопасности содержит соответствующие сегменты информации основного вида, и при этом область безопасности расположена на той стороне соответствующего перехода глубины, которая является самой дальней по глубине по отношению к основному направлению просмотра. 3 н. и 10 з.п. ф-лы, 17 ил.

1. Способ предоставления (510) многослойной модели с глубиной (605) сцены, причем слои модели с глубиной (605) содержат информацию основного вида для основного вида сцены с основного направления просмотра (PVD) и информацию окклюзии, связанную с информацией основного вида для использования при отображении других видов сцены, в котором
- информация основного вида содержит сегменты слоя модели, которые являются ближайшими по глубине по отношению к основному направлению просмотра, и
- информация окклюзии содержит дополнительные сегменты слоя модели и при этом информация окклюзии содержит область безопасности (SR), прилегающую к переходу глубины, для которого предоставляется информация окклюзии (J1, J2, J3, J4), и при этом область безопасности содержит соответствующие сегменты информации основного вида, и при этом область безопасности расположена на той стороне соответствующего перехода глубины, которая является самой дальней по глубине по отношению к основному направлению просмотра.

2. Способ по п.1, в котором
как информация основного вида, так и информация окклюзии содержат и информацию изображения, и информацию глубины.

3. Способ по п.1, в котором
многослойная модель с глубиной (605) является двухслойной моделью, содержащей:
- верхний слой (TL), кодирующий информацию основного вида, и
- слой окклюзии (OL2), кодирующий информацию окклюзии.

4. Способ по п.3, в котором
слой окклюзии (OL2) содержит соответствующие сегменты верхнего слоя (TL) всякий раз, когда нет другой доступной информации.

5. Способ по любому из пп.1-4, в котором размер информации окклюзии основан на одном из:
- ширины, основанной на максимальном отклонении от угла просмотра основного вида и информации глубины,
- заранее определенной ширины на одной стороне перехода глубины, и
- заранее определенной ширины на одной стороне и также заранее определенной ширины на другой стороне перехода глубины.

6. Способ по любому из пп.1-4, в котором
размер области безопасности (SR) основан на одном из:
- заранее определенном максимальном коэффициенте уменьшения размера и
- степени детализации кодировщика информации окклюзии.

7. Способ по любому из пп.1-4, в котором
многослойная модель с глубиной (605) также содержит
- информацию прозрачности для информации основного вида, причем значение прозрачности в области безопасности (SR), прилегающей к переходу глубины, по существу прозрачно, и значение прозрачности в области безопасности на другом конце области безопасности по существу непрозрачно.

8. Способ по п.7, в котором
значения прозрачности в области безопасности содержат одно из:
- градиента от по существу прозрачного вблизи перехода глубины до по существу непрозрачного на другом конце области безопасности,
- заранее определенного количества последовательных по существу прозрачных пикселей вблизи перехода глубины,
- заранее определенного количества последовательных по существу прозрачных пикселей вблизи перехода глубины и также заранее определенного количества последовательных по существу непрозрачных пикселей на другом конце области безопасности,
- заранее определенного количества последовательных по существу прозрачных пикселей вблизи перехода глубины и градиента от по существу прозрачного вблизи последовательных полностью прозрачных пикселей до по существу непрозрачного,
- заранее определенного количества последовательных по существу прозрачных пикселей вблизи перехода глубины и градиента от по существу прозрачного вблизи последовательных полностью прозрачных пикселей до по существу непрозрачного, за которым дополнительно следует заранее определенное число последовательных по существу непрозрачных пикселей, и
- заранее определенного количество последовательных по существу прозрачных пикселей вблизи перехода глубины и резкого перехода от по существу прозрачного вблизи последовательных полностью прозрачных пикселей до по существу непрозрачного, причем переход совпадает с границей блока кодировщика видео, за переходом дополнительно следует заранее определенное число последовательных по существу непрозрачных пикселей.

9. Способ по п.7, в котором
в информации основного вида для области, содержащей глубинную яму, имеющую ширину ниже первого порогового значения ширины, обеспечивается защитная область глубинной ямы (DHP), и где в защитной области глубинной ямы:
- информация глубины основного вида (D1, D2) основана на значениях глубины обоих верхних краев глубинной ямы, и
- значения прозрачности (T1, Т2) между соседними скачками глубины установлены по существу прозрачными.

10. Способ по п.7, в котором
в информации основного вида для области, содержащей глубинный пик, имеющий ширину ниже второго порогового значения, обеспечивается защитная область глубинного пика (DSP), и где в защитной области глубинного пика:
- информация глубины основного вида (D1, D2) установлена в значения глубины вершины глубинного пика в пределах защитной области глубинного пика, и
- значения прозрачности в защитной области глубинного пика вне глубинного пика установлены в по существу прозрачные.

11. Способ обработки (500) трехмерной модели сцены, причем способ содержит:
- получение (505) трехмерной модели сцены,
- предоставление (510) многослойной модели с глубиной для сцены в соответствии с любым из пп.1-10, и
- обработку (515) трехмерной модели сцены.

12. Устройство (610), предоставляющее многослойную модель с глубиной (605) для сцены, причем слои модели с глубиной (605) содержат информацию основного вида для основного вида сцены с основного направления просмотра (PVD) и информацию окклюзии, связанную с информацией основного вида для использования при отображении других видов сцены, причем устройство (610) выполнено с возможностью предоставлять:
- информацию основного вида такую, что она содержит сегменты слоя модели, которые по отношению к их глубине являются ближайшими к точке просмотра основного вида, и
- информацию окклюзии такую, что она содержит дополнительные сегменты слоя модели, и
при этом информация окклюзии содержит область безопасности (SR), прилегающую к переходу глубины, для которого предоставляется информация окклюзии (J1, J2, J3, J4), и при этом область безопасности (SR) содержит соответствующие сегменты информации основного вида, и при этом область безопасности расположена на той стороне относительно перехода глубины, которая является самой дальней по глубине по отношению к основному направлению просмотра.

13. Устройство (600) для обработки трехмерной модели сцены, причем устройство содержит:
- средство приема (670), выполненное с возможностью приема трехмерной модели сцены,
- устройство (610) для предоставления многослойной модели с глубиной (605) для сцены, согласно п.12, выполненное с возможностью предоставлять многослойную модель с глубиной, на основе трехмерной модели сцены, и
- средство обработки (680), выполненное с возможностью обработки многослойной модели с глубиной.