ОСНОВАННОЕ НА ЗНАЧИМОСТИ ОТОБРАЖЕНИЕ ДИСПАРАТНОСТИ Российский патент 2016 года по МПК H04N13/00 G06T15/00 

Область техники, к которой относится изобретение

Изобретение относится к способу обработки сигнала трехмерного [3D] изображения для рендеринга данных 3D-изображения на 3D-дисплее, основываясь на многих видах дисплея.

Изобретение дополнительно относится к устройству 3D-видео, сигналу 3D-изображения и к компьютерной программе.

Изобретение относится к области обработки данных 3D-изображения для улучшения рендеринга на устройстве 3D-дисплея. В частности, карта глубины, или доступная или генерируемая, обрабатывается для улучшения 3D-восприятия на конкретном 3D-дисплее. Данные изображения в данном случае включают в себя видеоданные и обычно обрабатываются в двух пространственных измерениях, тогда как время в видеоданных может использоваться в качестве третьего измерения.

Уровень техники

Международная заявка на патент WO 2005/060271 A1 описывает способ и устройство для генерирования стереоскопического изображения, включающего определение двух или более областей в сцене, представляющих область интереса, ближнюю область и/или дальнюю область, причем идеальная или наилучшим образом воспринимаемая глубина обеспечивается для области интереса и приемлемые или более сжатые воспринимаемые глубины - в другой области. Пары изображений затем отображаются вместе и образуют пару изображений дисплея для просмотра на устройстве дисплея.

Документ «Nonlinear disparity mapping for stereoscopic 3D, by Manuel Lang, et al. published in ACM Transactions on graphics, vol. 29, no. 4, July 26, 2010» описывает нелинейное отображение диспаратности для стереоскопического 3D, причем информация о значимости, основанная на текстуре изображения и глубине изображения, используется для вычисления значений важности, представляющих собой уровень визуальной важности каждого пикселя в изображении, которое используется для генерирования отображения диспаратности, отображающее входной диапазон диспаратности на выходной диапазон диспаратности, оказывающее предпочтение глубине областей, имеющих более высокие значения важности.

Документ «Adaptive 3D Rendering based on Region-on-Interest, by Christel Chamaret, Sylvain Godeffroy, Patrick Lopez, Olivier Le Meur, at Thomson Corporate Research, 1 Avenue de Belle-Fontaine 35576 Cesson-Sevigne France» описывает методы обработки 3D-видео, в частности управление высокой диспаратностью. Высокая диспаратность в настоящее время имеет большое влияние на просмотр 3D-сцен на стереоскопических экранах. Значимые области сцен обычно называются областями интереса в области обработки изображений. 3D-восприятие исправляется посредством применения некоторых эффектов, относящихся к интересующей области. В частности, сдвиг между двумя видами адаптивно регулируется, чтобы иметь нулевую диспаратность в зоне интересующей области в сцене.

Сущность изобретения

Вышеупомянутый документ описывает модифицирование диспаратностей в данных изображения посредством применения сдвига диспаратности между левым и правым видом, так что главная область интереса имеет нулевую диспаратность. Вследствие упомянутого сдвига другие зоны в данных изображения получают более высокую диспаратность, чем исходные данные. Такие диспаратности могут быть за пределами диапазона диспаратности, который зрительная система человека может комфортно обрабатывать в 3D-восприятии и может приводить к визуальному дискомфорту, усталости или диплопии (двоению в глазах). Документ предлагает применять размывание, например селективное размывание фоновой части изображения, чтобы спрятать такие причиняющие неудобство зоны. Также из-за сдвига области интереса с высокой диспаратностью в нулевую диспаратность необходимо применять относительно большой сдвиг. Следовательно, проблема известного способа заключается в том, что уменьшается 3D-восприятие изображения.

Задачей изобретения является обеспечение обработки данных 3D-изображения для улучшения рендеринга данных 3D-изображения, имеющих высокие диспаратности, в то же время исключая снижение качества изображения.

С этой целью, согласно первому аспекту изобретения способ, описанный в начальном абзаце, содержит извлечение из сигнала 3D-изображения первой карты глубины, содержащей первые значения глубины, извлечение из сигнала 3D-изображения данных значимости, представляющих собой значимость в величине данных 3D-изображения, причем значимость указывают значимые элементы, имеющие значимый диапазон значений глубины, определение поддиапазона глубины дисплея, причем поддиапазон глубины дисплея представляет собой поддиапазон используемого диапазона глубины 3D-дисплея и обеспечивает более высокое качество 3D-изображения для зрителя, чем качество 3D-изображения по используемому диапазону глубины, определение функции отображения глубины для величины данных 3D-изображения в зависимости от данных значимости, так что первые значения глубины в значимом диапазоне значений глубины отображаются на поддиапазон глубины дисплея, и в котором определение функции отображения глубины содержит составление объединенной гистограммы для значимых значений глубины и незначимых значений глубины, в котором значимые значения глубины взвешиваются с использованием первого весового коэффициента входного преобразования перед добавлением в гистограмму и незначимые значения глубины взвешиваются с использованием второго весового коэффициента входного преобразования перед добавлением в гистограмму, первый весовой коэффициент входного преобразования и второй весовой коэффициент входного преобразования в зависимости от поддиапазона глубины дисплея и используемого диапазона 3D-дисплея, определение диапазона глубины объединенной гистограммы и отображение диапазона глубины объединенной гистограммы внутрь используемого диапазона глубины 3D-дисплея, причем первый весовой коэффициент входного преобразования и второй весовой коэффициент входного преобразования являются разными и выбираются так, что первые значения глубины в значимом диапазоне значений глубины деформируются на поддиапазон глубины дисплея, и преобразование первой карты глубины во вторую карту глубины посредством функции отображения глубины и генерирование видов дисплея в зависимости от второй карты глубины.

С данной целью, согласно другому аспекту изобретения устройство 3D-видео для обработки сигнала 3D-изображения для рендеринга данных 3D-изображения на 3D-дисплее, основываясь на многих видах дисплея, содержит средство ввода для извлечения из сигнала 3D-изображения первой карты глубины, содержащей первые значения глубины, и для извлечения из сигнала 3D-изображения данных значимости, представляющих собой значимость в величине данных 3D-изображения, причем значимость указывает значимые элементы, имеющие значимый диапазон значений глубины, и видеопроцессор, выполненный с возможностью определения поддиапазона глубины дисплея, причем поддиапазон глубины дисплея представляет собой диапазон используемого диапазона глубины 3D-дисплея и обеспечивает более высокое качество 3D-изображения для зрителя, чем качество 3D-изображения по используемому диапазону глубины, определение функции отображения глубины для величины данных 3D-изображения в зависимости от данных значимости, так что первые значения глубины в значимом диапазоне значений глубины отображаются на поддиапазон глубины дисплея, и в котором определение функции отображения глубины содержит:

составление объединенной гистограммы для значимых значений глубины и незначимых значений глубины, при этом значимые значения глубины взвешиваются с использованием первого весового коэффициента входного преобразования перед добавлением в гистограмму и незначимые значения глубины взвешиваются с использованием второго весового коэффициента входного преобразования перед добавлением в гистограмму, причем первый весовой коэффициент входного преобразования и второй весовой коэффициент входного преобразования в зависимости от поддиапазона глубины дисплея и используемого диапазона 3D-дисплея, определение диапазона глубины объединенной гистограммы и отображение диапазона глубины объединенной гистограммы внутрь используемого диапазона глубины 3D-дисплея, причем первый весовой коэффициент входного преобразования и второй весовой коэффициент входного преобразования являются разными и выбираются так, что первые значения глубины в значимом диапазоне значений глубины деформируются на поддиапазон глубины дисплея, преобразование первой карты глубины во вторую карту глубины посредством функции отображения глубины для генерирования видов дисплея в зависимости от второй карты глубины.

Предпочтительно, что сигнал 3D-изображения для рендеринга данных 3D-изображения на 3D-дисплее, основываясь на многих видах дисплея, содержит метаданные, включающие в себя данные значимости, представляющие собой значимость в величине данных 3D-изображения, причем значимость указывает значимые элементы, имеющие значимый диапазон значений глубины, чтобы иметь возможность в устройстве 3D-видео выполнять извлечение из сигнала 3D-изображения первой карты глубины, содержащей первые значения глубины, определение поддиапазона глубины дисплея, причем поддиапазон глубины дисплея представляет собой поддиапазон используемого диапазона глубины 3D-дисплея и обеспечивает более высокое качество 3D-изображения для зрителя, чем качество 3D-изображения по используемому диапазону глубины, определение функции отображения глубины для величины данных 3D-изображения в зависимости от данных значимости, так что первые значения глубины в значимом диапазоне отображаются на поддиапазон глубины дисплея, и преобразование первой карты глубины во вторую карту глубины посредством функции отображения глубины для генерирования видов дисплея в зависимости от второй карты глубины.

Меры имеют эффект модифицирования диспаратностей, так что диспаратности между видами, визуализируемыми на конкретном дисплее, находятся в пределах используемого диапазона диспаратностей. Используемый диапазон также может называться стереоскопической комфортной зоной, т.е. диапазоном значений диспаратности при стереоскопическом рендеринге, который может комфортно обрабатываться зрительной системой человека в 3D-восприятие. Кроме того, данные значимости в данных 3D-изображения используются для определения значимого диапазона элементов, представляющих интерес, в изображении, и такие элементы отображаются на поддиапазон глубины 3D-дисплея, который имеет высокое качество 3D-изображения.

Функция отображения глубины содержит составление объединенной гистограммы для значимых пикселей и незначимых пикселей, причем значимые пиксели имеют первое входное преобразование и незначимые пиксели имеют второе входное преобразование, причем первое входное преобразование имеет функцию коррекции в зависимости от поддиапазона в отношении используемого диапазона; и отображение диапазона глубины объединенной гистограммы внутрь используемого диапазона глубины дисплея, причем функция коррекции является такой, что первые значения глубины в значимом диапазоне деформируются на поддиапазон глубины дисплея. Как значимые, так и незначимые значения вводятся в объединенную гистограмму, хотя применяя разное входное преобразование. Например, незначимые пиксели только вводятся в гистограмму, т.е. применяется единичное входное преобразование. Когда, например, поддиапазон равен 0,25 × используемый диапазон (т.е. 25% используемого диапазона), первое входное преобразование может иметь линейную функцию коррекции 4. Затем отображение основывается на том, что глубины объединенной гистограммы находятся внутри используемого диапазона, Полезно, что посредством, фактически, умножения значимых глубин на упомянутую функцию коррекции значимые глубины, по существу, попадают в поддиапазон.

Способ предназначен для обработки сигнала 3D-изображения для рендеринга данных 3D-изображения на 3D-дисплее, основываясь на многих видах дисплея. Такой дисплей, например, может представлять собой автостереоскопический дисплей, который генерирует многие виды в луче просмотра, имеющие такие размеры, чтобы обеспечивать пару видов для левого и правого глаза зрителя. Первая карта глубины извлекается из сигнала 3D-изображения. Также, данные значимости, представляющие собой значимость в величине данных 3D-изображения, извлекаются из сигнала изображения. Величиной может быть единственное изображение или видеокадр, или последовательность видеополей или кадров, таких как, например, кадры, соответствующие заданному периоду времени, снимку, единице кодирования, такой как группа видеокадров (GOP в кодировании MPEG (Экспертная группа по вопросам движущегося изображения)) и т.д. Используя несколько последовательных кадров или несколько непоследовательных кадров, представляющих снимок, таких как начальный кадр или начальный и конечный кадр, можно получить лучшую аппроксимацию значимых и незначимых данных.

Данные значимости могут быть включены в сигнал в виде метаданных или могут извлекаться посредством локальной обработки величины данных 3D-изображения. Значимость указывает значимые элементы, т.е. части изображения, которые привлекают внимание человека-зрителя. Значимые части изображения имеют значимый диапазон значений глубины, т.е. диапазон значений глубины тех частей изображения, которые имеют высокую вероятность привлечения внимания и сосредоточения зрителя. Значимость, например, может основываться на яркости, контрастности и/или цветовых различиях и, частично, может основываться на различиях глубины, например выступании. Также, тип предмета, например лицо человека, может обнаруживаться и использоваться для значимости. По существу, различные способы для определения значимых элементов в данных изображения известны для специалиста в данной области техники.

Изобретение также основывается на следующем распознавании. Изобретатели обнаружили, что для конкретного дисплея существует поддиапазон глубины дисплея используемого диапазона глубины соответствующего 3D-дисплея, который имеет более высокое качество 3D-изображения для зрителя, чем качество 3D-изображения по всему используемому диапазону глубины. Поддиапазон может быть связан с типом дисплея или может регулироваться для конкретного зрителя, например ребенка, или может представлять собой набор предпочтений зрителя. Также, поддиапазон может выбираться так, чтобы он имел низкий уровень перекрестных помех между видами, тогда как перекрестные помехи по используемому диапазону могут быть больше.

Определяется функция отображения глубины для отображения упомянутой величины данных 3D-изображения в зависимости от данных значимости. Функция отображения глубины имеет такие размеры, чтобы отображать дополнительные значения глубины, т.е. незначимые значения для незначимых частей изображения, чтобы, по существу, оставаться в используемом диапазоне дисплея. Функция отображения глубины применяется к исходным первым значениям глубины и генерирует адаптированные значения глубины, так что первые значения глубины в значимом диапазоне изменяются к значениям глубины в поддиапазоне глубины дисплея. В практических случаях, в зависимости от фактического содержимого изображения, по существу, все значения глубины могут отображаться в выбранный поддиапазон, или по меньшей мере сдвиг к поддиапазону выполняется для по меньшей мере части значимых значений глубины. Посредством отображения значимые элементы перемещаются в направлении глубины к диапазону высокого качества соответствующего дисплея, тогда как другие части изображения, по существу, сохраняют значения глубины в используемом диапазоне дисплея. Наконец, функция отображения глубины применяется к величине данных 3D-изображения для преобразования первой карты глубины во вторую, окончательную карту глубины, и виды дисплея генерируются в зависимости от второй карты глубины. Полезно, что исключается перемещение главного значимого объекта в нулевую диспаратность, так как значения глубины такого объекта будут перемещаться только к упомянутому поддиапазону и, поэтому, не будет форсироваться весь путь до нулевой диспаратности.

Отмечается, что в данном документе значения глубины и карты глубины также включают в себя значения диспаратности и карты диспаратности. Фактическим представлением глубины может быть значение в диапазоне значений глубины или диапазоне значений диспаратности, используемом конкретной системой, например, 0-255, где большие значения близки к зрителю и нулем является бесконечность. Альтернативно, может использоваться диапазон значений диспаратности вокруг нуля, например от -512 до +511, где отрицательные цифровые значения могут представлять диспаратности перед экраном дисплея и ноль находится в плоскости экрана. Альтернативно, положительная диспаратность d может представлять объект очень далеко, используя зависимость: xR=xL-dL. Значение диспаратности может соответствовать фактическим сдвигам в пикселях или может иметь другой масштаб или разрешение. Следовательно, где упоминаются основанные на глубине значения и/или обработка, такие термины также должны рассматриваться для охвата основанного на диспаратности представления. Обычно, диспаратность типично основывается на 1/Z, причем Z представляет собой глубину. Подробно, зависимость с Z хорошо известна, но является сложной (например, основывается на эпиполярной геометрии с параллельными камерами). Для типовых (малых) диапазонов входной диспаратности типового содержимого зависимость между глубиной и диспаратностью близка к линейной. Например, этапы преобразования первой карты глубины во вторую карту глубины посредством функции отображения глубины и генерирование видов дисплея в зависимости от второй карты глубины могут объединяться непосредственным генерированием видов, имеющих модифицированные, отображенные диспаратности.

Опционально, данные значимости представляют собой карту значимости, указывающую степень значимости для пикселей изображения. Степень значимости может быть по двоичной шкале, например 0 или 1, или могут использоваться промежуточные значения. Диапазон значений глубины может определяться для соответствующих значимых пикселей. Опционально, данными значимости является диапазон глубины значимости. Диапазон может определяться отдельно, например во время производства или предобработки данных 3D-изображения или 3D-видео.

Опционально, извлечение данных значимости содержит извлечение метаданных из сигнала 3D-изображения, причем метаданные представляют данные значимости данных 3D-изображения. Полезно, что источник данных 3D-изображения, например киностудия, может определять значимость и может включать метаданные, касающиеся значимости в сигнале 3D-видео.

Опционально, величина данных 3D-изображения представляет собой период сигнала 3D-видео, и функция отображения глубины зависит от данных значимости во времени. Функция отображения глубины определяется для упомянутого периода или максимально изменяется медленно в течение упомянутого периода. Полезно, что для зрительной системы человека не являются помехой частые изменения в перспективе глубины. В частности, функция отображения глубины может содержать определение снимка в качестве периода сигнала 3D-видео и установление функции отображения для снимка, или использование движущегося окна, имеющего предварительный просмотр, и установление функции отображения для окна.

Опционально, видеопроцессор выполнен с возможностью генерирования видов дисплея в зависимости от второй карты глубины. Опционально, устройство содержит 3D-дисплей для воспроизведения видов дисплея для соответствующих левых и правых глаз зрителя. Опционально, видеопроцессор выполнен с возможностью определения поддиапазона глубины дисплея посредством получения информации о возможностях дисплея от устройства 3D-дисплея, подсоединенного к устройству 3D-видео.

Опционально, извлечение данных значимости содержит извлечение метаданных из сигнала 3D-изображения, причем метаданные представляют данные значимости данных 3D-изображения.

Дополнительные предпочтительные варианты осуществления способа и 3D-устройств согласно изобретению приведены в прилагаемой формуле изобретения, описание которой включено в данный документ по ссылке.

Краткое описание чертежей

Эти и другие аспекты изобретения очевидны и поясняются дополнительно со ссылкой на варианты осуществления, описанные в качестве примера в нижеследующем описании и со ссылкой на прилагаемые чертежи, на которых

фиг. 1 изображает устройство для обработки данных 3D-изображения в системе для воспроизведения данных 3D-изображения,

фиг. 2 изображает общий вид системы отображения диспаратности,

фиг. 3 схематически изображает отображение диспаратности известного уровня техники,

фиг. 4 схематически изображает улучшенное отображение диспаратности,

фиг. 5 изображает нелинейное отображение диспаратности,

фиг. 6 изображает ограничение максимального коэффициента усиления,

фиг. 7 изображает улучшенное нелинейное отображение диспаратности.

На фигурах элементы, которые соответствуют уже описанным элементам, могут иметь одинаковые ссылочные позиции.

Подробное описание вариантов осуществления

Настоящее изобретение может использоваться для любого типа данных 3D-изображения или неподвижного изображения, или движущегося видео. Система обрабатывает карту глубины, обеспечиваемую в данных 3D-изображения. Карта глубины может или предоставляться первоначально при вводе системы, или может генерироваться так, как описано ниже, например из левого/правого кадров в стерео (L+R) видеосигнале или из 2D-видео. Предполагается, что данные 3D-изображения доступны в виде электронных, кодированных в цифровом виде данных. Настоящее изобретение относится к таким данным изображения и манипулирует данными изображения в цифровой области.

Существует много разных способов, которыми данные 3D-видео могут форматироваться и переноситься, называемых форматом 3D-видео. Некоторые форматы основываются на использовании 2D-канала также для передачи стереоинформации. Например, левый и правый вид могут чередоваться или могут располагаться рядом и выше и ниже. Альтернативно, 2D-изображение и карта глубины могут переноситься и, возможно, дополнительные 3D-данные, подобно данным перекрытия изображения или данным прозрачности. Любой способ обеспечения или пересылки данных 3D-изображения, такой как Интернет или синелучевой диск (BD), может обеспечивать данные 3D-видео.

Фиг. 1 изображает устройство для обработки данных 3D-изображения в системе для воспроизведения данных 3D-изображения. Первое устройство 40 3D-видео, названное 3D-источник, обеспечивает и пересылает сигнал 41 3D-видео на дополнительное устройство 50 обработки 3D-изображения, которое подсоединено к устройству 60 3D-дисплея для пересылки сигнала 56 3D-дисплея.

Фиг. 1 дополнительно изображает носитель 54 записи в виде носителя сигнала 3D-видео. Носитель записи имеет дискообразную форму и имеет дорожку и центральное отверстие. Дорожка, составленная посредством схемы расположения физически обнаруживаемых меток, располагается в соответствии со спиральной или концентрической схемой расположения витков, составляющих, по существу, параллельные дорожки на одном или нескольких информационных слоях. Носитель записи может быть оптически считываемым, называемым оптическим диском, например, компакт-диск (CD), цифровой многофункциональный диск (DVD) или синелучевой диск (BD) (Blu-ray Disc). Информация формируется на информационном слое посредством оптически обнаруживаемых меток вдоль дорожки, например микроуглублений и микровыступов. Структура дорожек также содержит информацию о положении, например заголовки и адреса, для указания расположения единиц информации, обычно называемых информационными блоками. Носитель 54 записи переносит информацию, представляющую кодированные цифровым образом данные 3D-изображения, такие как видео, например кодированные в соответствии с системой кодирования MPEG2 или MPEG4 в заданном формате записи, таком как формат DVD или BD.

3D-источник имеет узел 42 обработки для обработки данных 3D-видео, принимаемых посредством узла 47 ввода. Входные данные 43 3D-видео могут быть доступны от системы хранения, студии видеозвукозаписи, с 3D-камеры и т.д. Видеопроцессор 42 генерирует сигнал 41 3D-видео, содержащий данные 3D-видео. Источник может быть выполнен с возможностью пересылки сигнала 3D-видео от видеопроцессора через узел 46 вывода и на дополнительное устройство 3D-видео, или для предоставления сигнала 3D-видео для распределения, например, посредством носителя записи. Сигнал 3D-видео основывается на обработке входных данных 43 3D-видео, например, посредством кодирования и форматирования данных 3D-видео в соответствии с заданным форматом при помощи кодера 48.

3D-источником может быть сервер, вещательная компания, устройство записи или авторская и/или производственная система для производства оптических носителей записи, подобных Blu-ray Disc, обеспечивает интерактивную платформу для распределения видео для создателей контента. Информация о формате Blu-ray Disc доступна с веб-сайта ассоциации Blu-ray Disc в статьях о формате аудиовизуальных приложений, например http://www.blu-raydisc.com/Assets/Downloadablefile/2b_bdrom_audiovisualapplication_0305-12955-15269.pdf. Процесс производства оптического носителя записи дополнительно содержит этапы обеспечения физической схемы расположения меток в дорожках, причем эта схема расположения формирует сигнал 3D-изображения, который может включать в себя метаданные 3D-значимости, и затем формирования материала носителя записи в соответствии со схемой расположения для обеспечения дорожек меток на по меньшей мере одном слое хранения.

Устройство 50 обработки 3D-изображения имеет узел 51 ввода для приема сигнала 41 3D-видео. Например, устройство может включать в себя узел 58 оптического диска, соединенный с узлом ввода для извлечения информации о 3D-видео с оптического носителя 54 записи, такого как DVD или Blu-ray Disc. Альтернативно (или дополнительно), устройство может включать в себя узел 59 сетевого интерфейса для подсоединения к сети 45, например Интернету или широковещательной сети, причем такое устройство обычно называется телевизионной приставкой. Сигнал 3D-видео может извлекаться с удаленного веб-сайта или медиасервера, как указано 3D-источником 40. Устройство обработки 3D-изображения может представлять собой преобразователь, который преобразует входной сигнал изображения в выходной сигнал изображения, имеющий требуемую диспаратность. Такой преобразователь может использоваться для преобразования разных входных сигналов 3D-видео для конкретного типа 3D-дисплея, например стандартный 3D-контент в видеосигнал, пригодный для автостереоскопических дисплеев конкретного типа или производителя. На практике устройством может быть оптический дисковый 3D-проигрыватель или спутниковый приемник, или телевизионная приставка, или любой тип медиаплеера.

Устройство 3D-обработки имеет узел 52 обработки, соединенный с узлом 51 ввода, для обработки 3D-информации для генерирования сигнала 56 3D-дисплея, подлежащего переносу посредством узла 55 выходного интерфейса, на устройство дисплея, например сигнал дисплея в соответствии со стандартом мультимедийного интерфейса высокого разрешения (HDMI), см. «High Definition Multimedia Interface; Specification Version 1.4a of March 4, 2010», 3D-часть которого доступна по адресу: http://hdmi.org/manufacturer/specification.aspx для общедоступной загрузки. Узел 52 обработки выполнен с возможностью генерирования данных изображения, включенных в сигнал 56 3D-дисплея для воспроизведения на устройстве 60 дисплея.

Устройство 60 3D-дисплея предназначено для воспроизведения данных 3D-изображения. Устройство имеет узел 61 входного интерфейса для приема сигнала 56 3D-дисплея, включающего в себя данные 3D-видео, переносимые с 3D-плеера 50. Перенесенные данные 3D-видео обрабатываются в узле 62 обработки для воспроизведения на 3D-дисплее 63, например двойном жидкокристаллическом дисплее (LCD) или дисплее с многими видами. Устройство 60 дисплея может быть любого типа из стереоскопического дисплея, также называемого 3D-дисплеем.

Видеопроцессор в устройстве 3D-видео, т.е. процессорные узлы 52 в устройстве 50 3D-видео, выполнен с возможностью исполнения следующих функций для обработки сигнала 3D-видео. Сигнал 3D-видео принимается средством 51, 58, 59 ввода, которое обеспечивает данные 3D-изображения, содержащие по меньшей мере первую карту глубины и данные изображения. Снова отмечается, что карта диспаратности в данном тексте, как считается, также является типом карты глубины. Например, первая карта глубины может генерироваться из стерео (L+R) входного сигнала посредством оценки диспаратности. Первая карта глубины имеет первые значения глубины и изображение, содержащее значения изображения в двумерном массиве пикселей. Отмечается, что карта глубины также имеет двумерный массив пикселей и соответствует изображению, хотя карта глубины может иметь другое разрешение.

Видеопроцессор 62 в устройстве 60 3D-дисплея выполнен с возможностью обработки данных 3D-видео для генерирования сигналов управления дисплеем для рендеринга многих видов. Виды могут генерироваться из данных 3D-изображения, используя карту глубины.

В первом варианте осуществления системы видеопроцессор 62 выполнен с возможностью обработки сигнала 3D-изображения для рендеринга данных 3D-изображения на 3D-дисплее, основываясь на многих видах дисплея. Обработка ввода включает в себя извлечение из сигнала 3D-изображения первой карты глубины, содержащей первые значения глубины, и извлечение из сигнала 3D-изображения данных значимости, представляющих значимость в величине данных 3D-изображения. Значимость указывает значимые элементы, имеющие значимый диапазон значений глубины. Карта глубины и/или данные значимости могут генерироваться на источнике данных 3D-изображения, таком как киностудия, и затем передаваться с сигналом 3D-изображения, или могут генерироваться в устройстве 3D-плеера или в устройстве 3D-дисплея.

Значимость указывает значимые элементы, т.е. части изображения, которые привлекают внимание человека-зрителя. Значимые части изображения имеют значимый диапазон значений глубины, т.е. диапазон значений глубины этих частей изображения, которые имеют высокую вероятность привлечения внимания и сосредоточенности зрителя. Значимость, например, может основываться на яркости, контрастности и/или цветовых различиях и/или разностях глубины, например выступании. Также, тип предмета, например лицо человека, может обнаруживаться и использоваться для значимости. По существу, известны различные способы для определения значимых элементов в данных изображения.

Например, чтобы обнаружить лица, изобретатели могут применять известный обнаружитель лиц, см., например, «P. Viola and M. Jones, Robust Real-time Object Detection, Second International Workshop On Statistical And Computational Theories Of Vision - Modeling, Learning, Computing, and Sampling; Vancouver, Canada, July 13, 2001». Изобретатели могут обнаруживать, в частности, большие лица, так как они являются наиболее значимыми; меньшие лица могут игнорироваться. Для лиц в анфас такое обнаружение обычно является довольно устойчивым к ошибкам, означая, что такое лицо в анфас будет обнаруживаться в большинстве кадров.

Также могут быть включены другие меры значимости, кроме обнаружителя лица. Это может быть обнаружители конкретного объекта, но также может быть «стандартная» мера значимости, указывающая части изображения, к которым привлекается внимание зрителя. Выходной результат многочисленных обнаружителей может объединяться, если они ассоциируются с одним и тем же значимым диапазоном глубины ( $$d_{min}^S,d_{max}^S$$ ), или обрабатываться отдельно, если они не ассоциируются. В оставшемся описании изобретатели предполагают единственный значимый диапазон глубины, но все описание в равной степени применимо для общего случая.

Для включения метаданных значимости в данные 3D-изображения соответствующий 3D-формат может быть улучшен посредством определения дополнительной структуры данных или подлежащего пересылке сообщения, в пределах ограничений 3D-формата, такого как формат видео BD или формат интерфейса HDMI, упомянутые выше. Например, метаданные значимости могут включать в себя значимый диапазон глубины или значений диспаратности, или указание одной или нескольких значимых областей в данных изображения, например карты значимости. Опционально, метаданные значимости могут включать в себя конкретную функцию отображения или конкретные параметры, подлежащие использованию для улучшенного отображения диспаратности, как описано ниже. Например, конкретная зависимость, один из многих поддиапазонов или значения смещения могут обеспечиваться для использования во время отображения. Метаданные значимости также могут задаваться для конкретного периода данных 3D-изображения, например для ряда кадров, кодированной группы видеокадров (GOP в кодировании MPEG), сцены или снимка сигнала 3D-видео и т.д., и могут включать в себя данные о временных границах или переходных моментах, где может регулироваться отображение диспаратности, или периоды, когда отображение должно оставаться фиксированным, или отображение может совсем не применяться. Метаданные смещения могут быть включены для нескольких разных целевых систем 3D-дисплея, например первый набор значимых данных для автостереоскопического дисплея с относительно малым поддиапазоном и второй набор для стереоскопического дисплея, имеющего больший поддиапазон.

Кроме того, обработка включает в себя определение поддиапазона глубины дисплея. Поддиапазон глубины дисплея представляет собой поддиапазон используемого диапазона глубины 3D-дисплея и обеспечивает более высокое качество 3D-изображения для зрителя, чем качество 3D-изображения по используемому диапазону глубины. Поддиапазоном может быть заданный диапазон, который определяется для соответствующего типа дисплея и может извлекаться посредством цифрового интерфейса для дисплея или посредством таблицы поиска. Например, поддиапазон может пересылаться как часть данных расширенных данных идентификации дисплея (EDID). Следовательно, поддиапазон глубины дисплея может определяться посредством получения информации о возможностях дисплея от устройства 60 3D-дисплея, подсоединенного к устройству обработки, например для приема исправленной карты глубины или многих видов.

Опционально, поддиапазон может устанавливаться или регулироваться для конкретного зрителя, например ребенка, или может представлять собой предпочтения пользователя, введенные зрителем. Например, поддиапазон представляет собой диапазон, где объекты имеют высокую резкость, тогда как объекты вне поддиапазона имеют меньшую резкость или могут расплываться. Автостереоскопический дисплей обычно имеет такой поддиапазон. Также, поддиапазон может выбираться, чтобы он имел низкий уровень переходных помех между видами, тогда как переходные помехи по используемому диапазону могут быть больше. Стереоскопические дисплеи, например, использующие затворные очки, могут быть склонны к таким переходным помехам.

Обработка дополнительно включает в себя определение функции отображения глубины для величины данных 3D-изображения в зависимости от данных значимости, так что первые значения глубины в значимом диапазоне отображаются на поддиапазон глубины дисплея. Наконец, первая карта глубины преобразуется во вторую карту глубины посредством функции отображения глубины, и виды дисплея генерируются в зависимости от второй карты глубины.

Альтернативно, видеопроцессор 52 в устройстве 50 3D-плеера или узел 42 обработки в устройстве 3D-источника могут быть выполнены с возможностью выполнения упомянутой обработки карты глубины. Данные значимости и/или вторая карта глубины, и/или многие виды, сгенерированные для заданного 3D-дисплея, могут переноситься с сигналом 3D-изображения на упомянутый 3D-дисплей.

Обработка сигнала 3D-изображения может дополнительно включать в себя генерирование первой карты глубины из сигнала 2D-видео для преобразования 2D-видео в 3D-видео, известное как таковое. Упомянутое обеспечение сигнала 3D-видео содержит прием сигнала 2D-видео, содержащего последовательность кадров 2D-видео, и генерирование первой карты глубины, основываясь на обработке последовательности кадров 2D-видео. Отмечается, что сгенерированные таким образом карты глубины часто имеют ограниченное качество, и фильтрация и улучшение карты глубины могут существенно повысить упомянутое качество. Функция генерирования карты глубины может быть реализована в узле 51 ввода 3D-плеера, или в видеопроцессоре 62 в устройстве 60 3D-дисплея, или в узле 42 обработки в устройстве 3D-источника.

В одном варианте осуществления генерируется первая карта глубины, например видеопроцессором 52 в устройстве 50 3D-плеера или узлом 62 обработки в устройстве 3D-дисплея. Генератор карты глубины при работе принимает стерео 3D-сигнал, также называемый левый-правый видеосигнал, имеющий временную последовательность левых кадров L и правых кадров R, представляющих левый вид и правый вид, подлежащие воспроизведению для соответствующих глаз зрителя для создания 3D-эффекта. Узел затем генерирует первую карту глубины посредством оценки диспаратности левого вида и правого вида и может дополнительно обеспечивать 2D-изображение, основываясь на левом виде и/или правом виде. Оценка диспаратности может основываться на алгоритмах оценки движения, используемых для сравнения L и R кадров. Большие отличия между L и R видом объекта преобразуются в значения глубины перед или после экрана дисплея в зависимости от направления различия. Выходным результатом узла генератора является первая карта глубины. Отмечается, что другие узлы ввода могут использоваться для обеспечения первой карты глубины и соответствующих данных 2D-изображения.

Фиг. 2 изображает общий вид системы для отображения диспаратности. Узел 21 оценки диспаратности обеспечивает первую карту 28 диспаратности, основываясь на данных 3D-изображения. Обнаружитель 22 значимости обеспечивает данные 23 значимости, основываясь на обнаружении значимых элементов в данных 3D-изображения. В узле 24 отображения диспаратности первая карта диспаратности модифицируется на основе целевого поддиапазона 25 диспаратности, который обнаруживается для 3D-дисплея 27. Поддиапазон может задаваться для конкретного типа дисплея, такого как конкретный автостереоскопический дисплей, и может передаваться посредством интерфейса, или может устанавливаться или регулироваться зрителем, основываясь на предпочтениях. Наконец, рендерер 26 видов генерирует многие виды, т.е. по меньшей мере левый и правый вид для стереоскопического дисплея, или множество последовательных видов для автостереоскопического типа дисплея. Отмечается, что функции, схематически указанные на фиг. 2, соответствуют этапам в способе для обработки 3D-видео, например реализованные в компьютерной программе при исполнении в системе обработки сигнала, или на компьютере общего назначения.

Как таковая оценка диспаратности известна, например, из «D. Scharstein and R. Szeliski, A taxonomy and evaluation of dense two-frame stereo correspondence algorithms, International Journal of Computer Vision, 47(1/2/3):7-42, April-June 2002». При точной оценке и сохранении значения диспаратности позволяют выполнять адаптацию эффекта глубины для стереоскопического контента. Это может быть полезным, например, при адаптации стереоскопического контента для просмотра на дисплее с другим размером или для просмотра на автостереоскопических дисплеях с многими видами. Деформирование диапазона диспаратности без явного вычисления карты диспаратности исследовалось в «M. Lang, A. Hornung, O. Wang, S. Poulakos, A. Smolic, and M. Gross, Nonlinear Disparity Mapping for Stereoscopic 3D, Proc. ACM SIGGRAPH, 2010».

В настоящее время признано, что при просмотре 3D-контента на автостереоскопическом дисплее важно деформировать входной диапазон глубины в диапазон глубины, так что результат выглядит хорошим на дисплее конкретного типа. Было замечено, что только конкретный поддиапазон может быть достаточно резким для комфортного просмотра на линзорастровом дисплее. Резкость уменьшается постепенно с увеличением глубины от плоскости экрана, в то же время все же создавая используемый 3D-эффект по используемому диапазону глубин.

Одновременно при просмотре содержимого на таком дисплее становится ясно, что некоторые объекты или части видео больше беспокоят, когда они становятся размытыми по сравнению с другими. Или, другими словами, требования к резкости для значимого объекта (например, лица) являются более строгими, чем для менее значимого или незначимого объекта (например, леса на заднем плане).

Фиг. 3 схематически изображает отображение диспаратности известного уровня техники. Верхняя часть изображает 3D-изображение 30, имеющее три элемента, кружок, имеющий малую диспаратность, треугольник, имеющий положительную диспаратность (d₂>0), и звездочку, имеющую отрицательную диспаратность (d₁<0), т.е. находится ближе всего к зрителю. Средняя часть изображает входной диапазон 31 значений диспаратности, который больше используемого диапазона 32 значений диспаратности дисплея, указанный посредством d_min - d_max, который показан на нижней части. Отображение диспаратности известного уровня техники просто сжимает входной диапазон до соответствия используемому диапазону.

Как указано в «The zone of comfort: Predicting visual discomfort with stereo displays», by T. Shibata, et al., Journal of Vision 2011, July 21, 2011, vol. 11, no. 8, article 11, включенной в данный документ по ссылке, существует различие между естественным просмотром и стереоскопическим 3D-просмотром. При естественном просмотре стимул вергентных движений глаз и фокальный стимул являются совместимыми, тогда как для 3D-стереопросмотра это не так. 3D-стереопросмотр создает несовместимости между вергентными движениями глаз и фокусными расстояниями, так как расстояние вергентных движений глаз изменяется в зависимости от содержимого изображения, тогда как фокусное расстояние остается постоянным.

В вышеупомянутой статье дополнительно указывается, что, хотя кинематографисты стремятся использовать правила для ограничения диспаратности дисплея на практике, нет реального единодушия о точном определении комфортной зоны. Например, упоминается процентное правило, которое утверждает, что сходящаяся диспаратность ближе экрана не должна превышать 2-3% ширины экрана, тогда как расходящаяся диспаратность не должна превышать 1-2% ширины экрана. Авторы статьи дополнительно наблюдали, что может быть уместным некоторое уточнение этого процентного правила, и дополнительно указали, что границами являются не жесткие границы, но, фактически, непрерывные.

Что касается автостереоскопических дисплеев, изобретатели наблюдали, что при увеличении глубины стереоскопического изображения, начиная со 3D-стереоизображения насколько возможно близко к 2D-изображению, возможно увеличить диспаратность в некотором интервале (и с ней 3D-эффект) без существенного влияния на воспринимаемую резкость стереоизображения. При дальнейшем увеличении диспаратности резкость стереоскопического изображения ухудшается, но воспринимаемый 3D-эффект увеличивается. В некоторой точке дальнейшее увеличение диспаратности дисплея больше не увеличивает 3D-эффект, но может, фактически, уменьшить воспринимаемый 3D-эффект.

Изобретатели дополнительно отметили различие в вышеупомянутом для значимых и незначимых объектов. Изобретатели отметили, что независимо от точного определения границ комфортной зоны, по-видимому, существует различие в допуске на допустимые диспаратности для значимых объектов и для незначимых объектов. Основываясь на этом понимании, было возможным получить субъективно воспринимаемое улучшение стереоскопического восприятия 3D-стереоизображений, когда значимые объекты отображались в области с меньшими значениями диспаратности (к нулю), т.е. в диапазон глубин, который позволяет получить более резкий рендеринг изображения. Для незначимых объектов это, по-видимому, не является таким же критичным, как в результате, когда незначимый объект может отображаться на большие значения диспаратности, например, на всю комфортную зону, с ограниченным влиянием на воспринимаемое качество.

Предпочтительно, что значимые объекты отображаются в поддиапазон комфортной зоны. Этот поддиапазон может восприниматься как подмножество комфортной зоны, имеющее более строгие требования к качеству, чем комфортная зона. Помещая значимые объекты в это подмножество диапазона диспаратности дисплея, может выполняться рендеринг значимых объектов с более высокой воспринимаемой резкостью, чем у незначимых объектов.

Фиг. 4 схематически изображает улучшенное отображение диспаратности. Верхняя часть изображает 3D-изображение 33, имеющее четыре элемента, кружок, имеющий малую диспаратность, треугольник, имеющий положительную диспаратность (d₂>0), и звездочку, имеющую отрицательную диспаратность (d₁<0), т.е. расположенную ближе всего к зрителю, и лицо - ближе к треугольнику. Средняя часть изображает входной диапазон 34 значений диспаратности. Нижняя часть изображает вторую карту диспаратности, т.е. после основанного на значимости отображения диспаратности. Теперь был определен используемый диапазон 36 значений диспаратности дисплея, который является доступным для незначащих частей изображения, указанный посредством d^NS _min - d^NS _max, который показан в нижней части. Поддиапазон 35 подходит для значимых частей изображения, указанный посредством d^S _min - d^S _max. Предполагается, что лицо обнаруживается значимым элементом. Основанное на значимости отображение, как описано ниже, использует функцию отображения диспаратности, которая отображает значения диспаратности лица в поддиапазон. Вторая карта диспаратности изображает, что лицо теперь воспроизводится в поддиапазоне 35.

Следовательно, улучшенное отображение основывается на значимости объектов, что оправдывает изменяемые требования на отображение диспаратности. Вместо использования единственного диапазона используемых диспаратностей для деформирования, конкретный поддиапазон используется для отображения значимых частей. На практике использование двух диапазонов глубины, т.е. упомянутого поддиапазона и полного используемого диапазона, уже дает очень хорошее улучшение, тогда как диапазон глубины для использования определяется на основе одного или многочисленных узлов оценки значимости.

В одном варианте осуществления изобретатели используют два диапазона глубины, где одним является поддиапазон, который предназначен для более значимых областей, таких как обычно лица, и другим - для менее значимых областей, таких как ландшафт. Изобретатели предполагают, что определили два диапазона диспаратности:

( $$d_{min}^{NS},d_{max}^{NS}$$ ), используемый для незначимых (NS) областей,

( $$d_{min}^S,d_{max}^S$$ ), поддиапазон для значимых (S) областей (например, лиц).

Обычно поддиапазон (значительно) меньше первого диапазона. Необходимо понять, что для систем воспроизведения, которые используют промежуточное представление глубины, используемый диапазон может задаваться в этом промежуточном представлении. Когда, например, регулируются установки дисплея, так что весь диапазон глубины может использоваться для незначимых областей, тогда изобретатели должны определить $$d_{min}^{NS}=0$$ и $$d_{\max }^{NS}=255$$ шагов. В данном случае для значимых областей может быть, например, что $$d_{min}^S=64$$ и $$d_{\max }^S=192$$ шагов. На практике диапазоны могут определяться на основе проверок просмотра с представительным содержимым. В дисплее с рендерингом глубин промежуточное представление глубины может преобразовываться в диспаратности как часть процедуры синтеза вида.

Входные значения диспаратности $$d_{}^S$$ и $$d_{}^{NS}$$ из значимых и незначимых областей могут объединяться в одну гистограмму следующим образом. Преобразование выполняется посредством определения оператора φ(d), который преобразует диспаратности из значимого диапазона ( $$d_{min}^S,d_{max}^S$$ ) в незначимый диапазон ( $$d_{min}^{NS},d_{max}^{NS}$$ ), так что $$\varphi \left(d_{min}^S\right)=d_{min}^{NS}$$ и $$\varphi \left(d_{\max }^S\right)=d_{\max }^{NS}$$ . Обычно диапазоны диспаратности центрируются к нулю, и оператором может быть φ(d)=cd, причем c является константой. Отмечается, что надлежащим образом могут быть выбраны другие функции. Для последовательности кадров по порядку, изобретатели обновляют гистограмму диспаратностей, учитывая значимость пикселей. Для каждого пикселя p с диспаратностью d:

h(d)+=1, т.е. h(d)=h(d)+1, если p является незначимым пикселем,

h(φ(d))+=1, $$\begin{array}{ccc}& & \end{array}$$ если p является значимым пикселем.

Изобретатели затем отображают на целевой диапазон диспаратности посредством выбора низкого (например, 2) и высокого (например, 98) процентиля из гистограммы и отображают упомянутый диапазон на целевой диапазон.

В другом варианте осуществления повышается временная стабильность для преобразования глубины. Гистограммы вычисляются и используются так, как описано выше, но дополнительно гистограмма для текущего кадра h_N рекурсивно объединяется со взвешенной версией гистограммы H_N-1, используемой в предыдущем кадре:

H_N=αH_N-1+h_N,

где α близка или равна 1 для кадров со снимком и близка или равна 0 непосредственно после смены снимка. При необязательном улучшении значение α зависит от количества кадров после последней смены снимка, возможно, учитывая величину изменения изображения и оцененную вероятность прошлой или предстоящей смены снимка.

Практический вариант осуществления имеет следующие функции: все значения являются примерами. Для примера изобретатели предполагают, что они имеют входное видео с глубиной/диспаратностью, и были обнаружены значимые элементы, подобные лицам. Следовательно, изображение делится на значимый пиксель(-и) и незначимый пиксель(-и). Изобретатели предполагают, что 3D-дисплей (стерео или автостерео) имеет «используемый» диапазон диспаратности [-40,40] и поддиапазон диспаратности «резкий/приятный» [-10,10]. Функция отображения должна отображать входные значения глубины ([0,255]) на диспаратности дисплея.

Обычно, без использования значимости, входной диапазон [0,255] отображается в [-40,40]. Проблема с таким обычным отображением заключается в том, что крайние части этого диапазона обычно не являются очень приятными/комфортными для наблюдения. Например, для автостереоскопического дисплея они становятся менее резкими. Если затем лицо получает такие «крайние» значения диспаратности, результирующее 3D-изображение является не очень приятным для просмотра.

Для улучшенного отображения изобретатели знают значимые области и их входные значения глубины. Функция отображения имеет такие размеры, что эти значения деформируются в диапазон диспаратности «резкий/приятный» ([-10,10]), так как люди концентрируют внимание на этих частях. Для остальной части изображения диспаратности отображаются на «используемый» диапазон [-40,40].

То, как это сделать, представляет собой создание объединенной гистограммы входных значений диспаратности. Пиксели вне значимых областей непосредственно добавляются к гистограмме диспаратности:

h(d)+=1, $$\begin{array}{ccc}& & \end{array}$$ если p является незначимым пикселем,

причем формула указывает, что «бин» гистограммы для значения d увеличивается на единицу. Для пикселя в значимых областях используется другое преобразование. Он добавляется к другому бину гистограммы. Объединенная гистограмма используется для выполнения отображения.

В примерном случае и используя линейное отображение, изобретатели получают

h(4d)+=1, $$\begin{array}{ccc}& & \end{array}$$ если p является значимым пикселем,

причем формула указывает, что «бин» для значения 4d (4, умноженное на d) увеличивается на единицу. Следовательно, значимые пиксели преобразуются посредством функции коррекции перед вводом в объединенную гистограмму. Посредством упомянутой функции коррекции диапазон глубины значимых пикселей деформируется в значения, которые в четыре раза больше их исходных значений. Посредством такого вычисления объединенная гистограмма образуется для значимых пикселей и незначимых пикселей, причем значимые пиксели имеют первое входное преобразование и незначимые пиксели имеют второе входное преобразование. Первое входное преобразование для значимых пикселей имеет функцию коррекции, которая устанавливается в зависимости от поддиапазона в отношении используемого диапазона.

Таким образом, изобретатели получают единственную гистограмму вместе для всех пикселей. Изобретатели тогда могут определить, что они хотят отобразить некоторые процентили на доступный диапазон, например изобретатели могут отобразить 5%-процентиль гистограммы диспаратности на -40 и 95%-процентиль на 40 и выполнить линейное отображение для промежуточных значений. Отмечается, что малая величина, около 10% в примере, значений диспаратности будет вне используемого диапазона дисплея, но большая часть будет отображаться на [-40,40]. На практике упомянутая малая величина значений диспаратности может отсекаться, чтобы попадать в используемый диапазон. Следовательно, диапазон глубины объединенной гистограммы отображается внутрь используемого диапазона глубины дисплея, и функция коррекции эффективно достигает того, что первые значения глубины в значимом диапазоне деформируются в поддиапазон глубины дисплея.

В другом примере данных значимости выражаются в степени, например дробном значении между единицей и нулем. Соответствующие бины гистограммы могут модифицироваться упомянутой функцией. Например, может быть принято во внимание значение достоверности $$w\in [\mathrm{0,1}]$$ обнаружителя объектов или регулировкой φ(d) или, предпочтительно, рассматривая пиксель p в качестве частично значимого пикселя:

h(d)+=1-w $$\begin{array}{cccc}& & & \end{array}$$ для всех p

h(φ(d))+=w $$$$ $$\begin{array}{ccc}& & \end{array}$$ для всех p

В другом примерном варианте осуществления вычисляются отдельные гистограммы для значимых и незначимых значений. Значения границы для значимого диапазона определяются из значимой гистограммы, например 5%- и 95%-процентилями. Затем изобретатели отображают значимый диапазон диспаратностей на диапазон «резкий/приятный», в то же время отображая остальной диапазон на «используемый» диапазон. Остальной диапазон обычно включает в себя два поддиапазона, первый поддиапазон незначимых значений, которые больше верхней границы значимого диапазона, который отображается на диапазон [10,40], и второй поддиапазон незначимых значений, которые меньше нижней границы значимого диапазона, который отображается на диапазон [-40,-10]. Таким отображением тогда может быть кусочно линейное отображение или нелинейное отображение. Пример нелинейного отображения описывается ниже.

Необязательно, что только значимые пиксели вводятся в гистограмму. Гистограмма значимых значений глубины затем отображается на высококачественный поддиапазон дисплея. Остальной диапазон значений глубины затем отображается на используемый диапазон, т.е. без определения величины незначимых значений глубины, которые фактически имеют место.

Следующие варианты могут рассматриваться для повышения временной стабильности в практических обстоятельствах.

Для автономной обработки можно принимать решение о целевом диапазоне на снимок. Временные границы могут быть известны или автоматически определяться с использованием алгоритмов обнаружения, известных по существу. Вышеупомянутые гистограммы могут вычисляться для общей длительности снимка, например, выполняя единственное отображение для снимка. Альтернативно, может допускаться, чтобы имела место небольшая разность во время снимка. Большая разность будет иметь место на границе снимка, но она, вероятно, будет невидимой при смене снимка. Следовательно, это отображение диспаратности будет иметь результатом стабильное и приемлемое 3D-восприятие.

Для неавтономной обработки, используя подходящую буферизацию, можно предварительно просматривать пару кадров и основывать целевой диапазон на (движущемся) окне кадров.

Для неавтономной обработки, когда кадры не могут задерживаться, временная стабильность может быть повышена только посредством предоставления возможности уменьшения диапазона (уменьшения глубины) во время снимка. Непосредственно после смены снимка диапазон сбрасывается. Альтернативно, в течение снимков также может разрешаться небольшое и постепенное увеличение диапазона.

Фиг. 5 изображает нелинейное отображение диспаратности. Левая диаграмма 501 изображает гистограмму значений диспаратности. Гистограмма представляет собой объединенную гистограмму значимых и незначимых значений глубины, имеющих соответствующие разные функции входного преобразования, как описано выше. Средняя диаграмма 502 изображает нормализованную гистограмму, полученную посредством оценки относительных частот, для непрерывных данных, также известную как функция плотности вероятности (PDF). Правая диаграмма 503 изображает оценку интегральной функции плотности (CDF), полученную интегрированием или суммированием нарастающим итогом. Упрощенным способом нелинейного отображения является масштабирование CDF до используемого целевого диапазона, например, [d_min, d_max]=[-40, 40] следующим образом:

φ(d)=CDF(d)×(d_max-d_min)+d_min=80·CDF(d)-40.

Эффектом упрощенного отображения является то, что диспаратности внутри объектов могут растягиваться и могут вызвать видимое искажение. Решением является ограниченное отображение, которое ограничивает наклон отображения, например, посредством

φ'(d)<=maxgain.

где maxgain представляет собой константу, выбранную для установления предела упомянутому искажению.

Фиг. 6 изображает ограничение максимального коэффициента усиления. x-значения представляют собой целевые значения глубины и y-значения представляют собой значения коэффициента усиления, пропорциональные входной/выходной плотности. Упрощенное отображение 601 изображает очень высокие пиковые значения упомянутого коэффициента усиления. Значение 603 максимального коэффициента усиления указывается пунктирной линией. Ограниченное отображение 602 не простирается выше упомянутого максимального коэффициента 603 усиления. В областях, не имеющих пиковых значений, ограниченное отображение 602 является более высоким, чем упрощенное отображение 601.

Фиг. 7 изображает улучшенное нелинейное отображение диспаратности. Фигура изображает результат функций нелинейного отображения. Упрощенная кривая 701 изображает базовое нелинейное отображение φ(d) без ограничения максимума, тогда как кривая 702 ограниченного отображения изображает улучшенное нелинейное отображение φ'(d) с ограничением максимума.

Нижеследующий раздел обеспечивает примерный псевдокод функции отображения φ'(d) в 4 шага:

1. Ввод

a. упрощенное отображение phi_naive, требуемый выходной диапазон [d_min, d_max] и ограничение максимального коэффициента усиления maxgain

2. Инициализация:

a. phi' :=phi'_naive (начиная с производной упрощенного отображения)

b. last :={}

3. Итерация:

a. saturated := {d|phi' (d)>=maxgain}

b. Перейти к 4, когда saturated = last

c. last := saturated

d. phi'(d) := maxgain для всех d в saturated (регулировать отображение для насыщенных областей)

e. correction := (sum(phi'_naive)-sum_saturated(phi'))/sum_not saturated(phi')) (вычислить корректирующий коэффициент усиления для ненасыщенных областей)

f. phi'(d) := correction phi' для всех d не в saturated (отрегулировать отображение для ненасыщенных областей)

4. Завершить:

a. phi := интегрировать phi' + d_min

b. phi := phi + (d_max - phi(∞))/2 (центрировать диапазон отображения в пределах заданного диапазона)

Отмечается, что условие 4b имеет место без диспаратности или с незначительной диспаратностью в сведениях изображения источника, например в течение заглавного титра фильма. Кроме того, примерный алгоритм отображает медианную диспаратность около центра требуемого поддиапазона, который является, в основном, предпочтительным.

Итак, диспаратности должны деформироваться в используемый диапазон для оптимальных условий 3D-просмотра на конкретном 3D-дисплее. Обнаружено, что единственный диапазон деформирования является субоптимальным, приводя к или слишком ограниченному диапазону (малый эффект глубины) или к слишком широкому диапазону (раздражающее размытие значимых объектов). Изобретатели, поэтому, предлагают основанную на значимости деформацию входного диапазона диспаратности, где значимые области деформируются в более ограниченный выходной поддиапазон диспаратностей, в то время как незначимые области могут использовать полный, больший используемый диапазон диспаратностей.

Изобретение может конкретно применяться в устройствах автостереоскопических дисплеев, таких как устройства линзорастрового дисплея или дисплея барьерного типа с многими видами, причем изобретение используется для преобразования моно/стереоконтента во многие виды для использования с такими дисплеями.

Хотя изобретение было объяснено, главным образом, посредством вариантов осуществления, использующих передачу сигнала 3D-изображения посредством оптического диска, такого как BD, изобретение также пригодно для любого распределения 3D-видео по цифровому каналу, например цифровому телевизионному вещанию (DVB) или Интернету.

Понятно, что вышеупомянутое описание для ясности описало варианты осуществления изобретения со ссылкой на функциональные узлы и процессоры. Однако понятно, что любое подходящее распределение функциональных возможностей между разными функциональными узлами или процессорами может использоваться без отступления от изобретения. Например, изображенная функциональная возможность, подлежащая выполнению отдельными узлами, процессорами или контроллерами, может выполняться одним и тем же процессором или контроллером. Следовательно, ссылки на конкретные функциональные узлы делаются только для того, чтобы рассматриваться как ссылки на подходящие средства для обеспечения описанной функциональной возможности, а не указания строгой логической или физической структуры или организации. Изобретение может быть реализовано в любой подходящей форме, включая аппаратные, программные, аппаратно-программные средства или любую их комбинацию.

Хотя выше большинство вариантов осуществления было приведено для устройств, эти же функции обеспечиваются соответствующими способами. Такие способы могут, при необходимости, быть реализованы, по меньшей мере частично, в виде компьютерных программных средств, выполняющихся на одном или нескольких процессорах данных и/или процессорах цифровой обработки сигналов. Элементы и компоненты варианта осуществления изобретения могут быть физически, функционально и логически реализованы любым подходящим образом.

Если признак описывается в связи с конкретными вариантами осуществления, то для специалиста в данной области техники должно быть понятно, что различные признаки описанных вариантов осуществления могут быть объединены согласно изобретению. Индивидуальные признаки могут выгодно объединяться и включение в различные пункты формулы изобретения не подразумевает, что комбинация признаков не является осуществимой и/или полезной. Также включение признака в одну категорию формулы изобретения не подразумевает ограничение этой категорией, но, скорее, указывает, что признак в равной степени применим соответствующим образом к другим категориям формулы изобретения. Кроме того, порядок признаков в формуле изобретения не подразумевает какой-либо конкретный порядок, в котором признаки должны работать, и, в частности, порядок индивидуальных этапов в формуле изобретения на способ не подразумевает, что этапы должны выполняться в данном порядке. Скорее, этапы могут выполняться в любом подходящем порядке. Кроме того, ссылки в единственном числе не исключают множественность. Таким образом, ссылки на слова «первый», «второй» и т.д. не исключают возможность множественности. Ссылочные позиции в формуле изобретения предусматриваются просто в качестве разъясняющего примера и не должны никоим образом толковаться как ограничивающие объем формулы изобретения.

Изобретение относится к области обработки данных трехмерного изображения. Технический результат - обеспечение улучшения визуализации данных 3D-изображения без снижения качества изображения. Способ обработки сигнала трехмерного (3D) изображения для рендеринга данных 3D-изображения на 3D-дисплее содержит этапы, на которых: извлекают из сигнала 3D-изображения первую карту глубины, содержащую первые значения глубины; извлекают из сигнала 3D-изображения данные значимости, представляющие значимость в величине данных 3D-изображения, причем значимость указывает значимые элементы, имеющие значимый диапазон значений глубины; определяют функцию отображения глубины для упомянутой величины данных 3D-изображения в зависимости от данных значимости, так что первые значения глубины в значимом диапазоне значений глубины отображаются на поддиапазон глубины дисплея, причем поддиапазон глубины дисплея представляет собой поддиапазон используемого диапазона глубины 3D-дисплея и обеспечивает более высокое качество 3D-изображения для зрителя, чем качество 3D-изображения по используемому диапазону глубины. 3 н. и 7 з.п. ф-лы, 7 ил.

1. Способ обработки сигнала трехмерного (3D) изображения для рендеринга данных 3D-изображения на 3D-дисплее (27), основываясь на множестве видов дисплея, причем способ содержит этапы, на которых:
извлекают (21) из сигнала 3D-изображения первую карту (28) глубины, содержащую первые значения глубины,
извлекают (22) из сигнала 3D-изображения данные (23) значимости, представляющие значимость в величине данных 3D-изображения, причем значимость указывает значимые элементы, имеющие значимый диапазон значений глубины,
определяют функцию (24) отображения глубины для упомянутой величины данных 3D-изображения в зависимости от данных значимости, так что первые значения глубины в значимом диапазоне значений глубины отображаются на поддиапазон глубины дисплея, причем поддиапазон глубины дисплея представляет собой поддиапазон используемого диапазона глубины 3D-дисплея и обеспечивает более высокое качество 3D-изображения для зрителя, чем качество 3D-изображения по используемому диапазону глубины, и причем определение функции отображения глубины содержит этапы, на которых:
составляют объединенную гистограмму для значимых значений глубины и незначимых значений глубины, причем значимые значения глубины взвешиваются с использованием первого весового коэффициента входного преобразования перед добавлением в гистограмму и незначимые значения глубины взвешиваются с использованием второго весового коэффициента входного преобразования перед добавлением в гистограмму, причем первый весовой коэффициент входного преобразования и второй весовой коэффициент входного преобразования зависят от поддиапазона глубины дисплея и используемого диапазона 3D-дисплея,
определяют диапазон глубины объединенной гистограммы, и
отображают диапазон глубины объединенной гистограммы внутрь используемого диапазона глубины 3D-дисплея, причем первый весовой коэффициент входного преобразования и второй весовой коэффициент входного преобразования являются разными и выбираются так, что первые значения глубины в значимом диапазоне значений глубины деформируются в поддиапазон глубины дисплея,
преобразуют первую карту глубины во вторую карту глубины посредством функции отображения глубины для генерирования (26) видов дисплея в зависимости от второй карты глубины.

2. Способ по п. 1, в котором
данные значимости представляют собой карту значимости, указывающую степень значимости пикселей изображения, или
данные значимости представляют собой диапазон глубины значимости.

3. Способ по п. 1, в котором извлечение данных значимости содержит извлечение метаданных из сигнала 3D-изображения, причем метаданные представляют собой данные значимости данных 3D-изображения.

4. Способ по п. 1, в котором упомянутая величина данных 3D-изображения представляет собой период сигнала 3D-видео и функция отображения глубины зависит от данных значимости во времени.

5. Способ по п. 4, в котором функция отображения глубины содержит:
определение снимка в качестве периода сигнала 3D-видео и установление функции отображения для снимка, или
использование движущегося окна, имеющего предварительный просмотр, и установление функции отображения для окна.

6. Устройство (40, 50) 3D-видео для обработки сигнала трехмерного (3D) изображения для рендеринга данных 3D-изображения на 3D-дисплее, основываясь на множестве видов дисплея, причем устройство содержит:
средство (47, 51, 58, 59, 61, 71) ввода для:
- извлечения из сигнала 3D-изображения первой карты (28) глубины, содержащей первые значения глубины, и для
- извлечения из сигнала 3D-изображения данных (23) значимости, представляющих значимость в величине данных 3D-изображения, причем значимость указывает значимые элементы, имеющие значимый диапазон значений глубины, и
видеопроцессор (42, 52, 62), выполненный с возможностью:
- определять функцию отображения глубины для упомянутой величины данных 3D-изображения в зависимости от данных значимости, так что первые значения глубины в значимом диапазоне значений глубины отображаются на поддиапазон глубины дисплея, причем поддиапазон глубины дисплея представляет собой поддиапазон используемого диапазона глубины 3D-дисплея и обеспечивает более высокое качество 3D-изображения для зрителя, чем качество 3D-изображения по используемому диапазону глубины, и причем определение функции отображения глубины содержит:
составление объединенной гистограммы для значимых значений глубины и незначимых значений глубины, причем значимые значения глубины взвешиваются с использованием первого весового коэффициента входного преобразования перед добавлением в гистограмму и незначимые значения глубины взвешиваются с использованием второго весового коэффициента входного преобразования перед добавлением в гистограмму, причем первый весовой коэффициент входного преобразования и второй весовой коэффициент входного преобразования зависят от поддиапазона глубины дисплея и используемого диапазона 3D-дисплея,
определение диапазона глубины объединенной гистограммы, и
отображение диапазона глубины объединенной гистограммы внутрь используемого диапазона глубины 3D-дисплея, причем первый весовой коэффициент входного преобразования и второй весовой коэффициент входного преобразования являются разными и выбираются так, что первые значения глубины в значимом диапазоне значений глубины деформируются в поддиапазон глубины дисплея,
преобразовывать первую карту глубины во вторую карту глубины посредством функции отображения глубины для генерирования видов дисплея в зависимости от второй карты глубины.

7. Устройство по п. 6, в котором видеопроцессор (42, 52, 62) выполнен с возможностью:
генерирования видов дисплея в зависимости от второй карты глубины, и/или
устройство содержит 3D-дисплей (63) для воспроизведения видов дисплея для соответствующих левого и правого глаз зрителя, и/или
видеопроцессор выполнен с возможностью определения поддиапазона глубины дисплея посредством получения информации о возможностях дисплея от устройства (60) 3D-дисплея, подсоединенного к устройству 3D-видео.

8. Устройство по п. 6, в котором упомянутое извлечение данных значимости содержит извлечение метаданных из сигнала 3D-изображения, причем метаданные представляют собой данные значимости данных 3D-изображения.

9. Устройство по п. 6, в котором средство ввода содержит:
узел (58) оптического носителя записи для извлечения видеоинформации с оптического носителя записи.

10. Машиночитаемый носитель, содержащий компьютерную программу, причем компьютерная программа содержит средство кода компьютерной программы, функционально предписывающее процессору выполнять соответствующие этапы способа по любому из пп. 1-5, когда компьютерная программа исполняется на компьютере.