МЕТАДАННЫЕ ДЛЯ ФИЛЬТРАЦИИ ГЛУБИНЫ Российский патент 2017 года по МПК G06T15/00 H04N13/02 

Область техники, к которой относится изобретение

Изобретение относится к исходному устройству видеоизображения для предоставления видеосигнала, представляющего видеоизображение для пересылки на целевое устройство трехмерного видеоизображения (3D). Исходное устройство имеет блок вывода для генерирования видеосигнала и для пересылки видеосигнала на целевое устройство. Упомянутое целевое устройство имеет приемник для приема упомянутого видеосигнала, целевой процессор глубины для предоставления целевых данных глубины.

Упомянутое изобретение также относится к целевому устройству 3D видео, способу предоставления и обработки 3D видеосигнала, видеосигналу и способу обработки упомянутого видеосигнала.

Изобретение относится к области генерирования и пересылки видеосигнала от исходного устройства, например вещательной станции, сервере веб-сайта сети Интернет, авторской системе, производителя дисков Blu-ray и т.д., на целевое 3D устройство, например плеер дисков Blu-ray, 3D телевизионный приемник, 3D дисплей, мобильное вычислительное устройство и т.д., которое требует данных глубины для визуализации 3D видеоизображения.

Уровень техники

Документ "Real-time free-viewpoint viewer from multiview video plus depth representation coded by H.264/AVC MVC extension (Зритель в реальном времени со свободной точки обзора от видеоизображения со многими видами плюс изображение глубины, кодируемое посредством H.264/AVC MVC расширения), авторов Shinya Shimizu, Hideaki Kimata, и Yoshimitsu Ohtani, NTT Cyber Space Laboratories, NTT Corporation, 3DTV-CON, IEEE 2009" описывает 3D видеотехнологии в дополнение к кодированным с помощью MPEG сигналов переноса видеоизображения, в конкретных расширениях многовидового видеокодирования (MVC) для включения карт глубины в видеоформат. MVC расширения для включения карт (карты) глубины видеокодирования позволяют построение битовых потоков, которые представляют многие виды со связанными многими дополнительными видами, то есть видами карт глубины. В соответствии с упомянутым документом карты глубины могут добавляться к 3D видеопотоку данных, имеющему первую видеоинформацию представляющую вид для левого глаза на 3D дисплей и вторую видеоинформацию, представляющую вид для правого глаза на 3D дисплей. Карта глубины на стороне декодера позволяет генерирование дополнительных видов, дополнительно к левому виду и правому виду, например для автостереоскопического дисплея.

Более того, целевое устройство 3D видео может иметь, для предоставления таких целевых данных глубины, как карта глубины, преобразователь 2D в 3D для генерирования 3D видеоданных из 2D видеосигнала, генератор карты глубины для генерирования карты глубины из видеосигнала, содержащего вид для левого глаза и вид для правого глаза.

Сущность изобретения

Из упомянутого выше представляется, что видеоматериал может обеспечиваться данными глубины посредством включения карты глубины или других данных глубины перед передачей, или посредством генерирования данных глубины на целевом приемнике получателя. Однако пересылка дополнительных данных глубины требует пропускной способности для передачи данных, и упомянутые данные глубины, генерируемые на приемнике получателя, могут иметь низкое качество.

Целью упомянутого изобретения является предоставить данные глубины на целевую сторону, которые имеют адекватное качество, без пересылки таких данных глубины с видеоданными.

Для этой цели, в соответствии с первым аспектом упомянутого изобретения, исходное устройство, как описано в начальном параграфе, содержит процессор глубины источника для предоставления данных фильтрации глубины, включающих в себя данные местоположения фильтра, упомянутые данные фильтрации глубины, представляющие условие обработки для обработки целевых данных глубины в области фильтра видеоизображения, указываемого посредством данных местоположения фильтра, и блок вывода выполнен с возможностью пересылки данных фильтрации глубины на целевое устройство.

Для этой цели в упомянутом целевом устройстве, целевой процессор глубины выполнен с возможностью обработки, в зависимости от данных фильтрации глубины, целевых данных глубины в области видеоизображения, указываемого посредством данных местоположения фильтра.

Для этой цели упомянутый способ предоставления видеосигнала, представляющего видеоизображение для пересылки на целевое устройство 3D видео, содержит

- генерирование видеосигнала и пересылку упомянутого видеосигнала на целевое устройство,

- предоставление данных фильтрации глубины, включающих в себя данные местоположения фильтра, упомянутые данные фильтрации глубины представляют условие обработки для обработки целевых данных глубины в области фильтра видеоизображения, указываемого посредством данных местоположения фильтра, и

- пересылку данных фильтрации глубины на целевое устройство.

Для этой цели упомянутый способ обработки видеосигнала, представляющего видеоизображение, принимаемое от исходного устройства видеоизображения, содержит

- прием видеосигнала,

- предоставление целевых данных глубины,

- обработку, в зависимости от данных фильтрации глубины, упомянутых целевых данных глубины в области видеоизображения, указываемого посредством данных местоположения фильтра.

Для этой цели упомянутый видеосигнал, представляющий видеоизображение для пересылки на целевое устройство 3D видео, содержит данные фильтрации глубины, включающие в себя данные местоположения фильтра, упомянутые данные фильтрации глубины, представляющие условие обработки для обработки целевых данных глубины в области фильтра видеоизображения, указываемого посредством данных местоположения фильтра.

Упомянутые меры действуют так, что упомянутое целевое устройство становится способным принимать данные фильтрации глубины и обрабатывать, в зависимости от данных фильтрации глубины, упомянутые целевые данные глубины в области видеоизображения, указываемого посредством данных местоположения фильтра. Поэтому улучшенная версия целевых данных глубины получается посредством локального выполнения конкретной операции фильтра в конкретной области изображения.

В частности, как конкретная операция фильтра и конкретная область управляются на стороне источника, например, посредством транслятора или автора. На стороне источника высококачественные данные глубины и/или доступны виртуально неограниченные ресурсы обработки (например, автономные). Однако, поскольку канал передачи ограничен, не все данные, доступные на источнике, могут пересылаться на целевую сторону. Вместо передачи полного набора данных глубины, данные глубины должны предоставляться локально на целевую сторону (например, создаваемые из 2D видео, восстанавливаемые из L/R стерео видео или добавляемые на основе неполной версии или версии с низким разрешением карты глубины). Сторона источника осведомляется о проблемных областях, где традиционно предоставление данных глубины на целевую сторону потерпит неудачу и/или где могут иметь место мешающие дефекты изображения. Преимущественно, посредством пересылки упомянутых данных фильтрации глубины, включающих в себя конкретное местоположение и конкретный фильтр или проблему, сторона источника может эффективно помогать целевой стороне в процессе создания данных глубины, например генерирования целевой карты глубины для деформирования нескольких видов, предназначенных для изображения на 3D дисплее. Поэтому, когда и где доступно, упомянутые данные фильтрации глубины применяются для улучшения целевых данных глубины.

Эффективно упомянутое целевое устройство снабжается дополнительными данными обработки глубины под управлением источника, например параметрами фильтра или инструкциями, данные которых позволяют источнику управлять и улучшать обработку целевых данных глубины.

Преимущественно упомянутые данные фильтрации глубины генерируются на стороне источника, где существенные ресурсы обработки доступны, и автономное генерирование возможно. Требования обработки на целевой стороне (то есть на стороне потребителя) уменьшаются, и 3D эффект улучшается, поскольку данные глубины оптимизируются.

Опционально процессор глубины источника выполнен с возможностью предоставления, в данных фильтрации глубины, типа фильтра, включающего в себя по меньшей мере один из

- временного медианного фильтра по N кадрам;

- пространственного медианного фильтра, фильтра максимума или минимума по M×N пикселям;

- гауссового размытия по M×N пикселям;

- гауссового размытия с одномерным ядром;

- порогового фильтра для установления порогов для по меньшей мере одного фиксированного значения;

- фильтра с двусторонней сеткой и маской объекта для фильтра с двусторонней сеткой;

- усиления или смещения для области фильтра.

Преимущественно тип конкретного фильтра, который обеспечивает оптимальное улучшение в конкретной области, выбирается на целевой стороне, и пересылается на целевую сторону для применения.

Опционально процессор глубины источника выполнен с возможностью предоставления, в данных фильтрации глубины, индикатора выбора фильтра, включающего в себя по меньшей мере один из

- индикатора временной неустойчивости, указывающего количество движения в области фильтра;

- индикатора выравнивания, указывающего количество выравнивания между глубиной и яркостью и/или цветностью;

- индикатора графического объекта, указывающего по меньшей мере один графический объект впереди фонового видео в области фильтра.

Преимущественно упомянутый индикатор выбора фильтра указывает конкретный нежелательный эффект или проблему, которая случается в конкретной области видеоизображения, и позволяет целевой стороне активизировать соответствующую операцию фильтра для того, чтобы компенсировать нежелательный эффект.

Опционально процессор глубины источника выполнен с возможностью предоставления, в данных фильтрации глубины, данных параметра фильтра, включающих в себя по меньшей мере один из

- коэффициентов фильтра;

- интенсивности фильтра;

- параметров видеоизображения в области фильтра;

- параметров графического объекта в упомянутой области.

Преимущественно пересылка данных параметров фильтра для применения на целевую сторону является очень компактным путем, чтобы помогать целевой стороне в оптимизации работы фильтра, которая требует относительно очень небольшой пропускной способности для передачи данных.

Опционально процессор глубины источника выполнен с возможностью предоставления, в данных фильтрации глубины, данных местоположения фильтра, включающих в себя по меньшей мере одно из

- прямоугольной области, указывающей координаты и/или ширину и высоту;

- двухмерной формы заранее определенного типа формы, упомянутый тип формы, включающий в себя по меньшей мере один из квадрат, круг, эллипс, местоположение двухмерной формы, указываемое посредством по меньшей мере центра и радиуса;

одномерной формы, местоположение упомянутой одномерной формы, указываемое посредством по меньшей мере одного из координаты по меньшей мере одной точки, длина, направление, включающее в себя один из горизонталь, вертикаль или угол;

- типа области границы, указывающий переход между областью фильтра и окружающего видеоизображения;

- индекса области, идентифицирующего соответствующую область фильтра;

- геометрической области для двустороннего фильтра глубины;

- параметров индекса объекта, связанных с областью фильтра, для идентифицирования объектов.

Преимущественно конкретная область, где операция фильтра предназначена для выполнения, описывается небольшим числом геометрических параметров, что требует относительно очень небольшой пропускной способности для передачи данных.

Опционально процессор глубины источника выполнен с возможностью предоставления, в данных фильтрации глубины, индикатора активности фильтра, включающий в себя по меньшей мере один из

- индикатора начала, указывающего видеокадр для начала обработки фильтра;

- индикатора остановки, указывающего видеокадр для остановки обработки фильтра;

- индикатора периода, указывающего период времени для применения обработки фильтра;

- индекса активности, указывающего применение обработки фильтра в области фильтра, соответствующей упомянутому индексу.

Преимущественно стороне источника дается возможность управлять периодом времени, для которого операции фильтра предназначены для выполнения, без повторения упомянутых данных для каждого видеокадра.

Опционально блок вывода выполнен с возможностью генерирования, как видеосигнала, по меньшей мере одного из

- сигнал дисплея для взаимодействия с устройством 3D дисплея;

- сигнал пересылки для пересылки через широковещательную сеть или сеть Интернет;

- сигнал носителя записи, представленный посредством оптически читаемых отметок на носителе записи.

Преимущественно различные практические целевые устройства в цепи пересылки видеоизображения (от исходной авторской системы до конечной визуализации на 3D дисплее перед зрителем) улучшаются посредством включения функциональных возможностей данных фильтрации глубины.

Опционально целевой процессор глубины содержит, для предоставления упомянутых целевых данных глубины, по меньшей мере один из

- преобразователя 2D в 3D для генерирования 3D видеоданных из 2D видеосигнала;

- генератора карты глубины для генерирования карты глубины из видеосигнала, содержащего первую видеоинформацию, представляющую вид для левого глаза на 3D дисплей, и вторую видеоинформацию, представляющую вид для правого глаза на 3D дисплей;

- средство деформирования видов для деформирования нескольких видов для автостереоскопического 3D дисплея.

Более того, упомянутое целевое устройство может содержать по меньшей мере один из

- блок (58) чтения для чтения носителя записи для приема видеосигнала,

- 3D дисплей (63) для отображения 3D видеоданных.

Преимущественно различные практические целевые устройства в цепи пересылки видео улучшаются посредством включения функциональных возможностей данных фильтрации глубины.

Более того, упомянутое целевое устройство, упомянутый способ предоставления видеосигнала, видеосигнал как таковой, упомянутый способ обработки упомянутого видеосигнала и соответствующие компьютерные программные продукты могут быть улучшены посредством включения различных опций, описанных выше со ссылкой на исходное устройство.

Другие предпочтительные варианты осуществления устройств и способов в соответствии с упомянутым изобретением приведены в прилагаемых пунктах формулы изобретения, описание которых включено сюда посредством ссылки.

Краткое описание чертежей

Эти и другие аспекты упомянутого изобретения будут очевидны из и объяснены далее со ссылкой на упомянутые варианты осуществления, описываемые в качестве примера в следующем описании и со ссылкой на прилагаемые чертежи, на которых

Фиг. 1 изображает систему для обработки 3D видеоданных и отображения 3D видеоданных,

Фиг. 2 изображает 3D декодер, использующий данные фильтрации глубины,

Фиг. 3 изображает 3D кодер, предоставляющий данные фильтрации глубины,

Фиг. 4 изображает систему, имеющую устройство авто-стерео дисплея и деформирующую несколько видов,

Фиг. 5 изображает пример видеоданных и данных местоположения фильтра,

Фиг. 6 изображает примеры данных местоположения фильтра, и

Фиг. 7 изображает пример индикатора выбора фильтра.

Упомянутые фигуры чисто схематические и не изображены в масштабе. На упомянутых фигурах, элементы, которые соответствуют элементам, которые уже описаны, могут иметь те же ссылочные номера.

Подробное описание вариантов осуществления изобретения

Упомянутое изобретение включает в себя предоставление данных фильтрации глубины, как описано далее ниже, на стороне источника, и пересылку упомянутых данных фильтрации глубины на целевую сторону для улучшения 3D эффекта посредством обработки упомянутых данных глубины на пункте назначения. Такая пересылка может выполняться различными способами. Например, данные фильтрации глубины могут включаться в сам 3D видеосигнал. Также, данные фильтрации глубины могут пересылаться как отдельный сигнал, но используя ту же среду пересылки. Также, данные фильтрации глубины могут пересылаться отдельно, например, через сеть Интернет, в то время как главные 3D видеоданные пересылают иначе, например, через широковещание или 3D версию BD. Такая раздельная пересылка обеспечивает улучшение 3D качества существующего 3D материала, находящегося уже в распоряжении пользователя, или 3D материала, пересылаемого раздельно или в различное время пользователю. Любой способ пересылки видеоданных и данных фильтрации глубины от источника на пункт назначения может называться пересылкой видеосигнала, и видеосигнал может содержать один или более 3D видеокомпонентов или может содержать различные сигналы для раздельной пересылки соответствующих компонентов.

Существует много различных способов, в которых видеосигнал для 3D видео может форматироваться и пересылаться, в соответствии с так называемым 3D видеоформатом. Некоторые форматы основываются на использовании 2D канала, чтобы также передавать стереоинформацию. В 3D видеосигнале изображение представлено посредством значений изображения в двухмерном массиве из пикселей. Например, левый и правый вид могут быть чередующимися или могут размещаться рядом или верх-низ (над и под друг другом) в кадре. Также карта глубины может пересылаться, и возможно далее 3D данные как преграда или данные прозрачности. Карта несоответствия, в этом тексте, также рассматривается как являющаяся типом карты глубины. Упомянутая карта глубины имеет значения глубины также в двухмерном массиве, соответствующем изображению, хотя упомянутая карта глубины может иметь различное разрешение. Упомянутые 3D видеоданные могут подвергаться сжатию в соответствии с известными способами сжатия, такими как, например, способ MPEG. Любая 3D видеосистема, такая как сеть Интернет или диск BD (диск Blu-ray), могут извлечь выгоду из предлагаемых усовершенствований. Также 3D видеосигнал, пересылаемый между 3D источником, подобному Blu-Ray плееру, и целевым устройством, подобным 3D дисплею или телевизионному приемнику, например, на основе HDMI, может быть улучшен.

Упомянутый 3D дисплей может быть относительно небольшим блоком (например, мобильным телефоном), большим стерео дисплеем (Stereo Display, STD), требующим затворные очки, любым стереоскопическим дисплеем (Stereoscopic Display, STD), усовершенствованным STD, с учетом переменной базовой линии, активным STD, который нацеливает L и R виды на глаза зрителя на основе отслеживания положения головы или автостереоскопическим дисплеем со многими видами (auto-stereoscopic multiview Display, ASD) и т.д.

Обычно передача 3D видео влечет за собой сжатие и передачу более, чем одного вида (сигнал камеры) и его соответствующие значения глубины, например как обсуждавшиеся на "Call for Proposals on 3D Video Coding Technology (Прием предложений по технологии 3D видеокодирования)" - MPEG документ N12036, Март 2011, Женева, Швейцария. Авто-преобразование в декодере (глубина автоматически получается из стерео) само по себе известно, например, из "Description of 3D Video Coding Technology Proposal by Disney Research Zurich and Fraunhofer HHI (Описание предложения технологии 3D видеокодирования, Disney Research Zurich и Fraunhofer HHI", MPEG документ M22668, Ноябрь 2011, Женева, Швейцария. Виды должны быть деформированы для упомянутых различных типов дисплеев, например для ASD и усовершенствованного STD для переменной базовой линии, на основе данных глубины в 3D сигнале. Однако качество видов, деформируемых на основе различных типов данных глубины, может быть ограничено.

Видеосигнал может быть, например, телевизионным широковещательным сигналом, улучшенным для 3D, таким как стандартная передача, используя совместимое с ½ HD кадром, кодированное со многими видами (multi view coded, MVC) или совместимое с кадром полное разрешение (например, FCFR как предложено компанией Dolby Laboratories, Inc.). Основываясь на совместимом с кадром базовом уровне, компания Dolby разработала улучшенный уровень для заново создаваемых 3D изображений с полным разрешением. Эта технология была предложена для MPEG для стандартизации и требует только ~10% увеличения в скорости передачи битов. Традиционный 3D видеосигнал улучшается посредством данных фильтрации глубины как объясняется ниже.

Фиг. 1 изображает систему для обработки 3D видеоданных и отображения 3D видеоданных. Первое видеоустройство, называемое как исходное устройство 40 видеоизображения, обеспечивает и пересылает видеосигнал 41 на дальнейшее устройство обработки изображений, называемое как целевое устройство 3D видео 50, которое связывается с устройством 60 3D дисплея для пересылки сигнала 56 3D дисплея.

Фиг. 1 далее изображает носитель 54 записи как носитель улучшенного видеосигнала. Носитель записи имеет форму диска и имеет дорожку и центральное отверстие. Упомянутая дорожка, составленная посредством структуры физически детектируемых отметок, является организованной в соответствии с винтообразной или концентрической структурой витков, составляющих по существу параллельные дорожки на одном или более уровнях информации. Носитель записи может быть оптически читаемым, называемым как оптический диск, например DVD или BD (диск Blu-ray). Информация осуществляется на информационном уровне посредством оптически детектируемых отметок вдоль дорожки, например, углубления и площадки. Структура дорожки также содержит информацию местоположения, например, заголовки и адреса, для указания местоположения единиц информации, обычно называемые как информационные блоки. Носитель 54 записи переносит информацию, представляющую в цифровой форме кодированные данные 3D изображений подобно видео, например кодированному в соответствии с системой кодирования MPEG2 или MPEG4, в заранее определенном формате записи подобно DVD или BD формату.

Исходное устройство имеет процессор 42 глубины источника для обработки 3D видеоданных, принимаемых через блок 47 ввода. Входные 3D видеоданные 43 могут быть доступны от системы хранения, студии записи, от 3D камеры и т.д. Исходная система может обрабатывать карту глубины, предоставляемую для данных 3D изображения, карта глубины, которая может либо первоначально присутствовать на входе упомянутой системы, или может автоматически генерироваться посредством системы высококачественной обработки как описано ниже, например, из левых (left) / правых (right) кадров в стерео (L+R) видеосигнале или из 2D видео, и возможно далее обрабатываться или исправляться для предоставления исходной карты глубины, которая точно представляет значения глубины, соответствующие сопроводительным данным 2D изображения или левым/правым кадрам.

Процессор 42 глубины источника генерирует видеосигнал 41, содержащий упомянутые видеоданные. Упомянутый видеосигнал может иметь первую видеоинформацию, представляющую вид для левого глаза на 3D дисплей, и вторую видеоинформацию, представляющую вид для правого глаза на 3D дисплей. Исходное устройство может быть выполнено с возможностью переноса видеосигнала через блок 46 вывода и на 3D целевое видео устройство, или для предоставления видеосигнала для распространения, например, через носитель записи. Упомянутый видеосигнал основывается на обработке входных видеоданных 43, например, посредством кодирования и форматирования 3D видеоданных в соответствии с заранее определенным форматом.

Исходное устройство может иметь исходный преобразователь 48 стерео-в-глубину для генерирования генерированной карты глубины на основе первой и второй видеоинформации. Преобразователь стерео-в-глубину для генерирования карты глубины, при работе, принимает стерео 3D сигнал, также называемый как левый-правый видеосигнал, имеющий временную последовательность левых (left) кадров L и правых (right) кадров R, представляющих левый вид и правый вид, предназначенные для изображения для соответствующих глаз зрителя для генерирования 3D эффекта. Упомянутый блок вырабатывает генерированную карту глубины посредством оценки несоответствия левого вида и правого вида, и может далее предоставлять 2D изображение на основе левого вида и/или правого вида. Оценка несоответствия может основываться на алгоритмах оценки движения, используемых для сравнения L и R кадров, или на перспективных свойствах, получаемых из данных изображений и т.д. Большие различия между L и R видом объекта преобразуются в значения глубины впереди или позади экрана дисплея в зависимости от направления разницы. Выходом блока генератора является генерированная карта глубины.

Генерированная карта глубины и/или высококачественная исходная карта глубины могут использоваться для определения данных фильтрации глубины, требуемых для целевой стороны. Процессор 42 глубины источника выполнен с возможностью предоставления упомянутых данных фильтрации глубины в соответствии с различными опциональными вариантами осуществления, как обсуждалось теперь.

Упомянутые данные фильтрации глубины могут генерироваться на основе определения того, в какой области видео ошибки глубины определяются, когда данные глубины будут предоставляться на целевую сторону. Более того, ожидаемые ошибки определяются возмущающими для пользователя, например, когда разница между исходной картой глубины и генерированной картой глубины на целевой стороне превышает заранее определенный порог. Например, заранее определенная разница глубины может составлять упомянутый порог. Упомянутый порог может также быть сделан зависимым от свойств дальнейшего изображения, которые влияют на видимость ошибок глубины, например, интенсивность локального изображения или контраст, или структура. Упомянутый порог может также определяться посредством детектирования уровня качества целевой карты глубины следующим образом. Целевая карта глубины используется для искажения вида, имеющего ориентирование, соответствующее заданному другому виду. Например, R' вид основывается на первоначальных данных изображения L и генерированной карты глубины. Впоследствии разница вычисляется между упомянутым R' видом и первоначальным R видом, например, посредством хорошо известной функции PSNR (Peak Signal-to-Noise Ratio - Пиковое отношение сигнал/шум). Отношение PSNR является отношением между максимально возможной мощностью сигнала и мощностью искажающего шума, который влияет на точность его представления. Поскольку многие сигналы имеют очень широкий динамический диапазон, отношение PSNR обычно выражается в терминах логарифмической шкалы децибел. Отношение PSNR может использоваться теперь как мера качества генерированной карты глубины. Упомянутый сигнал в этом случае является первоначальными данными R, и упомянутый шум является ошибкой, вносимой посредством деформирования R' на основе генерированной карты глубины. Более того, упомянутый порог может также быть оценен на основе дополнительного критерия видимости или посредством редактора, осуществляющего процесс авторского создания или рецензирования упомянутых результатов на основе генерированной карты глубины, и контролирующего, какие секции и/или периоды 3D видео должны быть дополнены данными фильтрации глубины.

Упомянутые данные фильтрации глубины представляют условия обработки глубины для улучшения упомянутых данных глубины на целевой стороне. Например, края объектов в упомянутых видеоданных должны подвергаться выравниванию с соответствующими разницами глубины. Однако, при применении генерирования карты глубины из L/R видео, некоторые края могут ожидаться, чтобы быть невыровненными. Затем данные фильтра глубины, в частности подходящий фильтр выравнивания, выбирается так, что специально улучшает выравнивание, и область, которая содержит упомянутый край, кодируется в соответствующие данные местоположения фильтра. Упомянутые данные фильтрации глубины могут включать в себя различные параметры.

Опционально, упомянутые данные фильтрации глубины включают в себя тип фильтра. Тип фильтра может, например, быть одним из

- временной медианный фильтр по N кадров;

- пространственный медианный фильтр, фильтра максимума или минимума по M×N пикселей;

- гауссово размытие по M×N пикселей;

- гауссово размытие по одномерное ядро;

- пороговый фильтр для установления порогов для по меньшей мере одного фиксированного значения;

- фильтр с двусторонней сеткой и маска объекта для фильтра с двусторонней сеткой;

- усиление или смещение для области фильтра.

Упомянутое смещение, когда применяется к целевой карте глубины, эффективно перемещает объекты в обратном направлении или в прямом направлении по отношению к плоскости дисплея. Сигнализация смещения позволяет стороне источника перемещать объекты в области фильтра на любую позицию глубины, например, рядом с плоскостью 3D дисплея. Усиление, когда применяется к целевой карте глубины, эффективно перемещает все объекты в области фильтра вдаль или по направлению к плоскости 3D дисплея. Например, целевая карта глубины может определяться, чтобы иметь нулевое значение для глубины на плоскости дисплея, и усиление может применяться как умножение для значений. Сигнализация усиления позволяет стороне источника управлять перемещением важных объектов по отношению к плоскости 3D дисплея. Усиление определяет разницу между самым близким и самым дальним элементом в области фильтра при отображении 3D изображения. В упомянутом выше область фильтра может определяться посредством прямоугольной области из M×N пикселей (M,N являются целыми числами). Как таковые, различные типы фильтров хорошо известны в области обработки изображений.

Опционально, упомянутые данные фильтрации глубины включают в себя индикатор выбора фильтра, который указывает тип проблемы, которая может фильтроваться на пункте назначения, или конкретный нежелательный эффект, который происходит в конкретной области видео. Посредством указывания такого эффекта или проблемы, упомянутый индикатор выбора фильтра позволяет целевой стороне активизировать соответствующую операцию фильтра, чтобы компенсировать нежелательный эффект. Упомянутый индикатор выбора фильтра может, например, быть

- временным индикатором неустойчивости, указывающим количество движения в области фильтра;

- индикатором выравнивания, указывающим количество выравнивания между глубиной и яркостью и/или цветностью;

- индикатором графического объекта, указывающим по меньшей мере один графический объект впереди фонового видео в области фильтра.

Как таковые, различные фильтры, предназначенные для выбора, чтобы противостоять хорошо известным связанным с глубиной нежелательным эффектам, хорошо известны в области обработки изображений.

Опционально данные фильтрации глубины могут включать в себя один или более из

- коэффициенты фильтра;

- интенсивность фильтра;

- параметры видео в области фильтра;

- параметры графического объекта в упомянутой области.

Как таковые, упомянутые различные параметры фильтра хорошо известны в области обработки изображений. Параметры фильтра или объектов и элементов в области местоположения фильтра известны как таковые, например, указывающие, что пикселы, имеющие голубой цвет в области местоположения фильтра находятся на максимальной глубине (например, голубое небо), или цвет графического объекта (меню, подзаголовки) впереди реального живого видео.

Опционально, упомянутые данные фильтрации глубины могут включать в себя данные местоположения фильтра. Упомянутые данные местоположения фильтра могут эффективно кодироваться, например, посредством по меньшей мере одной из

- прямоугольная область, указывающая координаты и/или ширину и высоту;

- двухмерная форма заранее определенного типа формы, упомянутый тип формы, включающий в себя по меньшей мере один из квадрат, круг, эллипс, местоположение упомянутой двухмерной формы, указываемое посредством по меньшей мере центра и радиуса;

- одномерная форма, местоположение упомянутой одномерной формы, указываемое посредством по меньшей мере одного из координаты по меньшей мере одной точки, длина, направление, включающее в себя одно из горизонталь, вертикаль или угол;

- тип области границы, указывающий переход между областью фильтра и окружающего видео;

- индекс области, идентифицирующий соответствующую область фильтра;

- геометрическая область для двустороннего фильтра глубины;

- параметры индекса объекта, связанные с областью фильтра для идентифицирования объектов.

Как таковые, упомянутые различные данные местоположения фильтра хорошо известны для определения области в изображении.

Опционально данные фильтрации глубины могут включать в себя индикатор активности фильтра, указывающий определение времени или операцию в установке индекса, включающего в себя по меньшей мере один из

- индикатор начала, указывающий видеокадр для начала обработки фильтра;

- индикатор остановки, указывающий видеокадр для остановки обработки фильтра;

- индикатор периода, указывающий период времени для применения обработки фильтра;

- индекс активности, указывающий применение обработки фильтра в области фильтра, соответствующей упомянутому индексу.

Как таковые, упомянутые различные данные местоположения фильтра хорошо известны для определения геометрической области в изображении.

Упомянутый блок 46 вывода выполнен с возможностью включения данных фильтрации глубины в видеосигнал. Блок процессора, имеющий функции процессора 42 глубины, опциональный преобразователь 48 стерео-в-глубину и блок 46 вывода могут называться как 3D кодер.

Исходное устройство может быть сервером, транслятором, записывающим устройством или авторской разработкой и/или системой производства для производства оптических носителей записи подобно диску Blu-ray. Диск Blu-ray обеспечивает интерактивную платформу для распределения видео для создателей контента. Информация о формате диска Blu-ray доступна с веб-сайта ассоциации Blu-ray Disc в работах по аудио-визуальному формату приложения, например, http://www.blu-raydisc.com/assets/Downloadablefile/BD-ROM-AV WhitePaper_110712.pdf. Процесс производства оптической носителя записи далее содержит этапы предоставления физической структуры отметок на дорожках, структура которых осуществляет улучшенный видеосигнал, который включает в себя упомянутые данные фильтрации глубины, и впоследствии формирования материала носителя записи в соответствии с упомянутой структурой для предоставления дорожек отметок на по меньшей мере одном уровне хранения.

Упомянутое целевое устройство 3D видео 50 имеет приемник 41 для приема 3D видеосигнала, приемник, который имеет один или более блоков сигнального интерфейса и блок 51 ввода для разбора входящего видеосигнала. Например, приемник может включать в себя блок 58 оптического диска, связанный с блоком ввода для извлечения 3D видеоинформации из оптического носителя 54 записи подобно DVD или Blu-ray диску. Альтернативно (или дополнительно), упомянутый приемник может включать в себя блок 59 сетевого интерфейса для соединения с сетью 45, например сетью Интернет, домашней сетью или широковещательной сетью, такое устройство, являющееся телевизионной приставкой или мобильным вычислительным устройством, подобно мобильному телефону или планшетному компьютеру. Упомянутый 3D видеосигнал может извлекаться из удаленного веб-сайта или медиа сервера, например, 3D целевого устройства 40. Упомянутое устройство обработки 3D изображений может быть преобразователем, который преобразует входной сигнал изображения в выходной сигнал изображения, имеющий требуемую информацию глубины. Такой преобразователь может использоваться для преобразования различных входных 3D видеосигналов для конкретного типа 3D дисплея, например стандартного 3D контента в видеосигнал, подходящий для автостереоскопических дисплеев особенного типа или производителя. На практике, упомянутое устройство может быть 3D задействованным усилителем или приемником, 3D оптическим проигрывателем дисков или спутниковым приемником или телевизионной приставкой или любым типом медиа плеера.

Упомянутое целевое 3D устройство имеет процессор 52 глубины, связанный с блоком 51 ввода, для обработки данных глубины, соответствующих видеосигналу для генерирования 3D сигнала 56 дисплея, предназначенного для переноса через блок 55 интерфейса вывода на устройство дисплея, например сигнал дисплея в соответствии с HDMI стандартом, смотрите "High Definition Multimedia Interface; Specification Version 1.4a of March 4, 2010 (Интерфейс мультимедиа высокого разрешения; версия спецификации 1.4а от 4 марта 2010 года)", 3D часть которого доступна на http://hdmi.org/manufacturer/specification.aspx для общедоступного скачивания.

Упомянутое целевое 3D устройство может иметь преобразователь 53 видео, например преобразователь стерео-в-глубину для генерирования целевой генерированной карты глубины на основе первой и второй видеоинформации, или преобразователь 2D в 3D для генерирования данных глубины из 2D видеосигнала. Работа преобразователя стерео-в-глубину эквивалентна работе преобразователя стерео-в-глубину в исходном устройстве, описанном выше. Преобразователь 2D в 3D генерирует данные глубины из 2D видеосигнала, который известен как таковой. Блок, имеющий функции целевого процессора 52 глубины, упомянутого преобразователя 53 и блока 51 ввода может называться как 3D декодер.

Упомянутый целевой процессор 52 глубины выполнен с возможностью генерирования данных глубины, включаемых в 3D сигнал 56 дисплея для отображения на устройстве 60 дисплея. Упомянутый процессор глубины может быть выполнен с возможностью предоставления целевой карты глубины для позволения деформирования видов для 3D дисплея. Блок 51 ввода выполнен с возможностью извлечения данных фильтрации глубины из 3D видеосигнала, данных фильтрации глубины, которые основываются на исходной информации глубины, относящейся к видеоинформации, и представляет условие обработки для обработки целевых данных глубины в области фильтра видеоизображения, указываемого посредством данных местоположения фильтра. Упомянутый целевой процессор глубины выполнен с возможностью обработки целевых данных глубины, например карты глубины для деформирования видов в зависимости от данных фильтрации глубины, извлекаемых из 3D видеосигнала. Обработка данных фильтрации глубины дополнительно поясняется ниже.

Упомянутое устройство 60 3D дисплея предназначено для отображения данных 3D изображений. Упомянутое устройство имеет блок 61 интерфейса ввода для приема 3D сигнала 56 дисплея, включающего в себя 3D видеоданные и целевые данных глубины от 3D целевого устройства 50. Упомянутое устройство имеет процессор 62 видов для генерирования нескольких видов 3D видеоданных на основе видео информации в зависимости от целевой карты глубины, и 3D дисплей 63 для отображения нескольких видов 3D видеоданных. пересылаемые 3D видеоданные обрабатываются в блоке 62 обработки для деформирования видов для отображения на 3D дисплей 63, например дисплей LCD со многими видами.

Видео процессор 62 в устройстве 60 3D дисплея выполнен с возможностью обработки 3D видеоданных для генерирования сигналов управления дисплеем для визуализации одного или более видов. Упомянутые виды генерируются из данных 3D изображений, используя один или более 2D видов на известной позиции и целевую карту глубины. Процесс генерирования вида для различной позиции глаз 3D дисплея, на основе использования вида на известной позиции и карты глубины, называется как деформирование вида. Альтернативно видео процессор 52 в устройстве 3D плеера может быть выполнен с возможностью выполнения упомянутого деформирования. Несколько видов, генерируемых для определенного 3D дисплея, могут переноситься с сигналом 3D изображения через выделенный интерфейс по направлению к 3D дисплею.

В дальнейшем варианте осуществления упомянутое целевое устройство и упомянутое устройство дисплея объединяются в одно устройство. Функции процессора 52 глубины и блока 62 обработки, и оставшиеся функции блока 55 вывода и блока 61 ввода могут выполняться одним видеоблоком процессора.

Следует отметить, что принцип данных фильтрации глубины может применяться на каждом этапе пересылки 3D видео, например, между студией или автором и транслятором, кто далее кодирует сейчас улучшаемые карты глубины для передачи потребителю. Также упомянутая система данных фильтрации глубины может выполняться на основе последовательных пересылок, например, далее улучшаемая версия может создаваться на основе исходной версии посредством включения вторых данных фильтрации глубины на основе в дальнейшем улучшенной исходной карты глубины. Это дает большую гибкость в терминах достижимого качества на 3D дисплеях, битовых скоростей, требуемых для передачи информации глубины, или расходов для создания 3D контента.

Фиг. 2 изображает 3D декодер, использующий данные фильтрации глубины. 3D декодер 20 схематично изображен как имеющий вход для 3D видеосигнала, отмеченный BS3 (base signal 3D, базовый сигнал 3D). Упомянутый 3D декодер может быть частью телевизионной приставки (set top box, STB) на стороне потребителя и принимает поток битов в соответствии с системой данных фильтрации глубины (BS3). Входной демультиплексор (demultiplexer) 21 (DEMUX) разбирает входящие данные в потоки битов для видеоданных и данные фильтрации глубины. Первый декодер (decoder) 22 (DEC, например, MVC/H.264) декодирует упомянутые видеоданные в видео выходные данные L и R, которые также связываются с преобразователем типа потребителя стерео-в-глубину (stereo-to-depth converter, CE-S2D), который генерирует первую левую карту глубины (left depth map, LD1) и первую правую карту глубины (right depth map, RD1). Альтернативно просто одна первая карта глубины генерируется, или карта глубины (например, низкого разрешения или неполная карта глубины) напрямую доступна в поступающем на вход сигнале. Второй декодер 23 декодирует данные фильтрации глубины и обеспечивает сигналы управления глубины, в частности сигнал 26 местоположения фильтра и сигнал 27 фильтра глубины. Упомянутые сигналы управления глубины связываются с процессором 25 карты глубины, который генерирует целевую карту глубины. Более того, демультиплексор 21 может получать индикатор активности фильтра, например, на основе флага, указывающего активацию фильтра глубины в конкретной области, идентифицируемой посредством индекса. В упомянутом примере левая целевая карта глубины LD3 и правая карта целевой глубины RD3 предоставляются посредством использования данных фильтрации глубины для модифицирования исходной карты глубины LD1, RD1. Итоговая целевая карта глубины, поступающая с выхода 3D декодера (LD3/RD3), затем пересылается на устройство 3D дисплея или блок деформирования видов, как рассмотрено со ссылкой на Фиг. 4.

Фиг. 3 изображает 3D кодер, предоставляющий данные фильтрации глубины. 3D кодер 30 схематично изображен как имеющий входы (L, R) для получения 3D видеосигнала. Преобразователь стерео-в-глубину (например, высококачественный профессиональный тип (high-quality professional type) HQ-S2D) может предоставляться для генерирования левой карты глубины LD4 и правой карты глубины RD4, называемых как исходная карта глубины. Альтернативно дальнейший ввод может принимать дальнейшие исходные данных глубины, которые могут предоставляться автономно (например, от входа камеры, редактируемы вручную или улучшаемые, или вычисляемые в случае генерируемого компьютером контента), или могут быть доступны с входным 3D видеосигналом. Блок 32 обработки глубины принимает исходную карту глубины LD4, RD4 и/или дальнейшие исходные данные глубины и определяет, если, и для какого местоположения, данные фильтрации глубины должны быть генерированы. В упомянутом примере сигнал 36 данных фильтрации глубины и сигнал 37 местоположения фильтра связаны с кодером 34. Различные опции для данных фильтрации глубины приведены ниже.

После кодирования данные фильтрации глубины включаются в выходной сигнал посредством выходного мультиплексора 35 (multiplexer, MUX). Мультиплексор (multiplexer, MUX) также принимает кодированный поток битов (bitstream, BS1) видеоданных от первого кодера 33 и поток битов (bitstream, BS2) кодированных данных фильтрации глубины от второго кодера 34, и генерирует 3D видеосигнал, отмеченный BS3.

Опционально, упомянутый процессор глубины источника выполнен с возможностью генерирования сигнала активности фильтра, который указывает применить упомянутые данные фильтрации глубины в течение периода времени, например, в зависимости от кадра 3D видеосигнала. Эффективно данные фильтрации глубины могут применяться в течение периода 3D видеосигнала, который имеет такую же 3D конфигурацию, например конкретная конфигурация камеры и конфигурация изменения масштаба изображения. Обычно конфигурация является в основном стабильной в течение кадра видеопрограммы. Границы кадра могут быть известны или могут быть легко детектированы на стороне источника, и набор данных фильтрации глубины преимущественно собирается для периода времени, соответствующего кадру. Автоматически детектирование границ кадра как таковое известно. Также упомянутые границы могут быть уже отмечены или могут определяться в течение процесса редактирования видео на стороне источника. Данные фильтрации глубины могут предоставляться для отдельного кадра и могут изменяться для следующего кадра. Например, значение смещения может быть дано для близкого кадра лица, и область лица указывается посредством данных местоположения фильтра, которые могут следовать различным данным фильтрации глубины для следующего кадра удаленного пейзажа.

Упомянутый процессор глубины источника может быть выполнен с возможностью предоставления, как упомянутые данные местоположения фильтра, данных, указывающих область, которая выравнивается для по меньшей мере одного макроблока в 3D видеосигнале, упомянутого макроблока, представляющего заранее определенный блок сжатых видеоданных. Упомянутые макроблоки представляют заранее определенный блок сжатых видеоданных, например, в MPEG кодированном видеосигнале. Такие данные области будут эффективно кодированы и обработаны.

В одном варианте осуществления упомянутый 3D видеосигнал подвергается форматированию для включения потока кодированных видеоданных и выполнен с возможностью переноса информации декодирования в соответствии с заранее определенным стандартом, например BD стандартом. Упомянутые данные фильтрации глубины в 3D видеосигнале включаются в соответствии с расширением такого стандарта как информация декодирования, например, в сообщение пользовательских данных или в сообщение информации потока элементарной сигнализации (signaling elementary stream information, SEI), как эти сообщения переносятся в элементарном потоке видео. Альтернативно отдельная таблица или описание на основе XML могут включаться в 3D видеосигнал. По мере того, как данные фильтрации глубины должны использоваться при интерпретации карты глубины, упомянутая сигнализация может включаться в дополнительных так называемых как NAL элементах, которые формируют часть видео потока, который переносит данные глубины. Такие NAL элементы описываются в Документе "Working Draft on MVC extensions (Рабочий проект по расширениям MVC)" как упомянуто во вступительной части. Например, элемент NAL обновления диапазона глубины может быть расширен с помощью таблицы, в которой вводятся данные сигнализации глубины.

Преимущественно 3D кодер 30 в течение процесса кодирования не только генерирует исходные карты глубины LD4 и RD4, используя высококачественный преобразователь стерео-в-глубину (HQ-S2D), но также подражает поведению соответствующего 3D декодера; то есть 3D кодер также реконструирует карту глубины (карты глубины), используя те же алгоритмы (алгоритм) стерео-в-глубину (stereo-to-depth algorithms) как будет осуществляться соответствующим 3D декодером, использующим преобразователь типа потребителя стерео-в-глубину.

Посредством использования упомянутой карты глубины как высококачественного преобразователя стерео-в-глубину (или точной карты глубины, если доступна), так и карты глубины преобразователя типа потребителя стерео-в-глубину, 3D кодер может итерационно, используя одну или более итерации, конфигурировать фильтрацию. Посредством сравнения 3D кодера можно, например, идентифицировать области в пределах упомянутой карты глубины, которая может потребовать фильтрацию и/или может использовать эти карты глубины для более точного определения или параметризации фильтров.

Следует отметить, что упомянутый выше подход не требует для 3D кодера доступа к алгоритму (алгоритмам) типа потребителя стерео-в-глубину для получения наилучших возможных результатов, но позволяет 3D кодеру точно регулировать генерирование сигнала 26 местоположения фильтра и/или сигнала 27 фильтра глубины.

Фиг. 4 изображает 3D устройство дисплея и деформирования нескольких видов. Упомянутое устройство 400 3D дисплея принимает левый и правый виды 421 и данные 420 фильтрации глубины, которые могут переноситься отдельно или могут включаться в мультиплексируемый сигнал, на интерфейсе между BD плеером 450 и устройством 400 3D дисплея. Как указано на позиции A, упомянутый интерфейс переносит видеоданные 411 и данные 410 фильтрации глубины и может быть в соответствии с HDMI стандартом, расширенным для переноса RGB и глубины (RGB and Depth HDMI, RGBD HDMI). Целевая карта глубины может генерироваться или обрабатываться посредством процессора 401 глубины на основе данных 410 фильтрации глубины. На позиции B упомянутые видеоданные и карта 422 глубины связаны с блоком 402 визуализации видов, также называемым как блок деформирования видов. На позиции C многие виды 423 связаны перемежителем 403 видов, который генерирует на позиции D подвергнутый перемежению кадр 424 для соединения с авто стерео дисплеем (auto stereo display, ASD) 404. Перемежитель отображает промежуточные виды на субпикселы автостереоскопического дисплея.

Левый и правый виды 421 и данные 420 фильтрации глубины могут переноситься отдельно или могут включаться в мультиплексируемый сигнал, на интерфейсе между BD плеером 450 и устройством 400 3D дисплея. В упомянутом примере BD плеер играет роль 3D исходного устройства видеоизображения, которое предоставляет данные фильтрации глубины на устройство 400 3D дисплея, которое играет роль целевого устройства.

На практике, информация глубины требуется для многих 3D приложений. Она используется для регулировки глубины на стереоскопических 3D дисплеях, и для генерирования видов в дисплеях со многими видами. Такая информация глубины может получаться многими способами. Она может вручную или автоматически генерироваться из 2D или (стерео) 3D входного сигнала, она может отдельно захватываться, используя камеры диапазона глубины, или извлекаться из контента компьютерной графики. В 3D дисплеях, автоматическое преобразование часто применяется, преобразуя 2D или (стерео) 3D контент в 3D (стерео или несколько видов). Первым этапом этого процесса обычно является автоматическое извлечение глубины. Большинство этих алгоритмов делают ошибки в некоторых положениях, которые могут иметь несколько причин (однородные области, неоднозначное стереоскопическое сравнение и т.д.). Традиционно, это требует исправлений вручную, которые следует применять на стороне передачи/создания контента.

Однако алгоритмы автоматического оценивания глубины не являются совершенными и могут сделать значительными ошибки в некоторых местах. Предполагая, что более точные данные глубины доступны на стороне источника контента, такие данные могут быть переданы для достижения более высокой эффективности. Однако хранение и передача данных глубины требует значительной ширины полосы.

Вместо передачи карт глубины, локальные ошибки из-за алгоритмов оценивания глубины могут быть преодолены путем управляемой пост-обработки, например, операций фильтрации, таких как медиана, пятно и т.д. К этому местоположению и параметры фильтра, предназначенные для применения, переносятся от источника на пункт назначения, и применяются на стороне получателя после алгоритма автоматического генерирования глубины. Этим способом упомянутые данные, предназначенные для передачи, уменьшаются до небольшого количества, в то время как дефекты изображения могут быть адекватно решены.

Примерные фильтры и данные местоположения для практического использования включают в себя:

- временной медианный фильтр по N кадрам;

- пространственный медианный фильтр/фильтр максимума / фильтр минимума по M×N пикселей;

- фильтр гауссова размытия по M×N пикселей;

- фильтр гауссова размытия с 1D ядром, из которого направление фильтра может быть в горизонтали, вертикали или в конкретном направлении (указываемом посредством угла);

- фильтр установления порогов, для применения порога к фиксированному значению или набору фиксированных значений;

- фильтр с двусторонней сеткой и маска объекта (например, для графических объектов);

- фильтрация усиления и/или смещения в пределах заданной области фильтра;

- геометрические области, предназначенные для использования, например, при двусторонней фильтрации глубины (такой как замена яркости в поперечном двустороннем фильтре яркости-глубины, где эти геометрии определяются).

Параметры индекса, связанные с каждой геометрической областью, могут использоваться для идентифицирования объектов. Идентифицируемые объекты улучшают обработку глубины для графических накладок, где, как правило, трудно сделать точную оценку глубины.

Упомянутые выше фильтры могут указываться посредством индикатора типа фильтра, коэффициентов и/или возможных параметров (например, интенсивность). Соответствующие наборы фильтров и областей могут быть проиндексированы.

Фиг. 5 изображает пример видеоданных и данных местоположения фильтра. В видеокадре 500 два объекта являются видимыми, первый объект 501 (object 1, Obj 1), имеющий натуральную, изогнутую форму, и второй объект 502 (object 2, Obj2), имеющий прямоугольную форму. Первый набор данных местоположения фильтра определяется как три, перекрывающиеся эллиптические формы 510, 511, 512, размещаемые вдоль границы первого объекта. Тип фильтра может определяться, который эффективен для фильтрации любых мешающих ошибок на границе объекта. Тип фильтра и геометрические данные 510, 511, 512 составляют первый набор данных фильтра глубины. Область границы второго объекта 520 эффективно покрывается посредством различной геометрической формы C, прямоугольник 520. Второй тип фильтра может определяться, который эффективен для фильтрации любых мешающих ошибок на границе второго объекта. Второй тип фильтра и соответствующие геометрические данные 520 составляют второй набор данных фильтра глубины.

Фиг. 6 изображает примеры данных местоположения фильтра. Упомянутая Фиг.6 изображает первую геометрическую форму 601, являющуюся эллипсом, которая определяется посредством трех пар координат x1,y1; x2,y2; x3,y3. Упомянутые координаты позволяют определять эллипс в произвольном положении на изображении, то есть также на угол по отношению к горизонтальному направлению. Вторая геометрическая форма 602 является прямоугольником, который определяется посредством трех пар координат x1,y1; x2,y2; x3,y3. Упомянутые координаты позволяют определять прямоугольник в произвольном местоположении на изображении. Поэтому три пары координат определяют упомянутый (повернутый) прямоугольник или эллипс внутри. Следует отметить, что далее геометрические формы могут быть заранее определены для описания области фильтра, такой как линия, сплайн (кривая линия, имеющая радиус) или заранее определенная кривая.

Третья форма 603 является структурой для определения границы области фильтра. Третья форма указывает переход между областью фильтра и окружающей глубиной, которая является резким переходом. Верхний уровень кривой указывает, что работа фильтра является 100%, и нулевой уровень указывает, что глубина не обрабатывается фильтром. Четвертая форма 604 указывает переход между областью фильтра и окружающей глубиной, который является мягким переходом.

Каждая форма может также иметь значение индекса в байте a(a7..a0). Дальнейшие параметры (подобно a,b, …) определяют тип фильтра, действие фильтра, интенсивность, активизированный или деактивизированный и т.д. Набор параметров (данные местоположения фильтра и даты описания фильтра) x1,y1,x2,y2,x3,y3,a,b,… могут встраиваться в видеопоток, например, посредством SEI сообщений.

В упомянутое значение индекса также может встраиваться индикатор активности. Например, индикатор начала (например, msbit = 1, который является наиболее значимым битом, это бит 7 параметра a, то есть a(7) байта индекса) может указывать, что область является активной для предстоящих кадров, пока не будет остановки. Активность может быть остановлена посредством байта индекса области с помощью индикатора остановки (например, msbit = 0). В этом способе не для каждого кадра SEI сообщение должно повторяться, что приводит к дальнейшему снижению битовой скорости.

Индикатор активности может также указывать, что фильтр в ранее определенной области фильтра должен быть возобновлен, или что один или более из набора различных фильтров должен быть активирован. Индикатор активности может также использоваться, чтобы стирать ранее определенный фильтр или область фильтра.

Упомянутый фильтр применяется только в пределах определенной части изображения, называемой как область фильтра. Такая область может определяться как прямоугольная область 520 посредством указывания координат, и ширины, и высоты, как показано на Фиг. 5, или (последовательностью) квадратных или круглых капель или эллипсов 510, 511, 512, определяемых посредством их центра и радиуса. Также, упомянутый фильтр может применяться вдоль линий посредством определения координат и направления фильтрации. Области могут также иметь конкретный переход, например мягкий переход 604, вдоль границ (указываемых через a6..a0). Упомянутый переход использует смешивание между первоначальной глубиной (0%) и обработанной (100%) глубиной.

Когда геометрические параметры перекрываются, обе операции могут осуществляться отдельно на первоначальных входных данных глубины, и затем результаты смешиваются. Альтернативно следующая операция может определяться, например, на основе последовательного порядка значений индекса. Упомянутая последовательность и/или приоритет таких перекрывающихся операций фильтра могут определяться дальнейшим параметром.

Фиг. 7 изображает пример индикатора выбора фильтра. Упомянутая Фиг. 7 изображает изображение, имеющее источник 700. Упомянутое изображение имеет два индикатора выбора фильтра, первый индикатор является графическим индикатором 710, который имеет область фильтра, указываемую посредством горизонтальной координаты 704 и вертикальной координаты 701. Второй индикатор выбора фильтра 720 является графическим индикатором, который имеет область фильтра, указываемую посредством горизонтальной координаты 704 и вертикальной координаты 701. Соответствующий размер области фильтра может далее определяться, как указано выше. Упомянутый тип графики может представляться посредством параметра типа графики, например, первым графическим индикатором, являющимся типом объекта, и вторым графическим индикатором, являющимся подзаголовком. Дальнейшие параметры могут указывать значения цвета и/или яркости графики. Упомянутый индикатор выбора фильтра позволяет пункту назначения активизировать фильтр, который является подходящим для улучшения оценивания глубины, принимая во внимание, что упомянутый графический объект имеет резкую границу по отношению к окружающему видео.

Проблема, связанная с преобразованием стереоскопического видео с передним планом со стереоскопической графикой в видео со многими видами заключается в том, что вокруг краев графики визуальные дефекты изображения будут появляться из-за ошибок в процессе преобразования стерео во много видов. Поскольку графика обычно имеет сильные края и большой промежуток глубины на видеоконтенте, любые визуальные дефекты изображения на этих краях будут заметны обычному пользователю. Одним типом ошибки, которая особенно достойна внимания, является иллюзорная флуктуация несоответствий во времени. Эти временные несовместимости часто вызываются оценкой несоответствия на поверхностях с низкой текстурой. На пункте назначения, который процессор глубины, например, компонент преобразования стерео во много видов, использует индикатор выбора фильтра и области фильтра для улучшения оценивания (и фильтрации) карт несоответствия.

Затем описывается, как упомянутый индикатор выбора фильтра и данные местоположения фильтра могут использоваться для улучшения обработки в упомянутом процессе оценки несоответствия для типа графики. Первое предположение является тем, что наложение графики будет почти всегда впереди на видео. Во-вторых, внутри графических областей глубина не показывает каких-либо внезапных скачков и является более или менее непрерывной. Используя эти предположения, различная оценка несоответствия для области фильтра, имеющей графику, используется. Альтернативно упомянутая оценка несоответствия выполняется за один этап, но с конкретными параметрами на основе местоположения перекрытия графики. Если, например, проблема стерео оценивания формулируется как проблема минимизации энергии, то метаданные местоположения графики могут включаться в энергетическую функцию (функцию затрат), посредством:

Установка затрат поглощения (если доступно) на высокие (то есть препятствовать) или бесконечные (то есть не разрешать) в пределах графического объекта и очень низкие (то есть поощрять) на границах.

Установка пространственных затрат плавности для неравных различий выше в пределах графического объекта.

Установка пространственных затрат плавности на ноль на границе между графикой и видео.

Установка временных затрат плавности (если доступно) выше в пределах графического объекта.

Упомянутые выше элементы затрат могут сочетаться. Следует понимать, что почти все способы оценивания стерео могут быть сформулированы как проблема минимизации энергии. Часть этих способов являются в форме случайного поля Маркова (Markov random field, MRF), которое может быть решено хорошо известными способами оптимизации MRF, такими как доверительное распространение и максимальный поток (max flow)/ минимальное разрезывание (min cut) с α-расширением, как описывается далее в документе "Daniel Scharstein and Richard Szeliski, A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms, Microsoft Research, November 2001 (Daniel Scharstein и Richard Szeliski, Таксономия и определение плотных двхкадровых стерео соответствия алгоритмов, Microsoft Research, ноябрь 2001 года)".

Если способ оценивания стерео основывается на 3D рекурсивном поиске (на основе окружающих блоков), то метаданные местоположения графики могут включаться посредством регулирования ухудшений на основе того, пересекают ли кандидаты несоответствия границу графики.

Временная последовательность может быть далее улучшена посредством соответствующей фильтрации, например двусторонней сеткой с экспоненциальным затуханием. В этом случае, завершающая обработка может улучшаться посредством:

Обработка графики и видео отдельно.

Наполнение и чтение двусторонней сетки только для части без графики.

Использования (планарной или B-сплайн) поверхности моделирования для графической части.

Регулирование коэффициента затухания (временное сглаживание) для каждой ячейки сетки отдельно на основе того, является ли эта ячейка частью графического объекта.

Таким образом, упомянутые данные фильтрации глубины позволяют в результате процесса визуализации получить лучшие результаты из упомянутых данных глубины для реального 3D дисплея, в то время как регулировки все еще управляются стороной источника. Упомянутые данные фильтрации глубины могут состоять из параметров фильтра или характеристик глубины, существенных для обработки упомянутых данных глубины в 3D дисплее, и данных местоположения фильтра для указывания позиции на изображении, где упомянутый фильтр предназначен для применения.

Следует отметить, что данное изобретение может использоваться для любого типа данных 3D изображений, либо неподвижного изображения или видео с движением. Данные 3D изображения предполагаются являющимися доступными как электронные, в цифровой форме кодированные, данные. Данное изобретение относится к таким данным изображений и управляет упомянутыми данными изображения в цифровой области.

Упомянутое изобретение может осуществляться в аппаратном обеспечении и/или программном обеспечении, используя программируемые компоненты. Способы для осуществления упомянутого изобретения имеют этапы, соответствующие функциям, определяемым для упомянутой системы, как описано со ссылкой на фигуры Фиг. 1-4.

Будет очевидно, что приведенное выше описание для ясности имеет описываемые варианты осуществления упомянутого изобретения со ссылкой на различные функциональные блоки и процессоры. Однако будет очевидно, что любое подходящее распределение функциональных возможностей между различными функциональными блоками или процессорами может использоваться без отклонения от упомянутого изобретения. Например, функциональные возможности, иллюстрированные для выполнения посредством отдельных блоков, процессоров или контроллеров могут выполняться посредством того же процессора или контроллеров. Поэтому, ссылки на конкретные функциональные блоки следует рассматривать только как ссылки на подходящие средства для предоставления описанных функциональных возможностей, предпочтительнее, чем указывающие определенную логическую или физическую структуру или устройство. Упомянутое изобретение может осуществляться в любой подходящей форме, включающей в себя аппаратное обеспечение, программное обеспечение, встроенное программное обеспечение или любое их сочетание.

Следует отметить, что в этом документе слово 'содержащий' не исключает наличие других элементов или этапов, чем те элементы, которые перечислены, и слово 'a' или 'an', предшествующее элементу, не исключает наличие множества таких элементов, что любые ссылочные символы не ограничивают область действия пунктов формулы изобретения, что упомянутое изобретение может осуществляться средствами как аппаратного обеспечения, так и программного обеспечения, и что несколько 'средств' или 'блоков' могут быть представлены посредством того же элемента аппаратного обеспечения или программного обеспечения, и процессор может выполнять функцию одного или более блоков, возможно при взаимодействии с элементами аппаратного обеспечения. Более того, упомянутое изобретение не ограничивается упомянутыми вариантами осуществления, и упомянутое изобретение находится в каждой и всякой новой функциональной возможности или сочетании функциональных возможностей, описанных выше или цитируемых во взаимно различных зависимых пунктах формулы изобретения.

Изобретение относится к технологиям предоставления видеосигнала видеоизображения от исходного устройства видео на целевое устройство трехмерного видео. Техническим результатом является повышение качества визуализации трехмерного видео за счет включения данных фильтрации глубины в трехмерный сигнал. Предложено исходное устройство видео для предоставления видеосигнала, представляющего видеоизображение для пересылки на целевое устройство трехмерного видео. Исходное устройство содержит блок вывода для генерирования видеосигнала и для пересылки видеосигнала на целевое устройство. Целевое устройство содержит приемник для приема видеосигнала. Исходное устройство содержит процессор глубины источника для предоставления данных фильтрации глубины, включающих в себя данные местоположения фильтра. Данные фильтрации глубины представляют условие обработки для обработки целевых данных глубины в области фильтра видеоизображения, указываемого посредством данных местоположения фильтра. 7 н. и 8 з.п. ф-лы, 7 ил.

1. Исходное устройство (40) видео для предоставления видеосигнала (41), представляющего видеоизображение для пересылки на целевое устройство (50) трехмерного (3D) видео, причем исходное устройство содержит:

блок (46) вывода для генерирования видеосигнала и для пересылки видеосигнала на целевое устройство, причем целевое устройство содержит

приемник (51, 58, 59) для приема видеосигнала,

целевой процессор (52) глубины для предоставления целевых данных глубины, при этом исходное устройство содержит:

процессор (42) глубины источника для предоставления данных фильтрации глубины, включающих в себя данные местоположения фильтра, причем данные фильтрации глубины представляют условие обработки для обработки целевых данных глубины в области фильтра видеоизображения, указываемого посредством данных местоположения фильтра, и блок вывода выполнен с возможностью пересылки данных фильтрации глубины на целевое устройство, и

целевой процессор (52) глубины выполнен с возможностью обработки, в зависимости от данных фильтрации глубины, целевых данных глубины в области видеоизображения, указываемого посредством данных местоположения фильтра.

2. Исходное устройство видеоизображения по п. 1, при этом процессор (42) глубины источника выполнен с возможностью предоставления, в данных фильтрации глубины, типа фильтра, включающего в себя по меньшей мере один из:

временного медианного фильтра по N кадрам;

пространственного медианного фильтра, фильтра максимума или минимума по М×N пикселям;

гауссового размытия по М×N пикселям;

гауссового размытия с одномерным ядром;

порогового фильтра для установления порогов для по меньшей мере одного фиксированного значения;

фильтра с двусторонней сеткой и маски объекта для фильтра с двусторонней сеткой;

фильтра смещения или усиления карты глубины.

3. Исходное устройство видеоизображения по п. 1, при этом процессор (42) глубины источника выполнен с возможностью предоставления, в данных фильтрации глубины, индикатора выбора фильтра, включающего в себя по меньшей мере один из:

индикатора временной неустойчивости, указывающего количество движения в видеоизображениях в области фильтра;

индикатора выравнивания, указывающего количество выравнивания между глубиной и яркостью и/или цветностью графического объекта;

графического индикатора, указывающего по меньшей мере один графический объект впереди фонового видео в области фильтра.

4. Исходное устройство видеоизображения по п. 2 или 3, при этом процессор (42) глубины источника выполнен с возможностью предоставления, в данных фильтрации глубины, данных параметра фильтра, включающих в себя по меньшей мере одно из:

коэффициентов фильтра;

интенсивности фильтра;

параметров видео в области фильтра;

параметров графического объекта в области фильтра.

5. Исходное устройство видеоизображения по п. 1, при этом процессор (42) глубины источника выполнен с возможностью предоставления, в данных фильтрации глубины, данных местоположения фильтра, включающих в себя по меньшей мере одно из:

прямоугольной области фильтра, указывающей координаты и/или ширину и высоту;

двухмерной формы заранее определенного типа формы, тип формы, включающий в себя по меньшей мере один из квадрата, круга, эллипса, местоположение двухмерной формы, указываемое посредством по меньшей мере центра и радиуса;

одномерной формы, местоположения одномерной формы, указываемого посредством по меньшей мере одной из координат по меньшей мере одной точки, длины, направления, включающего в себя одно из горизонтали, вертикали или угла;

тип области границы, указывающей переход между областью фильтра и окружающего видео;

индекс области, идентифицирующий соответствующую область фильтра;

геометрическая область для двустороннего фильтра глубины;

параметры индекса объекта, связанные с областью фильтра для идентифицирования объектов.

6. Исходное устройство видеоизображения по п. 1, при этом процессор (42) глубины источника выполнен с возможностью предоставления, в данных фильтрации глубины, индикатора активности фильтра, включающего в себя по меньшей мере один из:

индикатора начала, указывающего видеокадр для начала обработки фильтра;

индикатора остановки, указывающего видеокадр для остановки обработки фильтра;

индикатора периода, указывающего период времени для применения обработки фильтра;

индекса активности, указывающего применение обработки фильтра в области фильтра, соответствующей индексу.

7. Исходное устройство видеоизображения по п. 1, при этом блок (46) вывода выполнен с возможностью генерирования, как видеосигнала, по меньшей мере одного из:

сигнала дисплея для взаимодействия с устройством 3D дисплея;

сигнала пересылки для пересылки видеосигнала на целевое устройство через широковещательную сеть или Интернет;

сигнала носителя записи, представленного посредством оптически читаемых отметок на носителе записи.

8. Целевое устройство (50) трехмерного (3D) видео для обработки видеосигнала (41), представляющего видеоизображение, принимаемое от исходного устройства (40) видео, причем исходное устройство содержит:

блок (46) вывода для генерирования видеосигнала и для пересылки видеосигнала на целевое 3D устройство,

причем целевое устройство содержит:

приемник (51, 58, 59) для приема видеосигнала,

целевой процессор (52) глубины для предоставления целевых данных глубины,

при этом целевое 3D устройство содержит:

процессор (42) глубины источника для предоставления данных фильтрации глубины, включающих в себя данные местоположения фильтра, причем данные фильтрации глубины представляют условие обработки для обработки целевых данных глубины в области фильтра видеоизображения, указываемого посредством данных местоположения фильтра, и блок вывода выполнен с возможностью пересылки данных фильтрации глубины на целевое устройство, и

целевой процессор (52) глубины выполнен с возможностью обработки, в зависимости от данных фильтрации глубины, целевых данных глубины в области видеоизображения, указываемого посредством данных местоположения фильтра.

9. Целевое устройство 3D видео по п. 8, при этом целевой процессор (52) глубины содержит, для предоставления целевых данных глубины, по меньшей мере один из:

преобразователя (53) 2D в 3D для генерирования 3D видеоданных из 2D видеосигнала;

генератора (401) карты глубины для генерирования карты глубины из видеосигнала, содержащего первую видеоинформацию, представляющую вид для левого глаза на 3D дисплее, и вторую видеоинформацию, представляющую вид для правого глаза на 3D дисплее;

средства (402) деформирования видов для деформирования нескольких видов для автостереоскопического 3D дисплея.

10. Целевое устройство 3D видео по п. 8, при этом устройство содержит по меньшей мере один из:

блока (58) чтения для чтения носителя записи для приема видеосигнала,

3D дисплея (63) для отображения 3D видеоданных.

11. Способ предоставления видеосигнала (41), представляющего видеоизображение для пересылки на целевое устройство (50) трехмерного (3D) видео, причем целевое устройство содержит:

приемник (51, 58, 59) для приема видеосигнала,

целевой процессор (52) глубины для предоставления целевых данных глубины,

причем способ содержит:

генерирование видеосигнала и пересылку видеосигнала на целевое устройство,

предоставление данных фильтрации глубины, включающих в себя данные местоположения фильтра, причем данные фильтрации глубины представляют условие обработки для обработки целевых данных глубины в области фильтра видеоизображения, указываемого посредством данных местоположения фильтра,

и пересылку данных фильтрации глубины на целевое устройство, и при этом целевой процессор (52) глубины выполнен с возможностью обработки, в зависимости от данных фильтрации глубины, целевых данных глубины в области видеоизображения, указываемой посредством данных местоположения фильтра.

12. Способ обработки видеосигнала (41), представляющего видеоизображение, принимаемое от исходного устройства (40) видео, причем исходное устройство содержит:

блок (46) вывода для генерирования видеосигнала,

процессор (42) глубины источника для предоставления данных фильтрации глубины, включающих в себя данные местоположения фильтра, причем данные фильтрации глубины представляют условие обработки для обработки целевых данных глубины в области фильтра видеоизображения, указываемого посредством данных местоположения фильтра, и блок вывода выполнен с возможностью пересылки данных фильтрации глубины на целевое устройство, и причем способ содержит:

прием видеосигнала,

предоставление целевых данных глубины,

обработку, в зависимости от данных фильтрации глубины, целевых данных глубины в области видеоизображения, указываемого посредством данных местоположения фильтра.

13. Система передачи видеоданных из исходного устройства в целевое устройство, причем целевое устройство содержит:

приемник (51, 58, 59) для приема видеосигнала,

целевой процессор (52) глубины для предоставления целевых данных глубины,

причем видеосигнал содержит:

данные фильтрации глубины, включающие в себя данные местоположения фильтра, причем данные фильтрации глубины представляют условие обработки для обработки целевых данных глубины в области фильтра видеоизображения, указываемого посредством данных местоположения фильтра,

и при этом целевой процессор (52) глубины выполнен с возможностью обработки, в зависимости от данных фильтрации глубины, целевых данных глубины в области видеоизображения, указываемого посредством данных местоположения фильтра.

14. Считываемый компьютером носитель записи, содержащий записанную программу, которая побуждает процессор компьютера осуществлять этапы способа по п. 11.

15. Считываемый компьютером носитель записи, содержащий записанную программу, которая побуждает процессор компьютера осуществлять этапы способа по п. 12.