ОБЪЕДИНЕНИЕ ДАННЫХ 3D ИЗОБРАЖЕНИЯ И ГРАФИЧЕСКИХ ДАННЫХ Российский патент 2015 года по МПК G06T15/08 H04N13/00 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к способу объединения данных трехмерного [3D] изображения и вспомогательных графических данных, при этом способ содержит выявление значений глубины, возникающих в данных 3D изображения, и адаптивную установку вспомогательных значений глубины для вспомогательных графических данных, в зависимости от выявленных значений глубины, для формирования сигнала 3D отображения для визуализации контента изображения в зоне отображения посредством объединения данных 3D изображения и вспомогательных графических данных, на основании вспомогательных значений глубины.

Изобретение дополнительно относится к устройству-источнику 3D, устройству 3D отображения и компьютерному программному продукту.

Изобретение относится к области визуализации данных 3D изображения, например 3D видео, в сочетании с вспомогательными графическими данными, например субтитрами или заставками, в устройстве 3D отображения так, чтобы данные 3D изображения не преграждали вспомогательные графические данные.

УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ

Устройства для получения из источника 2D видеоданных известны, например, видеоплейеры типа DVD-плейеров или телевизионные абонентские приставки, которые обеспечивают цифровые видеосигналы. Устройство-источник должно быть подключено к устройству отображения, например телевизору или монитору. Данные изображения передаются из устройства-источника через подходящий интерфейс, предпочтительно высокоскоростной цифровой интерфейс, например, HDMI (интерфейс для мультимедиа высокой четкости). В настоящее время предлагаются усовершенствованные устройства 3D для получения из источника данных трехмерного (3D) изображения. Аналогичным образом предлагаются устройства для отображения данных 3D изображения.

В случае 3D контента, например, 3D фильмов или телевизионных вещаний, в сочетании с данными изображения могут отображаться дополнительные, вспомогательные графические данные, например субтитры, заставки, игровой счет, бегущая строка финансовых новостей или других объявлений или новостей.

В документе WO2008/115222 описана система для объединения текста с трехмерным контентом. Система вставляет текст на том же уровне, что и самое высокое значение глубины в 3D контенте. Одним из примеров 3D контента является двумерное изображение и соответствующая карта глубины. В данном случае значение глубины вставляемого текста корректируется для согласования с наибольшим значением глубины данной карты глубины. Другим примером 3D контента является множество двумерных изображений и соответствующие карты глубины. В данном случае значение глубины вставляемого текста непрерывно корректируется для согласования с наибольшим значением глубины данной карты глубины. Дополнительным примером 3D контента является стереоскопический контент, имеющий изображение для правого глаза и изображение для левого глаза. В данном случае текст в одном из изображения для левого глаза и изображения для правого глаза сдвигают для согласования с наибольшим значением глубины в стереоскопическом изображении. Еще одним примером 3D контента является стереоскопический контент, имеющий множество изображений для правого глаза и изображений для левого глаза. В данном случае текст в одном из изображений для левого глаза или изображений для правого глаза непрерывно сдвигается для согласования с наибольшим значением глубины в стереоскопических изображениях. В результате, система создает текст, объединенный с 3D контентом, в котором текст не загораживает 3D эффекты в 3D контенте и не создает зрительной усталости при просмотре зрителем.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

В документе WO2008/115222 описывается, что вспомогательные графические данные должны быть отображены перед самой близкой частью данных изображения. Проблема, которая возникает в современных системах, состоит в том, что субтитры обычно располагаются очень близко к зрителю. Авторы настоящего изобретения выяснили, что зрители на практике не оценивают близкое расположение субтитров. В некоторых современных 3D дисплеях характеристики изображения имеют тенденцию к снижению для объектов, которые находятся перед экраном и ближе к зрителю. При любом стереоскопическом отображении близкие объекты вызывают более сильное напряжение зрения.

В документе WO2008/044191 описано создание 3D графических данных в системе, которая накладывает графические данные на соответствующем видеоизображении. В данном документе внимание уделяется формированию графического объекта, например 3D субтитров. Графический объект может обрезаться и размещаться в графической плоскости, которая накладывается на соответствующее видеоизображение.

В документе WO2008/038205 описано создание отображения 3D меню в системе, которая накладывает 3D графические данные на 3D видеоизображение. 3D графические элементы, например 3D субтитры, накладываются в направлении по глубине. Графические элементы размещаются в графической плоскости или в диапазоне глубин, плоскость и диапазон которых обладает положением по глубине, отличным от положения видеоизображения.

Целью настоящего изобретения является создание системы для объединения вспомогательных графических данных и 3D контента более удобным способом на устройстве отображения.

Для этой цели, в соответствии с первым аспектом изобретения, способ объединения данных трехмерного изображения и вспомогательных графических данных содержит следующие этапы, на которых:

- получают информацию масштабирования и/или сдвига для использования с данными трехмерного изображения,

- масштабируют и/или сдвигают данные трехмерного изображения в соответствии с информацией масштабирования и/или сдвига, в указанном порядке, для создания пространственной зоны черной полосы, которая не занята масштабированными и/или сдвинутыми данными трехмерного изображения,

- объединяют масштабированные и/или сдвинутые данные трехмерного изображения и вспомогательные графические данные таким образом, чтобы вспомогательные графические данные помещались в пределах пространственной зоны черной полосы.

Устройство-источник 3D для объединения данных трехмерного изображения и вспомогательных графических данных, содержащее:

- средство для получения информации масштабирования и/или сдвига для использования с данными трехмерного изображения,

- средство для масштабирования и/или сдвига данных трехмерного изображения в соответствии с информацией масштабирования и/или сдвига, в указанном порядке, для создания пространственной зоны черной полосы, которая не занята масштабированными и/или сдвинутыми данными трехмерного изображения,

- средство для объединения масштабированных и/или сдвинутых данных трехмерного изображения и вспомогательных графических данных таким образом, чтобы вспомогательные графические данные помещались в пределах пространственной зоны черной полосы.

3D устройство отображения для объединения данных трехмерного изображения и вспомогательных графических данных, содержащее:

- средство для получения информации масштабирования и/или сдвига для использования с данными трехмерного изображения,

- средство для масштабирования и/или сдвига данных трехмерного изображения в соответствии с информацией масштабирования и/или сдвига, в указанном порядке, для создания пространственной зоны черной полосы, которая не занята масштабированными и/или сдвинутыми данными трехмерного изображения,

- средство для объединения масштабированных и/или сдвинутых данных трехмерного изображения и вспомогательных графических данных таким образом, чтобы вспомогательные графические данные помещались в пределах пространственной зоны черной полосы.

Информационный носитель содержит данные трехмерного изображения и вспомогательные графические данные, при этом информационный носитель, дополнительно содержащий:

- информацию масштабирования и/или сдвига для использования с данными трехмерного изображения, чтобы предоставлять возможность масштабирования и/или сдвига данных трехмерного изображения в соответствии с информацией масштабирования и/или сдвига, в указанном порядке, для создания пространственной зоны черной полосы, которая не занята масштабированными и/или сдвинутыми данными трехмерного изображения, и последующего объединения масштабированных и/или сдвинутых данных трехмерного изображения и вспомогательных графических данных таким образом, чтобы вспомогательные графические данные помещались в пределах пространственной зоны черной полосы.

Следует отметить, что пространственная зона черной полосы является зоной в плоскости отображения, которая не занята никакими данными трехмерного изображения. Поэтому упомянутая информация масштабирования и/или сдвига относится к масштабированию и/или сдвигу в пределах направления плоскости отображения. Следовательно, упомянутая информация масштабирования и/или сдвига не относится к масштабированию и/или сдвигу в пределах направления глубины, перпендикулярного плоскости отображения.

В соответствии с дополнительным аспектом изобретения, в способе, описанном во вступительном параграфе, выявление значений глубины содержит выявление зоны внимания в данных 3D изображения и определение схемы глубины для зоны внимания, и установка вспомогательных значений глубины содержит установку вспомогательных значений глубины в зависимости от схемы глубины.

В соответствии с дополнительным аспектом изобретения, устройство-источник 3D для объединения данных трехмерного изображения и вспомогательных графических данных, описанное во вступительном параграфе, содержит средство обработки 3D изображения для выявления значений глубины, возникающих в данных 3D изображения, и адаптивной установки вспомогательных значений глубины для вспомогательных графических данных, в зависимости от выявленных значений глубины, для формирования сигнала 3D отображения для визуализации контента изображения в зоне отображения посредством объединения данных 3D изображения и вспомогательных графических данных, на основании вспомогательных значений глубины, при этом средство обработки 3D изображения скомпоновано так, что выявление значений глубины содержит выявление зоны внимания в данных 3D изображения и определение схемы глубины для зоны внимания, и установка вспомогательных значений глубины содержит установку вспомогательных значений глубины в зависимости от схемы глубины.

В соответствии с дополнительным аспектом изобретения, устройство 3D отображения для объединения данных трехмерного изображения и вспомогательных графических данных, описанное во вступительном параграфе, содержит 3D дисплей для отображения данных 3D изображения и средство обработки 3D изображения для выявления значений глубины, возникающих в данных 3D изображения, и адаптивной установки вспомогательных значений глубины для вспомогательных графических данных, в зависимости от выявленных значений глубины, для формирования сигнала 3D отображения для визуализации контента изображения в зоне отображения посредством объединения данных 3D изображения и вспомогательных графических данных, на основании вспомогательных значений глубины, при этом средство обработки 3D изображения скомпоновано так, что выявление значений глубины содержит выявление зоны внимания в данных 3D изображения и определение схемы глубин для зоны внимания, и установка вспомогательных значений глубины содержит установку вспомогательных значений глубины в зависимости от схемы глубины.

Упомянутые меры ведут к тому, что выявление зоны внимания дает возможность системе установить, на какие элементы будет направлено внимание зрителей, когда предполагается, что зритель наблюдает вспомогательные данные. Выявление значений глубины, возникающих в данных 3D изображения, означает вычисление упомянутых значений из левого и правого изображений в левом/правом 3D формате или использование данных глубины из потока 2D + глубина, или вывод упомянутых значений глубины из любого другого формата 3D изображения, например, потока левый + правый + глубина. Схема глубины определяется для выявленной зоны внимания. Система, в частности, устанавливает вспомогательные значения глубины в зависимости от схемы глубины, например, по существу, на такой же глубине, как зона внимания, или перед зоной внимания, где никакие другие объекты не расположены близко к пользователю. В зоне отображения вспомогательных графических данных, в которой данные 3D изображения не преграждают вспомогательных графических данных, т.е. не содержится никаких данных изображения в положении, выдвинутом дальше вперед. Следует отметить, что в других зонах контента 3D изображения дополнительные объекты могут занимать положение, выдвинутое дальше вперед, т.е. находиться ближе к пользователю. Предпочтительно, зритель не должен будет сталкиваться с возмущающими действиями при глубинном восприятии элементов, которые он наблюдает, и не должен существенно регулировать глубину фокусировки, когда он переключается между наблюдением вспомогательных графических данных и зоной внимания.

Изобретение основано также на следующем принятом признании. В документальной ссылке на известный уровень техники описано размещение текста на глубине перед ближайшим элементом в изображении. Авторы настоящего изобретения обнаружили, что такое размещение выдвигает текст вперед, посредством любого элемента, отображаемого близко к пользователю. Выдвинутое положение текста вызывает усталость и воспринимается как неприятное. Настоящая система обеспечивает более отодвинутое назад положение вспомогательных графических данных, которое сложнее создать, но которое ценят зрители. Обычно вспомогательную графическую информацию размещают немного впереди самого ближнего объекта, но также на или перед поверхностью экрана. В общем, качество и четкость изображения оптимальны на поверхности экрана, но могут зависеть от типа дисплея и предмета и размера вспомогательных графических данных.

В варианте осуществления системы выявление зоны внимания содержит выявление объекта внимания в данных 3D изображения, и схема глубины основана на значениях глубины объекта. Объект внимания является объектом, на котором должно фокусироваться внимание зрителя, например, говорящий участник ток-шоу или главное действующее лицо в сцене. Результат заключается в том, что расположение по глубине объекта внимания определяет расположение по глубине вспомогательных графических данных. Предпочтительно, зритель не должен изменять фокусировку своих глаз при переходе к чтению вспомогательных графических данных. По желанию, упомянутое выявление объекта внимания в данных 3D изображения основано на, по меньшей мере, одном из следующего:

- выявление элементов изображения, которые находятся в фокусе, относительно других элементов изображения, которые вне фокуса;

- выявление, для элементов изображения, количества дополнительных 3D данных для визуализации элемента изображения относительно фона, например, данных о преграждении или данных прозрачности;

- выявление, для элементов изображения, ключей глубины, содержащих, по меньшей мере, одно из отличий по перемещению, глубине, яркости и цвету относительно фона;

- выявление предварительно определенных элементов изображения, например, лиц людей;

- выявление, для элементов изображения, ключей положения, содержащих, по меньшей мере, одно из расположения вблизи центра зоны отображения, и обладающего, по меньшей мере, предварительно определенным размером относительно зоны отображения.

В варианте осуществления системы выявление зоны внимания содержит выбор целевой области для расположения вспомогательных графических данных, и схема глубины основана на значениях глубины целевой области. В результате, вспомогательные данные, при расположении в целевой области, расположены на глубине, которая является пропорциональной схеме глубины окружающей целевой области. Следует отметить, что в других областях зоны отображения объекты могут находиться в положении, более выдвинутом вперед, чем вспомогательные графические данные. Предпочтительно, зона целевой области выбирается таким образом, чтобы в местоположении вспомогательных графических данных никакие объекты не находились дальше впереди, притом что объекты в зоне отображения, находящейся вдали от упомянутого местоположения, находятся дальше впереди.

В частности, в дополнительном варианте осуществления системы выбор целевой области содержит подразделение зоны отображения на несколько областей, и выявление схемы глубины основано на пространственной фильтрации значений глубины нескольких областей в соответствии с функцией пространственной фильтрации, в зависимости от целевой области. В результате, пространственная фильтрация применяет относительный вес к различным передним объектам, в зависимости от их расстояния до целевой зоны.

В частности, в дополнительном варианте осуществления системы выбор целевой области содержит, по меньшей мере, одно из выбора, в качестве целевой области, области данных изображения, в которой не возникает никаких значений глубины, больших чем вспомогательные значения глубины; выбора периода времени для отображения вспомогательных данных таким образом, чтобы в целевой области не возникало никаких значений глубины, больших чем вспомогательные значения глубины; выбора, в качестве целевой области, зоны отображения, в которой не отображается никаких данных изображения, и соответственного уменьшения размера данных изображения для подгонки к оставшейся зоне отображения. В результате, местоположение и/или появление вспомогательных графических данных корректируется в соответствии с фактическими данными 3D изображения, т.е. то, где и когда отображаются вспомогательные графические данные, зависит от отображаемого контента.

В варианте осуществления системы определение схемы глубины содержит выявление значений глубины в нескольких кадрах видеоконтента и временную фильтрацию значений глубины в соответствии с функцией временной фильтрации. В результате, временная фильтрация сглаживает разности глубины элементов, перемещающихся или (пропадающих) появляющихся в данных 3D изображения. Предпочтительно, вспомогательное значение глубины корректируется во времени контролируемым образом. По желанию, упомянутое определение схемы глубины содержит установку временного окна в качестве функции временного фильтра, на основании выявления границ снимка в нескольких кадрах видеоконтента.

Дополнительные предпочтительные варианты осуществления способа, устройств 3D и сигнала в соответствии с изобретением приведены в прилагаемой формуле изобретения, раскрытие которой включено в настоящую заявку.

Дополнительной целью настоящего изобретения является обеспечение способа объединения данных трехмерного [3D] изображения и вспомогательных графических данных, при этом способ содержит получение информации масштабирования и/или сдвига для использования с данными трехмерного [3D] изображения, масштабирование и/или сдвиг данных трехмерного [3D] изображения в соответствии с информацией масштабирования и/или сдвига, соответственное объединение масштабированных и/или сдвинутых данных трехмерного [3D] изображения и вспомогательных графических данных таким образом, чтобы, по меньшей мере, часть вспомогательных графических данных располагалась в пределах пространственной зоны, определяемой данными трехмерного [3D] изображения, которая не занята масштабированными и/или сдвинутыми данными трехмерного [3D] изображения. Кроме того, настоящее изобретение обеспечивает устройство-источник 3D по п.10, устройство отображения 3D по п.11 и носитель цифровой информации по п.12.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

Приведенные и другие аспекты изобретения станут более понятными и будут дополнительно разъяснены со ссылкой на варианты осуществления описанные посредством примера в нижеследующем описании и со ссылкой на прилагаемые чертежи, на которых:

фиг.1 показывает систему для отображения данных трехмерного (3D) изображения,

фиг.2 - показывает пример данных 3D изображения,

фиг.3 - показывает вспомогательные графические данные, расположенные на вспомогательной глубине,

фиг.4 - показывает вспомогательные графические данные, расположенные на вспомогательной глубине в целевой области,

фиг.5 - показывает подразделение зоны отображения,

фиг.6 - показывает пример данных изображения уменьшенного масштаба,

фиг.7 - показывает пример данных изображения уменьшенного масштаба в черных границах,

фиг.8 - показывает наложение субтитров и графики на видео,

фиг.9 - показывает масштабирование видео для создания места для субтитров и плавающих окон, и

фиг.10 - показывает комбинированное масштабирование и сдвиг видео для вмещения субтитров.

На фигурах элементы, которые соответствуют уже описанным элементам, снабжены одинаковыми позициями.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

На фиг.1 показана система для отображения данных трехмерного (3D) изображения, например, видео, графики или другой визуальной информации. Устройство-источник 10 3D соединено с устройством 13 отображения для передачи сигнала 56 3D отображения. Устройство-источник 3D содержит входной блок 51 для приема информации изображения. Например, устройство входного блока может включать в себя блок 58 считывания оптического диска для извлечения информации изображения различных типов с носителя 54 оптической записи, например, диска DVD (цифрового видеодиска) или диска BluRay. Альтернативно, входной блок может включать в себя блок 59 сетевого интерфейса для подключения к сети 55, например, сети интернет или вещательной сети, такое устройство обычно называют телевизионной абонентской приставкой. Данные изображения могут извлекаться с удаленного медиасервера 57. Устройство-источник может быть также спутниковым приемником или медиасервером, непосредственно обеспечивающим сигналы отображения, т.е. любым подходящим устройством, которое выдает сигнал 3D отображения, который должен быть непосредственно связан с блоком отображения.

Устройство-источник 3D имеет блок 52 обработки изображений, соединенный с входным блоком 51, для обработки информации изображения с целью формирования сигнала 56 3D отображения, который должен быть передан через блок 12 выходного интерфейса в устройство отображения. Блок 52 обработки скомпонован для формирования данных изображения, включенных в сигнал 56 3D отображения для отображения на устройстве 13 отображения. Устройство-источник снабжено элементами 15 пользовательского управления для управления параметрами отображения данных изображения, например, параметром контраста или цветности. Элементы пользовательского управления, как таковые, общеизвестны и могут включать в себя блок дистанционного управления, имеющий различные кнопки и/или функции управления курсором для управления различными функциями устройства-источника 3D, например, функциями воспроизведения и записи, и для установки упомянутых параметров отображения, например, через графический пользовательский интерфейс и/или меню.

Устройство-источник имеет блок 11 обработки вспомогательного изображения для обработки вспомогательных графических данных, которые должны быть объединены с данными 3D изображения на дисплее 3D. Вспомогательные графические данные могут быть любыми дополнительными данными изображения, которые подлежат объединению с контентом 3D изображения, например, субтитрами, заставкой транслятора, сообщением меню или системы, кодами ошибок, экстренными новостными сообщениями, бегущей строкой и т.п. В тексте внизу обычно будут использоваться субтитры в качестве указания на каждый тип вспомогательных графических данных. Средство 11, 52 обработки 3D изображений скомпоновано для следующих функций. Сначала выявляются значения глубины, возникающие в данных 3D изображения. На основании упомянутых значений адаптивно устанавливаются вспомогательные значения глубины для вспомогательных графических данных, в зависимости от выявленных значений глубины. Затем формируется сигнал 56 3D отображения для визуализации контента изображения в зоне отображения на дисплее 3D. Для этой цели данные 3D изображения и вспомогательные графические данные объединяются на основании вспомогательных значений глубины. Средство обработки 3D изображений скомпоновано для выявления значений глубины следующим образом. Выявляется зона внимания в данных 3D изображения, на которую ожидается, что зритель сфокусирует его/ее внимание в то время, когда должны отображаться вспомогательные графические данные. Зона внимания может быть зоной, в которой должна отображаться вспомогательная информация, или зоной вблизи зоны отображения вспомогательных данных, или любым объектом или элементом в каком-нибудь другом месте в изображении, который определяется как элемент, на котором должны фокусироваться глаза зрителя.

В дальнейшем определяется схема глубины для зоны внимания, т.е. набор значений глубины для зоны внимания. Например, могут определяться максимальные и минимальные значения, возникающие в упомянутой зоне, и схема глубины может быть средним значением. Кроме того, может быть определена схема глубины, возникающая во времени. Дополнительные подробности поясняются ниже. На основании схемы глубины зоны внимания устанавливаются вспомогательные значения глубины, например, в такое же значение, как вышеупомянутое среднее значение глубины схемы глубины, или перед любыми элементами данных 3D изображения, локально возникающих во вспомогательной зоне отображения. Дополнительные примеры пространственной или временной фильтрации данных изображения приведены ниже.

Устройство 13 отображения 3D предназначено для отображения данных 3D изображения. Устройство имеет блок 14 входного интерфейса для приема сигнала 56 3D отображения, включающего в себя данные 3D изображения и вспомогательные графические данные, переданные из устройства-источника 10. Устройство отображения снабжено дополнительными элементами 16 пользовательского управления для установки параметров отображения дисплея, например параметров контраста, цветности или глубины. Передаваемые данные изображения обрабатываются в блоке 18 обработки изображений в соответствии с командами установки из элементов пользовательского управления и формирующимися сигналами управления отображением для визуализации данных 3D изображения на 3D дисплее, на основании данных 3D изображения. Устройство имеет 3D дисплей 17, например, двойной или линзорастровый жидкокристаллический (ЖК) дисплей, принимающий сигналы управления отображением для отображения обработанных данных изображения. Устройство 13 отображения может быть стереоскопическим дисплеем любого типа, называемым также дисплеем 3D, и имеет диапазон отображаемой глубины, обозначенный стрелкой 44. Вспомогательные графические данные с вспомогательными значениями глубины и при необходимости дополнительные данные отображения, например, координаты x, y, извлекаются из сигнала отображения и объединяются с данными 3D изображения на дисплее 17.

Альтернативно, обработка для расположения вспомогательных графических данных выполняется в устройстве отображения. Данные 3D изображения и вспомогательные графические данные передаются сигналом 56 отображения, и устройство отображения имеет вспомогательный блок 19 обработки. Вспомогательный блок 19 обработки обрабатывает вспомогательные графические данные, которые должны быть объединены с данными 3D изображения на дисплее 3D. Средство 19, 18 обработки 3D изображений скомпоновано для соответствующих функций, описанных выше, для средства 11, 52 обработки 3D изображений в устройстве-источнике. В дополнительном варианте осуществления устройство-источник и устройство отображения объединены в одно устройство, при этом один набор средств обработки 3D изображений выполняет упомянутые функции.

На фиг.1 дополнительно показан носитель 54 записи, в качестве носителя данных 3D изображения. Носитель записи имеет форму диска и имеет дорожку и центральное отверстие. Дорожка, образованная последовательностью физически определимых маркеров, размещена в соответствии со схемой спиральных или концентрических витков, составляющих, по существу, параллельные дорожки на информационном слое. Носитель записи может быть оптически считываемым и называться оптическим диском, например, CD (компакт-диском), DVD (цифровым видеодиском) или BD (диском Blue-ray). Информация представлена на информационном слое оптически определимыми маркерами вдоль дорожки, например, впадинами и площадками. Структура дорожки содержит также позиционную информацию, например, заголовки и адреса, для указания местоположения части информации, обычно называемых информационными блоками. Носитель 54 записи несет информацию, представляющую цифровые кодированные данные изображения типа видео, например, кодированного в соответствии с системой кодирования MPEG2 или MPEG4, в предварительно заданном формате записи, например, формате DVD или BD.

В последующем разделе представлен общий обзор трехмерных дисплеев и восприятия глубины людьми. 3D дисплеи отличаются от 2D дисплеев по ощущениям тем, что 3D дисплеи могут обеспечивать более жизненное восприятие глубины. Это достигается тем, что они обеспечивают больше признаков глубины, чем 2-мерные дисплеи, которые могут представлять только монокулярные признаки глубины и признаки на основе движения.

Монокулярные (или статические) признаки глубины можно получать из статического изображения, с использованием одного глаза. Художники часто используют монокулярные признаки для создания ощущения глубины на картинах. Упомянутые признаки содержат относительные размеры, высоту относительно горизонта, преграждение, перспективу, изменение текстуры и освещение/тени. Глазодвигательные признаки являются признаками глубины, полученными из напряжения мышц глаз зрителя. Глаза снабжены мышцами для поворота глаз, а также для растяжения хрусталика глаза. Растяжение и расслабление хрусталика глаза называется аккомодацией и выполняется при фокусировке на изображении. Степень растяжения и расслабления мышц хрусталика обеспечивает признак о том, насколько далеко или близко находится объект. Поворот глаз совершается так, что оба глаза фокусируются на одном и том же объекте, что называется конвергенцией. И, наконец, существует параллакс движения, проявляющийся в том, что объекты, находящиеся ближе к зрителю, представляются двигающимися быстрее, чем объекты, находящиеся дальше.

Бинокулярная диспарантность является признаком глубины, который выводится из того, что оба наших глаза видят немного разное изображение. Монокулярные признаки глубины можно использовать и используются в 2D дисплее любого типа. Для воссоздания бинокулярной диспарантности в дисплее требуется, чтобы дисплей мог сегментировать вид для левого и правого глаза таким образом, чтобы каждый глаз видел немного отличающееся изображение на дисплее. Дисплеи, которые могут воссоздавать бинокулярную диспарантность, являются специальными дисплеями, которые в дальнейшем называются 3D или стереоскопическими дисплеями. 3D дисплеи способны отображать изображения с размерностью глубины, фактически воспринимаемой глазами человека, и в настоящем документе называются 3D дисплеем, обладающим диапазоном отображаемой глубины. Следовательно, 3D дисплеи обеспечивают разные виды для левого и правого глаза.

3D дисплеи, которые могут обеспечивать два разных вида, широко применяются уже давно. Большинство из них были основаны на использовании очков для разделения левого и правого видов. В настоящее время с развитием технологии отображения на рынке появились новые дисплеи, которые обеспечивают стереовидение, без использования очков. Эти дисплеи называются автостереоскопическими дисплеями.

Первый подход основан на ЖК-дисплеях, которые позволяют пользователю смотреть стереовидео без очков. Они основаны на любом из двух методов, дисплеях с линзорастровым экраном и барьерного типа. В случае линзорастрового дисплея ЖК-дисплей покрыт листом с линзами Френеля. Упомянутые линзы преломляют свет от дисплея таким образом, что левый и правый глаза принимают свет от разных пикселей. Это позволяет отображать два разных изображения, одно для левого и одно для правого взгляда.

Альтернативой линзорастровому экрану является дисплей барьерного типа, который использует параллаксный барьер за ЖК-дисплеем и перед подсветкой, чтобы отделить свет от пикселей в ЖК-дисплее. Барьер выполнен так, чтобы из установленного положения перед экраном левый глаз и правый глаз видели разные пиксели. Барьер может также находиться между ЖК-дисплеем и зрителем в таком положении, чтобы пиксели в строке дисплея были попеременно видимыми для левого и правого глаза. Проблемой дисплея барьерного типа является снижение яркости и разрешения, а также очень узкий угол обзора. Это делает упомянутый дисплей менее пригодным в качестве телевизора для жилого помещения по сравнению с линзорастровым экраном, который, например, обладает 9 видами и несколькими зонами наблюдения.

Дополнительный подход, по-прежнему, основан на использовании очков с активным затвором, в сочетании с высокоразрешающими компьютерными видеопроекторами, которые могут отображать кадры с высокой частотой обновления (например, 120 Гц). Высокая частота обновления требуется потому, что в способе с очками с активным затвором виды для левого и правого глаза отображаются попеременно. Зритель, пользующийся очками, воспринимает стереовидео с частотой 60 Гц. Способ с очками с активным затвором обеспечивает высокое качество видео и большой уровень глубины.

Как автостереоскопические дисплеи, так и способ очков с активным затвором, оба страдают от рассогласования между аккомодацией и конвергенцией. Это ограничивает значение глубины и время, в течение которого возможен комфортный просмотр, при использовании упомянутых устройств. Существуют дисплеи, созданные по другим технологиям, например, голографические и объемные дисплеи, которые не страдают от вышеупомянутой проблемы. Следует отметить, что настоящее изобретение можно применить для 3D дисплея любого типа, который обладает диапазоном глубины.

Предполагается, что данные изображения для 3D дисплеев доступны в виде электронных, обычно цифровых данных. Настоящее изобретение относится к упомянутым данным изображения и манипуляции данными изображения в цифровой области. Данные изображения, при передаче из источника, уже могут содержать 3D информацию, например, при использовании сдвоенных камер, или можно применить специализированную систему предварительной обработки для (вос)создания 3D информации из 2D изображений. Данные изображения могут быть статическими подобно слайдам или могут включать в себя видеодвижения, подобно кино. Другие данные изображения, обычно называемые графическими данными, могут быть доступны в виде сохраненных объектов или формируемых на лету, в зависимости от требований применения. Например, в другие данные изображения может быть добавлена информация пользовательского управления типа меню, элементов навигации или текста и комментариев для подсказки.

Существует много разных способов, которыми можно форматировать стереоизображения, называемых 3D форматом изображения. Некоторые форматы основаны на использовании 2D канала, чтобы нести также стереоинформацию. Например, левый и правый виды можно перемежать или можно располагать бок о бок и сверху и под. Упомянутые способы жертвуют разрешением для переноса стереоинформации. Альтернативный вариант жертвует цветом, данный подход называется анаглифическое стерео. Анаглифическое стерео использует спектральное мультиплексирование, которое основано на отображении двух раздельных налагающихся изображений в дополнительных цветах. При использовании очков с цветными фильтрами каждый глаз видит изображение только в цвете фильтра перед данным глазом. Поэтому, например, правый глаз видит только красное изображение, и левый глаз видит только зеленое изображение.

Другой 3D формат основан на двух видах, использующих 2D изображение и дополнительное изображение глубин, так называемую карту глубины, которая передает информацию о глубине объектов в 2D изображении. Формат, называемый изображение + глубина, отличается тем, что является сочетанием 2D изображения с так называемой картой «глубины» или диспарантности. Данная карта является полутоновым изображением, на котором значение уровня серого пикселя указывает степень диспарантности (или глубину в случае карты глубины) для соответствующего пикселя в соответствующем 2D изображении. Устройство отображения использует карту диспарантности, глубины или параллакса для вычисления дополнительных видов, принимая 2D изображение в качестве входных данных. Это может выполняться многочисленными способами, в простейшей форме, посредством сдвига пикселей влево или вправо, в зависимости от значения диспарантности, соответствующего этим пикселям. В статье, озаглавленной «Depth image based rendering, compression and transmission for a new approach on 3D TV», Christoph Fehn, приведен подробный обзор технологии (смотрите http://iphome.hhi.de/fehn/Publications/fehn_EI2004.pdf).

На фиг.2 показан пример данных 3D изображения. Левая часть данных изображения является 2D изображением 21, обычно цветным, и правая часть данных изображения является картой 22 глубины. Информация 2D изображения может быть представлена в любом подходящем формате изображения. Информация карты глубины может быть дополнительным потоком данных, имеющим значение глубины для каждого пикселя, возможно, с разрешением, сниженным по сравнению с 2D изображением. На карте глубины значения уровня серого указывают глубину соответствующего пикселя в 2D изображении. Белый цвет указывает на близость к зрителю, и черный указывает на большую глубину, дальше от зрителя. 3D дисплей может вычислять дополнительный вид, необходимый для стереоскопии, с использованием значения глубины из карты глубины, и посредством вычисления необходимых преобразований пикселей. Преграждения можно разрешить с использованием методов оценки или заполнения отверстий. В поток данных можно включать дополнительные кадры, например, дополнительно добавленные в формат изображения и карты глубины, например, карту преграждения, карту параллакса и/или карту прозрачности для прозрачных объектов, перемещающихся перед фоном.

Добавление стереоскопии в видео влияет также на формат видео, когда оно отправляется из воспроизводящего устройства, например, плейера на дисках Blu-ray, в стереодисплей. В случае 2D отправляется только 2D видеопоток (декодированные данные изображения). В случае стереоскопического видео объем данных увеличивается, так как при этом требуется отправка второго потока, содержащего второй вид (для стерео) или карту глубины. В таком случае возможно удвоение необходимой скорости передачи данных в электрическом интерфейсе. Отличающийся подход состоит в пожертвовании разрешения и форматировании потока таким образом, чтобы второй вид или карта глубины перемежались или располагались бок о бок с 2D видео.

На фиг.2 показан пример 2D данных и карты глубины. Параметры отображения глубины, которые отправляются в дисплей, позволяют дисплею правильно интерпретировать информацию о глубине. Примеры включения дополнительной информации в видео описаны в стандарте ISO 23002-3 «Representation of auxiliary video and supplemental information» (смотрите, например, ISO/IEC JTC1/SC29/WG11 N8259, июль 2007). В зависимости от типа вспомогательного потока дополнительные данные изображения состоят либо из 4, либо двух параметров. Параметр в сигнале отображения может указывать или изменять формат передачи 3D видео.

В варианте осуществления упомянутое выявление зоны внимания содержит выявление объекта внимания в данных 3D изображения. В дальнейшем, схема глубины основана на значениях глубины объекта. Следует отметить, что размещение субтитров всегда на глубине экрана будет создавать некоторые проблемы при наблюдении. Когда объект находится на глубине экрана, автостереоскопический дисплей показывает его с максимальным разрешением. Разрешение будет снижаться, если объект отображается либо впереди, либо позади поверхности отображения. Для стереоскопических дисплеев на основе очков глубина экрана может быть также лучшей глубиной, так как в таком случае точка, на которой фокусируются глаза, находится в том же месте, где точка конвергенции глаз. Тем не менее, представляется, что глубина экрана не является лучшим размещением, так как субтитры всегда наблюдаются в связи с соответствующим контентом 3D изображения. Это означает, что зрителю может быть неудобно переключаться между субтитрами и объектом, когда объект внимания в 3D видео не находится на глубине экрана, а субтитры находятся. Следовательно, глубина субтитров устанавливается на такой же глубине, как глубина объекта внимания. Например, говорящий актер, который, вероятно, является объектом внимания, будет служить опорным элементом, и его глубина будет выбрана и использована для субтитров.

На фиг.3 показаны вспомогательные графические данные, расположенные на вспомогательной глубине. В левой части фигуры показан 3D дисплей 30 на виде спереди. В правой части фигуры показан тот же дисплей в виде 34 сбоку. На фигуре субтитры 31 размещаются на границе 33 картинки, снаружи зоны 35 изображения, на глубине, которая соответствует глубине части изображения, на которой, вероятно, должно фокусироваться внимание зрителя.

Зона 32 внимания показана в виде объекта в центре изображения. Для выявления зоны внимания можно применить несколько функций анализа в любом подходящем сочетании. Для выявления объекта внимания в данных 3D изображения анализ можно выполнять на основе, по меньшей мере, одной из следующих функций обработки изображений. Элементы изображения, которые находятся в фокусе, можно выявлять относительно других элементов изображения, которые вне фокуса. Выявление локальной фокусировки объектов является, по существу, известной задачей, выполнимой на основе пространственно-частотного контента и других параметров изображения. Для элементов изображения можно выявлять количество дополнительных 3D данных для визуализации элемента изображения относительно фона, например, данных преграждения или данных прозрачности. Если формат 3D видео включает в себя такие данные, то фактическое присутствие таких данных об объекте указывает, что его следует визуализировать с высоким качеством перед фоном. Для элементов изображения можно выявлять признаки глубины, например, отличия по перемещению, глубине, яркости и цвету относительно фона. Такие признаки глубины указывают внимание, которое пользователь будет уделять соответствующему объекту. Можно распознавать конкретные объекты и другие предварительно заданные элементы изображения, например, лица людей, автомобили, мяч во время игры в регби или футбол и т.п. Кроме того, для элементов изображения, например, расположенных вблизи центра зоны отображения и/или имеющих, по меньшей мере, предварительно заданный размер относительно зоны изображения, можно выявлять ключи положения.

На фиг.4 показаны вспомогательные графические данные, расположенные на вспомогательной глубине в целевой области. Дисплей и субтитры, по существу, соответствуют фиг.3. Однако в данном случае субтитры 31 находятся в той же самой зоне 35 отображения, в которой отображаются также данные изображения. В варианте осуществления субтитры помещаются в зоне 35 отображения посредством динамического выбора координат x, y на дисплее. Положение вспомогательных графических данных выбрано в целевой области 41. Следовательно, в данном случае выявление зоны внимания включает в себя выбор целевой области для размещения вспомогательных графических данных. В данном случае схема глубины основана на значениях глубины целевой области. Вспомогательное значение глубины может устанавливаться в зависимости от схемы глубины целевой области. Вспомогательное значение глубины может устанавливаться также в зависимости как от вышеописанного объекта 32 внимания, так и от схемы глубины самой целевой области.

В варианте осуществления глубина и/или параллакс субтитров обеспечиваются в виде метаданных вместе с видео либо на каждый кадр, либо на группу кадров. Режиссер-постановщик фильма или специалисты по монтажу могут производить эти метаданные с помощью авторского инструментария, который выполняет функцию выявления упомянутой зоны внимания в данных 3D изображения и определения схемы глубины в зоне внимания, и установки вспомогательных значений глубины в зависимости от схемы глубины.

Следует отметить, что динамическое размещение наложений поверх графической информации, на глубине с ближайшим значением, для каждого кадра, как в документе WO2008/115222, приводит к частым скачкам наложений по глубине между кадрами. Размещение наложений на глубине с фиксированным значением для нескольких кадров часто приводит к наложениям, которые оказываются очень близко к зрителю, так как ближайший объект из нескольких кадров определяет размещение наложений для всех данных кадров. Оба подхода приводят к усталости зрения. В настоящее время выявление зоны внимания содержит выбор целевой области для расположения вспомогательных графических данных, и схема глубины основана на значениях глубины целевой области.

В одном варианте осуществления выбор целевой области выполняется следующим образом. Зону отображения подразделяют на несколько областей. Выявление схемы глубин основано на пространственной фильтрации значений глубины нескольких областей в соответствии с функцией пространственной фильтрации, в зависимости от целевой области.

На фиг.5 показано подразделение зоны отображения. На фигуре приведен пример, в котором отображаемое изображение 45 разделено на элементы 46. Максимальная глубина в каждом элементе разделения вычисляется отдельно. В приведенном примере субтитровый текст 47 может находиться на определенной глубине, даже если глубина другого объекта 48 значительно больше (т.е. ближе к зрителю).

В предыдущих способах максимальное значение глубины вычисляется для всего кадра изображения, и поэтому единственный объект с большой глубиной приводит к размещению наложения на упомянутой большой глубине, даже если как объект, так и наложение находятся в разных областях изображения. В предлагаемом способе глубина вычисляется в нескольких областях (элементах разделения) изображения. На размещение по глубине наложенных вспомогательных графических данных будет влиять глубина только в таких элементах разделения, которые находятся вблизи наложения.

В одном варианте осуществления описанное здесь изобретение служит для наложения субтитров на 3D контент. Основной контент существует в виде стереоскопических (левого/правого) изображений; субтитры также существуют в виде изображений. В варианте осуществления возможна также визуализация субтитров из подходящего описания.

В варианте осуществления используют следующие этапы:

- По всем левым и правым изображениям видеоконтента вычисляется диспарантность для всех пикселей или только для области интереса.

- В области интереса вычисляется минимальная диспарантность и хранится для каждой пары изображений. Диспарантность является отрицательной для объектов, которые представляются перед экраном, следовательно, упомянутые значения соответствуют объектам, имеющим наименьшее воспринимаемое расстояние от зрителя.

- Фильтрация применяется к списку минимальных диспарантностей.

- Положительные значения глубины устанавливаются на 0, что эквивалентно перемещению всех объектов, которые находятся позади экрана, в плоскость экрана. На данном этапе можно выбрать другое значение для помещения объектов в другую плоскость по умолчанию.

- Субтитры сопрягаются поверх левого и правого изображений, с использованием смещения пикселей между левым и правым, которое равно отфильтрованной диспарантности.

- Если субтитры представляются предварительно визуализированными, то используется обычное альфа-сопряжение.

- Если субтитры существуют в тестовом формате, они визуализируются с субпиксельной точностью.

- Для формирования небольшого диапазона глубины между самым передним объектом и субтитрами можно применять небольшое смещение (обычно на один пиксель).

Следует отметить, что вышеописанный способ дает возможность выбирать целевую область на основе выбора, в виде целевой области, области данных изображения, где не возникает никаких значений глубин больше, чем вспомогательные значения глубины. Кроме того, упомянутый выбор может включать в себя выбор периода времени для отображения вспомогательных графических данных таким образом, чтобы в целевой области не возникало никаких значений глубины, больших чем вспомогательные значения глубины. Например, визуализацию субтитров можно задерживать или сдвигать, чтобы позволить объекту, более выдвинутому вперед, исчезнуть.

В одном варианте осуществления определение схемы глубины включает в себя выявление значений глубины в нескольких кадрах видеоконтента и временную фильтрацию значений глубины в соответствии с функцией временной фильтрации. Например, может рассматриваться период времени, в течение которого должны отображаться сами субтитры, или период немного более продолжительный, чтобы исключить появление объектов, по существу, в положении, прилегающем к субтитрам и более выдвинутом вперед, чем субтитры. Период отображения субтитров обычно указан в сигнале отображения.

В частности, определение схемы глубины может включать в себя установку временного окна для функции временного фильтра, на основании выявления границ снимка в нескольких кадрах видеоконтента. Это может быть реализовано следующим образом.

- Из левого и правого изображений вычисляются границы снимка. Начальные изображения снимка определяются посредством выявления значительных изменений контента изображения, с использованием гистограммы цветов изображения.

- Для снимков выявляется список минимальных диспарантностей, в соответствии с вырезанными снимками, выявленными ранее.

- Затем для каждого снимка минимальная диспарантность фильтруется подходящей оконной функции (смотри пример, приведенный ниже). Оконная функция является функцией, которая имеет нулевое значение за пределами некоторого выбранного интервала. Например, функция, которая постоянна внутри интервала и нулевая в любом другом месте, называется прямоугольно-оконной, которая описывает форму ее графического представления. Сигнал (данные) изображения умножается на оконную функцию, и результатом также является нулевое значение за пределами интервала.

- Фильтрация каждого снимка по отдельности гарантирует использование только тех значений, которые находятся в пределах снимка. Следовательно, для значений глубины вспомогательных графических данных обеспечена возможность скачков по вырезанным снимкам, если диспарантность самого переднего объекта в области интереса скачкообразно изменяется, однако это не допускается внутри снимка. В качестве альтернативы возможна также фильтрация размещения по глубине между снимками, что обеспечивает возможность плавных переходов на границах снимков.

В качестве выбранной оконной функции в варианте осуществления применяется оконная функция Ханна, однако пригодны также другие оконные функции, например, прямоугольная оконная функция. Функция Ханна, названная по имени австрийского метеоролога Юлиуса фон Ханна, является функцией распределения вероятностей дискретной случайной величины, заданной выражением

.

Окно центрируется в текущем положении во времени, так что принимаются во внимание как прошлые, так и будущие значения. Благодаря этому осуществляется сглаживание значений, что исключает резкие изменения диспарантности и гарантирует, что наложение всегда находится впереди 3D контента. Будущие значения могут быть недоступны, например, для вещаний в реальном времени, и умножение на оконную функцию может быть основано только на прошлых значениях. Альтернативно, часть будущих кадров можно сначала хранить в буфере, при этом применяя небольшую задержку при визуализации.

Следует отметить, что выбранная целевая область (TR) должна, по меньшей мере, охватывать ограничивающий прямоугольник субтитрового текста. Для приятного визуального представления TR должна быть значительно больше. Для размещения субтитров внизу изображения в варианте осуществления применяется TR, которая продолжается вертикально от низа изображения на предварительно заданную высоту, например, на высоту от четверти до половины высоты изображения. По горизонтали она центрирована в изображении и продолжается на ширину субтитров или ширину изображения, минус 20%, в зависимости от того, что шире. Упомянутая TR гарантирует, что глубина субтитров корректируется соответственно глубине объектов вблизи. Продолжение области до середины изображения гарантирует, что учитываются объекты, на которых обычно фокусируется зритель. Возможно также применение пространственной фильтрации для назначения большого весового коэффициента объекту в соседних элементах разделения и меньшего весового коэффициента передним объектам в элементах разделения, расположенных дальше.

В одном варианте осуществления данные изображения уменьшаются в масштабе для подгонки к ограниченной части зоны отображения. Например, контент фильма (1:1.85) немного уменьшается в масштабе на дисплее 16:9. Для контента фильма 1:2.35 не потребуется уменьшение масштаба для вмещения субтитров, так как в наличии имеется черная полоса в нижней части. Затем весь (уменьшенный в масштабе) контент сдвигается вверх и совмещается с верхней стороной экрана. Это создает место внизу экрана для зоны субтитров, в которую можно помещать все субтитры на вспомогательные значения глубины, которые получены выше.

На фиг.6 приведен пример масштабно уменьшенных данных изображения. В зоне 65 отображения вокруг зоны 60 изображения показаны левая граница 63 и правая граница 61, и нижняя граница 62. Внизу для субтитров 67 доступна зона 64. Размер элементов на фигуре указан числами пикселей для размера 1920×1080 дисплея.

Для видео высокой четкости (HD) оптимальный размер шрифта субтитров равен 42 линиям. Контент фильма 1:1.85, показанный на дисплее 16:9, оставляет место на 17 линий. При масштабировании 1:1.85 для создания двух строк субтитров, требующих 84 линии, при нескольких черных линиях между ними, то есть при потребности в приблизительно 100 линиях, требуется коэффициент масштабирования около 90%. Обычно такое изменение масштаба будет не слишком заметно для пользователя, особенно, если придать границе текстуру, подобную кромке дисплея. Кроме того, большинство современных платформ может поддерживать произвольные коэффициенты масштабирования. Альтернативно, масштабирование зоны фильма может выполняться уже авторами (за счет небольшого снижения разрешения для моноскопического изображения).

Следует отметить, что при визуализации 3D видео другой серьезной проблемой является граничный эффект. Граничный эффект возникает в случае объектов с глубинами перед экраном, которые появляются в кадре дисплея не полностью, а на пограничной стороне. Граничный эффект создает в мозгу человека конфликты, также приводящие к усталости. Решением граничного эффекта является создание искусственной левой и правой границы (с использованием 2 небольших вертикальных полос), которые можно динамически корректировать в направлении по глубине таким образом, чтобы смежная граница срезанного объекта всегда находилась ближе к зрителю, чем срезанный объект. Подобно субтитрам, глубину границ также можно динамически корректировать на основе глубины/диспарантности контента.

На фиг.6 упомянутое уменьшение масштаба зоны изображения позволяет применять вертикальные границы 61, 63, чтобы приспособить для граничного эффекта. Уменьшение масштаба предоставляет место на 2 небольшие вертикальные границы приблизительно по 85 строк на каждую, которые можно использовать для динамического изменения глубин черных полос (границ), чтобы избегать граничного эффекта.

Поскольку для субтитров создано место, то существует дополнительная возможность динамической коррекции глубины нижнего края контента. Однако эта задача сложнее, чем для левой и правой границ. Горизонтальный сдвиг нижней полосы может сработать в зависимости от степени текстурирования. Однако смещение постоянного сигнала (черной полосы) не дает никакого результата. С постоянной черной полосой проблемы нарушения границ внизу экрана возникать не будут. Однако, когда данная полоса является не совсем черной, но так или иначе текстурированной (например, с текстурой дерева, как на фиг.6), то также появляется возможность корректировать глубину нижней границы перед срезанным объектом.

Дополнительное преимущество искусственных (расположенных вне экрана) границ состоит в том, что они дают зрителю возможность легким и удобным образом располагаться в центре конуса наблюдения.

На фиг.7 показан пример масштабно уменьшенных данных изображения в черных границах. В зоне 65 отображения вокруг зоны 60 изображения показаны левая граница 72 и правая граница 73, и нижняя граница 71. Нижняя граница 71 доступна для субтитров. На фигуре размер элементов указан числами пикселей для размера 1920×1080 дисплея. Аналогичные меры можно принимать для экрана другого размера, например, 1280×720.

На фиг.8 показано наложение субтитров и графики на видео. В левой части фигуры показан пример вывода 80 стереоскопического видео, имеющий левый вид 84 и правый вид. Оба вида формируются на основе наложения 3D изображения 81 и первого слоя 82, плоскости представления, и второго слоя 83, интерактивной плоскости, вспомогательных графических данных. Вспомогательные значения глубины для графических элементов определяются в соответствии с вышеприведенным описанием.

С правой стороны фиг.8 показан аналогичный пример для вывода 89 видео двумерного (2D) + глубина, имеющего 2D вид 84 и правый вид. Оба вида формируются на основании наложения 2D изображения 85 и первого слоя 86, плоскости представления, и второго слоя 87, интерактивной плоскости, вспомогательных графических данных; при этом каждый из упомянутых слоев имеет соответствующую карту глубины. Вспомогательные значения глубины для графических элементов определяют в соответствии с вышеприведенным описанием и применяют для коррекции упомянутых карт глубины.

Следует отметить, что модель, представленную на фиг.8, можно реализовать на диске Blu-ray (BD расширенного формата), чтобы обеспечить возможность управления размерами и положением границ, как показано на фиг.6 и 7, и положением и размером зоны субтитров. Формат BD (Blu-ray) поддерживает несколько плоскостей, которые дают возможность автору контента управлять наложением графики поверх видео. Реализация осуществляется следующим образом.

На первом этапе видео масштабируется, чтобы создать место для субтитров, например, для по меньшей мере двух линий субтитров. Коэффициент изменения масштаба может быть под управлением автора контента. Следовательно, спецификацию BD следует расширить, чтобы допускать произвольные коэффициенты масштабирования видео. Поддерживать следует, по меньшей мере, коэффициент масштабирования 7/8.

На втором этапе текстура загружается в буферную память. Данную текстуру используют для заполнения боковых границ, которые будут служить для создания скользящего окна, как показано на фиг.6 (что не требуется для черных границ на фиг.7).

На третьем этапе во время воспроизведения размеры боковых границ для левого и правого видов в случае стереоскопического видео корректируются так, чтобы диспарантность боковых границ была больше, чем диспарантность срезанных объектов. Для видео 2D изображения + глубина глубина границ корректируется так, чтобы быть больше глубины любых срезанных объектов. Дополнительно, для 2D изображения + глубина фон видео, который преграждается границей, копируется в слой фоновых данных преграждения выходного формата.

Для реализации в существующем формате видео, требуется расширение формата с коэффициентом масштабирования по меньшей мере 7/8 для видео 1920×1080, что приводит к целевому разрешению 1680×945. Вышеприведенные этапы могут быть реализованы с помощью авторского инструментария путем использования плоскости представления графики. В таком случае сопроводительная графика содержит не только субтитры, но также границы скользящего окна, как показано на следующей фигуре.

На фиг.9 показано масштабирование видео для создания места для субтитров и плавающих окон. Данные 90 3D изображения, например, основного фильма, вводятся в блок 92 масштабирования. Обеспечивается плоскость 91 представления графики, имеющая левую/правую границы и нижнюю зону для субтитров, как изложено выше. Масштабированное видео объединяется в блоке 93 объединения для обеспечения данных 94 3D изображения. Окно, в котором показываются данные 3D изображения, называется плавающим, так как левая и правая границы и по желанию нижняя граница корректируются по глубине для урегулирования граничного эффекта. По ходу процесса для вспомогательных графических данных выбирается целевая область как зона отображения, на которой не отображается никаких данных изображения, и, соответственно, уменьшается размер данных изображения для подгонки к оставшейся зоне отображения. Следует отметить, что для основного фильма, который является достаточно широким (например, 2.20:1), видео достаточно сдвинуть вверх или вниз, чтобы создать черную полосу и отказаться от этапа масштабирования видео.

На фиг.10 показан дополнительный пример масштабирования и смещения (1030) первичного видеопотока (1000), верхнего левого угла, с субтитрами на матовом черном фоне (1010), нижнего левого угла, которые в последующем объединяются с использованием смесителя (1020) в комбинированный выходной сигнал (1040).

Когда основной фильм передается в плейер потоком или с помощью физического носителя, например, диска, имеющего формат такого диска, как диск Blu-ray (BD), на среде-носителе необходимо обеспечить информацию масштабирования и/или информацию сдвига (смещения).

Как показано выше и в дальнейшем в настоящем описании, информация масштабирования и информация сдвига являются, предпочтительно, коэффициентами масштабирования для масштабирования как по x, так и по y, и смещением в направлении либо x, либо y.

В предпочтительном варианте информация масштабирования и/или сдвига хранится в таблице, в которой перечислены потоки (наложений, представляющих субтитры на разных языках), воспроизводимых в течение частей основного фильма. Упомянутая таблица аналогична таблице карты программы, описанной в ISO13818-1 «Information Technology-Generic Coding of Moving Pictures and Associated Audio Information - Part 1:Systems», включенном в настоящую заявку посредством ссылки.

В формате BD аналогичная таблица называется STN_table. Записи для каждого потока можно добавлять, чтобы обеспечивать разное смещение и масштабирование на каждый поток PG (презентационной графики) или текстовых субтитров, как поясняется, например, в публикации http://www.blu-raydisc.com/Assets/Downloadablefile/2b_bdrom_audiovisualapplication_0305-12955-15269.pdf для формата диска Blu-ray, включенной в настоящее описание посредством ссылки.

Альтернативно, информация масштабирования и/или сдвига хранится в любом из или любом сочетании, или во всех следующих местах:

- В данных расширения PlayList, в которых PlayList является базой данных на диске, который переносит всю информацию, необходимую для декодирования и воспроизведения последовательностей аудиовизуального контента, выбранного пользователем из меню. Предпочтительно, информация масштабирования и/или сдвига хранится вместе с информацией диспарантности субтитров. Альтернативно, информация масштабирования и/или сдвига хранится в новой записи в Playlist ExtensionData(), содержащих вышеупомянутые смещение и коэффициент масштабирования.

- В самом потоке графики наложения (например, потоке презентационной графики субтитров и/или текстовых субтитров).

В еще одной альтернативе информация сдвига и/или масштабирования обеспечивается другими средствами, например, сдвиг и/или масштабирование можно определять посредством приложения (BD-Java или Movie Object), записанного на диске и исполняемого плейером дисков, который записывает упомянутые числа в регистр состояния плейера (PSR); при этом механизм декодирования и визуализации плейера считывает значения из PSR и применяет сдвиг и/или коэффициент масштабирования к основному фильму, как показано на фиг.9.

Существует много способов представления информации сдвига и/или масштабирования математически эквивалентным образом, например, путем описания размера и/или местоположения активного видео (части немасштабированного изображения без черных полос) и размера и/или местоположения графического наложения. Различные представления сдвига и/или коэффициента масштабирования осуществляют различные компромиссные решения между сложной обработкой в плейере и авторской разработкой. Кроме того, различные представления могут быть полезны для создания таких возможностей, которые позволяют пользователю выбирать местоположения субтитров и черной полосы (с выравниванием по верху или выравниванием по низу).

Кроме того, так как некоторые азиатские фильмы нуждаются в субтитрах, которые ориентированы по вертикали, то необходимо, чтобы можно было также создавать или увеличивать черные полосы (72, 73) сбоку. Вышеупомянутые этапы можно также применять в случае, когда вертикальный сдвиг дополняется горизонтальным сдвигом, или когда используют вертикальный сдвиг вместо горизонтального сдвига.

Чтобы обеспечивать возможность масштабирования и сдвига основного видео в плейере только в случае, если это допускается автором контента, о наличии возможности масштабирования/сдвига сигнализируется информацией в потоке, на диске или в локальном запоминающем устройстве, предпочтительно, для каждого потока графики наложения на диске, по отдельности. Примером, в котором масштабирование/сдвиг могут запрещаться, является введение близких субтитров для слабослышащих, когда фигура с текстом «Slam!» («Удар!») имеет смысл только при наложении видео, вблизи применимого символа.

Следует отметить, что изобретение может быть реализовано аппаратными и/или программными средствами, с использованием программируемых компонентов. Способ реализации изобретения обладает этапами обработки, соответствующими обработке данных 3D изображения, описанными со ссылкой на фиг.1. Хотя изобретение поясняется в основном на примере вариантов осуществления, использующих носители оптической записи или интернет, изобретение пригодно также для любого интерфейсного окружения для работы с изображениями, например, 3D интерфейс дисплея персонального компьютера [PC] или персональный компьютер 3D медиацентра, связанный с беспроводным 3D устройством отображения.

Следует отметить, что в настоящем документе формулировка «содержащий» не исключает присутствия других элементов или этапов, кроме перечисленных, и единственное число, выраженное неопределенным артиклем перед элементом, не исключает наличия множества упомянутых элементов, что никакие позиции не ограничивают объем формулы изобретения, что изобретение может быть реализовано как аппаратными, так и программными средствами, и что несколько «средств» или «блоков» могут быть представлены одним и тем же элементом аппаратных или программных средств, и процессор может выполнять функцию по меньшей мере одного блока, возможно, в сочетании с аппаратными элементами. Кроме того, настоящее изобретение не ограничено вариантами осуществления и заключается в каждом новом вышеописанном признаке или сочетании вышеописанных признаков.

Изобретение относится к средствам визуализации трехмерного изображения. Техническим результатом является создание свободного пространства в трехмерном изображении, обеспечивающего отображение дополнительных графических данных, не загораживающих трехмерные эффекты при отображении. В способе получают данные трехмерного изображения с носителя информации, масштабируют данные трехмерного изображения на основе информации масштабирования и/или создания пространственной зоны черной полосы, не занятой указанными данными, объединяют указанные данные со вспомогательными графическими данными, получают указанную информацию, используя ее с данными изображения. 5 н. и 10 з.п. ф-лы, 8 ил.

1. Способ объединения данных трехмерного [3D] изображения и вспомогательных графических данных, отличающийся тем, что способ содержит этапы, на которых:
- получают данные трехмерного [3D] изображения с носителя информации,
- масштабируют и/или сдвигают данные трехмерного [3D] изображения в соответствии соответственно с информацией масштабирования и/или сдвига для создания пространственной зоны черной полосы, которая не занята масштабированными и/или сдвинутыми данными трехмерного [3D] изображения,
- объединяют масштабированные и/или сдвинутые данные трехмерного [3D] изображения и вспомогательные графические данные таким образом, чтобы вспомогательные графические данные помещались в пределах пространственной зоны черной полосы, и
- получают с носителя информации упомянутую информацию масштабирования и/или сдвига для использования с данными трехмерного [3D] изображения.

2. Способ по п.1, в котором вспомогательные графические данные являются по меньшей мере одними из:
- информации двумерных субтитров,
- информации двумерных фрагментов изображения,
- информации трехмерных субтитров и
- информации трехмерных фрагментов изображения.

3. Способ по п.1, в котором информация масштабирования и/или сдвига является по меньшей мере одним из:
- масштабного коэффициента;
- масштабного коэффициента, применяемого для масштабирования в направлении как x, так и y плоскости отображения;
- смещения в по меньшей мере одном из:
- горизонтального направления плоскости отображения и
- вертикального направления плоскости отображения.

4. Способ по п.1, в котором вспомогательная графическая информация расположена полностью в пределах пространственной зоны черной полосы.

5. Способ по п.1, в котором пространственная зона черной полосы заполнена информацией черного фона.

6. Способ по п.1, в котором информация масштабирования и/или сдвига содержит информацию для выбора местоположения субтитров и пространственной зоны черной полосы, которая должна быть выровнена по верху или выровнена по низу.

7. Способ по п.1, в котором информация масштабирования и/или сдвига содержит информацию, сигнализирующую о наличии возможности масштабирования/сдвига для обеспечения возможности масштабирования и/или сдвига данных трехмерного [3D] изображения.

8. Носитель информации, содержащий данные трехмерного [3D] изображения и вспомогательные графические данные, отличающийся тем, что носитель информации содержит:
- информацию масштабирования и/или сдвига для использования с данными трехмерного [3D] изображения, чтобы обеспечивать возможность масштабирования и/или сдвига данных трехмерного [3D] изображения в соответствии соответственно с информацией масштабирования и/или сдвига, получаемой с упомянутого носителя информации, для создания пространственной зоны черной полосы, которая не занята масштабированными и/или сдвинутыми данными трехмерного [3D] изображения и последующего объединения масштабированных и/или сдвинутых данных трехмерного [3D] изображения и вспомогательных графических данных таким образом, чтобы вспомогательные графические данные помещались в пределах пространственной зоны черной полосы.

9. Носитель информации по п.8, в котором информация масштабирования и/или сдвига является смещением в по меньшей мере одном из:
- горизонтального направления плоскости отображения и
- вертикального направления плоскости отображения.

10. Носитель информации по п.8, в котором информация масштабирования и/или сдвига содержит информацию для выбора местоположения субтитров и пространственной зоны черной полосы, которая должна быть выровнена по верху или выровнена по низу.

11. Носитель информации по п.8, в котором информация масштабирования и/или сдвига содержит информацию, сигнализирующую о наличии возможности масштабирования/сдвига.

12. Устройство-источник (10) 3D для объединения данных трехмерного [3D] изображения и вспомогательных графических данных, отличающееся тем, что устройство содержит:
- средство для получения данных трехмерного [3D] изображения с носителя информации,
- средство для масштабирования и/или сдвига данных трехмерного [3D] изображения в соответствии соответственно с информацией масштабирования и/или сдвига для создания пространственной зоны черной полосы, которая не занята масштабированными и/или сдвинутыми данными трехмерного [3D] изображения,
- средство для объединения масштабированных и/или сдвинутых данных трехмерного [3D] изображения и вспомогательных графических данных таким образом, чтобы вспомогательные графические данные помещались в пределах пространственной зоны черной полосы, и
- средство для получения с носителя информации упомянутой информации масштабирования и/или сдвига для использования с данными трехмерного [3D] изображения.

13. Устройство-источник (10) 3D по п.12, в котором устройство содержит блок (58) считывания оптического диска для извлечения информации изображения различных типов с носителя информации, при этом блок считывания оптического диска содержит средство для получения информации масштабирования и/или сдвига с носителя информации по п.8.

14. Устройство (13) 3D отображения для объединения данных трехмерного [3D] изображения и вспомогательных графических данных, отличающееся тем, что устройство содержит:
- средство для получения данных трехмерного [3D] изображения с носителя информации,
- средство для масштабирования и/или сдвига данных трехмерного [3D] изображения в соответствии соответственно с информацией масштабирования и/или сдвига для создания пространственной зоны черной полосы, которая не занята масштабированными и/или сдвинутыми данными трехмерного [3D] изображения,
- средство для объединения масштабированных и/или сдвинутых данных трехмерного [3D] изображения и вспомогательных графических данных таким образом, чтобы вспомогательные графические данные помещались в пределах пространственной зоны черной полосы, и
- средство для получения с носителя информации упомянутой информации масштабирования и/или сдвига для использования с данными трехмерного [3D] изображения.

15. Считываемый компьютером носитель, хранящий компьютерный программный продукт для объединения данных трехмерного [3D] изображения и вспомогательных графических данных, при этом программа действует, чтобы заставить процессор выполнять соответствующие этапы способа по любому одному из пп.1-7.