ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
Изобретение относится к устройству для обработки данных трехмерного (3D) изображения для отображения на трехмерном дисплее для зрителя в целевой конфигурации пространственного просмотра, причем данные трехмерного изображения представляют собой по меньшей мере левое изображение L, которое нужно воспроизвести для левого глаза, и правое изображение R, которое нужно воспроизвести для правого глаза в исходной конфигурации пространственного просмотра, в которой изображения на экране имеют исходную ширину, причем устройство содержит процессор для обработки данных трехмерного изображения, чтобы генерировать сигнал трехмерного отображения для трехмерного дисплея путем изменения взаимного горизонтального положения изображений L и R на смещение O с целью компенсации отличий между исходной конфигурацией пространственного просмотра и целевой конфигурацией пространственного просмотра.
Изобретение дополнительно относится к способу обработки данных трехмерного изображения, причем способ содержит этап обработки данных трехмерного изображения, чтобы генерировать сигнал трехмерного отображения для трехмерного дисплея путем изменения взаимного горизонтального положения изображений L и R на смещение O с целью компенсации отличий между исходной конфигурацией пространственного просмотра и целевой конфигурацией пространственного просмотра.
Изобретение дополнительно относится к сигналу и носителю записи для передачи данных трехмерного изображения с целью показа для зрителя на трехмерном дисплее.
Изобретение относится к области предоставления данных трехмерного изображения посредством носителя типа оптического диска или Интернета, обработки данных трехмерного изображения для отображения на трехмерном дисплее и для передачи через высокоскоростной цифровой интерфейс, например HDMI (Интерфейс для мультимедиа высокой четкости), сигнала отображения, несущего данные трехмерного изображения, например трехмерного видеоизображения, между устройством формирования трехмерных изображений и устройством трехмерного отображения.
УРОВЕНЬ ТЕХНИКИ ИЗОБРЕТЕНИЯ
Известны устройства для поставки двумерных видеоданных, например видеопроигрыватели типа проигрывателей DVD или телевизионных абонентских приставок, которые предоставляют цифровые видеосигналы. Устройство нужно соединить с устройством отображения, например телевизором или монитором. Данные изображения передаются с помощью сигнала отображения от устройства через подходящий интерфейс, предпочтительно высокоскоростной цифровой интерфейс типа HDMI. В настоящее время предлагаются устройства с трехмерными возможностями для поставки и обработки данных трехмерного (3D) изображения. Аналогичным образом предлагаются устройства для отображения данных трехмерного изображения. Для передачи сигналов трехмерного видеоизображения от устройства-источника к устройству отображения разрабатываются новые стандарты цифровых интерфейсов с высокой скоростью передачи данных, например на основе и совместимые с существующим стандартом HDMI.
Статья "Reconstruction of Correct 3-D perception on Screens viewed at different distances; под авторством R. Kutka; IEEE transactions on Communications, том 42, № 1, январь 1994 г." описывает восприятие глубины у зрителя, смотрящего на трехмерный дисплей, предоставляющий левое изображение L, которое должно восприниматься левым глазом, и правое изображение R, которое должно восприниматься правым глазом зрителя. Рассматривается влияние разных размеров экрана. Предлагается применять зависимый от размера сдвиг между стереоизображениями. Сдвиг вычисляется в зависимости от соотношения размеров разных экранов и подтверждается, что он достаточен для восстановления правильной трехмерной геометрии.
US2004/233275 описывает устройство захвата стереоскопического видеоизображения и систему отображения, использующую средство захвата, то есть две камеры. Носитель передает упомянутое видеоизображение и информацию о точке пересечения оптической оси средства захвата. К тому же устройство измеряет расстояние между камерами и точкой пересечения.
EP1089573A1 описывает способ для создания стереоскопического изображения. Объясняется процесс создания сигнала трехмерного изображения, то есть формирования изображения L и R для определенной конфигурации просмотра.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
Хотя статья под авторством Kutka описывает формулу для компенсации разных размеров экрана, и статья утверждает, что зависимый от размера сдвиг между стереоизображениями является необходимым и достаточным для восстановления трехмерной геометрии, в статье делается вывод, что сдвиг нужно регулировать только один раз, когда телевизионный экран создается или устанавливается, а затем должен все время оставаться постоянным.
Цель изобретения - предоставить трехмерное изображение посредством сигнала трехмерного отображения, которое воспринимается зрителем как обладающее трехмерным эффектом, который является практически таким же, как предусмотрен создателем в источнике данных трехмерного изображения.
С этой целью в соответствии с первым аспектом изобретения устройство, которое описано во вступительном абзаце, содержит средство метаданных отображения для предоставления метаданных трехмерного отображения, содержащих данные целевой ширины, указывающие целевую ширину Wt трехмерных данных при отображении в целевой конфигурации пространственного просмотра, средство ввода для извлечения данных исходного смещения, указывающих несоответствие между изображением L и изображением R, предоставленное для данных трехмерного изображения, на основе исходной ширины Ws и исходного расстояния Es между зрачками зрителя в исходной конфигурации пространственного просмотра, причем данные исходного смещения включают в себя параметр смещения для изменения взаимного горизонтального положения изображений L и R, при этом процессор дополнительно выполнен с возможностью определения смещения O в зависимости от параметра смещения.
С этой целью в соответствии со вторым аспектом изобретения способ содержит этапы предоставления метаданных трехмерного отображения, содержащих данные целевой ширины, указывающих целевую ширину Wt трехмерных данных при отображении в целевой конфигурации пространственного просмотра, и извлечения данных исходного смещения, указывающих несоответствие между изображением L и изображением R, предоставленное для данных трехмерного изображения, на основе исходной ширины Ws и исходного расстояния Es между зрачками зрителя в исходной конфигурации пространственного просмотра, причем данные исходного смещения включают в себя параметр смещения для изменения взаимного горизонтального положения изображений L и R, и определения смещения O в зависимости от параметра смещения.
С этой целью сигнал трехмерного изображения содержит данные трехмерного изображения, представляющие по меньшей мере левое изображение L, которое нужно воспроизвести для левого глаза, и правое изображение R, которое нужно воспроизвести для правого глаза в исходной конфигурации пространственного просмотра, и данные исходного смещения, указывающие несоответствие между изображением L и изображением R, предоставленное для данных трехмерного изображения, на основе исходной ширины Ws и исходного расстояния Es между зрачками зрителя в исходной конфигурации пространственного просмотра, причем данные исходного смещения включают в себя параметр смещения для определения смещения O, чтобы компенсировать отличия между исходной конфигурацией пространственного просмотра и целевой конфигурацией пространственного просмотра, содержащей целевую ширину Wt трехмерных данных при отображении путем изменения взаимного горизонтального положения изображений L и R на смещение O.
В результате данных мер смещение между изображениями L и R регулируется так, чтобы объекты казались имеющими одинаковое положение по глубине независимо от размера фактического дисплея, и как предполагалось при исходной конфигурации пространственного просмотра. Кроме того исходная система предоставляет данные исходного смещения, указывающие несоответствие между изображением L и изображением R на основе исходной ширины Ws и исходного расстояния Es между зрачками зрителя в исходной конфигурации пространственного просмотра. Данные исходного смещения извлекаются устройством и применяются для вычисления фактического значения смещения O. Данные исходного смещения указывают несоответствие, которое присутствует в исходных данных трехмерного изображения или которое нужно применить к исходным данным изображения при отображении на дисплее известного размера. Средства метаданных отображения предоставляют метаданные трехмерного отображения, указывающие целевую ширину Wt трехмерных данных при отображении в целевой конфигурации пространственного просмотра. Фактическое смещение O основывается на извлеченных данных исходного смещения и метаданных целевого трехмерного отображения, в частности, целевой ширине Wt. Фактическое смещение можно вычислить на основе целевой ширины и извлеченных данных исходного смещения, например, используя расстояние E между зрачками и исходное смещение Os посредством O=E/Wt-Os. Преимущественно, чтобы фактическое смещение автоматически адаптировалось к ширине данных трехмерного изображения при отображении для целевого зрителя, чтобы обеспечить трехмерный эффект, как предусмотрено источником, и эта адаптация находится под управлением источника путем предоставления упомянутых данных исходного смещения.
Предоставление данных исходного смещения в сигнале трехмерного изображения обладает тем преимуществом, что данные исходного смещения непосредственно соединяются с исходными данными трехмерного изображения. Фактические данные исходного смещения извлекаются блоком ввода и известны приемному устройству и используются для вычисления смещения, как описано выше. Извлечение данных исходного смещения может заключать в себе извлечение данных исходного смещения из сигнала трехмерного изображения, из отдельного сигнала данных, из запоминающего устройства и/или может вызывать обращение к базе данных по сети. Сигнал может быть реализован физическим шаблоном из меток, предоставленных на носителе информации типа оптического носителя записи.
Отметим, что исходная система может предоставлять данные трехмерного изображения для исходной конфигурации пространственного просмотра, то есть эталонной конфигурации, для которой данные изображения созданы и предназначены для использования при отображении, например для кинотеатра. Устройство оборудовано для обработки данных трехмерного изображения, чтобы адаптировать сигнал отображения к целевой конфигурации пространственного просмотра, например домашнему телевизионному комплекту. Однако данные трехмерного изображения также могут предоставляться для стандартного телевизора, например 100 см, и отображаться дома на экране домашнего кинотеатра в 250 см. Чтобы компенсировать разность в размере, устройство обрабатывает исходные данные, чтобы адаптировать их к данным целевой ширины, указывающим целевую ширину Wt трехмерного дисплея в целевой конфигурации пространственного просмотра, содержащей целевое расстояние Et между зрачками целевого зрителя. Целевое расстояние Et между зрачками может быть зафиксировано в стандартном значении либо может измеряться или вводиться для разных зрителей.
В варианте осуществления параметр смещения содержит по меньшей мере одно из:
- по меньшей мере первого значения целевого смещения Ot1 для первой целевой ширины Wt1 целевого трехмерного дисплея, причем процессор (52) выполнен с возможностью определения смещения O в зависимости от соответствия первой целевой ширины Wt1 и целевой ширины Wt;
- значения отношения расстояния исходного смещения Osd на основе
Osd=Es/Ws;
- значения исходного смещения в пикселях Osp для данных трехмерного изображения, имеющих исходное разрешение HPs по горизонтали в пикселях, на основе
Osp=HPs×Es/Ws;
- данных (42) об исходном расстоянии просмотра, указывающих эталонное расстояние от зрителя до дисплея в исходной конфигурации пространственного просмотра;
- данных смещения границы, указывающих разброс смещения O по положению левого изображения L и положению правого изображения R;
и процессор (52) выполнен с возможностью определения смещения O в зависимости от соответствующего параметра смещения. Устройство выполнено с возможностью применения соответствующих данных смещения одним из следующих способов.
На основе соответствия первой целевой ширины Wt1 и фактической целевой ширины Wt приемное устройство могло бы непосредственно применять значение целевого смещения, как предусмотрено. Также в сигнал может включаться несколько значений для разных значений целевой ширины. Более того, может применяться интерполяция или экстраполяция для компенсации отличий между поступившей целевой шириной (ширинами) и фактической целевой шириной. Отметим, что линейная интерполяция корректно предоставляет промежуточные значения.
На основе предоставленного значения расстояния исходного смещения или значения в пикселях определяется фактическое смещение. Вычисление могло бы выполняться в физическом размере (например в метрах или дюймах) и впоследствии преобразовываться в пиксели или выполняться сразу же в пикселях. Предпочтительно, чтобы вычисление смещения упрощалось.
На основе исходного расстояния просмотра целевое смещение можно компенсировать для фактического целевого расстояния просмотра. На несоответствие влияет расстояние просмотра для объектов ближе бесконечности. Когда целевое расстояние просмотра не пропорционально соответствует исходному расстоянию просмотра, возникают искажения глубины. Предпочтительно, чтобы искажения можно было уменьшить на основе исходного расстояния просмотра.
На основе смещения границы целевое смещение распределяется по левому и правому изображениям. Применение разброса, который предусмотрен для данных трехмерного изображения, особенно важно, если смещенные пиксели нужно обрезать на границах.
В одном варианте осуществления устройства процессор (52) выполнен с возможностью по меньшей мере одного из:
- определения смещения O в зависимости от соответствия первой целевой ширины Wt1 и целевой ширины Wt;
- определения смещения в виде отношения Otd целевого расстояния для целевого расстояния Et между зрачками целевого зрителя и целевой ширины Wt на основе
Otd=Et/Wt-Osd;
- определения смещения Op в пикселях для целевого расстояния Et между зрачками целевого зрителя и целевой ширины Wt для сигнала трехмерного отображения, имеющего целевое разрешение HPt по горизонтали в пикселях, на основе
Op=HPt×Et/Wt-Osp;
- определения смещения O в зависимости от комбинации данных об исходном расстоянии просмотра и по меньшей мере одного из первого значения целевого смещения, значения расстояния исходного смещения и значения исходного смещения в пикселях;
- определения диапазона смещения O по положению левого изображения L и положению правого изображения R в зависимости от данных смещения границы.
Устройство выполнено с возможностью определения фактического смещения на основе заданного соотношения и предоставленных данных исходного смещения. Предпочтительно, чтобы вычисление смещения было эффективным. Отметим, что параметр расстояния (Et) между зрачками может побуждать устройство предоставлять или получать конкретное значение расстояния между зрачками. В качестве альтернативы вычисление может основываться на общем допустимом среднем значении для расстояния между зрачками, как, например, 65 мм.
В варианте осуществления устройства данные исходного смещения содержат, для первой целевой ширины Wt1, по меньшей мере первое значение целевого смещения Ot11 для первого расстояния просмотра и по меньшей мере второе значение целевого смещения Ot112 для второго расстояния просмотра, и процессор выполнен с возможностью определения смещения O в зависимости от соответствия первой целевой ширины Wt1 и целевой ширины Wt и соответствия фактического расстояния просмотра и первого или второго расстояния просмотра. Например, фактическое смещение может выбираться в зависимости от фактической целевой ширины Wt и фактического расстояния просмотра на основе двумерной таблицы значений целевого смещения и расстояний просмотра.
Отметим, что фактический трехмерный эффект на целевом дисплее практически одинаков, когда расстояние до зрителя пропорционально равно, то есть заданное исходное расстояние просмотра в эталонной конфигурации умножается на соотношение размеров экрана. Однако фактическое расстояние просмотра может быть разным. Трехмерный эффект может быть уже не одинаков. Предпочтительно, чтобы путем предоставления разных значений смещения для разных расстояний просмотра фактическое значение смещения можно было определить на основе фактического расстояния просмотра.
В одном варианте осуществления устройство содержит средства метаданных зрителя для предоставления метаданных зрителя, задающих зрительские параметры пространственного просмотра относительно трехмерного дисплея, причем параметры пространственного просмотра включают в себя по меньшей мере одно из:
- целевого расстояния Et между зрачками;
- целевого расстояния Dt просмотра от зрителя до трехмерного дисплея;
и процессор выполнен с возможностью определения смещения в зависимости по меньшей мере от одного из целевого расстояния Et между зрачками и целевого расстояния Dt просмотра.
Средства метаданных зрителя выполнены с возможностью определения зрительских параметров просмотра по отношению к трехмерному дисплею. Расстояние Et между зрачками зрителя может вводиться или измеряться, либо может устанавливаться категория зрителя, например детский режим или возраст (установка меньшего расстояния между зрачками, чем для взрослых). Также расстояние просмотра может вводиться или измеряться либо может извлекаться из других значений параметров, например настроек звукового окружения для расстояния от центрального динамика, который обычно находится близко к дисплею. Это обладает тем преимуществом, что фактическое расстояние между зрачками зрителя используется для вычисления смещения.
В одном варианте осуществления устройства процессор выполнен с возможностью определения компенсированного смещения Ocv для целевого расстояния Dt просмотра от зрителя до трехмерного дисплея, причем исходная конфигурация пространственного просмотра содержит исходное расстояние Ds просмотра, на основе
Ocv=O/(1+Dt/Ds-Wt/Ws).
Компенсированное смещение определяется для целевой конфигурации пространственного просмотра, где отношение расстояния Dt просмотра и исходного расстояния Ds просмотра не пропорционально соответствует отношению размеров экрана Wt/Ws.
Обычно расстояние до зрителя и размер экрана в быту не соответствует кинотеатру; как правило, он будет отстоять еще дальше. Коррекция смещения, которая упоминалась выше, не сможет создать впечатление от просмотра точно таким же, как на большом экране. Авторы изобретения обнаружили, что компенсированное смещение обеспечивает улучшенное впечатление от просмотра, в частности для объектов, имеющих глубину, близкую к исходному экрану. Компенсированное смещение преимущественно будет компенсироваться для большого количества объектов в общем видеоматериале так, как автор обычно поддерживает глубину объектов в фокусе возле экрана.
Вариант осуществления устройства содержит средство ввода для извлечения исходных данных трехмерного изображения с носителя записи. В дополнительном варианте осуществления исходные данные трехмерного изображения содержат данные исходного смещения, и процессор выполнен с возможностью извлечения данных исходного смещения из исходных данных трехмерного изображения. Это предоставляет то преимущество, что исходные данные трехмерного изображения, которые распространяются посредством носителя, например оптического носителя записи типа диска Blu-Ray (BD), извлекаются с носителя с помощью блока ввода. Кроме того, данные исходного смещения могут преимущественно извлекаться из исходных данных трехмерного изображения.
В альтернативном дополнительном варианте осуществления исходные данные трехмерного изображения содержат исходный эталонный размер дисплея и параметры расстояния просмотра, а процессор выполнен с возможностью встраивания этих параметров в выходной сигнал, переданный по HDMI на устройство-приемник, то есть дисплей. Дисплей выполнен так, что он сам вычисляет смещение путем регулировки по фактическому размеру экрана по сравнению с эталонным размером экрана.
В варианте осуществления устройства процессор выполнен с возможностью подгонки упомянутых взаимно измененных горизонтальных положений путем применения к сигналу трехмерного отображения, предназначенному для области отображения, по меньшей мере одного из следующего:
- обрезки данных изображения, превышающих область отображения из-за упомянутого изменения;
- добавления пикселей к левой и/или правой границе сигнала трехмерного отображения для расширения области отображения;
- масштабирования взаимно измененных изображений L и R для соответствия области отображения;
- обрезки данных изображения, превышающих область отображения из-за упомянутого изменения, и затемнения соответствующих данных в другом изображении. При обрезке данных изображения, превышающих область отображения из-за упомянутого изменения, и затемнения соответствующих данных в другом изображении получается иллюзия шторки.
Устройство в данном случае обеспечивает один из упомянутых вариантов обработки для изменения сигнала трехмерного отображения после применения смещения. Обрезка любых пикселей, превышающих текущее количество пикселей в горизонтальном направлении, преимущественно сохраняет сигнал в стандартном разрешении сигнала отображения. Добавление пикселей, превышающих текущее количество пикселей в горизонтальном направлении, преимущественно расширяет стандартное разрешение сигнала отображения, но избегает потери некоторых пикселей для одного глаза на левом и правом краях области отображения. В конечном счете масштабирование изображений для отображения любых пикселей, превышающих текущее количество пикселей в горизонтальном направлении, на доступную строку развертки преимущественно сохраняет сигнал в стандартном разрешении сигнала отображения и предотвращает потери некоторых пикселей для одного глаза на левом и правом краях области отображения.
Дополнительные предпочтительные варианты осуществления устройства и способа в соответствии с изобретением приводятся в прилагаемой формуле изобретения, раскрытие которой включается в этот документ путем отсылки.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Эти и другие аспекты изобретения поясняются со ссылкой на варианты осуществления, описанные в качестве примера в нижеследующем описании, и со ссылкой на прилагаемые чертежи, на которых изображено:
фиг.1 - система для обработки данных трехмерного (3D) изображения;
фиг.2 - компенсация размера экрана.
Фиг.3 - граничные эффекты для компенсации размера экрана;
фиг.4 - данные исходного смещения в управляющем сообщении;
фиг.5 - часть списка воспроизведения, предоставляющего данные исходного смещения, и
фиг.6 - компенсация расстояния просмотра;
фиг.7 - использование шторок для компенсации расстояния просмотра;
фиг.8 - проецируемые изображения при использовании шторок.
Фигуры являются исключительно схематичными и не изображены в масштабе. На фигурах элементы, которые соответствуют уже описанным элементам, имеют одинаковые ссылочные обозначения.
ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
На фиг.1 изображена система для обработки данных трехмерного (3D) изображения, например видеоизображения, графики или другой визуальной информации. Устройство 10 формирования трехмерных изображений соединяется с устройством 13 трехмерного отображения для передачи сигнала 56 трехмерного отображения.
Устройство формирования трехмерных изображений содержит блок 51 ввода для приема графической информации. Например, блок ввода может включать в себя устройство 58 на оптических дисках для извлечения различных типов графической информации с оптического носителя 54 записи типа диска DVD или Blu-Ray. В одном варианте осуществления блок ввода может включать в себя блок 59 сетевого интерфейса для соединения с сетью 55, например Интернетом или широковещательной сетью, причем такое устройство обычно называется телевизионной абонентской приставкой. Данные изображения можно извлечь из удаленного сервера 57 мультимедиа. Устройство формирования трехмерных изображений также может быть спутниковым приемником или сервером мультимедиа, непосредственно предоставляющим сигналы отображения, то есть любым подходящим устройством, которое выводит сигнал трехмерного отображения, для прямого соединения с дисплеем.
Устройство формирования трехмерных изображений содержит процессор 52 обработки изображений, соединенный с блоком 51 ввода, для обработки графической информации для формирования сигнала 56 трехмерного отображения, который можно передать через интерфейсный блок 12 для работы с изображениями в устройство отображения. Процессор 52 выполнен с возможностью формирования данных изображения, включенных в сигнал 56 трехмерного отображения, для показа на устройстве 13 отображения. Устройство формирования изображений снабжается элементами 15 пользовательского управления для управления параметрами отображения данных изображения, например параметром контраста или цвета.
Устройство формирования трехмерных изображений содержит блок 11 метаданных для предоставления метаданных. Блок содержит блок 112 метаданных отображения для предоставления метаданных трехмерного отображения, задающих параметры пространственного отображения трехмерного дисплея.
В одном варианте осуществления блок метаданных может включать в себя блок 111 метаданных зрителя для предоставления метаданных зрителя, задающих зрительские параметры пространственного просмотра относительно трехмерного дисплея. Метаданные зрителя могут содержать по меньшей мере один из следующих пространственных параметров зрителя: межзрачковое расстояние зрителя, также называемое расстоянием между зрачками, расстояние просмотра от зрителя до трехмерного дисплея.
Метаданные трехмерного отображения содержат данные целевой ширины, указывающие целевую ширину Wt трехмерного дисплея в целевой конфигурации пространственного просмотра. Целевая ширина Wt является эффективной шириной области просмотра, которая обычно равна ширине экрана. Область просмотра также может выбираться по-другому, например окно на экране трехмерного дисплея как часть экрана, сохраняя при этом дополнительную область экрана доступной для отображения других изображений типа субтитров или меню. Окно может быть масштабированной версией данных трехмерного изображения, например "картинка в картинке". Также окно может использоваться интерактивным приложением типа игры или приложения Java. Приложение может извлекать данные исходного смещения и соответственно адаптировать трехмерные данные в окне и/или в окружающей области (меню и так далее). Целевая конфигурация пространственного просмотра включает в себя или предполагает целевое расстояние Et между зрачками целевого зрителя. Целевое расстояние между зрачками может предполагаться равным стандартному среднему расстоянию между зрачками (например 65 мм), фактическому расстоянию между зрачками зрителя, которое введено или измерено, или выбранному расстоянию между зрачками, которое установлено зрителем. Например, зритель может установить детский режим, предполагающий меньшее расстояние между зрачками, если среди зрителей есть дети.
Вышеупомянутые параметры задают геометрическое расположение трехмерного дисплея и зрителя. Исходные данные трехмерного изображения содержат по меньшей мере левое изображение L, которое нужно воспроизвести для левого глаза, и правое изображение R, которое нужно воспроизвести для правого глаза. Процессор 52 создан для обработки исходных данных трехмерного изображения, скомпонованных для исходной конфигурации пространственного просмотра, чтобы сформировать сигнал 56 трехмерного отображения для показа на трехмерном дисплее 17 в целевой конфигурации пространственного просмотра. Обработка основывается на целевой пространственной конфигурации в зависимости от метаданных трехмерного отображения, и эти метаданные предоставляются блоком 11 метаданных.
Исходные данные трехмерного изображения преобразуются в данные целевого трехмерного отображения на основе отличий между исходной конфигурацией пространственного просмотра и целевой конфигурацией пространственного просмотра следующим образом. Кроме того, исходная система предоставляет данные исходного смещения Os, указывающие несоответствие между изображением L и изображением R. Например, Os может указывать несоответствие в ширине Ws отображения данных трехмерного изображения при отображении в исходной конфигурации пространственного просмотра на основе исходного расстояния Es между зрачками зрителя. Отметим, что исходная система предоставляет данные трехмерного изображения для исходной конфигурации пространственного просмотра, то есть эталонной конфигурации, для которой данные изображения созданы и предназначены для использования при отображении, например в кинотеатре.
Блок 51 ввода выполнен с возможностью извлечения данных исходного смещения. Данные исходного смещения могут вводиться и извлекаться из сигнала исходных данных трехмерного изображения. В противном случае данные исходного смещения могут передаваться отдельно, например через Интернет, или вводиться вручную.
Процессор 52 выполнен с возможностью обработки данных трехмерного изображения, чтобы сформировать сигнал (56) трехмерного отображения для трехмерного дисплея путем изменения взаимного горизонтального положения изображений L и R на смещение O, чтобы компенсировать отличия между исходной конфигурацией пространственного просмотра и целевой конфигурацией пространственного просмотра, и для определения смещения O в зависимости от данных исходного смещения. Смещение применяется для изменения взаимного горизонтального положения изображений L и R на смещение O. Обычно оба изображения сдвигаются на 50% от смещения, но в качестве альтернативы может сдвигаться только одно изображение (на полное смещение) или может использоваться другой разброс.
В варианте осуществления данные исходного смещения содержат данные смещения границы, указывающие разброс смещения O по положению левого изображения L и положению правого изображения R. Процессор выполнен с возможностью определения разброса на основе данных смещения границы, то есть части полного смещения, применяемой к левому изображению, и оставшейся части смещения, применяемой к правому изображению. Смещение границы может быть параметром в сигнале трехмерного изображения, например дополнительным элементом в таблице, показанной на фиг.4 или фиг.5. Смещение границы может быть процентным отношением или лишь несколькими разрядами состояний, указывающим только левый сдвиг, только правый сдвиг или 50% в обе стороны. Применение разброса, который включен в данные трехмерного изображения, особенно важно, если смещенные пиксели нужно обрезать на границах, как описано ниже. Это асимметричное распределение смещения улучшает результаты обрезки, которая вызывает потерю некоторых пикселей, когда сдвигаются изображения L и R. В зависимости от типа изображения пиксели на левом или правом крае экрана могут играть важную роль в информационном наполнении, например, они могут быть частью лица ведущего актера или искусственно созданной трехмерной шторкой, чтобы избежать так называемого "граничного эффекта". Асимметричное распределение смещения удаляет пиксели там, где зритель с меньшей вероятностью концентрирует его/ее внимание.
Отметим, что функции для определения и применения смещения подробно описываются ниже. Путем вычисления и применения смещения процессор адаптирует сигнал отображения к целевой конфигурации пространственного просмотра, например к домашнему телевизору. Исходные данные адаптируются к данным целевой ширины, указывающим целевую ширину Wt трехмерного дисплея в целевой конфигурации пространственного просмотра, содержащей целевое расстояние Et между зрачками целевого зрителя. Этот эффект дополнительно поясняется со ссылкой на фиг.2 и 3 ниже.
Исходное расстояние Es между зрачками и целевое расстояние Et между зрачками могут быть равными, зафиксированными в стандартном значении, или могут отличаться. Как правило, для урегулирования разницы в размере экрана смещение вычисляется с помощью отношения целевой ширины и исходной ширины, умноженного на исходное расстояние между зрачками, вычтенное из целевого расстояния между зрачками.
Целевая конфигурация пространственного просмотра определяет настройку фактического экрана в фактическом пространстве просмотра, и этот экран имеет физический размер и дополнительные параметры трехмерного отображения. Конфигурация просмотра может дополнительно включать в себя положение и размещение фактических зрителей, например расстояние от экрана дисплея до глаз зрителя. Отметим, что согласно настоящему варианту предусмотрено присутствие только одного зрителя. Очевидно, что также могут присутствовать несколько зрителей, и вычисления конфигурации пространственного просмотра и обработку трехмерного изображения можно адаптировать для обеспечения наилучшего трехмерного восприятия для упомянутого множества, например с использованием средних значений, оптимальных значений для определенной области просмотра или типа зрителя и подобного.
Устройство 13 трехмерного отображения предназначено для отображения данных трехмерного изображения. Устройство содержит интерфейсный блок 14 дисплея для приема сигнала 56 трехмерного отображения, включающего в себя данные трехмерного изображения, переданного от устройства 10 формирования трехмерных изображений. Устройство отображения снабжается дополнительными элементами 16 пользовательского управления для настройки параметров отображения дисплея, например параметров контраста, цвета или глубины. Переданные данные изображения обрабатываются в блоке 18 обработки изображений в соответствии с командами настройки от элементов пользовательского управления и формированием управляющих сигналов дисплея для воспроизведения данных трехмерного изображения на трехмерном дисплее на основе данных трехмерного изображения. Устройство содержит трехмерный дисплей 17, принимающий управляющие сигналы дисплея для отображения обработанных данных изображения, например двойной или линзорастровый ЖК-дисплей (LCD). Устройство 13 отображения может быть любым типом стереоскопического дисплея, также называемого трехмерным дисплеем, и обладает диапазоном глубины отображения, указанным стрелкой 44.
В варианте осуществления устройство трехмерных изображений содержит блок 19 метаданных для предоставления метаданных. Блок метаданных содержит блок 192 метаданных отображения для предоставления метаданных трехмерного отображения, задающих параметры пространственного отображения у трехмерного дисплея. Он может дополнительно включать в себя блок 191 метаданных зрителя для предоставления метаданных зрителя, задающих зрительские параметры пространственного просмотра относительно трехмерного дисплея.
В варианте осуществления предоставление метаданных зрителя выполняется в устройстве трехмерных изображений, например путем настройки соответствующих параметров пространственного отображения или параметров просмотра через интерфейс 15 пользователя. В качестве альтернативы предоставление метаданных отображения и/или зрителя может выполняться в устройстве трехмерного отображения, например путем настройки соответствующих параметров через интерфейс 16 пользователя. Кроме того, упомянутая обработка трехмерных данных для адаптации исходной конфигурации пространственного просмотра к целевой конфигурации пространственного просмотра может выполняться в любом из упомянутых устройств.
В варианте осуществления блок 18 обработки трехмерного изображения в устройстве отображения выполнен для функции обработки исходных данных трехмерного изображения, скомпонованных для исходной конфигурации пространственного просмотра, чтобы сформировать данные целевого трехмерного отображения для показа на трехмерном дисплее в целевой конфигурации пространственного просмотра. Обработка функционально идентична обработке, которая описана для процессора 52 в устройстве 10 формирования трехмерных изображений.
Поэтому в различных компоновках системы предоставление упомянутых метаданных и обработка данных трехмерного изображения обеспечивается либо в устройстве формирования изображений, либо в устройстве трехмерного отображения. Также оба устройства могут объединяться в одно многофункциональное устройство. Поэтому в вариантах осуществления обоих устройств в упомянутых различных компоновках системы интерфейсный блок 12 изображения и/или интерфейсный блок 14 дисплея может быть выполнен с возможностью отправки и/или приема упомянутых метаданных зрителя. Также метаданные отображения могут передаваться через интерфейс 14 от устройства трехмерного отображения в интерфейс 12 устройства трехмерных изображений. Отметим, что данные исходного смещения, например значение Osp, могут вычисляться и включаться устройством формирования трехмерных изображений в сигнал трехмерного отображения для обработки в устройстве трехмерного отображения, например в сигнал HDMI.
В качестве альтернативы отметим, что данные исходного смещения могут определяться в дисплее из эталонного размера дисплея и расстояния просмотра, встроенных устройством формирования трехмерных изображений в сигнал трехмерного отображения, например в сигнал HDMI.
Сигнал трехмерного отображения может передаваться по соответствующему высокоскоростному цифровому видеоинтерфейсу, например известному интерфейсу HDMI (см., например, Спецификацию интерфейса для мультимедиа высокой четкости версии 1.3a от 10 ноября 2006 г.), расширенному для определения метаданных смещения, как задано ниже, и/или метаданных отображения, например эталонного размера дисплея и расстояния просмотра, или смещения, которое вычисляется устройством формирования изображений и должно применяться устройством отображения.
Фиг.1 дополнительно показывает носитель 54 записи в качестве носителя данных трехмерного изображения. Носитель записи имеет форму диска и содержит дорожку и центральное отверстие. Дорожка, образованная последовательностью физически обнаруживаемых меток, размещается в соответствии со спиральным или концентрическим шаблоном витков, образующих практически параллельные дорожки на информационном слое. Носитель записи может быть оптически считываемым, называемым оптическим диском, например CD, DVD или BD (диск Blu-Ray). Информация представлена на информационном слое с помощью оптически обнаруживаемых меток на дорожке, например углублений и площадок. Структура дорожки также содержит информацию о положении, например заголовки и адреса, для указания местоположения единиц информации, обычно называемых информационными блоками. Носитель 54 записи содержит физические метки, воплощающие сигнал трехмерного изображения, представляющий кодированные в цифровой форме данные трехмерного изображения для отображения на трехмерном дисплее для зрителя. Носитель записи может быть произведен по способу предоставления сначала мастер-диска, а впоследствии размножения изделий путем штамповки и/или формования для предоставления шаблона физических меток.
Следующий раздел посвящен обзору трехмерного восприятия глубины у людей. Трехмерные дисплеи отличаются от двумерных дисплеев в том смысле, что они могут обеспечивать более яркое восприятие глубины. Это достигается тем, что они обеспечивают больше признаков глубины, чем двумерные дисплеи, которые могут показывать только монокулярные признаки глубины и признаки на основе движения.
Монокулярные (или статические, или двумерные) признаки глубины можно получить из статического изображения с использованием одного глаза. Художники часто используют монокулярные признаки для создания ощущения глубины на своих картинах. Эти признаки включают в себя относительный размер, высоту относительно горизонта, преграждение, перспективу, градиенты текстуры и освещение/тени.
Бинокулярное несоответствие является признаком глубины, который получается из того, что оба наших глаза видят немного разное изображение. Чтобы воссоздать бинокулярное несоответствие на дисплее, необходимо, чтобы дисплей мог сегментировать представление для левого и правого глаза, так что каждый видит немного разное изображение на дисплее. Дисплеи, которые могут воссоздавать бинокулярное несоответствие, являются особыми дисплеями, которые в данной заявке называются трехмерными или стереоскопическими дисплеями. Трехмерные дисплеи способны отображать изображения по значению глубины, фактически воспринимаемому человеческим глазом, и в этом документе называются трехмерным дисплеем, обладающим диапазоном глубины отображения. Поэтому трехмерные дисплеи дают разное представление для левого и правого глаза, называемое изображением L и изображением R.
Трехмерные дисплеи, которые могут обеспечить два разных представления, известны давно. Большинство из этих дисплеев основываются на использовании очков для разделения представления для левого и для правого глаза. В настоящее время с развитием технологии отображения на рынок вышли новые дисплеи, которые могут обеспечить стереоскопическое представление без использования очков. Эти дисплеи называются автостереоскопическими дисплеями.
На фиг.2 показана компенсация размера экрана. Фигура показывает вид сверху исходной конфигурации пространственного просмотра, содержащей экран 22, имеющий исходную ширину Ws, указанную стрелкой W1. Исходное расстояние до зрителя указывается стрелкой D1. Исходная конфигурация пространственного просмотра является эталонной конфигурацией, которая была создана для первоисточника, например кинотеатра. Глаза зрителя (Левый глаз = Leye, Правый глаз = Reye) схематически указаны и предполагаются имеющими исходное расстояние Es между зрачками.
Фигура также показывает целевую конфигурацию пространственного просмотра, содержащую экран 23, имеющий исходную ширину Wt, указанную стрелкой W2. Целевое расстояние до зрителя указывается стрелкой D2. Целевая конфигурация пространственного просмотра является фактической конфигурацией, в которой отображаются данные трехмерного изображения, например домашним кинотеатром. Глаза зрителя схематически указаны и предполагаются имеющими целевое расстояние Et между зрачками. На фигуре "исходные" и "целевые" глаза совпадают, и Es равно Et. Также расстояние просмотра выбрано пропорционально отношению ширин экранов (поэтому W1/D1=W2/D2).
На фигуре виртуальный объект A виден на экране W1 в RA с помощью Reye (правого глаза) и в LA с помощью Leye (левого глаза). Когда исходные данные изображения отображаются на экране W2 без какой-либо компенсации, RA становится RA' в масштабированном положении на W2, и аналогичным образом LA->LA'. Поэтому без компенсации на экране W2 объект A воспринимается в A' (поэтому положение по глубине выглядит разным на обоих экранах). Кроме того, -∞ (бесконечность) становится ∞', которая уже не находится в реальной -∞.
Для исправления вышеприведенных отличий в восприятии глубины применяется нижеследующая компенсация. Пиксели на W2 должны быть сдвинуты на смещение 21. В варианте осуществления устройства процессор выполнен с возможностью упомянутого преобразования на основе целевого расстояния Et между зрачками, равного исходному расстоянию Es между зрачками.
В варианте осуществления устройства процессор выполнен с возможностью упомянутой компенсации на основе данных исходного смещения, содержащих параметр исходного смещения, указывающий отношение Es/Ws. Одно значение параметра для отношения исходного расстояния Es между зрачками и исходной ширины Ws позволяет вычислить смещение путем определения значения смещения для объекта в бесконечности в целевой конфигурации с помощью Et/Wt и вычитания значения исходного смещения. Вычисление может выполняться в физическом размере (например, в метрах или дюймах) и впоследствии преобразовываться в пиксели или сразу выполняться в пикселях. Данные исходного смещения являются значением расстояния исходного смещения Osd на основе
Osd=Es/Ws.
Процессор 52 выполнен с возможностью определения смещения для целевого расстояния Et между зрачками целевого зрителя и целевой ширины Wt на основе
O=Et/Wt-Osd.
Фактический сигнал отображения обычно выражается в пикселях, то есть в целевой горизонтальной разрешающей способности HPt. Значение исходного смещения Osp в пикселях для данных трехмерного изображения, имеющих исходное разрешение HPs по горизонтали в пикселях, основывается на
Osp=HPs×Es/Ws.
Формулой для смещения Op в пикселях тогда является:
Op=O×HPt/Wt=HPt×Et/Wt-Osp.
Так как первая часть формулы неизменна для конкретного дисплея, она может вычисляться только один раз с помощью соотношения:
Otp=HPt×Et/Wt.
Таким образом, вычисленное смещение для сигнала трехмерного изображения, имеющего упомянутое значение исходного смещения, является лишь вычитанием
Op=Otp-Osp.
В примере практическими значениями являются расстояние между зрачками=0,065 м, W2=1 м, W1=2 м, HP=1920, что дает в результате смещение Osp=62,4 пикселей и Op=62,4 пикселей.
Из фигуры следует, что нескорректированное положение по глубине A' теперь компенсировано, потому что для Reye RA' становится RA'', и объект A виден на экране W2 снова на такой же глубине, что и на экране W1. Также положение -∞' становится -∞'', которое теперь снова находится в реальной -∞.
Удивительно, что компенсированная глубина является правильной для всех объектов, другими словами, благодаря коррекции смещения все объекты кажутся на одинаковой глубине, и поэтому ощущение глубины в целевой конфигурации пространственного просмотра такое же, как в исходной конфигурации пространственного просмотра (например, как задумал режиссер на большом экране).
Для вычисления смещения должно быть известно исходное смещение источника, например, в качестве данных исходного смещения Os, предоставленных вместе с сигналом данных трехмерного изображения, как сохранено на носителе записи или распространяется по сети. Целевой размер Wt экрана также должен быть известен в качестве метаданных отображения. Метаданные отображения могут извлекаться из сигнала HDMI, как описано выше, или могут вводиться пользователем.
Проигрыватель должен применять вычисленное смещение (на основе Os и Wt). Видно, что при применении определенного смещения объект A виден точно в том же месте, что и в кинотеатре. В данном случае это справедливо для всех объектов, поэтому впечатление от просмотра точно такое же и дома. Поэтому корректируются отличия между фактическим размером экрана и исходной конфигурацией. В качестве альтернативы дисплей применяет вычисленное смещение либо из смещения, включенного в сигнал изображения для трехмерного дисплея, либо вычисляет смещение из эталонной ширины экрана и расстояния просмотра, встроенного в сигнал изображения для трехмерного дисплея, например по HDMI.
В варианте осуществления устройство (проигрыватель и/или дисплей) дополнительно может позволить зрителю установить другое смещение. Например, устройство может позволить пользователю установить предпочтение для масштабирования смещения, например до 75% от номинального смещения.
В одном варианте осуществления устройство содержит средства метаданных зрителя для предоставления метаданных зрителя, задающих зрительские параметры пространственного просмотра относительно трехмерного дисплея, причем параметры пространственного просмотра включают в себя целевое расстояние Et между зрачками. Фактическое расстояние между зрачками зрителя должно использоваться для вычисления смещения. Зритель на самом деле может ввести расстояние между зрачками, либо можно выполнить измерение, либо можно установить категорию зрителя, например детский режим или возраст. Категория преобразуется устройством для установки другого целевого расстояния между зрачками, например меньшего расстояния между зрачками для детей, чем для взрослых.
На фиг.3 изображены граничные эффекты для компенсации размера экрана. Фигура является видом сверху, аналогичным фиг.2, и показывает исходную конфигурацию пространственного просмотра, содержащую экран 34, имеющий исходную ширину Ws, указанную стрелкой W1. Исходное расстояние до зрителя указывается стрелкой D1. Фигура также показывает целевую конфигурацию пространственного просмотра, содержащую экран 35, имеющий исходную ширину Wt, указанную стрелкой W2. Целевое расстояние до зрителя указывается стрелкой D2. На фигуре "исходные" и "целевые" глаза совпадают, и Es равно Et. Также расстояние просмотра выбрано пропорционально отношению ширины экранов (поэтому W1/D1=W2/D2). Смещение, указанное стрелками 31, 32, 33, применяется для компенсации разницы размеров экрана, как объяснено выше.
На фигуре виртуальный объект ET находится на крайней левой границе экрана W1 и предполагается находящимся на глубине экрана W1 34. Объект показан как ET' на изображении L, а также на нескорректированном изображении R. После применения смещения 31 к изображению R объект показан в ET”. Зритель будет воспринимать объект снова на исходной глубине. Также положение -∞' становится -∞”, поэтому объекты в данном случае снова соответствуют реальной -∞.
Однако на крайней правой границе экрана W2 возникает проблема, потому что объект EB' на экране W2 нельзя сдвинуть в EB”, так как экран W2 заканчивается в EB'. Поэтому на границах нужны действия, то есть на обеих границах, если изображение L и изображение R сдвигаются в соответствии со смещением (обычно 50% смещения на каждое изображение, однако возможно также другое разделение полного смещения). Этим объясняются некоторые варианты. Устройство обеспечивает один из упомянутых вариантов обработки для изменения сигнала трехмерного отображения после применения смещения.
В варианте осуществления устройства процессор выполнен с возможностью согласования упомянутых взаимно измененных горизонтальных положений путем применения к сигналу трехмерного отображения, предназначенному для области отображения, по меньшей мере одного из следующего:
- обрезки данных изображения, превышающих область отображения из-за упомянутого изменения;
- добавления пикселей к левой и/или правой границе сигнала трехмерного отображения для расширения области отображения;
- масштабирования взаимно измененных изображений L и R для соответствия области отображения;
- обрезки данных изображения, превышающих область отображения из-за упомянутого изменения, и затемнения соответствующих данных в другом изображении. При обрезке данных изображения, превышающих область отображения из-за упомянутого изменения, и затемнения соответствующих данных в другом изображении получается иллюзия шторки.
Первым вариантом обработки является обрезка любых пикселей, превышающих текущее количество пикселей в горизонтальном направлении. Обрезка сохраняет сигнал в стандартном разрешении сигнала отображения. На фигуре это означает, что должна быть обрезана часть слева от ET'', например заполнена черными пикселями. На правой границе EB, который виден правым глазом, преобразуется в EB' без коррекции, и после коррекции смещения он станет EB''. Однако пиксели справа от EB' нельзя отобразить, и они отбрасываются.
В варианте осуществления разрешение по горизонтали немного увеличивается по отношению к исходному разрешению. Например, разрешение по горизонтали для данных трехмерного изображения равно 1920 пикселям, а разрешение в сигнале отображения устанавливается равным 2048 пикселям. Добавление пикселей, превышающих текущее количество пикселей в горизонтальном направлении, расширяет стандартное разрешение сигнала отображения, но избегает потери некоторых пикселей для одного глаза на левом и правом краях области отображения.
Отметим, что максимальное физическое смещение всегда меньше расстояния между зрачками. Когда эталонный экран W1 очень большой (например, 20 м для большого кинотеатра), а экран пользователя очень маленький (например 0,2 м для небольшого переносного компьютера), смещение, которое определено по формуле смещения выше, составляет около 99% расстояния между зрачками. Расширение в пикселях для такого небольшого экрана было бы около 0,065/0,2×1920=624 пикселей, а сумма тогда была бы равна 1920+624=2544 пикселям. Полное разрешение можно установить в 2560 пикселей (общее значение для сигналов отображения с высоким разрешением), что обеспечивает смещения для очень малых экранов. Для экрана шириной в 0,4 м максимальным расширением было бы 0,065/0,4×1920=312 пикселей. Поэтому, чтобы иметь возможность отображать такой сигнал, горизонтальный размер экрана нужно увеличить (с помощью значения, соответствующего "максимальному смещению"). Отметим, что фактический размер экрана трехмерного дисплея может выбираться в соответствии с максимальным смещением, которое должно предполагаться для физического размера экрана, то есть расширяя физическую ширину экрана примерно на расстояние между зрачками.
В качестве альтернативы или дополнительно изображения L и R можно сократить для отображения общего количества пикселей (включая любые пиксели, превышающие исходное количество пикселей в горизонтальном направлении) на доступном разрешении по горизонтали. Поэтому сигнал отображения приводится к стандартному разрешению сигнала отображения. В практическом примере выше для экрана в 0,2 м расширенное разрешение в 2544 было бы сокращено до 1920. Масштабирование могло бы применяться только в горизонтальном направлении (приводя к легкой деформации исходного соотношения сторон) или также к вертикальному направлению, приводя к некоторой черной полосе сверху и/или снизу экрана. Масштабирование избегает потерянных пикселей для одного глаза на левом и правом краях области отображения. Масштабирование могло бы применяться устройством-источником перед формированием сигнала отображения или в устройстве трехмерного отображения, которое принимает сигнал трехмерного отображения, уже содержащий примененное смещение и имеющий расширенное разрешение по горизонтали, как описано выше. Масштабирование изображений для отображения любых пикселей, превышающих текущее количество пикселей в горизонтальном направлении, на доступную строку развертки сохраняет сигнал в стандартном разрешении сигнала отображения и избегает потери некоторых пикселей для одного глаза на левом и правом краях области отображения.
В качестве альтернативы или дополнительно, в качестве расширения к первому варианту обработки (обрезка), когда обрезается изображение R, затемняется соответствующая область в изображении L. Относительно фиг.7, когда смещение 33 применяется к изображению R, область 71 в том изображении будет обрезана, как объяснялось выше. В плане восприятия это означает, что объекты, ранее выступающие из экрана - эффект, полагаемый некоторыми зрителями впечатляющим - теперь могут находиться (частично) позади экрана. Чтобы восстановить этот эффект "выступания", можно создать иллюзию шторки с правой стороны экрана на расстоянии от пользователя, которое равно положению исходного экрана 34. Другими словами, объекты, которые выступали из экрана до применения смещения, по-прежнему передают иллюзию выступания, но теперь по отношению к искусственно созданной шторке, находящейся в положении исходного дисплея. Чтобы создать эту иллюзию шторки, затемняется (перезаписывается черным) область в левом изображении, соответствующая области в правом изображении, которая обрезается.
Это дополнительно иллюстрируется на фиг.8. Вверху исходные изображения 81 L и R показаны с объектами 84 (черные) в изображении L и соответствующими объектами 85 (серые) в изображении R. Когда смещение 33 применяется к исходному изображению R, получается результат 82 с обрезанной областью 87 и черной областью 86, вставленной в изображение R, приводя к меньшей степени "выступания". На следующем этапе область 88 в изображении L также устанавливается черной, приводя к 83, создавая иллюзию шторки с правой стороны экрана в положении исходного экрана 34. Когда смещение 33 разделяется на частичное смещение для правого и противоположное дополняющее смещение для левого изображения, можно создать аналогичную шторку с левой стороны дисплея (на таком же расстоянии от пользователя) путем затемнения соответствующей области на левой стороне правого изображения.
Вышеприведенные альтернативные варианты могут объединяться и/или применяться частично. Например, владельцы контента и/или зрители часто не оказывают предпочтение применению значительного масштабирования в горизонтальном направлении. Масштабирование может ограничиваться и объединяться с некоторой обрезкой количества пикселей смещения после масштабирования. Также сдвиг может выполняться симметрично или асимметрично. Мог бы присутствовать признак или параметр, включенный в сигнал трехмерного изображения, чтобы предоставить автору управление тем, как обрезать и/или сдвигать (например, шкала от -50 до +50, 0 означает симметричную, -50 - вся обрезка с левой стороны, +50 - вся обрезка с правой стороны). Параметр сдвига нужно умножить на вычисленное смещение, чтобы определить фактический сдвиг.
Сигнал трехмерного изображения в основном включает в себя исходные данные трехмерного изображения, представляющие по меньшей мере левое изображение L, которое нужно воспроизвести для левого глаза, и правое изображение R, которое нужно воспроизвести для правого глаза. Более того, сигнал трехмерного изображения включает в себя данные исходного смещения и/или эталонный размер экрана и расстояние просмотра. Отметим, что сигнал может быть реализован с помощью физического шаблона из меток, предоставленных на носителе информации типа оптического носителя 54 записи, как показано на фиг.1. Данные исходного смещения непосредственно соединяются с исходными данными трехмерного изображения в соответствии с форматом сигнала трехмерного изображения. Формат может быть расширением известного формата хранения типа диска Blu-Ray (BD). В настоящей заявке описываются различные варианты для включения данных исходного смещения и/или данных смещения и/или эталонного размера экрана и расстояния просмотра.
Фиг.4 показывает данные исходного смещения в управляющем сообщении. Управляющее сообщение может быть знаковым сообщением, включенным в сигнал трехмерного изображения для информирования декодера, как обработать сигнал, например как часть зависимого элементарного видеопотока MVC в расширенном формате BD. Знаковое сообщение форматируется как сообщение SEI, которое задано в системах MPEG. Таблица показывает синтаксис метаданных смещения для определенного момента в видеоданных.
В сигнале трехмерного изображения данные исходного смещения по меньшей мере включают в себя эталонное смещение 41, которое указывает исходное смещение при исходном расстоянии Es между зрачками на размере исходного экрана (W1 на фиг.2). Может включаться дополнительный параметр: эталонное расстояние 42 от зрителя до экрана в исходной конфигурации пространственного просмотра (D1 на фиг.2). В примере данные исходного смещения хранятся в метаданных смещения видеоизображения и графики либо в Списке воспроизведения (PlayList) в STN_table для стереоскопического видеоизображения. Дополнительным вариантом является фактическое включение метаданных смещения, которые указывают величину сдвига в пикселях левого и правого представления для конкретной целевой ширины экрана. Как объяснялось выше, этот сдвиг создаст разные угловые разницы, чтобы компенсировать разные размеры дисплеев.
Отметим, что другие метаданные смещения могут храниться в Знаковых сообщениях в зависимом кодированном видеопотоке. Как правило, зависимый поток является потоком, несущим видеоизображение для представления "R". Спецификация диска Blu-Ray предписывает, что эти Знаковые сообщения обязаны включаться в поток и обрабатываться проигрывателем. На фиг.4 показано, как структура информации в метаданных вместе с эталонным смещением 41 передается в Знаковых сообщениях. Эталонное смещение включено для каждого кадра; в качестве альтернативы данные исходного смещения могут предоставляться для более крупного фрагмента, например для группы изображений, для плана, для всей видеопрограммы, посредством списка воспроизведения и подобного.
В варианте осуществления данные исходного смещения также включают в себя эталонное расстояние 42 просмотра, как показано на фиг.4. Эталонное расстояние просмотра может использоваться для проверки, является ли фактическое целевое расстояние просмотра пропорционально верным, как пояснялось выше. Также эталонное расстояние просмотра может использоваться для адаптации целевого смещения, как поясняется ниже.
На фиг.5 показана часть списка воспроизведения, предоставляющего данные исходного смещения. Таблица включена в сигнал трехмерного изображения и показывает определение потока в таблице стереоскопического представления. Чтобы уменьшить объем данных исходного смещения, эталонное смещение 51 (Reference_offset) (и при желании Эталонное_расстояние_52_просмотра (Reference_viewing_distance )) в данном случае хранится в Списке воспроизведения по спецификации BD. Эти значения могут быть последовательными для всего фильма и не нуждаться в сигнализации на кадровой основе. Список воспроизведения является списком, указывающим последовательность элементов воспроизведения, которые вместе образуют представление; элемент воспроизведения имеет время начала и окончания и перечисляет, какие потоки следует воспроизвести в течение длительности Элемента воспроизведения. Для воспроизведения трехмерного стереоскопического видеоизображения такая таблица называется STN_table_for_Stereoscopic. Таблица представляет собой список идентификаторов потоков, чтобы идентифицировать потоки, которые следует декодировать и воспроизводить в течение элемента воспроизведения. Запись для зависимого видеопотока (называемая SS_dependent_view_block), которая содержит представление для правого глаза, включает в себя размер экрана и параметры расстояния просмотра, как показано на фиг.5.
Отметим, что эталонное расстояние просмотра 42, 52 является опциональным параметром, чтобы предоставить настройку исходной конфигурации пространственного просмотра фактическому зрителю. Устройство могло бы быть выполнено с возможностью вычисления оптимального целевого расстояния Dt просмотра на основе отношения эталонного размера экрана и целевого размера экрана:
Dt=Dref×Wt/Ws.
Целевое расстояние просмотра может быть показано зрителю, например отображено посредством графического интерфейса пользователя. В варианте осуществления система просмотра выполнена с возможностью измерения фактического расстояния просмотра и указания зрителю оптимального расстояния, например с помощью зеленого индикатора, когда зритель находится на верном целевом расстоянии просмотра, и других цветов, когда зритель находится слишком близко или слишком далеко.
В варианте осуществления сигнала трехмерного изображения данные исходного смещения содержат по меньшей мере первое значение целевого смещения Ot1 для соответствующей первой целевой ширины Wt1 целевого трехмерного дисплея для разрешения упомянутого изменения взаимного горизонтального положения изображений L и R на основе смещения Ot1 в зависимости от отношения целевой ширины Wt и первой целевой ширины Wt1. На основе соответствия первой целевой ширины Wt1 и фактической целевой ширины Wt на фактическом экране дисплея приемное устройство могло бы непосредственно применять значение целевого смещения, как предусмотрено. Также в сигнал могут быть включены некоторые значения для разных целевых ширин. Более того, может применяться интерполяция или экстраполяция для компенсации отличий между поступившей целевой шириной (ширинами) и фактической целевой шириной. Отметим, что линейная интерполяция корректно предоставляет промежуточные значения.
Отметим, что таблица из нескольких значений для разных целевых ширин также позволяет создателю контента управлять фактически примененным смещением, например добавлять дополнительную коррекцию к смещению на основе предпочтения автора для трехмерного эффекта при соответствующих целевых размерах экрана.
Добавление сдвига, зависимого от размера экрана, к сигналу трехмерного изображения при разрешении переноса в нем стереоскопических трехмерных данных может привести к заданию соотношения между размером экрана дисплея, воспроизводящего сигнал трехмерного изображения, и сдвигом, который задан автором контента.
В упрощенном варианте осуществления это соотношение может быть представлено путем включения параметров соотношения между размером экрана и сдвигом, отношения, которое в предпочтительном варианте осуществления фиксировано. Однако, чтобы обеспечить больший диапазон решений и предоставить гибкость авторам контента, соотношение предпочтительно обеспечивается посредством таблицы в сигнале трехмерного изображения. С помощью включения таких данных в поток данных автор контролирует, следует ли применять зависимый от размера экрана сдвиг. Кроме того, становится возможным также учитывать пользовательскую настройку.
Предложенный сдвиг предпочтительно применяется как к стереоскопическому видеосигналу, так и к любым графическим наложениям.
Возможным применением изобретения и вышеупомянутых таблиц является их применение для обеспечения трехмерного расширения для стандарта BD.
В предпочтительном варианте осуществления поле SDS Preference (Предпочтение SDS) добавляется в регистр состояния устройства воспроизведения, указывающий предпочтение режима вывода в пользовательском устройстве воспроизведения. Этот регистр, в дальнейшем называемый PSR21, может указывать предпочтение пользователя для применения сдвига (SDS), зависимого от размера экрана.
В предпочтительном варианте осуществления поле SDS Status (Состояние SDS) добавляется в регистр состояния устройства воспроизведения, указывающий Состояние стереоскопического режима устройства воспроизведения; в дальнейшем этот регистр будет называться PSR22. Поле SDS Status предпочтительно указывает значение сдвига, которое применяется в настоящее время. В предпочтительном варианте осуществления поле ScreenWidth (Ширина экрана) добавляется в регистр состояния устройства воспроизведения, указывающий Возможность отображения (Display Capability) устройства, воспроизводящего выходной сигнал устройства воспроизведения, в дальнейшем называемый PSR23. Предпочтительно, чтобы значение поля ScreenWidth получалось от самого устройства отображения посредством сигнализации, но в качестве альтернативы значение поля предоставляется пользователем устройства воспроизведения.
В предпочтительном варианте осуществления таблица добавляется к данным расширения Списка воспроизведения для предоставления записей, которые задают соотношение между шириной экрана и сдвигом. Предпочтительнее, чтобы записи в таблице были 16-битовыми записями. Предпочтительно, чтобы записи таблицы также предоставляли флаг для отмены настройки SDS Preference. В качестве альтернативы таблица включается в данные расширения Информации фрагмента.
Пример таблицы SDS_table() для включения в данные расширения Списка воспроизведения предоставляется ниже в виде Таблицы 1.
Предпочтительный синтаксис SDS_table()
Поле length предпочтительно указывает количество байтов в SDS_table(),непосредственно после этого поля и вплоть до конца SDS_table(), предпочтительно поле length является 16-битовым, при желании оно выбирается 32-битовым.
Поле overrule_user_preference предпочтительно указывает возможность разрешить или заблокировать применение предпочтения пользователя, где предпочтительно значение 1b указывает, что предпочтение пользователя отклонено, а значение 0b указывает, что преобладает предпочтение пользователя. Когда таблица включается в данные расширения Информации фрагмента (Clip Information), поле overrule_user_preference предпочтительно отделяется от таблицы и включается в данные расширения Списка воспроизведения.
Поле number_of_entries указывает количество записей, присутствующих в таблице, поле screen_width предпочтительно указывает ширину экрана. Предпочтительнее, чтобы это поле задавало ширину активной области изображения в сантиметрах.
Признак sds_direction предпочтительно указывает направление смещения, а поле sds_offset предпочтительно указывает смещение в пикселях, деленное на 2.
Таблица 2 показывает предпочтительную реализацию регистра состояния устройства воспроизведения, указывающего предпочтительные установки режима вывода (Output Mode Preference). Этот регистр, называемый PSR21, представляет собой пользовательские установки режима вывода. Значение 0b в поле SDS Preference подразумевает, что SDS не применяется, а значение 1b в поле SDS Preference подразумевает, что SDS применяется. Когда значение Output Mode Preference равно 0b, то SDS Preference также нужно установить в 0b.
Предпочтительно, чтобы навигационные команды устройства воспроизведения и/или приложения BD-java, в случае BD, не могли изменять это значение.
Предпочтительный вариант осуществления PSR21
Таблица 3 показывает предпочтительную реализацию регистра состояния устройства воспроизведения, указывающего состояние стереоскопического режима в устройстве воспроизведения, регистр состояния в дальнейшем называется PSR22. PSR22 представляет собой текущий Output Mode (режим вывода) и PG TextST Alignment в случае проигрывателя BD-ROM. Когда изменяется значение режима вывода (Output Mode), содержащееся в PSR22, режим вывода (Output Mode) первичного видеопотока, потока PG TextST и интерактивной графики должен быть изменен соответственно.
Когда изменяется значение PG TextST Alignment, содержащееся в PSR22, PG Text ST Alignment должно быть изменено соответственно.
В таблице 3 поле SDS Direction (Направление SDS) указывает направление смещения. Поле SDS offset (Смещение SDS) содержит значение смещения в пикселях, деленное на 2. Когда значение SDS Direction и SDS offset изменяется, соответственно изменяется горизонтальное смещение между левым представлением и правым представлением видеовыхода проигрывателя.
Регистр состояния Стереоскопического режима
(направление SDS)
(sds_смещение)
В Таблице 4 показан предпочтительный вариант осуществления регистра состояния устройства воспроизведения, указывающего возможность отображения, в дальнейшем называемого PSR23. Поле SCREEN WIDTH, представленное ниже, предпочтительно указывает ширину экрана подключенной телевизионной системы в сантиметрах. Значение 0b предпочтительно означает, что ширина экрана не задана или неизвестна.
Регистр состояния Возможности отображения
В альтернативном варианте осуществления устройством, применяющим смещение, является дисплей. В этом варианте осуществления смещение и эталонный размер экрана или ширина и эталонное расстояние просмотра из таблицы 1 передаются на дисплей по HDMI с помощью устройства воспроизведения (BD-проигрыватель). Процессор в устройстве воспроизведения вставляет эталонные метаданные отображения, например в зависящий от поставщика InfoFrame HDMI. InfoFrame в HDMI является таблицей значений, заключенной в пакеты, переданные по интерфейсу HDMI. Пример части формата такой InfoFrame показан ниже в таблице 5.
Синтаксис зависящего от поставщика пакета InfoFrame HDMI
В Таблице 6 ниже приведено два типа зависящего от поставщика InfoFrame, которые могут использоваться для переноса метаданных отображения, например целевого смещения и эталонной ширины экрана. Любой из параметров смещения и/или эталонной ширины экрана из таблицы 1 переносится в параметрах ISO23002-3, либо новый тип метаданных задается специально для передачи метаданных отображения из таблицы 1.
Тип трехмерных метаданных:
3D_metadata_type (Тип трехмерных метаданных)
Если тип трехмерных метаданных (3D_Metadata_type)=001, то 3D_Metadata_1…N заполняются следующими значениями:
В качестве альтернативы целевое смещение и эталонная ширина экрана и расстояние переносятся в полях информации о параллаксе, которые определены в ISO23002-3. ISO23002-3 задает следующие поля:
3D_Metadata_1 = parallax_zero[15…8]
3D_Metadata_2 = parallax_zero[7…0]
3D_Metadata_3 = parallax_scale[15…8]
3D_Metadata_4 = parallax_scale[7…0]
3D_Metadata_5 = dref[15…8]
3D_Metadata_6 = dref[7…0]
3D_Metadata_7 = wref[15…8]
3D_Metadata_8 = wref[7…0]
Предполагается, чтобы смещение и эталонная ширина экрана и расстояние просмотра переносились в полях метаданных ISO 23002-3 следующим образом:
parallax_zero = sds_offset (см. таблицу 1)
parallax_scale = sds_direction
dref = view_distance
wref = screenwidth
Не все из sds_offset, sds_direction, view_distance и screenwidth нужно передавать. В одном варианте осуществления передаются только sds_offset и sds_direction. Они могут вычисляться в устройстве изображений, как описано выше, на основе формул или с использованием таблицы, как на фиг.4. В этом случае устройство отображения непосредственно применяет смещение к исходным данным трехмерного изображения.
В другом варианте осуществления только view_distance и screenwidth передаются в качестве метаданных по интерфейсу между устройством изображений и устройством отображения. В этом случае устройство отображения должно вычислять смещение, которое нужно применить к исходным данным трехмерного изображения.
В еще одном варианте осуществления таблица, как на фиг.4, перенаправляется устройством формирования изображений на устройство отображения. Устройство отображения использует сведения о (своем собственном) целевом размере дисплея и/или расстоянии, чтобы выбрать подходящее смещение из такой таблицы для применения к исходным данным изображения. Преимущество по сравнению с предыдущим вариантом осуществления состоит в том, что сохраняется по меньшей мере некоторый контроль за смещением, применяемым к исходным данным изображения.
В упрощенном варианте осуществления только эталонная ширина экрана и расстояние просмотра предоставляются на диске вместе с исходными данными трехмерного изображения. В этом упрощенном случае только эталонная ширина экрана и расстояние просмотра передаются на дисплей, а дисплей вычисляет смещение в соответствии с этими значениями по отношению к фактической ширине экрана. В этом случае нет необходимости в таблице SDS (SDS_table), и эталонная ширина экрана и расстояние просмотра включаются в существующую таблицу, таблицу AppInfoBDMV, которая содержит параметры видеоконтента, как, например, формат видеоизображения, частоту кадров и т.д. Разделы AppInfoBDMV предоставлены ниже в таблице 7 в качестве примера расширения этой таблицы параметрами эталонной ширины экрана и расстояния просмотра.
Таблица AppInfoBDMV, указывающая параметры сигнала трехмерного изображения, переданного по цифровому интерфейсу с высокой пропускной способностью, например HDMI.
Length: указывает количество байтов в этой таблице.
video_format: Это поле указывает формат видеоизображения у контента, содержащегося на диске и переданного на дисплей по HDMI, например 1920×1080p.
frame_rate: Это поле указывает частоту кадров контента, переданного на дисплей по интерфейсу HDMI.
ref_screenwidth: Эталонная ширина экрана дисплея в сантиметрах. Значение 0 означает, что ширина экрана не задана или неизвестна.
ref_view_distance: Эталонное расстояние просмотра до дисплея в сантиметрах. Значение 0 означает, что расстояние просмотра не задано или неизвестно.
Таким образом, вышеприведенный вариант осуществления, описанный со ссылкой на таблицы 5-7, содержит систему для обработки данных трехмерного (3D) изображения, как, например, видеоизображения, графики или другой визуальной информации, содержащую устройство трехмерных изображений, соединенное с устройством трехмерного отображения, для передачи сигнала трехмерного отображения. В этом варианте осуществления устройство трехмерных изображений в соответствии с изобретением содержит средство (51) ввода для извлечения данных исходного смещения, указывающих несоответствие между изображением L и изображением R, предусмотренного для данных трехмерного изображения на основе исходной ширины Ws и исходного расстояния Es между зрачками зрителя в исходной конфигурации пространственного просмотра, и средство вывода для выведения сигнала трехмерного отображения, отличающееся тем, что устройство трехмерных изображений предназначено для добавления в сигнал трехмерного отображения метаданных, указывающих по меньшей мере данные исходного смещения, которые указывают несоответствие между изображением L и изображением R, предоставленное для данных трехмерного изображения, на основе исходной ширины Ws и исходного расстояния Es между зрачками зрителя в исходной конфигурации пространственного просмотра.
Устройство трехмерного отображения в соответствии с этим вариантом осуществления изобретения приспособлено для приема сигнала трехмерного отображения, содержащего изображение L и R, и для изменения взаимного горизонтального положения изображений L и R на смещение O, чтобы компенсировать отличия между исходной конфигурацией пространственного просмотра и целевой конфигурацией пространственного просмотра, и
- средство (112, 192) метаданных отображения для предоставления метаданных трехмерного отображения, содержащих целевые данные, указывающие целевую ширину Wt трехмерных данных при отображении в целевой конфигурации пространственного просмотра,
- средство для извлечения из сигнала трехмерного отображения данных исходного смещения, указывающих несоответствие между изображением L и изображением R, предоставленное для данных трехмерного изображения, на основе исходной ширины Ws и исходного расстояния Es между зрачками зрителя в исходной конфигурации пространственного просмотра,
причем устройство трехмерного отображения дополнительно выполнено с возможностью определения смещения O в зависимости от данных исходного смещения.
Таким образом, вариант осуществления системы, описанный со ссылкой на таблицы 5-7, соответствует механической инверсии, где часть обработки, выполняемой трехмерным устройством-источником, выполняется устройством трехмерного отображения. Следовательно, в дополнительном варианте осуществления изобретения устройство трехмерного отображения может выполнять обработку трехмерного изображения, которая описана в другом варианте осуществления изобретения (обрезка изображений, изменение масштаба, добавление боковых шторок и так далее).
В дополнительном усовершенствовании изобретения также обращаются к возможности обрабатывать сдвиг в случае функции "картинка в картинке" (PIP).
Величина глубины в стереоскопическом изображении зависит от размера изображения и расстояния от зрителя до изображения. При введении стереоскопической картинки в картинке (PIP) значение этой задачи еще более значительно, так как для функции PIP могут использоваться несколько масштабных коэффициентов. Каждый масштабный коэффициент приведет к разному восприятию глубины в стереоскопической картинке в картинке (PIP).
В соответствии с определенным вариантом осуществления, в случае диска Blu-Ray масштабный коэффициент для применения функции PIP связан с выбором потока метаданных смещения, переносимого в зависимом видеопотоке, так что выбранные метаданные смещения зависят от размера картинки в картинке (PIP) (прямо или косвенно через масштабный коэффициент).
По меньшей мере одна из следующих порций информации нужна для того, чтобы позволить связать масштабирование/размер PIP с потоком метаданных смещения:
- Расширить STN_table_SS записью для стереоскопической PIP. Это выполняется путем добавления записи "secondary_video_stream" (вторичный видеопоток) в таблицу STN_table_SS, заданную на текущий момент времени.
- В эту новую запись добавить PIP_offset_reference_ID, чтобы идентифицировать, какой поток смещения выбрать для PIP. Поскольку масштабный коэффициент PIP задается в данных расширения pip_metadata списка воспроизведения, это означает, что на каждый список воспроизведения есть только масштабный коэффициент для масштабированной PIP. К тому же имеется PIP_offset_reference_ID для полноэкранной версии PIP.
- Опционально расширить запись так, что это делает возможным стереоскопическое видеоизображение со смещением и двумерное видеоизображение со смещением.
- Опционально, если стереоскопическая PIP будет поддерживать субтитры, то также эти записи нужно расширить для стереоскопических субтитров и для субтитров на основе 2D+смещение. Для PIP типа "2D+смещение" предполагается, что субтитры PIP будут использовать такое же смещение, что и сама PIP.
Подробный пример изменений приведен в известной таблице STN_table_SS:
secondary_video_stream_id <
number_of_secondary_video_stream_entries;
secondary_video_stream_id++) {
В таблице используется следующая семантика:
PiP_offset_sequence_id_ref: Это поле задает идентификатор для обращения к потоку значений смещения. Этот поток значений смещения переносится в виде таблицы в сообщениях SEI MVC, одна на каждую группу изображений (GOP). Величина примененного смещения зависит от plane_offset_value и plane_offset_direction.
PiP_Full_Screen_offset_sequence_id_ref: Это поле задает идентификатор для обращения к потоку значений смещения, когда масштабный коэффициент PIP устанавливается в полноэкранный режим.
is_SS_PiP: флаг для указания, является ли PIP стереоскопическим потоком.
stream_entry(): содержит PID пакетов, которые содержат поток PIP в транспортном потоке на диске.
stream_attributes(): указывает тип кодирования видеоизображения.
SS_PiP_offset_sequence_id_ref: Это поле задает идентификатор для обращения к потоку значений смещения для стереоскопической PIP.
SS_PiP_PG_textST_offset_sequence_id_ref: Это поле задает идентификатор для обращения к потоку значений смещения для субтитров стереоскопической PIP.
dialog_region_offset_valid_flag: указывает величину смещения для применения к текстовым субтитрам.
Left_eye_SS_PIP_SS_PG_textST_stream_id_ref: Это поле указывает идентификатор для потока стереоскопических субтитров для левого глаза для стереоскопической PIP.
Right_eye_SS_PIP_SS_PG_textST_stream_id_ref: Это поле указывает идентификатор для потока стереоскопических субтитров для правого глаза для стереоскопической PIP.
SS_PiP_SS_PG_text_ST_offset_sequence_id_ref: Это поле задает идентификатор для обращения к потоку значений смещения для стереоскопических субтитров стереоскопической PIP.
SS_PiP_Full_Screen_SS_PG_textST_offset_sequence_id_ref: Это поле задает идентификатор для обращения к потоку значений смещения для стереоскопических субтитров стереоскопической PIP в полноэкранном режиме.
На фиг.6 показана компенсация расстояния просмотра. Фигура является видом сверху, аналогичным фиг.2, и показывает исходную конфигурацию пространственного просмотра, содержащую экран 62, имеющий исходную ширину Ws, указанную стрелкой W1. Исходное расстояние Ds до зрителя указывается стрелкой D1. Фигура также показывает целевую конфигурацию пространственного просмотра, содержащую экран 61, имеющий исходную ширину Wt, указанную стрелкой W2. Целевое расстояние Dt до зрителя указывается стрелкой D3. На фигуре "исходные" и "целевые" глаза совпадают, и Es равно Et. Оптимальное расстояние D2 просмотра выбрано пропорционально отношению ширин экранов (следовательно, W1/D1=W2/D2). Соответствующее оптимальное смещение, указанное стрелкой 63, применялось бы без компенсации расстояния просмотра, чтобы компенсировать разницу размеров экрана, как поясняется выше.
Однако фактическое расстояние D3 просмотра отклоняется от оптимального расстояния D2. На практике расстояние до зрителя в быту может не соответствовать D2/D1=W2/W1, как правило, оно будет отстоять еще дальше. Поэтому коррекция смещения, которая упоминалась выше, не сможет создать впечатление от просмотра точно таким же, как на большом экране. Предположим, что зритель находится на D3>D2. Исходный зритель увидит объект впереди исходного экрана 62, этот объект переместится ближе к зрителю, при просмотре ближе к большому экрану. Однако если была применена номинальная коррекция смещения, и если смотреть на D3, то объект, отображенный на небольшом экране, будет казаться дальше от зрителя, чем предполагалось.
Объект, который размещается на глубине большого экрана, становится объектом позади глубины большого экрана, если смотреть при D3 на небольшом экране (с компенсированным смещением). Предлагается компенсировать неправильное расположение с помощью компенсированного смещения Ocv для расстояния просмотра, указанного стрелкой 63, таким образом, что объект по-прежнему кажется на задуманной глубине, если смотреть на исходном экране (то есть глубине большого экрана). Например, кинотеатр является исходной конфигурацией, а дом является целевой конфигурацией. Компенсация смещения для адаптации к разнице в расстоянии просмотра указывается стрелкой 64 и вычисляется следующим образом. Компенсированное смещение Ocv для целевого расстояния Dt просмотра от зрителя до трехмерного дисплея, и исходная конфигурация пространственного просмотра, имеющая исходное расстояние Ds просмотра, определяются на основе
Ocv=O/(1+Dt/Ds-Wt/Ws).
В качестве альтернативы на основе разрешения HPt в пикселях и размеров экрана формулой является
Ocv(pix)=E×(1-Wt/Ws)×Ds/(Dt+Ds-Wt/Ws×Ds)/Wt×HPt.
Компенсированное смещение определяется для целевой конфигурации пространственного просмотра, где отношение расстояния Dt просмотра и исходного расстояния Ds просмотра не пропорционально соответствует отношению размеров экрана Wt/Ws.
Отметим, что связь между несоответствием и глубиной нелинейная, однако ограниченный диапазон (глубины вокруг большого экрана) можно приближенно выразить линейно. Так, если объекты не слишком отдалены по глубине от большого экрана, то они будут казаться "неискаженными", если смотреть при D3 на небольшом экране при применении компенсированного смещения расстояния просмотра.
Когда объекты относительно удалены от большого экрана, будет присутствовать некоторое искажение, однако благодаря компенсированному смещению оно обычно сводится к минимуму. Допущение состоит в том, что режиссер обычно будет следить за тем, что большинство объектов находятся вокруг большого экрана (рассредоточенными приблизительно симметрично). Поэтому в большинстве случаев искажение будет минимальным. Отметим, что когда зритель находится дальше от экрана, чем задумано, объекты по-прежнему слишком малы, хотя глубина компенсируется по меньшей мере частично. Компенсация достигает серединной позиции между максимальной коррекцией глубины и воспринимаемым двумерным размером.
Отметим, что исходная ширина экрана может вычисляться по формуле Ws=Es/Os. Отношение размеров экрана можно заменить отношением исходного смещения Os и целевого смещения O (допуская одинаковое расстояние между зрачками), что приводит к
Ocv=O/(1+Dt/Ds-Os/O).
В варианте осуществления таблица значений смещения и расстояний просмотра может быть включена в сигнал трехмерного изображения. Теперь, если для некоторых планов съемки упомянутое искажение не является минимальным, то автор контента мог бы изменить компенсированное смещение посредством таблицы, содержащей информацию о смещении для различных размеров бытовых экранов и расстояний. Такие таблицы могли бы быть включены в сигнал трехмерного изображения при каждом новом кадре или группе изображений, или при новом плане съемки, где центр тяжести для расстояний до объектов отличается от расстояния до большого экрана. Посредством упомянутых повторяющихся таблиц смещение можно изменять со скоростью, которая удобна для зрителя.
Нужно отметить, что изобретение может быть реализовано в аппаратных средствах и/или в программном обеспечении, используя программируемые компоненты. Способ для реализации изобретения содержит следующие этапы. Первым этапом является предоставление метаданных трехмерного отображения, задающих параметры пространственного отображения трехмерного дисплея. Дальнейшим этапом является обработка исходных данных трехмерного изображения, скомпонованных для исходной конфигурации пространственного просмотра, чтобы сгенерировать сигнал трехмерного отображения для отображения на трехмерном дисплее в целевой конфигурации пространственного просмотра. Как описано выше, метаданные трехмерного отображения содержат данные целевой ширины, указывающие целевую ширину Wt трехмерного дисплея в целевой конфигурации пространственного просмотра, содержащей целевое расстояние Et между зрачками целевого зрителя. Способ дополнительно включает в себя этапы предоставления и применения данных исходного смещения, как описано выше для устройства.
Хотя изобретение преимущественно пояснено с помощью вариантов осуществления, использующих диск Blu-Ray, изобретение также подходит для любого трехмерного сигнала, формата передачи или хранения, например форматированного для распространения через Интернет. Кроме того, данные исходного смещения могут либо включаться в сигнал трехмерного изображения, либо предоставляться отдельно. Данные исходного смещения могут предоставляться для предопределенного полного размера экрана различными способами, например в метрах, дюймах и/или пикселях. Изобретение может быть реализовано в любой подходящей форме, включая аппаратные средства, программное обеспечение, микропрограммное обеспечение или любое их сочетание. Опционально изобретение может быть реализовано в виде способа, например в настройке авторской разработки или настройке отображения, или по меньшей мере частично в виде компьютерного программного обеспечения, работающего на одном или нескольких процессорах данных и/или цифровых процессорах сигналов.
Нужно принять во внимание, что в вышеприведенном описании для ясности описаны варианты осуществления изобретения со ссылкой на разные функциональные блоки и процессоры. Однако изобретение не ограничивается данными вариантами осуществления и заключается в каждом без исключения новом признаке или сочетании описанных признаков. Может использоваться любое подходящее распределение функциональных возможностей между разными функциональными блоками или процессорами. Например, функциональные возможности, проиллюстрированные как выполняемые отдельными блоками, процессорами или контроллерами, могут выполняться одним и тем же процессором или контроллером. Поэтому ссылки на конкретные функциональные блоки нужно рассматривать только в качестве ссылок на подходящее средство для обеспечения описанных функциональных возможностей, а не указания на строгую логическую или физическую структуру или организацию.
Кроме того, хотя и не перечислено отдельно, множество средств, элементов или этапов способа могут быть реализованы, например, одиночным блоком или процессором. Более того, хотя отдельные признаки могут включаться в разные пункты формулы изобретения, они по возможности могут выгодно объединяться, и включение в разные пункты формулы не подразумевает, что сочетание признаков не является осуществимым и/или выгодным. Также включение признака в одну категорию пунктов формулы не подразумевает ограничения этой категорией, а скорее указывает, что при необходимости признак в равной степени применим к другим категориям пунктов формулы. Кроме того, порядок признаков в формуле изобретения не подразумевает никакого конкретного порядка, в котором должны обрабатываться признаки, и в частности, порядок отдельных этапов в пункте формулы изобретения, заявляющем способ, не подразумевает, что этапы должны выполняться в этом порядке. Скорее, этапы могут выполняться в любом подходящем порядке. К тому же единственное число не исключают множественное число. Таким образом, ссылки на "первый", "второй" и так далее не исключают множество. Ссылочные позиции в формуле изобретения предоставляются лишь в качестве поясняющего примера и не должны толковаться как ограничивающие объем формулы изобретения каким-либо образом. Слово "содержащий" не исключает наличия других элементов или этапов помимо перечисленных.
| название | год | авторы | номер документа |
|---|---|---|---|
| КОМБИНИРОВАНИЕ 3D ВИДЕО И ВСПОМОГАТЕЛЬНЫХ ДАННЫХ | 2010 |
|
RU2554465C2 |
| ВСТАВКА ТРЕХМЕРНЫХ ОБЪЕКТОВ В СТЕРЕОСКОПИЧЕСКОЕ ИЗОБРАЖЕНИЕ НА ОТНОСИТЕЛЬНУЮ ГЛУБИНУ | 2010 |
|
RU2527249C2 |
| ОСНОВАННОЕ НА ЗНАЧИМОСТИ ОТОБРАЖЕНИЕ ДИСПАРАТНОСТИ | 2012 |
|
RU2580439C2 |
| ОБЪЕДИНЕНИЕ ДАННЫХ 3D ИЗОБРАЖЕНИЯ И ГРАФИЧЕСКИХ ДАННЫХ | 2010 |
|
RU2538335C2 |
| СТЕРЕОСКОПИЧЕСКАЯ СИСТЕМА ФОРМИРОВАНИЯ И ПРЕДСТАВЛЕНИЯ ИЗОБРАЖЕНИЙ | 2009 |
|
RU2483469C2 |
| ГЕНЕРИРОВАНИЕ ТРЕХМЕРНОГО ВИДЕОСИГНАЛА | 2010 |
|
RU2566968C2 |
| ОБРАБОТКА 3D ОТОБРАЖЕНИЯ СУБТИТРОВ | 2009 |
|
RU2517402C2 |
| УСТРОЙСТВО ВОСПРОИЗВЕДЕНИЯ, СПОСОБ ВОСПРОИЗВЕДЕНИЯ И ПРОГРАММА ДЛЯ СТЕРЕОСКОПИЧЕСКОГО ВОСПРОИЗВЕДЕНИЯ | 2009 |
|
RU2512135C2 |
| МНОГОВЫБОРОЧНОЕ РАЗРЕШЕНИЕ ПОВТОРНОГО ПРОЕЦИРОВАНИЯ ДВУХМЕРНОГО ИЗОБРАЖЕНИЯ | 2011 |
|
RU2573737C2 |
| РЕГУЛИРОВАНИЕ ГЛУБИНЫ В СИГНАЛЕ ТРЕХМЕРНОГО ИЗОБРАЖЕНИЯ | 2013 |
|
RU2649959C2 |
Изобретение относится к системам обработки данных трехмерного изображения. Техническим результатом является уменьшение искажений при отображении трехмерных изображений за счет компенсации смещения данных исходного и целевого просмотра. Предложено устройство для обработки данных трехмерного изображения для отображения на трехмерном дисплее для зрителя в целевой конфигурации пространственного просмотра. Данные изображения представляют собой левое и правое изображения. Устройство содержит процессор для обработки данных трехмерного изображения и средства метаданных отображения для предоставления метаданных трехмерного отображения, содержащих целевые данные, указывающие целевую ширину трехмерных данных как отображено в целевой конфигурации пространственного просмотра. Устройство также содержит средство ввода для извлечения данных исходного смещения на основе исходной ширины и исходного расстояния между зрачками зрителя в исходной конфигурации пространственного просмотра, причем данные исходного смещения включают в себя параметр смещения. 3 н. и 8 з.п. ф-лы, 8 ил., 7 табл.
1. Устройство для обработки данных трехмерного (3D) изображения для отображения на трехмерном дисплее для зрителя в целевой конфигурации пространственного просмотра, причем данные трехмерного изображения представляют собой по меньшей мере левое изображение L, которое нужно воспроизвести для левого глаза, и правое изображение R, которое нужно воспроизвести для правого глаза,
при этом устройство содержит:
процессор (52, 18) для обработки данных трехмерного изображения, чтобы сформировать сигнал (56)трехмерного отображения для трехмерного дисплея, и
средства (112, 192) метаданных отображения для предоставления метаданных трехмерного отображения, содержащих целевые данные, указывающие целевую ширину Wt трехмерных данных, как отображено в целевой конфигурации пространственного просмотра,
отличающееся тем, что
данные трехмерного изображения предназначены для воспроизведения в исходной конфигурации пространственного просмотра, в которой изображения на экране имеют исходную ширину, и
устройство содержит средство (51) ввода для извлечения данных исходного смещения на основе исходной ширины Ws и исходного расстояния Es между зрачками зрителя в исходной конфигурации пространственного просмотра, причем данные исходного смещения включают в себя параметр смещения,
причем процессор (52) дополнительно выполнен с возможностью определения смещения О, в зависимости от параметра смещения для компенсации отличий между исходной конфигурацией пространственного просмотра, содержащей исходную ширину и исходное расстояние просмотра, и целевой конфигурацией пространственного просмотра, содержащей целевую ширину и целевое расстояние просмотра, и
изменения взаимного горизонтального положения изображений L и R посредством смещения О.
2. Устройство по п. 1, в котором параметр смещения содержит по меньшей мере одно из:
по меньшей мере первого значения целевого смещения Ot1 для первой целевой ширины Wt1 целевого трехмерного дисплея;
значения отношения расстояния исходного смещения Osd на основе
Osd=Es/Ws;
значения Osp исходного смещения в пикселях для данных трехмерного изображения, имеющих исходное разрешение НР3 по горизонтали в пикселях, на основе Osp=HPs×Es/Ws;
данных (42) об исходном расстоянии просмотра, указывающих эталонное расстояние от зрителя до дисплея в исходной конфигурации пространственного просмотра;
данных о смещении границы, указывающих разброс смещения О по положению левого изображения L и положению правого изображения R;
и процессор (52) выполнен с возможностью определения смещения О, в зависимости от соответствующего параметра смещения.
3. Устройство по п. 2, в котором процессор (52) выполнен с возможностью по меньшей мере одного из определения смещения О в зависимости от соответствия первой целевой ширины Wt1 и целевой ширины Wt;
определения смещения в виде отношения целевого расстояния Otd для целевого расстояния Et между зрачками целевого зрителя к целевой ширине Wt на основе Otd=Et/Wt-Osd;
определения смещения Op в пикселях для целевого расстояния Et между зрачками целевого зрителя и целевой ширины Wt для сигнала трехмерного отображения, имеющего целевое разрешение HPt по горизонтали в пикселях, на основе Op=HPt×Et/Wt-Osp;
определения смещения О, в зависимости от сочетания данных об исходном расстоянии просмотра и по меньшей мере одного из первого значения целевого смещения, значения расстояния исходного смещения и значения исходного смещения в пикселях;
определения разброса смещения О по положению левого изображения L и положению правого изображения R в зависимости от данных смещения границы.
4. Устройство по п. 1, в котором данные исходного смещения содержат, для первой целевой ширины Wt1, по меньшей мере первое значение целевого смещения Ot11 для первого расстояния просмотра и по меньшей мере второе значение целевого смещения Ot112 для второго расстояния просмотра, и процессор (52) выполнен с возможностью определения смещения О в зависимости от соответствия первой целевой ширины Wt1 и целевой ширины Wt и соответствия фактического расстояния просмотра и первого или второго расстояния просмотра.
5. Устройство по п. 1 или 2, в котором устройство содержит средство (111, 191) метаданных зрителя для предоставления метаданных зрителя, задающих зрительские параметры пространственного просмотра относительно трехмерного дисплея, причем параметры пространственного просмотра включают в себя по меньшей мере одно из:
целевого расстояния Et между зрачками;
целевого расстояния Dt просмотра от зрителя до трехмерного дисплея;
и процессор выполнен с возможностью определения смещения в зависимости по меньшей мере от одного из целевого расстояния Et между зрачками и целевого расстояния Dt просмотра.
6. Устройство по п. 1, в котором процессор (52) выполнен с возможностью определения смещения Ocv, компенсированного для целевого расстояния Dt просмотра от зрителя до трехмерного дисплея, причем исходная конфигурация пространственного просмотра содержит исходное расстояние Ds просмотра, на основе Ocv=O/(1+Dt/Ds-Wt/Ws).
7. Устройство по п. 1, в котором исходные данные трехмерного изображения содержат данные исходного смещения и процессор (52) выполнен с возможностью извлечения данных исходного смещения из исходных данных трехмерного изображения.
8. Устройство по п. 1, отличающееся тем, что устройство содержит средство (51) ввода для извлечения исходных данных трехмерного изображения с носителя записи, либо тем, что устройство является устройством трехмерного отображения и содержит трехмерный дисплей (17) для отображения данных трехмерного изображения.
9. Устройство по п. 1, в котором процессор (52) выполнен с возможностью приспособления упомянутых взаимно измененных горизонтальных положений путем применения к сигналу трехмерного отображения, предназначенному для области отображения, по меньшей мере одного из следующего:
обрезки данных изображения, превышающих область отображения из-за упомянутого изменения;
добавления пикселей к левой и/или правой границе сигнала трехмерного отображения для расширения области отображения;
масштабирования взаимно измененных изображений L и R для соответствия области отображения;
обрезки данных изображения, превышающих область отображения из-за упомянутого изменения, и затемнения соответствующих данных в другом изображении.
10. Способ обработки данных трехмерного (3D) изображения для отображения на трехмерном дисплее для зрителя в целевой конфигурации пространственного просмотра, причем данные трехмерного изображения представляют по меньшей мере левое изображение L, которое нужно воспроизвести для левого глаза, и правое изображение R, которое нужно воспроизвести для правого глаза,
при этом способ содержит этапы, на которых:
обрабатывают данные трехмерного изображения, чтобы сгенерировать сигнал трехмерного отображения для трехмерного дисплея,
предоставляют метаданные трехмерного отображения, содержащие данные целевой ширины, указывающие целевую ширину Wt трехмерных данных, как отображено в целевой конфигурации пространственного просмотра, отличающийся тем, что
данные трехмерного изображения предназначены для воспроизведения в исходной конфигурации пространственного просмотра, в которой изображения на экране имеют исходную ширину, и способ содержит этапы, на которых:
извлекают данные исходного смещения на основе исходной ширины Ws и исходного расстояния Es между зрачками зрителя в исходной конфигурации пространственного просмотра, причем данные исходного смещения включают в себя параметр смещения, и
определяют смещение О, в зависимости от параметра смещения для компенсации отличий между исходной конфигурацией пространственного просмотра, содержащей исходную ширину и исходное расстояние просмотра, и целевой конфигурацией пространственного просмотра, содержащей целевую ширину и целевое расстояние просмотра,
изменяют взаимное горизонтальное положение изображений L и R посредством смещения О.
11. Способ обработки данных трехмерного (3D) изображения для отображения на трехмерном дисплее для зрителя в целевой конфигурации пространственного просмотра, причем данные трехмерного изображения представляют по меньшей мере левое изображение L, которое нужно воспроизвести для левого глаза, и правое изображение R, которое нужно воспроизвести для правого глаза, и данные трехмерного изображения предназначены для воспроизведения в исходной конфигурации пространственного просмотра, в которой изображения на экране имеют исходную ширину, при этом способ содержит этапы, на которых:
обрабатывают данные трехмерного изображения, чтобы сгенерировать сигнал трехмерного отображения для трехмерного дисплея,
предоставляют метаданные трехмерного отображения, содержащие данные целевой ширины, указывающие целевую ширину Wt трехмерных данных, как отображено в целевой конфигурации пространственного просмотра,
извлекают данные исходного смещения на основе исходной ширины Ws и исходного расстояния Es между зрачками зрителя в исходной конфигурации пространственного просмотра, причем данные исходного смещения включают в себя параметр смещения, и
определяют смещение О, в зависимости от параметра смещения для компенсации отличий между исходной конфигурацией пространственного просмотра, содержащей исходную ширину и исходное расстояние просмотра, и целевой конфигурацией пространственного просмотра, содержащей целевую ширину и целевое расстояние просмотра,
изменяют взаимное горизонтальное положение изображений L и R посредством смещения О,
причем посредством процессора (52) приспосабливают упомянутые взаимно измененные горизонтальные положения путем применения к сигналу трехмерного отображения, предназначенному для области отображения по меньшей мере одного из следующих этапов, на которых:
обрезают данные изображения, превышающие область отображения из-за упомянутого изменения;
добавляют пиксели к левой и/или правой границе сигнала трехмерного отображения для расширения области отображения;
масштабируют взаимно измененные изображения L и R для соответствия области отображения;
обрезают данные изображения, превышающие область отображения из-за упомянутого изменения, и затемняют соответствующие данные в другом изображении.
| Способ приготовления мыла | 1923 |
|
SU2004A1 |
| Пресс для выдавливания из деревянных дисков заготовок для ниточных катушек | 1923 |
|
SU2007A1 |
| Колосоуборка | 1923 |
|
SU2009A1 |
| US 6798406 B1, 28.09.2004 | |||
| СПОСОБ ПОЛУЧЕНИЯ И ВОСПРОИЗВЕДЕНИЯ ОБЪЕМНОГО ИЗОБРАЖЕНИЯ И УСТРОЙСТВО ДЛЯ ЕГО РЕАЛИЗАЦИИ | 1995 |
|
RU2097940C1 |
| СПОСОБ ОБЪЕМНОГО ТЕЛЕВИДЕНИЯ | 1998 |
|
RU2157056C2 |
