ГЕНЕРИРОВАНИЕ ТРЕХМЕРНОГО ВИДЕОСИГНАЛА Российский патент 2015 года по МПК G06T15/00 H04N13/00 

ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ

Изобретение относится к генерированию трехмерного (3D) видеосигнала для осуществления возможности одновременного отображения первичного видеосигнала и вторичного видеосигнала на 3D дисплее. Данное изобретение дополнительно относится к обработке упомянутого 3D видеосигнала.

Стало желательным стандартизировать формат 3D видеосигнала, позволяющий осуществить воспроизведение 3D видео потребителями, так как кинофильмы все больше записываются в 3D, и 3D дисплеи появляются на рынке. Следовательно, имеют место различные усилия для стандартизации. Например, Ассоциация Blu-ray дисков анонсировала планы для включения 3D в формат Blu-ray дисков, и MPEG разрабатывает стандарты для кодирования, декодирования, передачи и хранения 3D видеосигналов.

Кроме того, теперь в течение многих лет, функциональность «изображение в изображении» (PiP) включалась в дисплей и устройства воспроизведения для осуществления возможности одновременного отображения или воспроизведения двух или нескольких видеосигналов. Например, телевизор может быть способным принимать два видеосигнала одновременно и обеспечивать, с использованием PiP функциональности, вставленное окно, отображающее один из этих видеосигналов, причем это окно, при этом, покрывает часть в ином случае полноэкранного окна, отображающего другой видеосигнал. Аналогично, телеприставка может принимать два видеосигнала одновременно и генерировать выходной видеосигнал, содержащий вставленное окно для отображения на телевизоре.

PiP функциональность дает возможность телевизионным зрителям одновременно наблюдать два или несколько видеосигналов. Например, зрителю может понравиться контролировать конец рекламной паузы на одном канале при временном просмотре другого канала. Содержание обоих видеосигналов может быть также связано друг с другом. Например, полноэкранное окно может отображать первую перспективу телекамеры футбольного матча, а вставленное окно может отображать вторую перспективу телекамеры того же самого футбольного матча. Фактически, данное изобретение конкретно относится к одновременно показываемым видеосигналам, связанным друг с другом.

После вставленного окна, обеспечиваемого посредством PiP, известны различные другие пространственные композиции для осуществления возможности одновременного отображения двух или нескольких видеосигналов. Например, два видеосигнала могут отображаться в ряд, что иначе известно как «изображение и изображение» (PAP или P&P), или четыре видеосигнала могут отображаться в режиме учетверенного изображения. Для облегчения объяснения данного изобретения, однако, любая пространственная композиция для одновременного отображения двух или нескольких связанных видеосигналов будет в дальнейшем называться PiP.

PiP функциональность может быть также обеспечена посредством соответствующего видеопотока, как, например, видеопотока, содержащегося на Blu-ray диске. Поставщик кинофильма может использовать PiP функциональность для обеспечения вставленного окна, содержащего видеокомментарий, например, директора или актера. Зритель может включить этот видеокомментарий для того, чтобы узнать информацию о предпосылках создания этого кинофильма, отображаемого в полноэкранном окне. Как таковые, кинофильм и комментарий, т.е. первичный и вторичный видеосигналы, содержатся в видеопотоке, хранимом на этом диске.

УРОВЕНЬ ТЕХНИКИ

Является желательным обеспечение 3D видеосигнала, имеющего PiP функциональность, в частности, поскольку потребители привыкли к двумерным (2D) видеосигналам, имеющим PiP функциональность.

Известный способ для обеспечения PiP функциональности в упомянутом 3D видеосигнале состоит в том, чтобы, после 3D первичного видеосигнала, дополнительно обеспечить 3D вторичный видеосигнал. Более конкретно, WO 2008/038205 раскрывает систему, которая принимает информацию о 3D изображении и информацию о вторичном 3D изображении для одновременного представления на 3D дисплее, причем эта информация об изображении принимается, например, от оптического носителя записи или Интернет. Принимаемый 3D видеосигнал, следовательно, обеспечивает PiP функциональность посредством обеспечения 3D вторичного видеосигнала после 3D первичного видеосигнала.

СУЩНОСТЬ ИЗОБРЕТЕНИЯ

Проблемой вышеупомянутого 3D видеосигнала является то, что его скорость передачи в битах является относительно высокой. Как следствие относительно высокой скорости передачи в битах 3D видеосигнала, полоса частот, требуемая для передачи 3D видеосигнала, также является относительно высокой. Аналогично, емкость памяти, требуемая для хранения 3D видеосигнала, является относительно высокой. Наконец, кодирование и декодирование 3D видеосигнала обычно требует относительно много вычислительных ресурсов.

Задачей изобретения является обеспечение 3D видеосигнала, имеющего более низкую скорость передачи в битах, причем этот 3D видеосигнал дает возможность осуществить одновременное отображение первичного видеосигнала и вторичного видеосигнала на 3D дисплее.

В первом аспекте изобретения, эта задача реализуется в том, что обеспечен способ генерации 3D видеосигнала для осуществления возможности одновременного отображения 3D первичного видеосигнала и вторичного видеосигнала на 3D дисплее, причем 3D первичный видеосигнал содержит базовый видеосигнал и вспомогательный сигнал, позволяющий осуществить 3D отображение, причем 3D видеосигнал является видеопотоком в мультиплексированной форме, причем способ содержит этапы обеспечения в качестве вторичного видеосигнала 2D вторичного видеосигнала, форматирования базового видеосигнала для генерации базового видеопотока, форматирования вспомогательного сигнала для генерации вспомогательного потока, мультиплексирования базового видеопотока со вспомогательным потоком для генерации видеопотока и включения 2D вторичного видеосигнала в видеопоток.

В дополнительном аспекте изобретения, обеспечен способ обработки 3D видеосигнала, который может быть сгенерирован посредством вышеуказанного способа, для осуществления возможности одновременного отображения 3D первичного видеосигнала и вторичного видеосигнала на 3D дисплее, причем этот 3D первичный видеосигнал содержит базовый видеосигнал и вспомогательный сигнал, позволяющий осуществить 3D отображение, причем 3D видеосигнал содержит в качестве вторичного видеосигнала 2D вторичный видеосигнал, причем 3D видеосигнал является видеопотоком в мультиплексированной форме, причем видеопоток содержит 2D вторичный видеосигнал и базовый видеопоток, мультиплексированный со вспомогательным потоком, причем базовый видеопоток содержит, в форматированной форме, базовый видеосигнал, причем вспомогательный поток содержит, в форматированной форме, вспомогательный сигнал, причем способ предусматривает этапы извлечения 2D вторичного видеосигнала из видеопотока, демультиплексирования из видеопотока базового видеопотока и вспомогательного потока, деформатирования из базового видеопотока базового видеосигнала, деформатирования из вспомогательного потока вспомогательного сигнала и объединения 2D вторичного видеосигнала с базовым видеосигналом и вспомогательным сигналом для обеспечения сигнала 3D отображения для отображения 2D вторичного видеосигнала при некоторой глубине отображения на 3D дисплее.

В дополнительном аспекте изобретения, обеспечен компьютерный программный продукт, содержащий команды для предписания процессорной системе выполнения любого из упомянутых способов.

В дополнительном аспекте изобретения, обеспечен 3D видеосигнал для осуществления возможности одновременного отображения 3D первичного видеосигнала и вторичного видеосигнала на 3D дисплее, причем 3D первичный видеосигнал содержит базовый видеосигнал и вспомогательный сигнал, позволяющий осуществить 3D отображение, причем 3D видеосигнал содержит в качестве вторичного видеосигнала 2D вторичный видеосигнал, причем 3D видеосигнал является видеопотоком в мультиплексированной форме, причем видеопоток содержит 2D вторичный видеосигнал и базовый видеопоток, мультиплексированный со вспомогательным потоком, причем базовый видеопоток содержит, в форматированной форме, базовый видеосигнал, причем вспомогательный поток содержит, в форматированной форме, вспомогательный сигнал.

В дополнительном аспекте изобретения, обеспечен носитель информации, содержащий упомянутый 3D видеосигнал.

В дополнительном аспекте изобретения, обеспечено устройство генерации сигналов для генерации 3D видеосигнала для осуществления возможности одновременного отображения 3D первичного видеосигнала и вторичного видеосигнала на 3D дисплее, причем 3D первичный видеосигнал содержит базовый видеосигнал и вспомогательный сигнал, позволяющий осуществить 3D отображение, причем этот 3D видеосигнал является видеопотоком в мультиплексированной форме, причем устройство содержит средство обеспечения для обеспечения в качестве вторичного видеосигнала 2D вторичного видеосигнала и блок форматирования для форматирования базового видеосигнала для генерации базового видеопотока, форматирования вспомогательного сигнала для генерации вспомогательного потока, мультиплексирования базового видеопотока со вспомогательным потоком для генерации этого видеопотока и включения 2D вторичного видеосигнала в этот видеопоток.

В дополнительном аспекте изобретения, обеспечено устройство обработки сигналов для обработки 3D видеосигнала, который может быть сгенерирован посредством вышеуказанного устройства генерации сигналов, для осуществления возможности одновременного отображения 3D первичного видеосигнала и вторичного видеосигнала на 3D дисплее, причем 3D первичный видеосигнал содержит базовый видеосигнал и вспомогательный сигнал, позволяющий осуществить 3D отображение, причем 3D видеосигнал содержит в качестве вторичного видеосигнала 2D вторичный видеосигнал, причем 3D видеосигнал является видеопотоком в мультиплексированной форме, причем видеопоток содержит 2D вторичный видеосигнал и базовый видеопоток, мультиплексированный со вспомогательным потоком, причем базовый видеопоток содержит, в форматированной форме, базовый видеосигнал, причем вспомогательный поток содержит, в форматированной форме, вспомогательный сигнал, причем устройство содержит блок демультиплексирования для демультиплексирования из видеопотока базового видеопотока и вспомогательного потока, блок деформатирования для деформатирования базового видеосигнала из базового видеопотока, деформатирования вспомогательного сигнала из вспомогательного потока и извлечения 2D вторичного видеосигнала из этого видеопотока и блок объединения для объединения 2D вторичного видеосигнала с базовым видеосигналом и вспомогательным сигналом для обеспечения сигнала 3D отображения для отображения 2D вторичного видеосигнала при некоторой глубине отображения на 3D дисплее.

Эти меры согласно изобретению обеспечивают 3D видеосигнал, который содержит, после первичного видеосигнала, вторичный видеосигнал для обеспечения PiP функциональности 3D видеосигнала. В 3D видеосигнале, первичным видеосигналом является 3D первичный видеосигнал, и все же вторичный видеосигнал конкретно обеспечивается как 2D вторичный видеосигнал. 3D первичный видеосигнал содержит базовый видеосигнал и вспомогательный видеосигнал, со вспомогательным видеосигналом, содержащим требуемую информацию для осуществления возможности 3D отображения. Например, 3D первичным видеосигналом может быть «левый+правый» (стереоскопический) видеосигнал, причем этим базовым видеосигналом является левый видеосигнал, а вспомогательным видеосигналом является правый видеосигнал. 3D первичным видеосигналом может также быть видеосигнал «2D+глубина», причем этим базовым видеосигналом является 2D видеосигнал, а вспомогательным сигналом является этот сигнал глубины. Базовый видеосигнал, вспомогательный сигнал и 2D вторичный видеосигнал затем преобразуются в потоковый формат для генерации 3D видеосигнала.

Выгодно, что 3D видеосигнал, содержащий 2D вторичный видеосигнал, имеет более низкую скорость передачи в битах, чем 3D видеосигнал, содержащий 3D вторичный видеосигнал. Причиной более низкой скорости передачи в битах является то, что 3D вторичный видеосигнал содержит, после вторичного базового видеосигнала, дополнительный вторичный вспомогательный сигнал, причем этот вторичный вспомогательный сигнал дает возможность осуществить 3D отображение. Посредством обеспечения 2D вторичного видеосигнала вместо 3D вторичного видеосигнала, этот вторичный вспомогательный сигнал опускается, и, следовательно, скорость передачи в битах вторичного видеосигнала снижается.

Данное изобретение также основано на распознавании того, что обеспечение 3D вторичного видеосигнала имеет удивительно ограниченное действие на различение зрителем PiP функциональности над обеспечением 2D вторичного видеосигнала. Причина ограниченного действия 3 вторичного видеосигнала на различение зрителем PiP является двойной: во-первых, зритель большую часть времени сфокусирован на 3D первичном видеосигнале, а не на вторичном видеосигнале, и во-вторых, вторичный видеосигнал обычно отображается в окне, которое является малым относительно полного экрана дисплея, так что относительно трудно заметить глубину 3D вторичного видео. Следовательно, на практике, зритель едва ли заметит, что вторичный видеосигнал обеспечен в 2D вместо 3D.

Следовательно, эти меры имеют тот эффект, что сгенерированный 3D видеосигнал имеет более низкую скорость передачи в битах, чем 3D видеосигнал, содержащий 3D вторичный видеосигнал. Как следствие, требуется меньшая полоса частот для передачи 3D видеосигнала, и требуется меньшая емкость памяти для хранения 3D видеосигнала. Наконец, кодирование и декодирование 3D видеосигнала обычно требует меньших вычислительных ресурсов. Выгодно, что стоимость устройства, которое кодирует, декодирует, передает или сохраняет 3D видеосигнал, является более низкой.

Вышеуказанные меры согласно изобретению обеспечивают в качестве 3D видеосигнала некоторый видеопоток в мультиплексированной форме. Этот видеопоток имеет мультиплексированную форму, так как он содержит базовый видеопоток, мультиплексированный со вспомогательным потоком. Базовый видеопоток содержит базовый видеосигнал, преобразованный в потоковый формат, а вспомогательный поток содержит вспомогательный сигнал, преобразованный в потоковый формат. Базовый видеопоток и вспомогательный поток получаются из этого видеопотока посредством демультиплексирования упомянутых потоков. Базовый видеосигнал получается посредством обращения преобразования базового видеосигнала в потоковый формат, вспомогательный сигнал получается посредством обращения преобразования вспомогательного сигнала в потоковый формат, а 2D вторичный видеосигнал получается посредством его извлечения из этого видеопотока.

Эти меры имеют тот эффект, что 3D видеосигнал является единственным видеопотоком. Единственный видеопоток требует только единственной среды передачи данных для передачи, только единственного блока записи для записи и т.д., при обеспечении в то же время как PiP, так и 3D функциональности. Сам видеопоток содержит два индивидуальных потока, а именно, базовый видеопоток и вспомогательный поток, и 3D первичный видеосигнал разделен на два потока посредством раздельного форматирования базового видеосигнала и вспомогательного сигнала. Выгодно, что посредством разделения 3D видеосигнала первичного видеосигнала на два потока, скорость передачи в битах каждого индивидуального потока является более низкой, чем скорость передачи в битах единственного видеопотока, содержащего 3D первичный видеосигнал.

Деформатирование потока является вычислительно интенсивным, особенно если деформатирование содержит распаковку. В противоположность этому, демультиплексирование является менее вычислительно интенсивным. Следовательно, деформатирование единственного видеопотока является более вычислительно интенсивным, чем демультиплексирование единственного видеопотока и деформатирование только любого из двух потоков.

Как следствие, блок деформатирования, используемый для деформатирования любого из двух потоков, может быть достаточным с более низкой вычислительной производительностью, чем блок деформатирования, используемый для деформатирования единственного видеопотока. Аналогично, блок деформатирования с только умеренной вычислительной производительностью не может деформатировать единственный видеопоток, но может деформатировать любой из индивидуальных потоков. В частности, устройство обработки сигналов может быть не оборудовано блоком деформатирования достаточно высокой вычислительной производительности для деформатирования единственного видеопотока, но может содержать, для совместимости с определенными стандартами, два блока деформатирования умеренной производительности. Это устройство, следовательно, способно деформатировать два отдельных потока, даже хотя и не способно деформатировать единственный видеопоток.

Кроме того, устройство обработки сигналов, оборудованное только одним блоком деформатирования умеренной вычислительной производительности, способно деформатировать базовый видеопоток для обеспечения базового видеосигнала. Этим базовым видеосигналом, ввиду обратной совместимости 3D первичного видеосигнала, обычно является 2D первичный видеосигнал. Следовательно, устройство обработки сигналов способно деформатировать 2D первичный видеосигнал. Если 3D первичный видеосигнал форматируется в единственный видеопоток, то такое устройство вообще не может обеспечить первичный видеосигнал.

3D видеосигнал, следовательно, позволяет осуществить обратную совместимость с устройством обработки сигналов, имеющим только один блок деформатирования для 2D видеосигналов, например, более старое устройство обработки 2D сигналов, при обеспечении в то же время функциональности PiP и 3D на устройствах обработки сигналов, имеющих множественные блоки деформатирования. Выгодно, что потребитель, имеющий устройство обработки 2D сигналов, может наслаждаться по меньшей мере 2D функциональностью 3D видеосигнала. Кроме того, поставщик может уменьшить стоимость производства и распространения видеоконтента с PiP и 3D функциональностью посредством обеспечения этого видеоконтента в формате 3D видеосигнала без необходимости беспокоиться о том, что потребители с устройствами обработки 2D сигналов вообще не способны воспроизвести этот видеоконтент.

Следующие варианты осуществления данного изобретения достигают того эффекта, что 3D видеосигнал дает возможность осуществить устройство обработки сигналов, имеющее только блок деформатирования для обеспечения базового видеосигнала вместе с PiP функциональностью.

В некотором варианте осуществления данного изобретения, обеспечен способ для генерации 3D видеосигнала, в котором этап форматирования базового видеосигнала содержит мультиплексирование базового видеосигнала с 2D вторичным видеосигналом для включения 2D вторичного видеосигнала в базовый видеопоток.

В некотором варианте осуществления данного изобретения, обеспечено устройство обработки сигналов для обработки 3D видеосигнала, в котором базовый видеопоток содержит, в форматированной форме, базовый видеосигнал, мультиплексированный с 2D вторичным видеосигналом, и блок деформатирования дополнительно выполнен для демультиплексирования из базового видеопотока базового видеосигнала и 2D вторичного видеосигнала.

Вышеуказанные меры согласно изобретению обеспечивают базовый видеопоток, дополнительно содержащий 2D вторичный видеосигнал. Базовый видеопоток генерируется посредством мультиплексирования и преобразования базового видеосигнала и 2D вторичного видеосигнала в потоковый формат. Следовательно, базовый видеосигнал и 2D вторичный видеосигнал получаются из базового видеопотока посредством обращения преобразования в потоковый формат и посредством демультиплексирования упомянутых сигналов.

Эти меры имеют тот эффект, что 2D вторичный видеосигнал содержится специфически в базовом видеопотоке. Следовательно, блок деформатирования, который деформатирует базовый видеопоток, получает как базовый видеосигнал, так и 2D вторичный видеосигнал. В частности, устройство обработки сигналов, имеющее только один блок деформатирования, может деформатировать базовый видеопоток для обеспечения 2D первичного видеосигнала и 2D вторичного видеосигнала и, следовательно, PiP функциональности. 3D видеосигнал, следовательно, позволяет устройству обработки сигналов, имеющему только один блок деформатирования, обеспечить 2D первичный видеосигнал вместе с PiP функциональностью.

Следующие варианты осуществления данного изобретения достигают того эффекта, что скорость передачи в битах базового видеопотока не увеличивается как следствие обеспечения PiP функциональности в 3D видеосигнале.

В некотором варианте осуществления данного изобретения, обеспечен способ для генерации 3D видеосигнала, в котором этап форматирования вспомогательного сигнала содержит мультиплексирование вспомогательного сигнала с 2D вторичным видеосигналом для включения 2D вторичного видеосигнала во вспомогательный поток.

В некотором варианте осуществления данного изобретения, обеспечено устройство обработки сигналов для обработки 3D видеосигнала, в котором вспомогательный поток содержит, в форматированной форме, вспомогательный сигнал, мультиплексированный с 2D вторичным видеосигналом, и блок деформатирования дополнительно выполнен для демультиплексирования из вспомогательного потока вспомогательного сигнала и 2D вторичного видеосигнала.

Вышеуказанные меры согласно изобретению обеспечивают вспомогательный поток, дополнительно содержащий 2D вторичный видеосигнал. Вспомогательный поток генерируется посредством мультиплексирования и преобразования вспомогательного сигнала и 2D вторичного видеосигнала в потоковый формат. Следовательно, вспомогательный сигнал и 2D вторичный видеосигнал получаются из вспомогательного потока посредством обращения преобразования в потоковый формат и посредством демультиплексирования упомянутых сигналов.

Эти меры имеют тот эффект, что 2D вторичный видеосигнал содержится специфически во вспомогательном потоке, и что базовый видеопоток, следовательно, является тем же самым, что и базовый видеопоток 3D видеосигнала, не имеющего PiP функциональности. Следовательно, скорость передачи в битах базового видеопотока не увеличивается как следствие обеспечения PiP функциональности в 3D видеосигнале. Скорее, возрастает скорость передачи в битах вспомогательного потока. По причинам совместимости со стандартами, а также существующих блоков деформатирования, скорость передачи в битах некоторого потока ограничена определенным максимумом.

Скорость передачи в битах форматированного вспомогательного сигнала обычно является более низкой, чем скорость передачи в битах форматированного базового видеосигнала. Например, если 3D видеосигналом является видеосигнал «2D+глубина», то информация о глубине содержит одно значение глубины для каждого пиксела, тогда как базовый видеосигнал содержит три цветовых значения для каждого пиксела, например, R, G и B. Следовательно, посредством включения 2D вторичного видеосигнала во вспомогательный поток, а не в базовый видеопоток, максимум скорости передачи в битах обоих потоков снижается, т.е. скорость передачи в битах полного видеопотока более равномерно распределяется между базовым видеопотоком и вспомогательным потоком. Выгодно, что лучшее качество изображения базового видеосигнала получается посредством назначения полной доступной скорости передачи в битах, определенной в некотором стандарте, только для базового видеосигнала.

Следующие варианты осуществления данного изобретения достигают того эффекта, что базовый видеопоток и вспомогательный поток имеют ту же скорость передачи в битах, что и соответствующие потоки 3D видеосигнала, не имеющего PiP функциональности.

В некотором варианте осуществления данного изобретения, обеспечен способ для генерации 3D видеосигнала, причем этот способ дополнительно предусматривает этап форматирования 2D вторичного видеосигнала для генерации 2D вторичного видеопотока, и этап мультиплексирования, содержащую мультиплексирование 2D вторичного видеопотока с базовым видеопотоком и со вспомогательным потоком для упомянутого включения 2D вторичного видеосигнала в этот видеопоток.

В некотором варианте осуществления данного изобретения, обеспечено устройство обработки сигналов для обработки 3D видеосигнала, в котором видеопоток содержит 2 вторичный видеопоток, мультиплексированный с базовым видеопотоком и со вспомогательным потоком, причем этот 2D вторичный видеопоток содержит, в форматированной форме, 2D вторичный видеосигнал, причем блок демультиплексирования дополнительно выполнен для демультиплексирования 2D вторичного видеопотока, причем блок деформатирования дополнительно выполнен для деформатирования 2D вторичного видеосигнала из 2D вторичного видеопотока.

Вышеуказанные меры согласно изобретению обеспечивают 2D вторичный видеопоток, содержащий 2D вторичный видеосигнал. 2D вторичный видеопоток генерируется посредством преобразования 2D вторичного видеосигнала в потоковый формат и включется в видеопоток посредством мультиплексирования 2D вторичного видеопотока с базовым видеопотоком и вспомогательным потоком. Следовательно, 2D вторичный видеосигнал получается из этого видеопотока посредством демультиплексирования упомянутых потоков и посредством обращения преобразования 2D вторичного видеосигнала в потоковый формат.

Эти меры имеют тот эффект, что 2D вторичный видеосигнал содержится в отдельном 2D вторичном видеопотоке, и не содержится ни в базовом видеопотоке, ни во вспомогательном потоке. Базовый видеопоток и вспомогательный поток, следовательно, имеют ту же самую скорость передачи в битах, что и соответствующие потоки 3D видеосигнала, не имеющего PiP функциональности. Следовательно, 3D видеосигнал является совместимым с устройством обработки сигналов с двумя блоками деформатирования, имеющими только вычислительные ресурсы для деформатирования 3D видеосигнала, не имеющего PiP функциональности. Хотя такое устройство не может обеспечить PiP функциональность, 3D первичный видеосигнал все же может быть деформатирован. Все же, тот же самый 3D видеосигнал обеспечивает PiP функциональность на устройстве, которое имеет дополнительный блок деформатирования для 2D вторичного видеопотока. Кроме того, пользователь такого устройства обработки сигналов с двумя блоками деформатирования может выбирать, является ли предпочтительной 3D функциональность, или является ли предпочтительной PiP функциональность. В первом случае деформатируются базовый видеопоток и вспомогательный поток, а в последнем случае деформатируются базовый видеопоток и 2D вторичный видеопоток. Следовательно, 3D видеосигнал выгодно предлагает пользователю возможность выбора между 3D функциональностью и PiP функциональностью согласно персональному предпочтению.

В некотором варианте осуществления данного изобретения, обеспечен 3D видеосигнал, где 3D видеосигнал содержит первичный сигнальный компонент и вторичный сигнальный компонент, причем этот первичный сигнальный компонент содержит базовый видеосигнал, форматированный для индивидуальной передачи первичного сигнального компонента, причем этот вторичный сигнальный компонент содержит 2D вторичный видеосигнал, форматированный для индивидуальной передачи вторичного сигнального компонента.

Вышеуказанные меры согласно изобретению обеспечивают 3D видеосигнал, содержащий первичный сигнальный компонент для обеспечения 2D первичного видеосигнала и вторичный сигнальный компонент для обеспечения 2D вторичного видеосигнала. Упомянутые видеосигналы форматируются для осуществления возможности индивидуальной передачи обоих сигнальных компонентов. Следовательно, эти меры имеют тот эффект, что два сигнальных компонента 3D видеосигнала могут быть переданы или приняты через отдельные каналы передачи или сохранены на отдельных носителях информации. Более низкая скорость передачи в битах 3D видеосигнала, следовательно, реализуется во вторичном сигнальном компоненте 3D видеосигнала, содержащего 2D вторичный видеосигнал.

Выгодно, что потребитель может удобно получить PiP функциональность первичного видеосигнала уже во владение потребителя посредством загрузки упомянутого вторичного сигнального компонента из Интернет, и поставщик первичного видеосигнала способен заработать дополнительный доход посредством делания упомянутого вторичного сигнального компонента доступным для покупки потребителем.

Следующие варианты осуществления данного изобретения достигают того эффекта, что глубина отображения 2D вторичного видеосигнала в 3D дисплее может контролироваться с использованием значения смещения, включенного в 3D видеосигнал.

В некотором варианте осуществления данного изобретения, обеспечен способ для генерации 3D видеосигнала, причем этот способ дополнительно предусматривает этап включения значения смещения в 3D видеосигнал, причем это значение смещения указывает глубину отображения 2D вторичного видеосигнала на 3D дисплее.

В некотором варианте осуществления данного изобретения, обеспечено устройство обработки сигналов для обработки 3D видеосигнала, где 3D видеосигнал дополнительно содержит значение смещения, указывающее глубину отображения 2D вторичного видеосигнала на 3D дисплее, и где блок объединения дополнительно выполнен для объединения, в зависимости от значения смещения, 2D вторичного видеосигнала с базовым видеосигналом и вспомогательным сигналом.

Вышеуказанные меры согласно изобретению обеспечивают значение смещения, включаемое в 3D видеосигнал, и блок объединения, использующий этой значение смещения для помещения 2D вторичного видеосигнала в сигнал 3D отображения при глубине отображения, указываемой посредством значения смещения. Следовательно, эти меры имеют тот эффект, что глубина отображения 2D вторичного видеосигнала в сигнале 3D отображения может контролироваться с использованием значения смещения. Поставщик 3D видеосигнала может, следовательно, предварительно определить глубину отображения 2D вторичного видеосигнала и включить упомянутую глубину отображения в 3D видеосигнал посредством значения смещения.

Выгодно, что значение смещения позволяет обеспечить глубину отображения 2D вторичного видеосигнала, которая ясно отделена от глубины отображения 3D первичного видеосигнала для предотвращения какой-либо путаницы или трудностей интерпретации зрителя.

Публикация, озаглавленная “A Structure for 2D/3D Mixed Service Based on Terrestrial DMB System” Hyun Lee и др., 3D Conference, 2007, IEEE, 1 мая 2007 г., раскрывает архитектуру передачи для 2D/3D смешанной службы, в которой служба 3D изображений и 2D видеослужба скомбинированы в один сигнал видеопередачи. Фиг. 7 этой публикации показывает пример PiP, который упомянут как форма 2D/3D смешанной службы. На этом чертеже, PiP является 2D изображение, а его фоном - 3D изображение. Фиг. 1 и его соответствующее описание показывают, что сигнал видеопередачи генерируется посредством генерации 2D потока видеоданных, а также пакетов файлов 3D данных, и мультиплексирования обоих.

Однако, вышеуказанная публикация не раскрывает 3D первичный видеосигнал, который форматируется как базовый видеопоток и вспомогательный поток. Она также не раскрывает то, что видеопоток генерируется посредством мультиплексирования базового видеопотока и вспомогательного потока. Фактически, она не раскрывает то, что 3D видеосигнал генерируется как некоторый видеопоток. Вместо этого, фиг. 1 и его соответствующее описание показывают службу 3D изображений, которая передается как пакеты передачи мультимедийных объектов (МОТ), причем эти пакеты включены в сигнал видеопередачи через путь данных пакетного режима.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

На чертежах

Фиг. 1 показывает способ для генерации 3D видеосигнала;

Фиг. 2 показывает способ для генерации видеопотока;

Фиг. 3 показывает способ для генерации видеопотока, содержащего 2D вторичный видеопоток;

Фиг. 4 показывает способ для генерации 3D видеосигнала, содержащего значение смещения;

Фиг. 5 показывает способ для обработки 3D видеосигнала;

Фиг. 6 показывает 3D видеосигнал;

Фиг. 7 показывает видеопоток;

Фиг. 8 показывает видеопоток, содержащий 2D вторичный видеопоток;

Фиг. 9 показывает носитель информации, содержащий 3D видеосигнал;

Фиг. 10 показывает устройство генерации сигналов для генерации 3D видеосигнала;

Фиг. 11 показывает устройство обработки сигналов для обработки 3D видеосигнала;

Фиг. 12 показывает устройство обработки сигналов для обработки видеопотока;

Фиг. 13 показывает устройство обработки сигналов для обработки видеопотока, содержащего 2D вторичный видеопоток;

Фиг. 14 показывает 3D видеосигнал, содержащий значение смещения;

Фиг. 15 показывает устройство обработки сигналов, выполненное для использования значения смещения;

Фиг. 16 показывает устройство обработки сигналов, содержащее 3D дисплей, приемник широковещательной передачи, Интернет-приемник и считывающее устройство.

ПОДРОБНОЕ ОПИСАНИЕ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ

Фиг. 1 является блок-схемой способа 100 для генерации 3D видеосигнала 300, показанного на фиг. 6, для осуществления возможности одновременного отображения 3D первичного видеосигнала 301 и вторичного видеосигнала на 3D дисплее. 3D первичным видеосигналом 301 может быть любой известный в настоящее время 3D видеосигнал, а также разрабатываемый в будущем 3D видеосигнал. Известные в настоящее время 3D видеосигналы, однако, имеют в общем то, что они содержат базовый видеосигнал 302 и вспомогательный сигнал 303, причем вспомогательный сигнал дает возможность осуществить 3D отображение.

Например, 3D первичным видеосигналом 301 может быть «левый+правый» (стереоскопический) видеосигнал, причем базовым видеосигналом 302 является левый видеосигнал, а вспомогательным сигналом 303 является правый видеосигнал, или наоборот. 3D первичным видеосигналом 301 может также быть видеосигнал «2D+глубина», причем базовым видеосигналом 302 является 2D видеосигнал, а вспомогательным сигналом 303 является сигнал глубины. Вспомогательный сигнал 303 может также содержать больше информации, чем только глубину, как, например, описано в “Declipse 2: Multilayer Image-and-Depth with Transparency Made Practical” B.Barenbrug, Доклады стереоскопических дисплеев и приложений ХХ (2009), включенный здесь в качестве ссылки. Также 3D первичным видеосигналом может быть видеосигнал «многовидовый+глубина», содержащий множественные базовые видеосигналы и соответствующие множественные вспомогательные сигналы, позволяющие осуществить 3D отображение (3D дисплей).

3D дисплеем может быть любой известный в настоящее время или разработанный в будущем 3D дисплей, подходящий для показа 3D видеосигнала. Например, 3D дисплеем может быть стереоскопический 3D телевизор или автостереоскопический основанный на двояковыпуклости многовидовый 3D дисплей.

Способ 100 предусматривает обеспечение в качестве вторичного видеосигнала 2D вторичного видеосигнала 304 на этапе 101 «обеспечение 2D вторичного видеосигнала». На этом этапе, вторичный видеосигнал конкретно обеспечивается как 2D вторичный видеосигнал 304. Этот этап может непосредственно содержать прием или получение 2D вторичного видеосигнала 304, или может содержать первый прием или получение 3D вторичного видеосигнала. В последнем случае, этот этап дополнительно содержит преобразование 3D вторичного видеосигнала в 2D вторичный видеосигнал 304. Если 3D вторичный видеосигнал содержит 2D вторичный базовый видеосигнал и вторичный вспомогательный сигнал, то это преобразование может включать в себя опускание вторичного вспомогательного сигнала и использование 2D вторичного базового видеосигнала в качестве 2D вторичного видеосигнала 304. Однако, равным образом возможно более сложное преобразование 3D в 2D.

Способ 100 дополнительно предусматривает форматирование базового видеосигнала 302, вспомогательного сигнала 303 и 2D вторичного видеосигнала 304 для генерации 3D видеосигнала 300 на этапе 102 «генерация 3D видеосигнала». На этом этапе, базовый видеосигнал 302, вспомогательный сигнал 303 и 2D вторичный видеосигнал 304 преобразуются в структурированный формат для генерации тем самым 3D видеосигнала 300. Результирующий 3D видеосигнал 300 обычно расположен на единственном носителе информации или передается через единственную среду передачи, но может быть также разделен на сигнальные компоненты, причем эти сигнальные компоненты расположены на различных носителях информации или передаются через различные среды передачи.

Фиг. 2 является блок-схемой способа 110 для генерации 3D видеосигнала, где 3D видеосигналом является видеопоток 310 в мультиплексированной форме. Видеопотоком 310 является последовательность единиц информации, например, битов или байтов, причем эти единицы информации представляют видеоданные в этом конкретном случае. Если видеопоток 310 передается или принимается через среду передачи, то эта последовательность является последовательностью во времени. Однако видеопоток 310 может также храниться на носителе информации, и в этом случае видеопотоком 310 является последовательность единиц информации на месте. Эта последовательность на месте может быть строго последовательной на месте, т.е. каждая единица информации имеет только предыдущую и следующую единицу информации в качестве физических соседей. Более типично, однако, то, что носитель информации имеет лежащую в основе структуру, например, файловую систему, которая затемняет последовательную природу видеопотока 310. В этом случае, последовательная природа видеопотока 310 показывается на этапах сохранения и извлечения видеопотока 310, во время которых видеопоток 310 является последовательностью единиц информации во времени.

Способ 110 предусматривает форматирование базового видеосигнала 302 для генерации базового видеопотока 311 на этапе 111 «генерация базового видеопотока», и форматирование вспомогательного сигнала 303 для генерации вспомогательного потока 312 на этапе 112 «генерация вспомогательного потока». Форматирование сигнала включает в себя преобразование этого сигнала в структурированный формат для генерации потока. Фактически, этот поток становится контейнером для этого сигнала, из которого этот поток был сгенерирован. Поток является последовательным по природе, но сигнал - необязательно. Скорее, видеосигнал обычно является 2D или 3D по природе. Следовательно, форматирование 2D видеосигнала может включать в себя преобразование 2D видеосигнала в видеопоток посредством поэлементного сканирования через 2D видеосигнал для генерации последовательности пикселов во времени.

В этом отношении, следует отметить, что определение «2D» в описании видеопотока предназначено только как прояснение того, что сигнал, из которого генерируется этот поток, конкретно является 2D видеосигналом. Следовательно, оно не указывает, что этот поток является «2D» по природе.

Форматирование сигнала для генерации потока может дополнительно содержать добавление вспомогательной информации в этот поток, например, метаданных, информации о заголовке, информации о коррекции ошибок, информации о синхронизации и т.д. Как таковой, может быть создан поток, который подчиняется заданному стандарту, например, MPEG элементарному потоку или MPEG транспортному потоку. Это форматирование может также содержать уплотнение упомянутого сигнала для генерации видеопотока, который имеет более низкую скорость передачи в битах. С этой целью, может использоваться широкий диапазон способов уплотнения данных, как, например, стандартизированные посредством стандартов MPEG-2 или H264, для преобразования этого сигнала в поток, содержащий меньшее число единиц информации, чем требовалось бы в ином случае. В качестве конкретного примера, вспомогательный сигнал 303 может быть форматирован в элементарный поток для включения упомянутого потока на Blu-ray диск.

Способ 110 дополнительно предусматривает мультиплексирование базового видеопотока 311 со вспомогательным потоком 312 для генерации видеопотока 310 на этапе 113 «мультиплексирование потоков». Мультиплексирование является этапом комбинирования множественных сигналов в один единственный сигнал, или, в этом случае, комбинирования множественных потоков в один единственный поток. Стандартной формой мультиплексирования является мультиплексирование с разделением времени, в котором множественные потоки перемежаются во времени для генерации единственного видеопотока. Следовательно, посредством мультиплексирования базового видеопотока 311 со вспомогательным потоком 312, создается единственный видеопоток 310, который содержит оба потока в мультиплексированной форме.

Наконец, способ 110 предусматривает включение 2D вторичного видеосигнала 304 в видеопоток 310 на этапе 114 «включение 2D вторичного видеосигнала». 2D вторичный видеосигнал 304 может быть включен в видеопоток 310 различными способами. Например, 2D вторичный видеосигнал 304 может быть форматирован для генерации 2D вторичного видеопотока 313, и упомянутый поток может быть дополнительно мультиплексирован для генерации видеопотока 315 или включен в начало или конец видеопотока 310. Также 2D вторичный видеосигнал 304 может быть включен в видеопоток 310 посредством мультиплексирования базового видеосигнала 302 с 2D вторичным видеосигналом 304, и форматирования результирующего сигнала для генерации базового видеопотока 311. Аналогично, 2D вторичный видеосигнал 304 может быть включен в видеопоток 310 посредством мультиплексирования вспомогательного сигнала 303 с 2D вторичным видеосигналом 304, и форматирования результирующего сигнала для генерации вспомогательного потока 312. Также 2D вторичный видеосигнал 304 может быть непосредственно мультиплексирован в базовый видеопоток 311 или во вспомогательный поток 312.

Фиг. 3 является блок-схемой способа 120 для генерации видеопотока 315, содержащего 2D вторичный видеопоток 313. Способ 120 предусматривает этапы форматирования базового видеосигнала 302 для генерации базового видеопотока 311 на этапе 121 «генерация базового видеопотока», и форматирования вспомогательного сигнала 303 для генерации вспомогательного потока 312 на этапе 122 «генерация вспомогательного потока». Кроме того, способ 120 предусматривает форматирование 2D вторичного видеосигнала 304 для генерации 2D вторичного видеопотока 313 на этапе 123 «генерация 2D вторичного видеопотока». Кроме того, этап 124 «мультиплексирование потоков» содержит мультиплексирование 2D вторичного видеопотока 313 с базовым видеопотоком 311 и со вспомогательным потоком 312, тем самым включая 2D вторичный видеосигнал 304 в видеопоток 315.

Фиг. 4 является блок-схемой способа 130 для генерации 3D видеосигнала 500, содержащего значение 501 смещения. Первый этап 131 способа 130 идентичен этапу 101 «обеспечение 2D вторичного видеосигнала» фиг. 1, а второй этап 132 идентичен этапу 102 «генерация 3D видеосигнала» фиг. 1. Способ 130 дополнительно предусматривает включение значения 501 смещения в 3D видеосигнал 500 на этапе 134 «включение значения смещения», причем значение 501 смещения указывает глубину отображения 2D вторичного видеосигнала 304 на 3D дисплее.

Для дальнейшего объяснения этапа 134 включения упомянутого значения 501 смещения, необходимо понять, что 3D дисплей по существу отображает информацию при определенной глубине отображения. Эта глубина отображения большей частью обеспечивается посредством 3D видеосигнала. Это может быть косвенно осуществляться посредством, например, неравенства между левым и правым видеосигналом «левого+правого» (стереоскопического) видеосигнала, или непосредственно посредством, например, сигнала глубины видеосигнала «2D+глубина». Устройство воспроизведения или 3D дисплей может затем модифицировать обеспеченную глубину для генерации глубины отображения, например, посредством дополнительного усиления или уменьшения обеспеченной глубины.

3D дисплей обычно имеет глубину отображения по умолчанию, при которой не создается иллюзии глубины. Это имеет место, если, например, оба вида стереоскопического отображения обеспечивают идентичную информацию. Эта глубина отображения по умолчанию обычно интерпретируется зрителем как информация, отображаемая при самой глубине отображения, т.е. не «выдающаяся наружу» (т.е. снабженная глубиной, воспринимаемой как более близкая к зрителю, чем плоскость отображения) или «вырезающая внутри» 3D дисплей (т.е. снабженная глубиной, воспринимаемой как дополнительное удаление от зрителя, чем плоскость отображения).

Для некоторого количества причин, таких как предотвращение какой-либо путаницы или трудностей интерпретации зрителем, может быть желательным управление глубиной отображения 2D вторичного видеосигнала 304 на 3D дисплее. С этой целью способ 130, следовательно, предусматривает включение 134 значения 501 смещения в 3D видеосигнал 500 для указания и, таким образом, возможности управления глубиной отображения 2D вторичного видеосигнала 304 на 3D дисплее.

Способ 130 дополнительно предусматривает 2D вторичный видеосигнал 304, который выводится из 3D вторичного видеосигнала, и определение значения 501 смещения в зависимости от глубины 3D вторичного видеосигнала на этапе 133 «определение значения смещения». Если 2D вторичный видеосигнал 304 выводится из 3D вторичного видеосигнала, то глубина 3D вторичного видеосигнала может использоваться для указания глубины отображения 2D вторичного видеосигнала 304 на 3D дисплее. Например, если глубина 3D вторичного видеосигнала указывает в среднем сильное выступление наружу 3D дисплея, то подобный эффект может быть достигнут посредством сильного выступления наружу всего 2D вторичного видеосигнала 304 3D дисплея. Также может использоваться распознавание сцены для достижения подобного эффекта; если 3D вторичный видеосигнал содержит плоский ландшафт, то глубина отображения и, таким образом, значение 501 смещения может быть выбрано таким образом, что 2D вторичный видеосигнал 304 расположен настолько далеко от зрителя, насколько это возможно, т.е. вырезающим внутри 3D дисплея.

Фиг. 5 является блок-схемой способа 200 для обработки 3D видеосигнала 300 для осуществления возможности одновременного отображения 3D первичного видеосигнала 301 и вторичного видеосигнала на 3D дисплее, причем 3D видеосигнал 300 содержит в качестве вторичного видеосигнала 2D вторичный видеосигнал 304. Способ 200 предусматривает деформатирование из 3D видеосигнала 300 базового видеосигнала 302, вспомогательного сигнала 303 и 2D вторичного видеосигнала 304 на этапе 201 «деформатирование». Это деформатирование по существу включает в себя обращение этапа форматирования, т.е. обращение преобразования сигнала для генерации потока. В сущности, этот сигнал извлекается из контейнера, который составляет поток. Деформатирование может дополнительно содержать использование или удаление вспомогательной информации из этого сигнала в этом потоке, например, метаданных, информации о заголовке, информации о коррекции ошибок, информации о синхронизации и т.д. Это деформатирование может также содержать распаковку упомянутого сигнала из этого потока. С этой целью, может использоваться широкий диапазон способов распаковки данных, как, например, стандартизированные посредством стандартов MPEG-2 или H264.

Способ 200 дополнительно предусматривает объединение 2D вторичного видеосигнала 304 с базовым видеосигналом 302 и вспомогательным сигналом 303 на этапе 202 «объединение» для обеспечения сигнала 3D отображения для отображения 2D вторичного видеосигнала 304 при некоторой глубине отображения на 3D дисплее. 3D дисплей по существу требует единственного сигнала 3D отображения в качестве входа. Это объединение обеспечивает сигнал 3D отображения посредством объединения 3D первичного видеосигнала 301 с 2D вторичным видеосигналом 304.

Это объединение может происходить различными способами, большей частью зависящими от формата 3D первичного видеосигнала. Например, если 3D первичный видеосигналом 301 является «левый+правый» (стереоскопический) видеосигнал, то возможным способом объединения является объединение 2D первичного видеосигнала 304 как в базовый видеосигнал 302, так и во вспомогательный сигнал 303 посредством замены пиксельных данных базового видеосигнала 302 и вспомогательного сигнала 303 пиксельными данными 2D первичного видеосигнала 304.

Если 3D первичный видеосигналом 301 является видеосигнал «2D+глубина», то возможным способом объединения является объединение 2D вторичного видеосигнала 304 в базовый видеосигнал 302 и установка вспомогательного сигнала 303 на заданное значение глубины в тех местоположениях, где 2D вторичный видеосигнал 304 был объединен в базовый видеосигнал 302. Аналогично, если 3D первичный видеосигналом 301 является видеосигнал «многовидовый+глубина», то вышеуказанный процесс должен быть повторен для каждой пары базового видеосигнала 302 и вспомогательного сигнала 303 для объединения 2D вторичного видеосигнала 304 в каждый вид.

Возможны различные пространственные композиции PiP функциональности, например, расположение в ряд или вставленное окно определенного размера и положения. Вставленное окно может даже иметь любую произвольную форму посредством использования манипуляций с интенсивностью, т.е. процесса замены пикселов в некотором видеосигнале, которые попадают в конкретный диапазон яркости, как известно из области видеокомпозиции. Следовательно, требуемую пространственную композицию 3D первичного видеосигнала 301 и 2D вторичного видеосигнала 304 необходимо учитывать во время этапа объединения. Одним вариантом является то, что этап объединения действительно организует упомянутую пространственную композицию, например, посредством изменения размеров, обрезки по рисунку или перемещения любого или обоих видеосигналов. Другим вариантом является то, что пространственная композиция уже была организована, т.е. оба видеосигнала уже были изменены в размерах, обрезаны по рисунку и т.д. В этом случае, этап объединения может быть ограничен заменой пикселов в 3D первичном видеосигнале 301 пикселами 2D вторичного видеосигнала 304.

Может быть более визуально привлекательным создать «смесь» 3D первичного видеосигнала 301 и 2D вторичного видеосигнала 304. С этой целью оба видеосигнала могут быть смешаны друг с другом, например, с использованием альфа-композиции, известной из области видеокомпозиции. Альфа-композиция в сущности определяет взвешенную сумму пиксельных значений обоих видеосигналов для создания видимости частичной прозрачности для PiP функциональности.

При смешивании 3D первичного видеосигнала 301 и 2D вторичного видеосигнала 304, предпочтительно принимается во внимание уровень глубины соответствующих видеосигналов. В этом отношении еще не опубликованная международная заявка IB2009/054160, с названием “Depth signal improvement in the presence of alpha”, включенная здесь в качестве ссылки, описывает, как в случае сигнала «изображение+глубина» такое смешивание может быть выполнено.

Фиг. 6 показывает 3D видеосигнал 300 для осуществления возможности одновременного отображения 3D первичного видеосигнала 301 и вторичного видеосигнала на 3D дисплее. 3D первичный видеосигнал содержит базовый видеосигнал 302 и вспомогательный сигнал 303, позволяющий осуществить 3D отображение, и 3D видеосигнал 300 содержит в качестве вторичного видеосигнала 2D вторичный видеосигнал 304. В результате, 3D видеосигнал содержит, в форматированной форме, базовый видеосигнал 302, вспомогательный сигнал 303 и 2D вторичный видеосигнал 304.

3D видеосигнал может быть передан или принят через единственный или через множественные каналы передачи или может храниться на единственном или множественных носителях информации. В способе для передачи 3D видеосигнала 300, 3D видеосигнал снабжен вторичным видеосигналом 3D видеосигнала, которым является 2D вторичный видеосигнал 304, и 3D видеосигнал передается через некоторый канал передачи.

Фиг. 7 показывает видеопоток 310, содержащий базовый видеопоток 311, мультиплексированный со вспомогательным потоком 312, причем базовый видеопоток 311 содержит, в форматированной форме, базовый видеосигнал 302, причем вспомогательный поток 312 содержит, в форматированной форме, вспомогательный сигнал 303. Видеопоток 310 также содержит 2D вторичный видеосигнал 304, включаемый либо в базовый видеопоток 311, либо во вторичный поток 312.

Фиг. 8 показывает видеопоток 315, подобный видеопотоку 310 фиг. 7. Однако, видеопоток 315 дополнительно содержит 2D вторичный видеопоток 313, мультиплексированный с базовым видеопотоком 311 и со вспомогательным потоком 312. В противоположность видеопотоку 310 фиг. 7, 2D вторичный видеосигнал 304 включен в отдельный 2D вторичный видеопоток 313 вместо включения либо в базовый видеопоток 311, либо во вторичный поток 312.

Фиг. 9 показывает носитель 320 информации, содержащий 3D видеосигнал 300, причем 3D видеосигнал 300 в качестве примера разделен на первичный сигнальный компонент 321 и вторичный сигнальный компонент 322. Носителем 320 информации может быть любой соответствующий носитель информации, такой как Blu-ray диск, DVD диск, жесткий диск и т.д., и может быть незаписываемым или записываемым. В первом случае, носитель 320 информации изготовлен для содержания 3D видеосигнала 300 посредством преобразования 3D видеосигнала 300 в физические отметки на носителе информации во время изготовления. В последнем случае, 3D видеосигнал 300 обычно записывается на носитель 320 информации потребителем или создателем контента, причем этап записи включает в себя преобразование 3D видеосигнала 300 в физические отметки на носителе 320 информации. 3D видеосигналом может быть также единственный видеопоток 310, содержащий базовый видеопоток 311, мультиплексированный со вспомогательным потоком 312. Логическое мультиплексирование упомянутых потоков приводит к физическому мультиплексированию на носителе 320 информации. Выгодно, что физическое мультиплексирование позволяет осуществить считывающий блок устройства воспроизведения для считывания обоих потоков без необходимости физического перемещения считывающего блока.

Первичный сигнальный компонент 321, показанный на фиг. 9, содержит базовый видеосигнал 302, а вторичный сигнальный компонент 322 содержит 2D вторичный видеосигнал 304. Как базовый видеосигнал 302, так и 2D вторичный видеосигнал 304 форматируются для осуществления возможности индивидуальной передачи обоих сигнальных компонентов. Как следствие, оба компонента могут также храниться на двух различных местоположениях носителя 320 информации. Вспомогательный сигнал 303 может быть включен в первичный сигнальный компонент 321 или вторичный сигнальный компонент 322, но может также быть включен в третий сигнальный компонент. В этом случае, вспомогательный сигнал 303 форматируется для осуществления возможности индивидуальной передачи третьего сигнального компонента. Аналогично, первичный сигнальный компонент 321 может содержать базовый видеосигнал 302, тогда как вторичный сигнальный компонент 322 содержит вспомогательный сигнал 303. В этом случае, 2D вторичный видеосигнал 304 может быть включен в любой сигнальный компонент.

Это форматирование для осуществления возможности индивидуального хранения или передачи обоих сигнальных компонентов иногда известно как осуществление возможности немультиплексированного хранения или передачи, т.е. так называемого хранения или передачи вне мультиплексирования. После воспроизведения и, следовательно, отображения 3D видеосигнала 300, устройство воспроизведения может затем, для целей буферизации, сначала считать вторичный сигнальный компонент 322 с носителя 320 информации и сохранить упомянутый сигнальный компонент в локальной памяти, например, в энергонезависимой памяти. Такая буферизация может потребоваться, если устройство воспроизведения не способно одновременно считать два сигнальный компонента с носителя 320 информации.

Позже, устройство воспроизведения может считать первичный сигнальный компонент 321 с носителя 320 информации одновременно со считыванием вторичного сигнального компонента 322 из локальной памяти для обеспечения синхронного воспроизведения 3D первичного видеосигнала 301 и 2D вторичного видеосигнала 304 на 3D дисплее. Альтернативно, любой из этих двух компонентов может быть также, например, непосредственно поточно передан из Интернет во время воспроизведения 3D видеосигнала 300 или сначала загружен из Интернет и буферизован в локальной памяти.

В практическом примере, 3D видеосигнал 300 дает возможность потребителю купить Blu-ray диск, содержащий первичный сигнальный компонент 321, причем первичный сигнальный компонент 321 содержит в качестве базового видеосигнала 302 2D видеосигнал некоторого кинофильма. Пользователь может затем загрузить из Интернет, возможно после онлайнового платежа, вторичный сигнальный компонент 322, содержащий вспомогательный сигнал 303 и 2D вторичный видеосигнал 304. Как таковой, загруженный вторичный сигнальный компонент 322 позволяет осуществить 3D и PiP функциональность этого кинофильма, содержащегося на Blu-ray диске в 2D.

Фиг. 10 является блок-схемой устройства 350 генерации сигналов для генерации 3D видеосигнала 300. Это устройство содержит средство 351 обеспечения для обеспечения в качестве вторичного видеосигнала 2D вторичного видеосигнала 304. В первом варианте, средством 351 обеспечения может быть приемник для приема 2D вторичного видеосигнала 304 из внешнего источника. Однако, средством 351 обеспечения может быть также приемник для приема 3D вторичного видеосигнала, и оно может быть также выполнено для преобразования 3D вторичного видеосигнала в 2D вторичный видеосигнал 304. Кроме того, это устройство содержит блок 352 форматирования для форматирования базового видеосигнала 302, вспомогательного сигнала 303 и 2D вторичного видеосигнала 304 для генерации 3D видеосигнала 300.

Фиг. 11 является блок-схемой устройства 400 обработки сигналов для обработки 3D видеосигнала 300 для генерации сигнала 403 3D отображения. Это устройство содержит блок 401 деформатирования для деформатирования из 3D видеосигнала 300 базового видеосигнала 302, вспомогательного сигнала 303 и 2D вторичного видеосигнала 304. Это устройство дополнительно содержит блок 402 объединения для объединения 2D вторичного видеосигнала 304 с базовым видеосигналом 302 и вспомогательным сигналом 303 для обеспечения сигнала 403 3D отображения для отображения 2D вторичного видеосигнала 304 при некоторой глубине отображения на 3D дисплее. С этой целью, сигнал 403 3D отображения может быть непосредственно послан на 3D дисплей или может быть сначала дополнительно обработан устройством обработки сигналов, например, для усовершенствования видеоизображения или преобразования формата, перед посылкой на 3D дисплей.

Фиг. 12 является блок-схемой устройства 410 обработки сигналов для обработки видеопотока 310 для генерации сигнала 403 3D отображения. Это устройство содержит блок 411 демультиплексирования для демультиплексирования из видеопотока 310 базового видеопотока 311 и вспомогательного потока 312. Это устройство дополнительно содержит блок 412 деформатирования, который выполнен для деформатирования базового видеосигнала 302 из базового видеопотока 311, деформатирования вспомогательного сигнала 303 из вспомогательного потока 312 и извлечения 2D вторичного видеосигнала 304 из видеопотока 310.

Это извлечение по существу является обратным процессом к этапу «включение 2D вторичного видеосигнала» способа 110, изображенного на фиг. 2. Следовательно, в зависимости от способа, которым 2D вторичный видеосигнал 304 включается в видеопоток 310, существуют различные варианты извлечения упомянутого сигнала. Например, если ни базовый видеопоток 311, ни вспомогательный поток 312 не содержат 2D вторичный видеосигнал 304, то блок 412 деформатирования может быть выполнен для извлечения 2D вторичного видеосигнала непосредственно из этого видеопотока. Это указано на фиг. 12 пунктирной линией.

Также возможно, что базовый видеопоток 311 содержит, в форматированной форме, базовый видеосигнал 302, мультиплексированный с 2D вторичным видеосигналом 304. В этом случае, блок 412 деформатирования дополнительно выполнен для демультиплексирования из базового видеопотока 311 базового видеосигнала 302 и 2D вторичного видеосигнала 304. Другой возможностью является то, что вспомогательный поток 312 содержит, в форматированной форме, вспомогательный сигнал 303, мультиплексированный с 2D вторичным видеосигналом 304. В этом случае блок 412 деформатирования дополнительно выполнен для демультиплексирования из вспомогательного потока 312 вспомогательного сигнала 303 и 2D вторичного видеосигнала 304. Наконец, это устройство содержит тот же блок 402 объединения, что и изображен на фиг. 11.

Фиг. 13 является блок-схемой устройства 420 обработки сигналов для обработки видеопотока 315, содержащего 2D вторичный видеопоток 313 для генерации сигнала 403 3D отображения. Видеопоток 315 содержит 2D вторичный видеопоток 313, мультиплексированный с базовым видеопотоком 311 и со вспомогательным потоком 312. Это устройство, следовательно, содержит блок 421 демультиплексирования, который подобен блоку 411 демультиплексирования, показанному на фиг. 12, но дополнительно выполнен для демультиплексирования 2D вторичного видеопотока 313 из видеопотока 315. Кроме того, блок 422 деформатирования подобен блоку 412 деформатирования, показанному на фиг. 12, но дополнительно выполнен для деформатирования 2D вторичного видеосигнала 304 из 2D вторичного видеопотока 313. Наконец, это устройство содержит тот же блок 402 объединения, что и изображен на фиг. 11.

Фиг. 14 показывает 3D видеосигнал 500, содержащий значение 501 смещения. 3D видеосигнал 500 подобен 3D видеосигналу 300, показанному на фиг. 6, но дополнительно содержит значение 501 смещения, указывающее глубину отображения 2D вторичного видеосигнала 304 на 3D дисплее. Существуют различные способы, которыми значение 501 смещения может быть включено в 3D видеосигнал 500, показанный посредством следующего примера 3D видеосигнала 500, включенного в Blu-ray диск. Здесь, базовый видеосигнал 302, вспомогательный сигнал 303, 2D вторичный видеосигнал 304 и значение 501 смещения форматируются таким образом, что они соответствуют некоторой версии спецификации Blu-ray диска.

В этом примере, 2D вторичный видеосигнал форматируется в так называемый элементарный поток PiP. Blu-ray диск дополнительно содержит вторичный видеопоток, хранимый в той же структуре данных, которая была бы на 2D Blu-ray диске, содержащем PiP функциональность, т.е. он перечисляется как подпуть в элементе воспроизведения, который также имеет элементарный поток PiP, перечисленный в его так называемой 'STN_table'. В этом контексте, элементом воспроизведения является по существу список воспроизведения, подпуть в элементе воспроизведения является по существу ссылкой на дополнительные компоненты, а 'STN_table' является таблицей, которая перечисляет все элементарные потоки, которые могут быть выбраны во время представления этого элемента воспроизведения. 2D вторичный видеосигнал 304 может быть дополнительно форматирован как вне-мультиплексированный, храниться на локальной памяти и быть представленным синхронно или асинхронно с 3D первичным видеосигналом 301. Конечно, также возможны комбинации этих вариантов.

Значение 501 смещения может быть включено на упомянутый Blu-ray диск различными способами. Например, значение 501 смещения может быть включено в метаданные для вторичного видеопотока, т.е. вторичные метаданные видеоизображения. Для этого вторичные метаданные видеоизображения могут задавать новые типы подпутей, которые указывают, что данный подпуть является элементарным потоком, содержащим внутри-мультиплексированный или вне-мультиплексированный (а)синхронный PiP поток. Кроме того, метаданные смещения, содержащие значение 501 смещения, могут быть встроены в зарезервированное поле в подэлементе воспроизведения.

Значение 501 смещения может быть также включено в метаданные для элементарного потока PiP, т.е. PiP метаданные. PiP метаданные задают, где расположить PiP в данном кадре. Эти параметры местоположения могли бы быть затем расширены, как показано в таблице 1 при помощи идентификатора значения 'PIP_offset' и 'PIP_offset_direction', который указывает, следует ли применять это смещение посредством перемещения PiP вперед, т.е. с выступлением наружу 3D отображения, или перемещения PiP назад, т.е. с вырезанием внутри 3D видеосигнала отображения.

Метаданные смещения для PiP могут быть также добавлены в качестве данных расширения к списку воспроизведения во вновь заданной таблице, которая перечисляет дополнительные 2D видеопотоки, которые имеют связанное значение параметра смещения. Кроме того, данные смещения могут быть покадровыми, т.е. значение 501 смещения обеспечивается для конкретного кадра 2D вторичного видеосигнала 304. В таком случае, 3D видеосигнал может содержать множественные значения 501 смещения, например, форматированные в поток значений смещения.

В предпочтительной альтернативе вышеизложенному, значение 501 смещения обеспечено посредством STN_table списка воспроизведения, используемого Blu-ray устройством воспроизведения в 3D режиме посредством следующей информации:

В таблице 2 поле 'PIP_offset_sequence_id_ref' определяет идентификатор для ссылки на поток значений смещения. Предпочтительно, этот поток значений смещения переносится как таблица в MVC SEI сообщениях, одна на GOP. В этом контексте, MVC означает «многовидовый кодированный», SEI означает «информация о дополнительном усовершенствовании», а GOP означает «группа изображений». Интерпретация упомянутых значений смещения дополнительно зависит от так называемых 'plane_offset_value' и 'plane_offset_direction'. Кроме того, поле 'PIP_Full_Screen_offset_sequence_id_ref' определяет идентификатор для ссылки на поток значений смещения, когда коэффициент PiP масштабирования установлен на полный экран.

Кроме того, значение 501 смещения, или поток значений смещения, может переноситься в SEI сообщении во вспомогательном потоке 312 или в 2D вторичном видеопотоке 313. Соответственно, способ для генерации 3D видеосигнала, например, способ, показанный на фиг. 4, может предусматривать этап включения значений смещения в 3D видеосигнале 500 в сообщение информации о дополнительном усовершенствовании во вспомогательном потоке 312 и/или в 2D вторичном видеопотоке 313.

Также, значением 501 смещения может быть относительное значение смещения, являющееся относительным, например, к графическому значению смещения, которое хранится в пределах SEI сообщения в этом видеопотоке. Таким образом, графическое значение смещения, скомбинированное с относительным значением смещения, определяет абсолютное значение смещения для 2D вторичного видеосигнала.

Фиг. 15 является блок-схемой устройства 510 обработки сигналов, выполненного для использования значения 501 смещения, включенного в 3D видеосигнал 500. Это устройство содержит блок 511 деформатирования, подобный блоку 401 деформатирования фиг. 11, с единственным отличием, что блок 511 деформатирования принимает в качестве входа 3D видеосигнал 500 фиг. 14, а не 3D видеосигнал 300 фиг. 6. Это устройство дополнительно содержит блок 512 объединения, подобный блоку 402 объединения, показанному на фиг. 11, с той разницей, что блок 512 объединения дополнительно выполнен для объединения, в зависимости от значения 501 смещения, 2D вторичного видеосигнала 304 с базовым видеосигналом 302 и вспомогательным сигналом 303.

Посредством объединения упомянутых сигналов в зависимости от значения 501 смещения осуществлена возможность управления глубиной отображения 2D вторичного видеосигнала 304 на 3D дисплее. Например, если 3D первичным видеосигналом 301 является «левый+правый» (стереоскопический) видеосигнал, то глубина отображения 2D вторичного видеосигнала 304 может контролироваться посредством объединения 2D вторичного видеосигнала 304, смещенного на половину значения смещения влево, в базовый видеосигнал 302, причем базовым видеосигналом является левый видеосигнал. Кроме того, вторичный видеосигнал 304, смещенный на половину значения смещения вправо, объединяется во вспомогательный сигнал 303, причем вспомогательным сигналом является правый видеосигнал. Вышеприведенный пример объединения является особенно выгодным в терминах вычислительной эффективности, так как включение значения 501 смещения в блок 412 объединения может быть реализовано посредством манипулирования указателями памяти.

Если 3D первичным видеосигналом 301 является видеосигнал «2D+глубина», то возможным способом управления глубиной отображения 2D вторичного видеосигнала 304 на 3D дисплее является установка вспомогательного сигнала 303 на значение глубины, указанное посредством значения 501 смещения в местоположении, где 2D вторичный видеосигнал 304 объединяется в базовый видеосигнал 302. В вышеприведенном примере, базовым видеосигналом является 2D видеосигнал, а вспомогательным сигналом является сигнал глубины. Аналогично, если 3D первичным видеосигналом 301 является видеосигнал «многовидовый+глубина», то 2D вторичный видеосигнал 304 объединяется в каждый из базовых видеосигналов 302 при смещении в зависимости от значения 501 смещения и угла вида, т.е. для крайних левых видов 2D вторичный видеосигнал 304 имеет большое смещение вправо, тогда как для крайних правых видов он имеет относительно большое смещение влево. Кроме того, каждый из вспомогательных сигналов 303 должен быть установлен на значение глубины, указанное значением 501 смещения в местоположении, где 2D вторичный видеосигнал 304 объединяется в базовый видеосигнал 302, соответствующий упомянутому вспомогательному сигналу 303.

3D видеосигнал 500, показанный на фиг. 14, дополнительно содержит графический сигнал 502. Графический сигнал 502 может быть включен для обеспечения визуальной информации для зрителя. В частности, если графическим сигналом является 2D графический сигнал, то значение 501 смещения может быть обеспечено в 3D видеосигнале 500 с целью указания глубины отображения графического сигнала 502. Такое значение смещения может быть, следовательно, также использовано как указание глубины отображения 2D вторичного видеосигнала 304, в частности, так как может быть визуально приятно для зрителя отображать как графический сигнал 502, так и 2D вторичный видеосигнал 304 при подобной глубине отображения. В некоторых случаях, может быть также желательно ясно различать упомянутые сигналы; значение 501 смещения графического сигнала 502 может тогда использоваться для определения ясно отличающейся глубины отображения для 2D вторичного видеосигнала 304.

2D вторичный видеосигнал 304 может быть также снабжен метаданными, предназначенными для отображения, например, субтитрами. В этом случае, блок 512 объединения может быть дополнительно выполнен для дополнительного объединения субтитров в зависимости от значения 501 смещения таким образом, что 2D вторичный видеосигнал 304 и соответствующие субтитры отображаются при подобной глубине отображения на 3D дисплее. Также, может быть, что значение 501 смещения не включено в 3D видеосигнал 500, или зритель мог бы предпочесть ручное управление глубиной отображения. В этом случае, устройство 510 обработки сигналов может быть дополнительно снабжено средством приема для приема значения 501 смещения. Это средство приема может принять значение 501 смещения от программы управления воспроизведением или может принять значение 501 смещения от зрителя с использованием, например, пользовательского интерфейса или дистанционного управления.

Фиг. 16 является блок-схемой устройства 600 обработки сигналов, содержащего любую комбинацию 3D дисплея 601 для отображения сигнала 403 3D отображения, приемника 602 широковещательной передачи для приема 3D видеосигнала 300 от широковещательной передачи 603, Интернет-приемника 604 для приема 3D видеосигнала 300 из Интернет 605 или считывающего устройства 606 для считывания 3D видеосигнала 300 с носителя 607 информации.

Устройством 600 обработки сигналов может быть, например, телевизор, монитор и т.д., который может быть оборудован любым типом 3D или 2D дисплея. Например, устройством 600 обработки сигналов может быть автостереоскопический 3D телевизор, 3D дисплеем может быть основанный на двояковыпуклости многовидовый 3D дисплей, и это устройство может генерировать требуемый сигнал 403 3D отображения для ввода в 3D дисплей 501. Устройством 600 обработки сигналов может быть также, например, проигрыватель Blu-ray дисков, устройство записи на Blu-ray диски, телеприставка, персональный компьютер, устройство записи на жесткий диск и т.д., и в этом случае это устройство обычно не снабжено 3D дисплеем 601. Кроме того, это устройство может быть снабжено только одним или двумя из следующего: приемником 602 широковещательной передачи, Интернет-приемником 604 или считывающим устройством 606.

Приемник 602 широковещательной передачи может иметь любой соответствующий тип, например, для приема наземных, спутниковых или кабельных широковещательных передач. Интернет-приемник 604 может также иметь любой соответствующий тип и может включать в себя функциональность модема, требуемую, например, ADSL, Ethernet, WLAN, UMTS и т.д., или интерфейсным протоколом, например, TCP/IP. Считывающее устройство 606 может иметь любой соответствующий тип для считывания 3D видеосигнала с носителя 607 информации, причем носитель 607 информации может иметь любой соответствующий тип, например, Blu-ray, DVD, флэш-память, ПЗУ, ЗУПВ и т.д.

Будет ясно, что вышеприведенное описание для ясности описало варианты осуществления данного изобретения со ссылкой на различные функциональные блоки. Однако, будет ясно, что любое соответствующее распределение функциональности между различными функциональными блоками или процессорами может использоваться, не выходя за рамки данного изобретения. Например, функциональность, показанная как выполняемая отдельными процессорами или контроллерами, может выполняться одним и тем же процессором или контроллером. Следовательно, ссылки на конкретные функциональные блоки должны восприниматься только как ссылки на соответствующие средства для обеспечения описанной функциональности, а не как указывающие точную логическую или физическую структуру или организацию.

Данное изобретение может быть реализовано в любой соответствующей форме, включающей в себя аппаратное обеспечение, программное обеспечение, программно-аппаратные средства или их комбинацию. Данное изобретение может быть по выбору реализовано по меньшей мере частично как компьютерное программное обеспечение, выполняемое на одном или нескольких процессорах данных и/или цифровых процессоров сигналов. Элементы и компоненты некоторого варианта осуществления изобретения могут быть физически, функционально и логически реализованы любым соответствующим способом. Фактически, эта функциональность может быть реализована в единственном блоке, во множестве блоков или как часть других функциональных блоков. Как таковое, данное изобретение может быть реализовано в единственном блоке или может быть физически и функционально распределено между различными блоками и процессорами.

Отметим, что когда 3D стереоскопический видеосигнал масштабируется, например, до четверти разрешения 3D первичного видеосигнала, впечатление глубины, которое обеспечивает такой масштабированный 3D стереоскопический видеосигнал, обычно также уменьшается. Это является результатом, с одной стороны, того факта, что неравенство является важным; т.е. заметные смещения между левым и правым изображениями масштабированного 3D стереоскопического видеосигнала пропорционально уменьшаются. Однако, с другой стороны, вклад этого масштабирования акцентируется, так как глубина обратно пропорциональна неравенству. В результате, масштабирование может иметь значительный эффект на впечатление глубины. Таким образом, может быть особенно выгодным хранить вторичный видеосигнал как 2D вторичный видеосигнал, когда вторичный видеосигнал является доступным при разрешении, более низком, чем разрешение 3D первичного видеосигнала. Последнее сохраняется, в частности, когда 2D вторичный видеосигнал сохраняется при четверти разрешения 3D первичного видеосигнала или менее.

Данное изобретение может использоваться с разнообразием PiP реализаций, таких как «истинное изображение в изображении», где по меньшей мере две, три или несколько сторон 2D вторичного видеосигнала являются примыкающими к 3D первичному видеосигналу, но также в связи с «изображением и изображением». В комбинации с кодированным смещением, данное изобретение особенно выгодно для реализации «изображения в изображении», где 2D вторичный видеосигнал отображается в пределах 3D первичного видеосигнала и имеет по меньшей мере две стороны 2D вторичного видеосигнала, примыкающих к 3D первичному видеосигналу. Последнее сохраняется особенно верным, когда «изображение в изображении» реализуется с использованием границ с неправильной формой; таких как свободные границы. В таких приложениях смещение в направлении глубины может помочь в обеспечении преимущества для ситуаций без смещения в том, что оно позволяет поместить 2D вторичный видеосигнал в соответствующем глубине положении.

Эта гибкость добавления смещения дает возможность осуществить более гибкое позиционирование по глубине 2D вторичного сигнала в отношении 3D первичного видеосигнала. Эта гибкость дает возможность осуществить, например, позиционирование в технически выгодных местоположениях:

- перед 3D первичным видеоизображением; или по меньшей мере перед 3D видеоизображением, непосредственно примыкающим (т.е. в (х, y) пространственной близости), таким образом, обеспечивая более естественный вид; т.е. 2D вторичное видеоизображение, закрывающее 3D первичное видеоизображение, фактически помещается перед 3D первичным видеоизображением,

- близко к глубине фокальной точки в 3D первичном видеосигнале, таким образом, облегчая зрителям переключаться с просмотра 3D первичного видеосигнала на просмотр 2D вторичного видеосигнала,

- близко к плоскости нулевого неравенства, таким образом, обеспечивая максимальную резкость (изображения) и/или

- в эстетически приятном местоположении, определенном, например, автором контента и/или художественным директором контента.

Посредством обеспечения правильного управления смещением может быть скомбинирован любой из вышеуказанных подходов. Управление смещением может быть обеспечено при различных уровнях неоднородности. Например, управление смещением может быть обеспечено на основе кадра; тем самым, делается возможным адаптивное помещение 2D вторичного видеосигнала, например, для компенсации динамики в 3D первичном видеосигнале; как, например, вариации в глубине 3D первичного видеосигнала. Однако, в этом случае; временная непрерывность является уместной, и величина вариации предпочтительно удерживается ниже порога, который может зависеть, но необязательно зависит, от 3D первичного видеосигнала.

Альтернативно, управление смещением может контролироваться на более высокой неоднородности, как, например, на основе группы изображений, для обеспечения более эффективного кодирования, где предпочтительно неоднородность соответствует неоднородности лежащего в основе стандарта уплотнения видеоизображения. Более альтернативно, управление смещением может контролироваться на даже более высоком уровне; как, например, на основе мгновенного снимка; тем самым, облегчая генерацию смещения во время авторизации видеосигналов, а также обеспечивая более эффективное кодирование. Хотя данное изобретение было описано в связи с некоторыми вариантами осуществления, оно не предназначено для ограничения конкретной формой, изложенной здесь. Скорее, объем данного изобретения ограничен только сопутствующей формулой изобретения. Кроме того, хотя может оказаться, что некоторая особенность описана в связи с конкретными вариантами осуществления, специалисту в данной области техники будет ясно, что различные особенности описанных вариантов осуществления могут быть скомбинированы в соответствии с данным изобретением. В формуле изобретения, термин «содержащий» не исключает присутствия других элементов или этапов.

Кроме того, хотя они перечислены индивидуально, множество средств, элементов или этапов способа может быть реализовано посредством, например, единственного блока или процессора. Кроме того, хотя индивидуальные особенности могут быть включены в различные пункты формулы изобретения, они могут быть выгодно скомбинированы, и включение в различные пункты формулы изобретения не подразумевает, что комбинация особенностей невозможна и/или невыгодна. Также, включение некоторой особенности в одну категорию пунктов формулы изобретения не подразумевает ограничение этой категорией, а скорее указывает, что эта особенность равным образом применима к другим категориям пунктов формулы изобретения, если это является подходящим. Кроме того, порядок особенностей в формуле изобретения не подразумевает какой-либо конкретный порядок, в котором эти особенности должны обрабатываться, и, в частности, порядок индивидуальных этапов в некотором пункте способа формулы изобретения не подразумевает, что эти этапы должны выполняться в этом порядке. Скорее, эти этапы могут выполняться в любом соответствующем порядке. Кроме того, ссылки в единственном числе не исключают множественности. Таким образом, ссылки на «один», «некоторый», «первый», «второй» и т.д. не устраняют множественности. Знаки ссылки в формуле изобретения обеспечены просто как проясняющий пример и не будут толковаться как каким-либо образом ограничивающие объем формулы изобретения.

Данное изобретение относится к области генерации и обработки трехмерного (3D) видеосигнала. Технический результат - обеспечение одновременного отображения 3D видеосигнала и 2D видеосигнала на 3D дисплее. Способ генерации 3D видеосигнала, причем 3D первичный видеосигнал содержит базовый видеосигнал и вспомогательный сигнал, причем 3D видеосигнал является видеопотоком в мультиплексированной форме, предусматривает этапы: обеспечения в качестве вторичного видеосигнала 2D вторичного видеосигнала; форматирования базового видеосигнала для генерации базового видеопотока; форматирования вспомогательного сигнала для генерации вспомогательного потока; мультиплексирования базового видеопотока со вспомогательным потоком для генерации этого видеопотока; включения 2D вторичного видеосигнала в видеопоток. 5 н. и 13 з.п. ф-лы, 16 ил., 2 табл.

1. Способ (100, 110, 120, 130) генерации 3D видеосигнала (300, 500) для осуществления возможности одновременного отображения 3D первичного видеосигнала (301) и вторичного видеосигнала на 3D дисплее (601), причем 3D первичный видеосигнал содержит базовый видеосигнал (302) и вспомогательный сигнал (303), позволяющий осуществить 3D отображение, причем 3D видеосигнал является видеопотоком (310, 315) в мультиплексированной форме, причем этот способ предусматривает этапы:
- обеспечения (101, 131) в качестве вторичного видеосигнала 2D вторичного видеосигнала (304);
- форматирования (111, 121) базового видеосигнала (302) для генерации базового видеопотока (311);
- форматирования (112, 122) вспомогательного сигнала (303) для генерации вспомогательного потока (312);
- мультиплексирования (113, 124) базового видеопотока со вспомогательным потоком для генерации этого видеопотока;
- включения (114) 2D вторичного видеосигнала (304) в видеопоток.

2. Способ (110) по п. 1, в котором этап форматирования (111) базового видеосигнала (302) содержит мультиплексирование базового видеосигнала с 2D вторичным видеосигналом (304) для включения 2D вторичного видеосигнала в базовый видеопоток (311).

3. Способ (110) по п. 1, в котором этап форматирования (112) вспомогательного сигнала (303) содержит мультиплексирование вспомогательного сигнала с 2D вторичным видеосигналом (304) для включения 2D вторичного видеосигнала во вспомогательный поток (312).

4. Способ по п. 1, причем способ дополнительно предусматривает этап форматирования (123) 2D вторичного видеосигнала (304) для генерации 2D вторичного видеопотока (313), причем этап мультиплексирования (124) содержит мультиплексирование 2D вторичного видеопотока с базовым видеопотоком (311) и со вспомогательным потоком (312) для упомянутого включения 2D вторичного видеосигнала в видеопоток (315).

5. Способ (130) по п. 1, причем способ дополнительно содержит этап включения (134) значения (501) смещения в 3D видеосигнал (500), причем значение смещения указывает глубину отображения 2D вторичного видеосигнала (304) на 3D дисплее (601).

6. Способ (130) по п. 5, в котором 2D вторичный видеосигнал (304) выводят из 3D вторичного видеосигнала, и способ дополнительно содержит этап определения (133) значения (501) смещения в зависимости от глубины 3D вторичного видеосигнала.

7. Способ (130) по п. 5, в котором значением (501) смещения является одно из потока значений смещения, и причем способ дополнительно содержит этап включения потока значений смещения в 3D видеосигнале (500) в сообщение информации о дополнительном усовершенствовании.

8. Способ (200) обработки 3D видеосигнала (300), генерируемого посредством способа по п. 1 для осуществления возможности одновременного отображения 3D первичного видеосигнала (301) и вторичного видеосигнала на 3D дисплее (601), причем 3D первичный видеосигнал содержит базовый видеосигнал (302) и вспомогательный сигнал (303), позволяющий осуществить 3D отображение, причем 3D видеосигнал содержит в качестве вторичного видеосигнала 2D вторичный видеосигнал (304), причем 3D видеосигнал является видеопотоком (310, 315) в мультиплексированной форме, причем видеопоток содержит 2D вторичный видеосигнал (304) и содержит базовый видеопоток (311), мультиплексированный со вспомогательным потоком (312), причем базовый видеопоток содержит, в форматированной форме, базовый видеосигнал (302), причем вспомогательный поток содержит, в форматированной форме, вспомогательный сигнал (303), причем способ содержит этапы:
- извлечения 2D вторичного видеосигнала (304) из видеопотока (310, 315);
- демультиплексирования из видеопотока (310, 315) базового видеопотока (311) и вспомогательного потока (312);
- деформатирования из базового видеопотока (311) базового видеосигнала (302);
- деформатирования из вспомогательного потока (312) вспомогательного сигнала (303);
- объединения (202) 2D вторичного видеосигнала с базовым видеосигналом и вспомогательным сигналом для обеспечения сигнала (403) 3D отображения для отображения 2D вторичного видеосигнала при некоторой глубине отображения на 3D дисплее.

9. Носитель информации, хранящий компьютерный программный продукт, причем программный продукт содержит команды для предписания процессорной системе выполнять способ по любому из пп. 1-8.

10. Устройство (350) генерации сигналов для генерации 3D видеосигнала (300) для осуществления возможности одновременного отображения 3D первичного видеосигнала (301) и вторичного видеосигнала на 3D дисплее (601), причем 3D первичный видеосигнал содержит базовый видеосигнал (302) и вспомогательный сигнал (303), позволяющий осуществить 3D отображение, причем 3D видеосигнал является видеопотоком (310, 315) в мультиплексированной форме, причем устройство содержит:
- средство (351) обеспечения для обеспечения в качестве вторичного видеосигнала 2D вторичный видеосигнал (304);
- блок (352) форматирования для:
- форматирования базового видеосигнала (302) для генерации базового видеопотока (311);
- форматирования вспомогательного сигнала (303) для генерации вспомогательного потока (312);
- мультиплексирования базового видеопотока со вспомогательным потоком для генерации видеопотока;
- включения 2D вторичного видеосигнала (304) в видеопоток.

11. Устройство (400, 410, 420, 510, 600) обработки сигналов для обработки 3D видеосигнала (300, 500), генерируемого устройством генерации сигналов по п. 10, для осуществления возможности одновременного отображения 3D первичного видеосигнала (301) и вторичного видеосигнала на 3D дисплее (601), причем 3D первичный видеосигнал содержит базовый видеосигнал (302) и вспомогательный сигнал (303), позволяющий осуществить 3D отображение, причем 3D видеосигнал содержит в качестве вторичного видеосигнала 2D вторичный видеосигнал (304), причем 3D видеосигнал является видеопотоком (310, 315) в мультиплексированной форме, причем видеопоток содержит 2D вторичный видеосигнал (304) и содержит базовый видеопоток (311), мультиплексированный со вспомогательным потоком (312), причем базовый видеопоток содержит, в форматированной форме, базовый видеосигнал (302), причем вспомогательный поток содержит, в форматированной форме, вспомогательный сигнал (303), причем устройство содержит:
- блок (411, 421) демультиплексирования для демультиплексирования из видеопотока базового видеопотока и вспомогательного потока;
- блок (412, 422) деформатирования для деформатирования базового видеосигнала из базового видеопотока, деформатирования вспомогательного сигнала из вспомогательного потока и извлечения 2D вторичного видеосигнала из видеопотока;
- блок (402, 512) объединения для объединения 2D вторичного видеосигнала с базовым видеосигналом и вспомогательным сигналом для обеспечения сигнала (403, 513) 3D отображения для отображения 2D вторичного видеосигнала при некоторой глубине отображения на 3D дисплее.

12. Устройство (410) обработки сигналов по п. 11, в котором базовый видеопоток (311) содержит, в форматированной форме, базовый видеосигнал (302), мультиплексированный с 2D вторичным видеосигналом (304), и блок (412) деформатирования дополнительно выполнен с возможностью демультиплексирования из базового видеопотока базового видеосигнала и 2D вторичного видеосигнала.

13. Устройство (410) обработки сигналов по п. 11, в котором вспомогательный поток (312) содержит, в форматированной форме, вспомогательный сигнал (303), мультиплексированный с 2D вторичным видеосигналом (304), и блок (412) деформатирования дополнительно выполнен с возможностью демультиплексирования из вспомогательного потока вспомогательного сигнала и 2D вторичного видеосигнала.

14. Устройство (420) обработки сигналов по п. 11, в котором видеопоток (315) содержит 2D вторичный видеопоток (313), мультиплексированный с базовым видеопотоком (311) и со вспомогательным потоком (312), причем 2D вторичный видеопоток содержит, в форматированной форме, 2D вторичный видеосигнал (304), причем блок (421) демультиплексирования дополнительно выполнен с возможностью демультиплексирования 2D вторичного видеопотока, причем блок (422) деформатирования дополнительно выполнен с возможностью деформатирования 2D вторичного видеосигнала из 2D вторичного видеопотока.

15. Устройство (510) обработки сигналов по п. 11, в котором 3D видеосигнал (500) дополнительно содержит значение (501) смещения, указывающее глубину отображения 2D вторичного видеосигнала (304) на 3D дисплее (601) и в котором блок (512) объединения дополнительно выполнен с возможностью объединения, в зависимости от этого значения смещения, 2D вторичного видеосигнала с базовым видеосигналом (302) и вспомогательным сигналом (303).

16. Устройство (510) обработки сигналов по п. 15, в котором 3D видеосигнал (500) дополнительно содержит графический сигнал (502) и в котором значение (501) смещения указывает глубину отображения графического сигнала на 3D дисплее (601).

17. Устройство (510) обработки сигналов по п. 15, в котором значением (501) смещения является одно из потока значений смещения, включенного в 3D видеосигнале (500) в сообщение информации о дополнительном усовершенствовании.

18. Устройство (600) обработки сигналов по п. 11, причем устройство дополнительно содержит по меньшей мере одно из: 3D дисплея (601) для отображения сигнала (403) 3D отображения, приемника (602) широковещательной передачи для приема 3D видеосигнала (300) из широковещательной передачи (603), Интернет-приемника (604) для приема 3D видеосигнала из Интернет (605) или считывающего устройства (606) для считывания 3D видеосигнала с носителя (607) информации.