СПОСОБ ФОРМИРОВАНИЯ И ВОССТАНОВЛЕНИЯ СТЕРЕОСКОПИЧЕСКИ СОВМЕСТИМОГО ВИДЕОПОТОКА И СВЯЗАННЫЕ С НИМ УСТРОЙСТВА КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ Российский патент 2016 года по МПК G06T9/00 H04N13/00 

Описание патента на изобретение RU2605368C2

Настоящее изобретение относится к способу создания цифрового стереоскопического видеопотока, т.е. видеопотока, который, когда соответствующим образом обрабатывается в устройстве визуализации, воспроизводит последовательности изображений, которые воспринимаются зрителем как трехмерные.

Такой способ также позволяет пользователю, имеющему обычный (нестереоскопический) декодер и телевизионный приемник, отображать упомянутые изображения в 2D.

Настоящее изобретение дополнительно относится к устройству кодирования и устройству декодирования для кодирования и декодирования стереоскопического видеопотока в цифровом формате.

В последние годы мир кинематографического производства уделяет много внимания и тратит огромные ресурсы для производства стереоскопического 3D-контента под влиянием новых средств производства, сделанных доступными посредством новых цифровых технологий.

Интерес к 3D теперь простирается до бытового использования, т.е. отображения изображений на телевизионном приемнике. Например, некоторые операторы платного ТВ будут вскоре транслировать 3D-программы.

Самый распространенный подход к представлению стереоскопического видеоконтента подразумевает отображение двух независимых видеопотоков, предназначенных для правого глаза и для левого глаза, соответственно, которые затем снова собираются человеческим мозгом в трехмерный объект.

Стереоскопический контент для бытового использования является обычно видеоконтентом высокой четкости и может распространяться на носителе памяти большой емкости (DVD или Blu-ray диски, магнитно-оптические или твердотельные носители и т.д.) или по (проводным или беспроводным) каналам вещания или по телекоммуникационной сети (IP).

В производственной среде, однако, с существующими структурами может быть возможным передавать и обрабатывать отдельно два потока, созданные посредством стереоскопических видеокамер, снимающих сцену с двух различных точек обзора.

Более того, сети распространения, достигающие конечного пользователя, являются такими большими, что неэкономично использовать два независимых потока высокой четкости для предоставления одной услуги. Как следствие, должно быть предпринято множество мер во время процесса производства для того, чтобы снижать битовую скорость передачи, требуемую для передачи контента и достижения требуемой цели.

Поскольку результаты исследований, выполненных по различиям в восприятии деталей в двухмерных и трехмерных изображениях, указывают, что, даже когда разрешение стереоскопического контента меньше по сравнению с разрешением двухмерного контента, качество, воспринимаемое пользователем, остается приемлемым, были разработаны различные технологии для упаковки двух изображений, составляющих стереоскопический вид, в один кадр.

Например, в случае одного кадра C высокой четкости (1920х 1080 пикселов) два изображения, составляющие левый и правый каналы (далее в данном документе называемые L и R), получены с горизонтальным разрешением, равным половине разрешения кадра высокой четкости, и затем размещены горизонтально в один кадр (формат с горизонтальной стереопарой), как показано на Фиг. 1a).

Таким образом, возможно использовать один поток высокой четкости для передачи двух независимых видеоканалов; во время декодирования два полукадра разделяются и приводятся к формату 16/9 снова посредством применения подходящих технологий интерполяции.

Аналогичным образом, может быть использован альтернативный процесс, который подразумевает уменьшение наполовину вертикального разрешения и оставление горизонтального разрешения неизменным и затем размещение двух кадров L и R один сверху другого (формат с вертикальной стереопарой), как показано на Фиг. 1b.

Стереоскопический видеопоток, состоящий из составных кадров, затем сжимается для того, чтобы уменьшать его битовую скорость передачи, перед распространением его по сети вещания, IP-сети или на носителе памяти большой емкости.

Технология сжатия, обычно используемая в настоящее время для распространения видео высокой четкости, является технологией, определенной стандартом H.264/AVC.

Телевизионные приемники высокой четкости, в настоящее время доступные на рынке, оснащены декодерами H.264/AVC, поддерживающими декодирование формата вплоть до формата 1080p.

Одним из наиболее важных требований, на котором сфокусировано внимание различных поставщиков услуг (особенно компаний общественного вещания), является обратная совместимость стереоскопических сигналов.

Действительно, для того, чтобы позволять тем пользователям, которые уже обладают декодером высокой четкости, наслаждаться услугами вещания, желательно, чтобы 3D-программы могли также отображаться как 2D-программы. Аналогично, желательно, чтобы 3D-контент на DVD, Blu-ray диске 3D или Интернет-сайте мог отображаться как 2D-, так и 3D-телевизионными приемниками и мониторами.

Этот результат может быть достигнут двумя способами: либо посредством одновременной трансляции как 2D, так и 3D-версий одной программы, либо посредством применения соответствующей технологии для кодирования стереоскопического потока.

Конечно, первый вариант подразумевает излишний расход пропускной способности, чего поставщики услуг предпочитают избегать.

Что касается второго варианта, известны несколько технологий в области техники для формирования обратно совместимых стереоскопических потоков.

Одна из этих технологий относится к применению так называемых "карт глубин", как описано, например, в патентных заявках США № US 2002/0048395 и US 2004/0101043.

На практике сигнал ассоциируется с двухмерным цветным видео в форме дополнительного черно-белого видео, которое несет карты глубин. Подходящий декодер может восстанавливать стереоскопическое видео, исходя из принятых данных. Однако эта технология страдает от тех же самых проблем, что и вышеупомянутая 2D и 3D-передача одной и той же программы: действительно, параллельно должны передаваться два видеосигнала, приводя в результате к высокой битовой скорости передачи информации.

Другой технологией кодирования обратно-совместимого стереоскопического потока является, например, технология, называемая "мультивид".

Поскольку пары правых и левых изображений, создающих стереоскопический видеопоток, характеризуются высокой степенью сходства, технологии пресечения пространственно-временной избыточности, применяемые при кодировании двухмерных потоков, также могут быть использованы в этом случае. Действительно, после того как определенное смещение вследствие геометрического расстояния между точками съемки (т.е. глазной базис) вычтено, различия между правым изображением и левым изображением невелики.

Стандарт MPEG2 был расширен дополнительной спецификацией, называемой профилем мультивида (MVP); аналогично, следующий стандарт H.264/AVC был расширен посредством включения в него спецификации кодирования мультивида (MVC).

Общим характером этих двух спецификаций является использование масштабируемого кодирования видео: стереоскопический видеопоток сжимается в базовый слой (2D-базовый поток) плюс слой улучшения, который передает второй вид. Синтаксис закодированного потока гарантирует, что 2D-видео может также быть декодировано декодерами старого поколения, при условии, что они совместимы со стандартами MPEG2 или H.264/AVC.

Однако битовая скорость передачи информации, необходимая для кодирования стереоскопических потоков в один из вышеописанных форматов, все еще слишком высока, чтобы допускать ее использование в среде вещания.

Целью настоящего изобретения, поэтому, является предоставление способа формирования и восстановления обратно-совместимого цифрового стереоскопического видеопотока, который может распространяться вещательной компанией с помощью той же полосы пропускания, которая требуется для 2D-потока.

Дополнительной целью настоящего изобретения является предоставление способа формирования и восстановления обратно-совместимого цифрового стереоскопического видеопотока, который основан на использовании составных кадров и который всегда применим, несмотря на то, как правое и левое изображения упакованы в упомянутые составные изображения.

Эти и другие цели настоящего изобретения достигаются посредством способа формирования и восстановления стереоскопического видеопотока, объединяющего признаки, изложенные в прилагаемой формуле изобретения, которая является неотъемлемой части настоящего описания.

Настоящее изобретение также описывает устройство кодирования и устройство декодирования для кодирования и декодирования стереоскопического видеопотока, а также описывает стереоскопический видеопоток.

Общей идеей, лежащей в основе настоящего изобретения, является предоставление способа формирования и восстановления видеопотока, содержащего множество кадров, упакованных согласно технологии упаковки, так что результат декодирования видеопотока пригоден к использованию как 2D-декодером, так и 3D-декодером.

В предпочтительном варианте осуществления способ согласно изобретению позволяет заранее подготовить видеопоток таким образом, что упомянутый поток может быть декодирован 2D-декодером, совместимым со спецификацией H.264/AVC (без необходимости каких-либо модификаций упомянутого декодера), и что он может быть отображен на дисплее высокой четкости.

С другой стороны, подходящий декодер, соединенный со стереоскопическим дисплеем, позволит просматривать стереоскопический поток в 3D.

Обратная совместимость стереоскопического видеопотока становится возможной посредством различного использования, во время стадии кодирования метаданных, уже присутствующих в стереоскопическом видеопотоке.

Такие метаданные определяют область составного кадра, содержащую изображение, либо правое, либо левое, стереоскопического видеопотока.

Для 2D-декодера упомянутые метаданные содержат часть информации, инструктирующую декодер, что после декодирования кадра он должен выводить только одну область декодированного составного изображения, т.е. область, которая содержит только одно изображение, либо правое, либо левое, стереоскопического потока.

Таким образом, вещательная компания должна передавать только один стереоскопический поток, который затем соответствующим образом обрабатывается декодером, в зависимости от того может или нет последний декодировать стереоскопические видеопотоки: один и тот же видеопоток может воспроизводиться в 2D или 3D-формате в зависимости от характеристик обрабатывающего его декодера.

Дополнительные цели и преимущества настоящего изобретения станут более понятными из последующего описания нескольких вариантов его осуществления, которые приведены в качестве неограничивающего примера.

Упомянутые варианты осуществления будут описаны со ссылкой на прилагаемые чертежи, на которых:

− Фиг. 1a, 1b и 1c показывают составной кадр стереоскопического видеопотока, соответственно, в формате с горизонтальной стереопарой, в формате с вертикальной стереопарой и в альтернативном формате;

− Фиг. 2 показывает блок-схему устройства для формирования стереоскопического видеопотока согласно изобретению;

− Фиг. 3a, 3b и 3c показывают составные кадры на Фиг. 1a, 1b и 1c с обрезающим прямоугольником, выделенным пунктирной линией;

− Фиг. 4a и 4b показывают блок-схемы устройства для просмотра телевизионных изображений, принятых в качестве цифрового видеопотока, соответственно, в случае, в котором устройство позволяет отображать только 2D-изображения, и в случае, в котором устройство также позволяет отображать 3D-изображения.

На Фиг. 2 показана блок-схема устройства 100 для формирования стереоскопического видеопотока 101 согласно изобретению.

Устройство 100 принимает две последовательности изображений 102 и 103, например, два видеопотока, предназначенных для левого глаза L и для правого глаза R, соответственно.

Устройство 100 позволяет мультиплексировать два изображения из двух последовательностей 102 и 103 изображений. Оно содержит для этой цели модуль 105 сборки, который может вводить пикселы входных изображений в одно составное изображение C.

Когда в последующем описании приводится ссылка на введение изображения в составной кадр или кадр-контейнер C, понятно, что это означает выполнение процедуры, которая формирует (с помощью аппаратных и/или программных средств) область составного кадра C, содержащую те же пикселы, что и исходное изображение. Если составное изображение является изображением типа, показанного на Фиг. 1a или 1b, на этапе копирования необходимо уменьшать наполовину число пикселов либо горизонтально, либо вертикально. Следовательно, два, левое L и правое R, изображения, введенные в составной кадр C, будут деформированы и будут иметь уменьшенное наполовину горизонтальное или вертикальное разрешение.

В составном кадре стереоскопического видеопотока в формате, являющемся альтернативным формату на Фиг. 1c, если входные изображения имеют размер 1280х720 пикселов (так называемый формат 720p), который является одним из форматов, используемых для передачи изображений с улучшенным качеством, но с не очень высокой четкостью, тогда составной кадр, подходящий для хранения обоих изображений, будет кадром, имеющим размер 1920х1080 пикселов, т.е. кадром 1080p-видеопотока (прогрессивный формат с разрешением 1920х1080 пикселов).

В рассматриваемом случае существует преимущество в том, что два, правое R и левое L, изображения могут быть введены в составной кадр C без деформирования и/или субдискретизации, но издержками является то, что одно из двух изображений должно быть разделено, по меньшей мере, на три части, как показано в примере на Фиг. 1c.

Следует отметить, что в альтернативном формате на Фиг. 1c первое изображение может быть введено в любую точку кадра-контейнера (пока последний не требует разборки на различные области); разборка кадра второго изображения и его вставка в кадр-контейнер может быть выполнена согласно множеству различных технологий, признаки которых не относятся к целям настоящего изобретения.

В любом случае, способ, в котором левое L и правое R изображения размещены в кадре-контейнере C, не повлияет на реализацию способа согласно изобретению.

При кодировании стереоскопического видеопотока, состоящего из последовательности 101 кадров-контейнеров C, вводятся, по меньшей мере, одни метаданные M, которые содержат часть информации, касающейся той области составного кадра C, которую 2D-декодер, принимающий стереоскопический видеопоток 101, будет должен вывести после процесса декодирования.

Метаданные M реализованы так, чтобы идентифицировать область составного кадра C, содержащую изображение для левого глаза L или изображение для правого глаза R, при условии, что упомянутое изображение не было разобрано на различные части, подобно правому изображению в примере на Фиг. 1c.

Если стереоскопический видеопоток 101 закодирован в соответствии со стандартом H.264/AVC, тогда метаданные M могут полезно заменять метаданные, относящиеся к "обрезающему прямоугольнику", уже предусмотренные каждым стандартом в секции 7.3.2.1.1 "Sequence parameter set data syntax" ITU T H.264 документа 03-2009, "Advanced video coding for generic audiovisual services".

Такие метаданные были первоначально введены вследствие того факта, что кодирование H.264/AVC предусматривает разборку изображения на макроблоки из 16х16 пикселов, но 1080 не является числом, делимым на 16. Следовательно, внутренний формат представления одного кадра, используемый кодером, может не совпадать с фактическим форматом кадра (для кадров разрешения 1920х1080 кодер H.264/AVC использует представление больше 1920х1088 пикселов, таким образом добавляя восемь пустых линий). Однако метаданные, описывающие "обрезающий прямоугольник" и включенные в стандарт H.264/AVC, функцией которых является инструктирование декодера относительно того, какая часть декодированного кадра должна быть выведена для воспроизведения, позволяют определять абсолютно обычным образом часть прямоугольного кадра, которая должна быть отображена.

На практике, они определяют расстояния от краев кадра, выраженные в числе пикселов, горизонтальной и вертикальной сторон обрезающего прямоугольника, ограничивающего часть, которая должна быть отображена.

Вообще, обрезающий изображение прямоугольник может также быть определен другими полностью эквивалентными способами; например, один может указывать позицию одной вершины прямоугольника или размеры его сторон или координаты двух противоположных вершин.

Отсюда следует, что, по-разному используя метаданные M уже стандартизированного "обрезающего прямоугольника" и, следовательно, используя тот же синтаксис, возможно указывать воспроизведение произвольной области составного кадра C декодеру, совместимому со спецификацией H.264/AVC.

Обращаясь теперь к Фиг. 3a, 3b и 3c, показаны посредством пунктирных линий некоторые возможные области, ограниченные обрезающим прямоугольником, информация о которых должна содержаться согласно изобретению, по меньшей мере, в одних метаданных M.

Например, в кадре-контейнере C на Фиг. 3a в формате с горизонтальной стереопарой и в кадре-контейнере C на Фиг. 3c в альтернативном формате область, охваченная обрезающим прямоугольником, совпадает с областью, занятой левым изображением L кадра-контейнера C.

В качестве дополнительного примера, в кадре-контейнере C на Фиг. 3b в формате с вертикальной стереопарой область, охваченная обрезающим прямоугольником, совпадает с областью, занятой правым изображением R кадра-контейнера C.

После того как стадия кодирования завершена, стереоскопический поток может быть передан по каналу связи и/или записан на подходящий носитель (например, CD, DVD, Blu-ray, память большой емкости и т.п.).

Фиг. 4a показывает обычную систему для просмотра 2D-контента, состоящую из декодера 1100 и дисплея или устройства 1110 визуализации. Декодер 1100 делает доступным одно из двух, правого R и левого L, изображений устройству 1110 визуализации (например, телевизионному приемнику), тем самым, позволяя пользователю просматривать 3D-контент в 2D. Декодер 1100 может быть телевизионной приставкой отдельной от телевизионного приемника или может быть встроен в сам телевизионный приемник.

Аналогичные подходы применимы к проигрывателю (например, DVD-проигрывателю), считывающему кадр-контейнер и обрабатывающему его, чтобы получать 2D-изображение.

Обращаясь снова к Фиг. 4a, система приемника принимает (через кабель или антенну) стереоскопический видеопоток 1103, содержащий составные кадры C. Декодер 1100 считывает метаданные M, указывающие, какая часть кадров C должна быть использована для отображения потока на дисплее или устройстве 1110 визуализации. Затем, он извлекает изображение, содержащееся в части составного кадра C, указанной посредством метаданных M, и отправляет их на дисплей 1110.

Может случиться, что формат изображения, выводимого декодером 1100, не включен в исходно поддерживаемые дисплеем 1110. Например, в случае кадра 1080p в формате с горизонтальной стереопарой во время декодирования приемник 1100 будет выводить кадр, горизонтальный размер которого будет половиной горизонтального размера кадра высокой четкости: область результирующего кадра будет, таким образом, 960х1080 пикселов, и его формат будет 8/9.

Это не является форматом изображения, исходно поддерживаемым дисплеем, но он может быть преобразован обратно в формат 1920х1080 посредством соответствующих этапов интерполяции, которые могут выполняться устройством, включенным во все современные дисплеи. Этим устройством является так называемое масштабирующее устройство, функцией которого является адаптация полученного формата к формату, затребованному пользователем (в действительности, пульты дистанционного управления всех современных телевизионных приемников включают в себя кнопку для выбора между 4/3, 16/9, 14/9 и автоформатами, так что изображения могут просматриваться в формате, отличном от исходного).

Если составной кадр является кадром типа, показанного на Фиг. 1c, тогда формат 2D-совместимого изображения будет иметь тип 720p: последний является стандартным форматом, который может обрабатываться всеми HDTV или HD Ready телевизионными приемниками. Отсюда следует, что масштабирующее устройство будет наверняка способно расширять совместимое изображение, чтобы охватывать полный экран.

Тесты, выполненные на множестве телевизионных приемников, показали, что, даже когда используются составные кадры, аналогичные показанным на Фиг. 1a или 1b, масштабирующее устройство может отображать совместимые изображения корректно, т.е. преобразуя их обратно в полноэкранный формат 16/9.

Просмотр стереоскопического видео в 3D-режиме, однако, будет возможен только посредством использования декодера нового поколения, оснащенного средством, приспособленным распознавать специальное сигнализирование, содержащееся в стереоскопическом видеопотоке, и способное декодировать видео без применения обрезающего прямоугольника.

Этот результат может быть достигнут несколькими способами. Например, могут быть добавлены дополнительные метаданные N, чтобы указывать, что обрезающий прямоугольник действителен только для 2D-декодеров/телевизионных приемников.

Таким образом, нет необходимости обновлять существующие 2D-продукты, они ни требуют каких-либо изменений программно-аппаратных/аппаратных средств.

В предпочтительном варианте осуществления изобретения метаданные N, указывающее, должен ли оригинальный обрезающий прямоугольник быть использован или нет, могут просто быть метаданными, которые указывают, является ли это 3D- или 2D-передачей.

Передача этих метаданных N может происходить, например, по меньшей мере, в одной SI-таблице (сервисная информация) или в H.264 SEI-сообщениях (информация о дополнительном улучшении). В качестве альтернативы, одна или более строк составного кадра может быть предназначена для передачи специфичных для 3D метаданных.

Фиг. 4b показывает систему приемника, подходящую для отображения 3D-контента. Такая система состоит из трех частей, которые могут быть независимыми аппаратными системами или могут быть собраны вместе различными способами. Упомянутые части являются следующими: декодер 1100', распаковщик 1105 и дисплей 1110'.

Из сравнения с Фиг. 4a становится ясно, что требуется дополнительный компонент, т.е. распаковщик 1105. Декодер 1100' выводит последовательность составных кадров C во всей их полноте, т.е. игнорируя информацию об обрезающем прямоугольнике: следовательно, он является нестандартным декодером, поскольку декодеры стандарта предыдущего уровня техники выводят только, после декодирования кадра, ту часть изображения, которая содержится в обрезающем прямоугольнике. Распаковщик 1105 извлекает изображения L и R из составных кадров C и выводит их на дисплей 1110' в режимах, требуемых самим дисплеем 1110'.

Чтобы выполнить это, распаковщик 1105 должен знать, как составной кадр был построен. Распаковщик 1105, подходящий для обработки различных форматов, как противоположность одному формату, должен, следовательно, считывать метаданные P, указывающие такие режимы.

Упомянутые метаданные P могут быть введены в SI-таблицы или SEI-сообщения или в одну строку составного кадра. В первом случае необходимо, чтобы декодер 1100' считывал упомянутые метаданные и отправлял их распаковщику 1105, например, через HDMI-интерфейс: следует отметить, что спецификация упомянутого интерфейса недавно была обновлена с этой самой целью. Во втором случае ситуация проще, поскольку распаковщик 1105 будет искать метаданные P непосредственно в составном кадре.

Признаки настоящего изобретения, а также его преимущества, очевидны из вышеприведенного описания.

Первым преимуществом настоящего изобретения является то, что вещательная компания, желающая транслировать 3D-программу, которая может также быть декодирована 2D-декодером, не должна будет передавать два одновременных видеопотока, таким образом, используя меньшую ширину канала для передачи видеопотока.

Вторым преимуществом настоящего изобретения является то, что способ может всегда быть применен, несмотря на то, как кадры, переносящие правое и левое изображения, упакованы в кадр-контейнер.

Способ формирования и восстановления стереоскопического видеопотока и связанные формирующие и восстанавливающие устройства могут быть предметом для множества возможных вариаций без отступления от сущности новизны идеи изобретения; также ясно, что в практической реализации изобретения иллюстрированные детали могут иметь различные формы или быть заменены другими технически эквивалентными элементами.

Например, несмотря на то, что в вышеприведенном описании приведена ссылка, в частности, на стандарт H.264/AVC, ясно, что способ также применим, когда кодирование выполняется в соответствии с другими стандартами, при условии, что упомянутые стандарты используют метаданные, аналогичные используемым для определения обрезающего прямоугольника стандарта H.264/AVC.

Например, даже если приведена отдельная ссылка в настоящем описании на составные кадры в формате 1080p, ясно, что изобретение не зависит от размера составного кадра и изображений, составляющих кадры: изобретение, следовательно, также применимо к случаю, в котором составной кадр имеет размер 720p или является кадром типа очень высокого разрешения (так называемые форматы 2k и 4k, т.е. имеющие приблизительно 2000 или 4000 линий).

Следовательно, понятно, что настоящее изобретение не ограничено способом формирования и восстановления стереоскопического видеопотока и связанными с ним устройствами и может быть предметом для множества модификаций, улучшений или замен эквивалентных частей и элементов без отступления от идеи изобретения, которая ясно указана в последующей формуле.

Похожие патенты RU2605368C2

название год авторы номер документа
СПОСОБ КОМПОНОВКИ ФОРМАТА ЦИФРОВОГО СТЕРЕОСКОПИЧЕСКОГО ВИДЕОПОТОКА 3DD Tile Format 2013
  • Поляков Алексей Юрьевич
  • Ильин Александр Алексеевич
RU2556451C2
УСТРОЙСТВО ВОСПРОИЗВЕДЕНИЯ, СПОСОБ ЗАПИСИ, СИСТЕМА ВОСПРОИЗВЕДЕНИЯ НОСИТЕЛЯ ЗАПИСИ 2010
  • Икеда Ватару
  • Огава Томоки
  • Сасаки Таидзи
  • Яхата Хироси
RU2522304C2
СИГНАЛИЗАЦИЯ ТРЁХМЕРНОЙ ВИДЕОИНФОРМАЦИИ В КОММУНИКАЦИОННЫХ СЕТЯХ 2013
  • Ойман Озгур
RU2643446C1
НОСИТЕЛЬ ЗАПИСИ ИНФОРМАЦИИ И УСТРОЙСТВО ВОСПРОИЗВЕДЕНИЯ ДЛЯ ВОСПРОИЗВЕДЕНИЯ 3D ИЗОБРАЖЕНИЙ 2010
  • Сасаки Таидзи
  • Яхата Хироси
  • Огава Томоки
RU2520325C2
СПОСОБ КОДИРОВАНИЯ СИГНАЛА ВИДЕОДАННЫХ ДЛЯ ИСПОЛЬЗОВАНИЯ С МНОГОВИДОВЫМ УСТРОЙСТВОМ ВИЗУАЛИЗАЦИИ 2014
  • Ньютон, Филип Стивен
  • Де Хан, Вибе
RU2667605C2
ТОЧКИ ВХОДА ДЛЯ УСКОРЕННОГО 3D-ВОСПРОИЗВЕДЕНИЯ 2010
  • Ньютон Филип С.
  • Скалори Франческо
RU2552137C2
УСТРОЙСТВО И СПОСОБ ДЛЯ КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ ВИДЕО 2020
  • Ханнуксела Миска
RU2784900C1
КОМБИНИРОВАНИЕ 3D ВИДЕО И ВСПОМОГАТЕЛЬНЫХ ДАННЫХ 2010
  • Ньютон Филип Стивен
  • Болио Деннис Даниэль Роберт Йозеф
  • Кюрверс Марк Йозеф Мария
  • Ван Дер Хейден Герардус Вильхельмус Теодорус
  • Брюльс Вильгельмус Хендрикус Альфонус
  • Де Хан Вибе
  • Талстра Йохан Корнелис
RU2554465C2
Устройство и способ для кодирования и декодирования видео 2018
  • Ханнуксела Миска
  • Аминлоу Алиреза
RU2741507C1
УПАКОВКА КАДРОВ ДЛЯ КОДИРОВАНИЯ ВИДЕО 2010
  • Тянь Дун
  • Лаи Полин
  • Ло Цзянькон
  • Инь Пэн
RU2689191C2

Иллюстрации к изобретению RU 2 605 368 C2

Реферат патента 2016 года СПОСОБ ФОРМИРОВАНИЯ И ВОССТАНОВЛЕНИЯ СТЕРЕОСКОПИЧЕСКИ СОВМЕСТИМОГО ВИДЕОПОТОКА И СВЯЗАННЫЕ С НИМ УСТРОЙСТВА КОДИРОВАНИЯ И ДЕКОДИРОВАНИЯ

Группа изобретений относится к способам и устройствам создания цифрового стереоскопического видеопотока. Техническим результатом является обеспечение возможности отображения 2D изображения из 3D потока, не используя стереоскопические приемники. В способе формирования цифрового стереоскопического видеопотока кадры-контейнеры (C) содержат информацию о правом изображении (R) и левом изображении (L), при этом при кодировании упомянутого цифрового стереоскопического видеопотока (101) вводятся, по меньшей мере, одни метаданные (M), которые реализованы так, чтобы идентифицировать область кадра-контейнера (C), содержащую только одно из упомянутых двух изображений (L, R), а стереоскопический видеопоток кодируется согласно стандарту H.264/AVC, который определяет обрезающий прямоугольник, причем упомянутые метаданные (М), используя тот же синтаксис, что и стандарт, ссылаются только на одно из двух изображений (L, R), содержащихся в упомянутом кадре-контейнере (С). 7 н. и 13 з.п. ф-лы, 9 ил.

Формула изобретения RU 2 605 368 C2

1. Способ формирования цифрового стереоскопического видеопотока (101), содержащего кадры-контейнеры (С), причем упомянутые кадры-контейнеры (С) содержат информацию о правом изображении (R) и левом изображении (L), отличающийся тем, что при кодировании упомянутого цифрового стереоскопического видеопотока (101) вводятся, по меньшей мере, одни метаданные (М), которые адаптированы так, чтобы идентифицировать область кадра-контейнера (С), содержащую только одно из упомянутых двух изображений (L, R);
при этом цифровой стереоскопический видеопоток кодируется согласно стандарту H.264/AVC, который определяет обрезающий прямоугольник, или стандарту, использующему метаданные, аналогичные тем, что используются для определения обрезающего прямоугольника стандарта H.264/AVC, причем упомянутые, по меньшей мере, одни метаданные (М), используя тот же синтаксис, что и стандарт, ссылаются только на одно из двух изображений (L, R), содержащихся в упомянутом кадре-контейнере (С).

2. Способ по п. 1, в котором размеры упомянутой, по меньшей мере, одной области упомянутого кадра-контейнера (С) таковы, что она может быть отображена без необходимости каких-либо изменений в соотношении ширина/высота упомянутой области.

3. Способ по одному из пп. 1-2, в котором упомянутая, по меньшей мере, одна область упомянутого кадра-контейнера (С) интерполирована и преобразована по формату так, что она может быть отображена на полном экране в формате 16/9.

4. Способ по п. 1, в котором, по меньшей мере, одни дополнительные метаданные (N, Р) введены в цифровой стереоскопический видеопоток, чтобы указывать стереоскопическому декодеру, что упомянутые, по меньшей мере, одни метаданные (М) должны быть игнорированы.

5. Способ по п. 4, в котором упомянутые дополнительные метаданные (N, Р) отправляются, по меньшей мере, в одной SI-таблице или в SEI-сообщениях, касающихся упомянутого цифрового стереоскопического видеопотока, закодированного в соответствии со стандартом H.264/AVC или стандартом, использующим метаданные, аналогичные тем, что используются для определения обрезающего прямоугольника стандарта H.264/AVC.

6. Способ по п. 4 или 5, в котором упомянутые, по меньшей мере, одни дополнительные метаданные (N) являются метаданными, которые указывают, является ли формат программы 2D или 3D.

7. Способ по п. 4 или 5, в котором упомянутые, по меньшей мере, одни дополнительные метаданные (Р) являются метаданными, которые указывают то, как был построен кадр-контейнер (С).

8. Устройство (100) для кодирования цифрового стереоскопического видеопотока (101), содержащего кадры-контейнеры (С), причем упомянутые кадры-контейнеры (С) содержат информацию о правом изображении (R) и левом изображении (L), отличающееся тем, что содержит средство, выполненное с возможностью реализовывать способ по любому из пп. 1-7.

9. Способ восстановления, по меньшей мере, одного 2D-совместимого изображения, исходя из цифрового стереоскопического видеопотока, содержащего кадры-контейнеры (С), причем упомянутые кадры-контейнеры (С) содержат информацию о правом изображении (R) и левом изображении (L), отличающийся тем, что при декодировании упомянутого цифрового стереоскопического видеопотока (101) извлекаются, по меньшей мере, одни метаданные (М), которые адаптированы для идентифицирования области кадра-контейнера (С), содержащей только одно из упомянутых двух изображений (L, R);
при этом цифровой стереоскопический видеопоток декодируется согласно стандарту, использующему метаданные, аналогичные тем, что используются для определения обрезающего прямоугольника стандарта H.264/AVC, причем упомянутые, по меньшей мере, одни метаданные (М), используя тот же синтаксис, что и стандарт, ссылаются только на одно из двух изображений (L, R), содержащихся в упомянутом кадре-контейнере (С).

10. Способ по п. 9, в котором размеры упомянутой, по меньшей мере, одной области упомянутого кадра-контейнера (С) таковы, что она может быть отображена без необходимости каких-либо изменений в соотношении ее ширины/высоты.

11. Способ по одному из пп. 9-10, в котором упомянутая, по меньшей мере, одна область упомянутого кадра-контейнера (С) интерполируется и преобразуется по формату так, что она может быть отображена на полном экране в формате 16/9.

12. Декодер, выполненный с возможностью восстанавливать, по меньшей мере, одно 20-совместимое изображение, исходя из стереоскопического видеопотока, содержащего кадры-контейнеры (С), причем упомянутые кадры-контейнеры (С) содержат информацию о правом изображении (R) и левом изображении (L), отличающийся тем, что содержит средство для реализации способа по одному из пп. 9-11.

13. Способ декодирования цифрового стереоскопического видеопотока и извлечения двух, правого (R) и левого (L), изображений из кадра-контейнера (С), отличающийся тем, что декодер (1100') считывает, по меньшей мере, одни метаданные (N, Р), указывающие, является ли видеопоток стереоскопическим или нет, и, если упомянутый видеопоток является стереоскопическим:
- информация, содержащаяся, по меньшей мере, в одних дополнительных метаданных (М), определяющих обрезающий прямоугольник, игнорируется;
- последовательность кадров-контейнеров (С) воспроизводится целиком;
- упомянутая последовательность кадров-контейнеров (С) отправляется распаковщику (1105), который воспроизводит упомянутые два, правое (R) и левое (L), изображения, как требуется, посредством стереоскопического дисплея (1110').

14. Способ по п. 13, в котором упомянутые, по меньшей мере, одни дополнительные метаданные (М) являются метаданными, которые определены в соответствии со стандартом H.264/AVC.

15. Способ по п. 13, в котором упомянутые, по меньшей мере, одни дополнительные метаданные (М) являются метаданными, которые определены в соответствии со стандартом, использующим метаданные, аналогичные тем, что используются для определения обрезающего прямоугольника стандарта H.264/AVC.

16. Способ по п. 13, в котором упомянутый декодер (1100') отправляет упомянутому распаковщику (1105) дополнительные метаданные (Р), указывающие то, как левое (L) и правое (R) изображения были упакованы, в частности, содержимое SI-поля и/или SEI-сообщения, принадлежащего упомянутому стереоскопическому видеопотоку.

17. Способ по п. 13, в котором упомянутый распаковщик (1105) считывает дополнительные метаданные (Р), содержащиеся в кадре-контейнере и указывающие то, как левое (L) и правое (R) изображения были упакованы.

18. Способ по п. 16 или 17, в котором упомянутые дополнительные метаданные (Р) содержат обрезающие прямоугольники для каждой области составного кадра (С).

19. Декодер, выполненный с возможностью декодировать цифровой стереоскопический видеопоток и извлекать два, правое (R) и левое (L), изображения из кадра-контейнера (С), содержащий средство для реализации способа по одному из пп. 13-18.

20. Распаковщик (1105), выполненный с возможностью воспроизводить правое и левое изображения из стереоскопического видеопотока, как требуется, посредством способа по одному из пп. 13-18.

Документы, цитированные в отчете о поиске Патент 2016 года RU2605368C2

US 20080303893 A1, 11.12.2008
Железнодорожный снегоочиститель 1920
  • Воскресенский М.
SU264A1
Переносная печь для варки пищи и отопления в окопах, походных помещениях и т.п. 1921
  • Богач Б.И.
SU3A1
Решетчатый обогреватель для молодняка животных и птицы 1988
  • Герасимович Леонид Степанович
  • Кисель Анатолий Казимирович
  • Прищепов Михаил Александрович
  • Власенко Александр Петрович
  • Забродский Владимир Викторович
SU1524859A1
US 20090128620 A1, 21.05.2009
УСТРОЙСТВО И СПОСОБ ДЛЯ РЕАЛИЗАЦИИ ИНТЕРФЕЙСА С ВЫСОКОЙ СКОРОСТЬЮ ПЕРЕДАЧИ ДАННЫХ 2005
  • Андерсон Джон Джеймс
  • Стил Брайан
  • Уайли Джордж А.
  • Шекхар Шашанк
RU2337497C2
СОЗДАНИЕ ПОСЛЕДОВАТЕЛЬНОСТИ СТЕРЕОСКОПИЧЕСКИХ ИЗОБРАЖЕНИЙ ИЗ ПОСЛЕДОВАТЕЛЬНОСТИ ДВУМЕРНЫХ ИЗОБРАЖЕНИЙ 2001
  • Наске Рольф-Дитер
RU2287858C2

RU 2 605 368 C2

Авторы

Баллокка Джованни

Д'Амато Паоло

Даты

2016-12-20Публикация

2011-04-07Подача