СПОСОБ, АППАРАТ И ПОТОК ДЛЯ ФОРМАТИРОВАНИЯ ИММЕРСИВНОГО ВИДЕОИЗОБРАЖЕНИЯ ДЛЯ ТРАДИЦИОННЫХ И ИММЕРСИВНЫХ УСТРОЙСТВ ВОСПРОИЗВЕДЕНИЯ Российский патент 2020 года по МПК H04N21/2343 H04N21/80 

1. Область техники

Настоящее изобретение относится к области форматирования обратно совместимого потока, представляющего иммерсивное видеоизображение, например, когда такой поток распределяется разнородному набору клиентских устройств, некоторые из клиентских устройств конфигурируются, чтобы отображать традиционные прямоугольные видеоизображения, а некоторые другие конфигурируются, чтобы отображать иммерсивные видеоизображения.

2. Уровень техники

Иммерсивные видеоизображения отличаются от традиционных видеоизображений в том, что они отображаются вокруг пользователей вместо проецирования на прямоугольном экране перед ними. Некоторые устройства конфигурируются для воспроизведения только традиционных видеоизображений (например, телевизоры, видеопроекторы), некоторые конфигурируются для воспроизведения только иммерсивных видеоизображений (например, пещер, друзовых пустот), а некоторые могут воспроизводить оба типа видеоизображений согласно декодерам, которые они содержат (например, устанавливаемые на голову устройства отображения (HMD), планшеты, смартфоны). В этом документе мы называем устройствами воспроизведения иммерсивного видеоизображения устройства, сконфигурированные для воспроизведения иммерсивных видеоизображений и содержащие приспособленные декодеры, и устройствами воспроизведения традиционного видеоизображения -устройства, которые не сконфигурированы для воспроизведения иммерсивных видеоизображений или не содержат приспособленные декодеры.

Видеоизображение является последовательностью, по меньшей мере, из одного изображения. Фактически, изображение может рассматриваться как неподвижное видеоизображение. Видеоизображение кодируется по прямоугольному кадру, который является двухмерным массивом пикселов (т.е., элементом цветовой информации). Для воспроизведения кадр, во-первых, отображается на поверхности отображения и, во-вторых, проецируется на экране. Стереоскопическое видеоизображение кодируется по двум или более прямоугольным кадрам, отображенным на двух поверхностях отображения, которые объединяются для проецирования согласно характеристикам устройства.

Для устройств воспроизведения традиционного видеоизображения поверхность отображения и экран являются плоскими прямоугольниками. Соответствующая функция отображения и функция проецирования являются прямыми. Поверхность отображения является эквивалентной кадру. Экран соответствует прямоугольной части поверхности отображения, в зависимости от четкости и от разрешения устройства воспроизведения.

Что касается устройств воспроизведения иммерсивного видеоизображения, поверхность отображения является трехмерной выпуклой поверхностью (например, сферой, кубом, пирамидой (усеченной или нет)). Функция отображения ассоциирует каждый пиксел кадра с точкой поверхности отображения (и наоборот). Функция проецирования зависит от экрана устройства воспроизведения. Если экран является трехмерной выпуклой поверхностью (например, пещеры, друзовые пустоты), проекция является прямой от поверхности отображения. Если экран является прямоугольным (например, HMD, планшеты, смартфоны), только часть поверхности отображается согласно размеру экрана и согласно параметрам (содержащим, по меньшей мере, трехмерную позицию относительно поверхности отображения, направление нацеливания и поле обзора) виртуальной камеры. Такие устройства воспроизведения иммерсивного видеоизображения оборудуются контроллером виртуальной камеры (например, инерциальным измерительным блоком, системой позиционирования, мышью, джойстиком).

Видеопоток подготавливается и форматируется согласно типу устройства воспроизведения, на котором видеоизображение предназначено воспроизводиться. Устройства воспроизведения традиционного видеоизображения правильно не отображают иммерсивное видеоизображение, так как они не сконфигурированы, чтобы отображать их на трехмерной выпуклой поверхности отображения. Аналогично, иммерсивные видеопроигрыватели правильно не отображают традиционные видеоизображения. Существует недостаток формата для обратно совместимого иммерсивного видеопотока, который мог бы быть надлежащим образом отображен как на традиционных, так и иммерсивных видеовоспроизводящих устройствах.

3. Сущность изобретения

Целью настоящего изобретения является преодоление недостатка формата для обратно совместимого иммерсивного видеопотока, который мог бы быть надлежащим образом отображен на устройствах воспроизведения как традиционного, так и иммерсивного видеоизображения. Настоящее изобретение относится к способу формирования потока из иммерсивного видеоизображения, способ содержит:

- Формирование, по меньшей мере, одного первого видеоизображения, каждое первое видеоизображение представляет часть иммерсивного видеоизображения;

- Формирование второго видеоизображения из иммерсивного видеоизображения, из которого была удалена упомянутая, по меньшей мере, одна часть;

- Формирование потока посредством объединения вместе первого синтаксического элемента, относящегося, по меньшей мере, к одному первому видеоизображению, и второго синтаксического элемента, относящегося к упомянутому второму видеоизображению.

Согласно конкретной характеристике, третий синтаксический элемент добавляется в упомянутый поток, упомянутый третий синтаксический элемент относится к информационным данным, представляющим описание упомянутой, по меньшей мере, одной части. Согласно конкретной характеристике, упомянутые информационные данные изменяются со временем.

Настоящее изобретение также относится к устройству, сконфигурированному, чтобы формировать поток из иммерсивного видеоизображения, устройство содержит:

- Генератор видеоизображения, чтобы формировать, по меньшей мере, одно первое видеоизображение, каждое первое видеоизображение представляет часть иммерсивного видеоизображения;

- Генератор видеоизображения, чтобы формировать второе видеоизображение из иммерсивного видеоизображения, из которого была удалена упомянутая, по меньшей мере, одна часть;

- Генератор потока, чтобы формировать поток посредством объединения вместе первого синтаксического элемента, относящегося, по меньшей мере, к одному первому видеоизображению, и второго синтаксического элемента, относящегося к упомянутому второму видеоизображению.

Настоящее изобретение также относится к устройству, сконфигурированному, чтобы формировать поток из иммерсивного видеоизображения, устройство содержит, по меньшей мере, один процессор, сконфигурированный, чтобы:

- Формировать, по меньшей мере, одно первое видеоизображение, каждое первое видеоизображение представляет часть иммерсивного видеоизображения;

- Формировать второе видеоизображение из иммерсивного видеоизображения, из которого была удалена упомянутая, по меньшей мере, одна часть;

- Формировать поток посредством объединения вместе первого синтаксического элемента, относящегося, по меньшей мере, к одному первому видеоизображению, и второго синтаксического элемента, относящегося к упомянутому второму видеоизображению.

Настоящее изобретение также относится к потоку, несущему данные, представляющие иммерсивное видеоизображение, данные содержат:

- Первый синтаксический элемент, относящийся, по меньшей мере, к одному первому видеоизображению, каждое из упомянутых, по меньшей мере, одного первого видеоизображения представляет часть иммерсивного видеоизображения;

- Второй синтаксический элемент, относящийся ко второму видеоизображению, сформированному из иммерсивного видеоизображения, из которого была удалена упомянутая, по меньшей мере, одна часть.

Согласно конкретной характеристике, третий синтаксический элемент, относящийся к информационным данным, представляющим описание упомянутой, по меньшей мере, одной части, добавляется в поток. Преимущественно упомянутые информационные данные изменяются со временем.

Настоящее изобретение также относится к способу составления видеоизображения для устройства воспроизведения из потока, несущего данные, представляющие иммерсивное видеоизображение, способ содержит:

- Когда устройство является устройством воспроизведения традиционного видеоизображения,

-- Получение видеоизображения из первого синтаксического элемента потока, относящегося, по меньшей мере, к одному первому видеоизображению, каждое из упомянутого, по меньшей мере, одного первого видеоизображения представляет часть иммерсивного видеоизображения;

- Когда устройство является устройством воспроизведения иммерсивного видеоизображения,

-- Получение, по меньшей мере, одного первого видеоизображения из первого синтаксического элемента потока, упомянутое, по меньшей мере, одно первое видеоизображение представляет часть иммерсивного видеоизображения;

-- Получение второго видеоизображения из второго синтаксического элемента потока, упомянутое второе видеоизображение представляет иммерсивное видеоизображение, из которого была удалена каждая упомянутая, по меньшей мере, одна часть;

-- Составление видеоизображения посредством наложения каждого из упомянутого, по меньшей мере, одного первого видеоизображения на второе видеоизображение.

Согласно конкретной характеристике, упомянутый поток дополнительно содержит третий синтаксический элемент, относящийся к информационным данным, представляющим описание упомянутой, по меньшей мере, одной части. Когда устройство является устройством воспроизведения иммерсивного видеоизображения, составление видеоизображения содержит масштабирование и трансляцию каждого первого видеоизображения согласно описанию части, ассоциированной с упомянутым первым видеоизображением, для наложения на второе видеоизображение.

Настоящее изобретение также относится к устройству, сконфигурированному, чтобы составлять видеоизображение из потока, несущего данные, представляющие иммерсивное видеоизображение, для устройства воспроизведения, устройство содержит:

- Когда устройство является устройством воспроизведения традиционного видеоизображения,

-- Средство для получения видеоизображения из первого синтаксического элемента потока, относящегося, по меньшей мере, к одному первому видеоизображению, каждое из упомянутого, по меньшей мере, одного первого видеоизображения представляет часть иммерсивного видеоизображения;

- Когда устройство является устройством воспроизведения иммерсивного видеоизображения,

-- Средство для получения, по меньшей мере, одного первого видеоизображения из первого синтаксического элемента потока, упомянутое, по меньшей мере, одно первое видеоизображение представляет часть иммерсивного видеоизображения;

-- Средство для получения второго видеоизображения из второго синтаксического элемента потока, упомянутое второе видеоизображение представляет иммерсивное видеоизображение, из которого была удалена каждая упомянутая, по меньшей мере, одна часть;

-- Средство для составления видеоизображения посредством наложения каждого из упомянутого, по меньшей мере, одного первого видеоизображения на второе видеоизображение.

4. Список чертежей

Настоящее раскрытие сущности должно лучше пониматься, и другие характерные признаки и преимущества должны становиться очевидными после прочтения нижеприведенного описания, при этом описание ссылается на прилагаемые чертежи, на которых:

- Фиг. 1 иллюстрирует пример воспроизведения традиционного видеоизображения, отображенного на двухмерную поверхность отображения, согласно конкретному варианту осуществления настоящих принципов;

- Фиг. 2 иллюстрирует пример воспроизведения иммерсивного видеоизображения, подготовленного для сферической поверхности отображения, поверхность отображения задана в трех измерениях в отличие от двухмерной поверхности отображения на фиг. 1, согласно конкретному варианту осуществления настоящих принципов;

- Фиг. 3 иллюстрирует пример воспроизведения иммерсивного видеоизображения, аналогично фиг. 2, иммерсивное видеоизображение, на фиг. 3, подготавливается для кубической поверхности отображения, согласно конкретному варианту осуществления настоящих принципов;

- Фиг. 4 иллюстрирует пример захвата традиционного видеоизображения из иммерсивного видеоизображения, подготовленного для сферической поверхности отображения аналогично фиг. 2, согласно конкретному варианту осуществления настоящих принципов;

- Фиг. 5 иллюстрирует пример захвата традиционного видеоизображения из иммерсивного видеоизображения, подготовленного для кубической поверхности отображения аналогично фиг. 3, согласно конкретному варианту осуществления настоящих принципов;

- Фиг. 6 иллюстрирует пример двух традиционных видеоизображений, захваченных из иммерсивного видеоизображения на фиг. 2, и пример этого иммерсивного видеоизображения, из которого две части, используемые для упомянутых двух традиционных видеоизображений, были удалены, согласно конкретному варианту осуществления настоящих принципов;

- Фиг. 7 показывает вариант аппаратных средств аппарата, сконфигурированного, чтобы реализовывать способы, описанные в отношении фиг. 8 или 9, согласно конкретному варианту осуществления настоящих принципов.

- Фиг. 8 схематично показывает вариант осуществления способа формирования обратно совместимого иммерсивного видеопотока для фиг. 6 и 10, когда реализуется в устройстве обработки, таком как устройство согласно неограничивающему преимущественному варианту осуществления;

- Фиг. 9 схематично показывает вариант осуществления способа составления видеоизображения из обратно совместимого иммерсивного видеопотока, когда реализуется в устройстве обработки, таком как устройство 70 согласно неограничивающему предпочтительному варианту осуществления;

- Фиг. 10 показывает примерную структуру обратно совместимого иммерсивного видеопотока на фиг. 6, согласно конкретному варианту осуществления настоящих принципов;

5. Подробное описание вариантов осуществления

Далее описывается предмет изобретения со ссылкой на чертежи, на которых аналогичные номера ссылок используются для того, чтобы ссылаться на аналогичные элементы во всем описании. В нижеприведенном описании, для целей пояснения, многие конкретные подробности изложены для того, чтобы обеспечивать полное понимание настоящего изобретения. Следует понимать, что варианты осуществления предмета изобретения могут осуществляться на практике без этих конкретных подробностей.

Согласно неограничивающему варианту осуществления настоящего изобретения, описываются способ и устройство для формирования обратно совместимого видеопотока, представляющего иммерсивное видеоизображение. Формат такого потока также описывается. Согласно другому неограничивающему варианту осуществления настоящего изобретения, представляются устройства воспроизведения, приспособленные воспроизводить видеоизображение, когда принимают такой поток, и способ, который устройства используют для составления видеоизображения, которое должно быть воспроизведено согласно формату потока.

Настоящее изобретение предлагает захватывать, по меньшей мере, одну часть иммерсивного видеоизображения. Эта, по меньшей мере, одна часть удаляется из иммерсивного видеоизображения для того, чтобы не быть включенной дважды в поток. Эта, по меньшей мере, одна часть дополнительно подготавливается, чтобы составлять традиционное видеоизображение, приспособленное для воспроизведения устройством воспроизведения традиционного видеоизображения. Иммерсивное видеоизображение без упомянутой, по меньшей мере, одной части с одной стороны, и, по меньшей мере, одно подготовленное традиционное видеоизображение с другой стороны, упаковываются вместе в поток. На стороне устройства воспроизведения, когда устройство является устройством воспроизведения традиционного видеоизображения, одно из, по меньшей мере, одного подготовленного традиционного видеоизображения распаковывается и используется в качестве видеоизображения, которое должно быть воспроизведено; когда устройство является устройством воспроизведения иммерсивного видеоизображения, используется каждое упакованное видеоизображение. Иммерсивное видеоизображение распаковывается, и каждое, по меньшей мере, из одного подготовленного традиционного видеоизображения отображается обратно на части, из которой оно было вырезано.

Фиг. 1 иллюстрирует пример воспроизведения традиционного видеоизображения. Последовательность изображений кодируется по прямоугольному кадру 10, предназначенному для отображения на плоской прямоугольной поверхности 11 отображения. Функция 12 отображения является прямой, и кадр 10 и поверхность 11 отображения являются эквивалентными. Экран 13 может не иметь то же разрешение и/или четкость, что и поверхность 11 отображения. В результате, функция 14 проецирования может повторно масштабировать и/или обрезать или отображать черные полосы сбоку поверхности 11 отображения. На фиг. 1 кадр 10 и поверхность 11 отображения имеют отношение сторон 4:3, в то время как экран имеет отношение сторон 16:9. В этом примере функция 14 проецирования задействует обрезку в середине изображения, чтобы создавать видеоизображение, которое согласуется с экраном 13. В варианте функция 14 проецирования добавляет черные полосы слева и справа поверхности 11 отображения, чтобы получать видеоизображение, которое согласуется с экраном 13. В другом варианте осуществления видеоизображение на фиг. 1 является стереоскопическим. В таком варианте кадр 10 содержит два отдельных изображения, которые отображаются на двух отдельных поверхностях 11 отображения. Поверхности отображения объединяются согласно типу экрана, чтобы воспроизводить стереоскопический эффект.

Фиг. 2 иллюстрирует пример воспроизведения иммерсивного видеоизображения, подготовленного для сферической поверхности отображения. Последовательность изображений кодируется по прямоугольному кадру 20, предназначенному для отображения на сферической поверхности 21 отображения. Функция 22 отображения устанавливает отображение между каждым пикселом кадра 20 и точкой на поверхности 21 отображения (и наоборот). На фиг. 2 функция 22 отображения основывается на равнопрямоугольной проекции (также называемой равноудаленной цилиндрической проекцией). Изображение в кадре 20 искажается. Расстояния соблюдаются на экваторе и растягиваются на полюсах. Прямые линии больше не являются прямыми, а перспективы искажаются. В вариантах функция 22 отображения основывается на равноудаленном коническом проецировании, например. Если экран 23 является прямоугольным, как для устанавливаемых на голову устройств отображения (HMD) или планшетов или смартфонов, выбирается часть поверхности 21 отображения. Функция 24 проецирования состоит в выборе части поверхности 21 отображения, которая видна посредством камеры, расположенной в центре сферы, камера конфигурируется в отношении поля обзора и разрешения для того, чтобы создавать изображение, которое непосредственно согласуется с экраном 23. Выбранное поле обзора зависит от характеристик устройства отображения. Что касается HMD, преимущественно, угол поля обзора является близким к человеческому стереоскопическому полю зрения, которое равно приблизительно ста двадцати градусам. Направление нацеливания камеры соответствует направлению, в котором пользователь смотрит, и контроллер виртуальной камеры устройства воспроизведения иммерсивного видеоизображения используется, чтобы модифицировать направление нацеливания камеры. В варианте видеоизображение на фиг. 2 является стереоскопическим. В таком варианте кадр 20 содержит два отдельных изображения, которые отображаются на двух отдельных поверхностях 21 отображения. Поверхности отображения объединяются согласно типу экрана, чтобы воспроизводить стереоскопический эффект.

Получение видеоизображения с помощью камеры, помещенной в центре выпуклой поверхности отображения, формирует видеоизображение, захваченное с точки обзора в центре этой выпуклой поверхности отображения. На фиг. 2 сфера является выпуклой поверхностью отображения, и виртуальная камера составляет точку обзора в центре этой выпуклой поверхности отображения, из которой видеоизображение захватывается.

Фиг. 3 иллюстрирует пример воспроизведения иммерсивного видеоизображения, подготовленного для кубической поверхности отображения. Последовательность изображений кодируется по прямоугольному (или квадратному) кадру 30, предназначенному для отображения на кубической поверхности 31 отображения. Функция 32 отображения устанавливает соответствие между квадратами в кадре 30 и лицевыми поверхностями куба 31. Наоборот, функция отображения определяет, как лицевые поверхности куба 31 организуются в поверхности кадра 30. Изображения на каждой лицевой поверхности не являются искаженными. Однако, в итоговом изображении кадра 30, линии являются кусочно-прямыми, а перспективы ломаными. Изображение может содержать пустые квадраты (заполненные цветовой информацией по умолчанию или случайной цветовой информацией, белым цветом в примере на фиг. 3). Функция проецирования работает как функция проецирования на фиг. 2. Камера помещается в центре куба 31 и захватывает изображение, которое помещается на экране устройства воспроизведения.

В вариантах используются другие поверхности отображения и/или функции отображения, отображающие видеокадр на цилиндре или на пирамиде, например.

Кадры 20 и 30 иммерсивных видеоизображений, иллюстрированные на фиг. 2 и 3, не предназначены для отображения на плоской прямоугольной поверхности 12 отображения на фиг. 1. Когда иммерсивное видеоизображение доставляется устройству воспроизведения традиционного видеоизображения, изображение на экране искажается или кусочно отображается и соответствует визуальному контенту, большему, чем поле зрения человека. Аналогично, когда традиционное видеоизображение доставляется устройству воспроизведения иммерсивного видеоизображения, функция отображения создает искаженное изображение.

Кроме того, основы кинематографии для традиционных видеоизображений отличаются от основ кинематографии для иммерсивных видеоизображений. Например, если сценарий содержит диалог между двумя персонажами, иммерсивное видеоизображение может отображать длительную последовательность неподвижных съемочных кадров: зритель создает некоторый динамизм, поочередно поворачивая свою голову от одного персонажа к другому. Традиционное видеоизображение может скорее чередовать узкие съемочные кадры на одном и на другом из персонажей и широкие кадры, чтобы привносить некоторый динамизм в сцену, когда зритель является пассивным перед экраном. Такой монтаж фильма, однако, не рекомендуется для иммерсивного видео, так как частые смены плана вынуждают зрителя терять свою ориентацию и даже могут вызывать у него тошноту. Традиционное видеоизображение может включать в себя изменения фокусного расстояния, в то время как изменения фокусного расстояния в иммерсивных видеоизображениях привносят нежелательный эффект векции (т.е. иллюзии собственного движения с искажением бокового вида).

Настоящие принципы предлагают захват традиционного видеоизображения из иммерсивного видеоизображения посредством помещения виртуальной камеры в центре поверхности отображения, для которой иммерсивное видеоизображение подготовлено. Получаются данные управления камерой, описывающие параметры для камеры. Эти данные включают в себя, по меньшей мере, направление нацеливания, ориентацию и размер усеченной фигуры (горизонтальное и вертикальное поле обзора или угол обзора). Данные управления камерой используются, чтобы управлять виртуальной камерой, которая захватывает традиционное видеоизображение из иммерсивного видеоизображения. Эти данные получаются благодаря ручному редактированию режиссером фильма. В другом варианте осуществления данные управления камерой автоматически редактируются благодаря алгоритмам обнаружения интересующей области в иммерсивном видео. Такие алгоритмы могут быть основаны на анализе характерной особенности в изображениях видеоизображения, например, или в качестве другого примера, на основе статистических данных о перемещениях головы зрителей при просмотре иммерсивного видео с помощью HMD.

На фиг. 3 куб является выпуклой поверхностью отображения, и виртуальная камера составляет точку обзора в центре этой выпуклой поверхности отображения, из которой видеоизображение захватывается.

Фиг. 4 иллюстрирует пример захвата традиционного видеоизображения из иммерсивного видеоизображения, подготовленного для сферической поверхности отображения. Виртуальная камера помещается в центре 40 сферической поверхности 21 отображения (как иллюстрировано на фиг. 2). Данные управления камерой используются, чтобы направлять камеру в направлении 41 нацеливания и наклонять систему координат камеры до ориентации 42a. Часть 23a иммерсивного видеоизображения, определенная пересечением усеченной фигуры камеры и сферической поверхности отображения, не является ни плоской (т.е. она является частью сферы), ни прямоугольной (т.е., края части искривлены). Для кодирования в качестве традиционного видеоизображения, визуальный контент части 23a выпрямляется для того, чтобы быть отображаемым на плоской прямоугольной поверхности отображения без искажения. Горизонтальный и вертикальный угол обзора камеры, полученный из данных управления камерой, определяют размер усеченной фигуры камеры и, как следствие, размер части 23a. Значения для параметра угла обзора должны следовать обычным значениям для традиционных камер. Широкие планы получаются с горизонтальным углом обзора около шестидесяти градусов. Свыше шестидесяти градусов появляются эффекты широкоугольного искажения. Более узкие углы соответствуют увеличению изображения. Что касается небольшого значения, могут возникать проблемы разрешения, когда камера захватывает иммерсивное видеоизображение со своим собственным максимальным разрешением. В результате, редактирование данных управления камерой должно выполняться с большой осторожностью.

Данные управления камерой могут изменяться со временем. Внезапное изменение в значении параметра соответствует резке при монтаже традиционного видеоизображения. Непрерывное изменение соответствует эффекту камеры. Например, непрерывное изменение в направлении нацеливания камеры может соответствовать панорамированию, если фон иммерсивного видеоизображения не поворачивается в ту же сторону с той же скоростью. Такое непрерывное изменение в направлении нацеливания традиционной камеры может также быть использовано, чтобы компенсировать панорамирование в иммерсивном видеоизображении и, таким образом, захватывать неподвижный кадр. Другие данные управления камерой могут изменяться со временем. Как иллюстрировано на фиг. 4, угол обзора может уменьшаться, чтобы изменять размер части 23a в часть 23b. Этот эффект может соответствовать увеличению изображения. Ориентация усеченной фигуры может также изменяться с направления 42a на направление 42b, задействуя наклон камеры влево, например.

Фиг. 5 иллюстрирует пример захвата традиционного видеоизображения из иммерсивного видеоизображения, подготовленного для кубической поверхности отображения. Камера помещается в центре 50 куба 32 (как иллюстрировано на фиг. 3) и захватывает традиционное видеоизображение из этой точки обзора согласно данным управления камерой. Захваченное традиционное видеоизображение является частью поверхности отображения и может быть меньше или больше лицевой поверхности куба и/или может быть распределено на нескольких лицевых поверхностях куба. В варианте, как показано на фиг. 5, куб переориентируется согласно параметру 51a направления нацеливания и изменяется в размере согласно параметру размера усеченной фигуры для того, чтобы делать кадр 53a традиционного видеоизображения помещающимся на лицевой поверхности куба. Параметр ориентации управляет наклоном куба. Если кадр 53a является прямоугольным, поверхность отображения приспосабливается в виде параллелепипеда. Эта ориентация приспосабливается к управлению разрешением, так как изменение размера лицевых поверхностей изменяет площадь поверхности отображения и функцию отображения и, как следствие, разрешение изображений, закодированных в кадре.

Данные управления камерой могут изменяться со временем внезапным или непрерывным образом. Фиг. 5 иллюстрирует пример, в котором направление нацеливания изменяется со значения 51a на значение 51b и размер усеченной фигуры переходит со значения 53a в значение 53b. В этом примере обратная поверхность поверхности отображения переориентируется, чтобы быть перпендикулярной направлению 53b нацеливания. Уменьшение размера усеченной фигуры (которое соответствует эффекту увеличения изображения) модифицирует размер передней лицевой поверхности и, как следствие, формы боковых лицевых поверхностей. Поверхность 54 отображения становится усеченной пирамидой, ведя к модификации функции отображения (т.е., способа, которым пикселы организуются в кадре иммерсивного видеоизображения).

Преимущество такого преобразования поверхности отображения заключается в том, чтобы упрощать удаление части, захваченной для традиционного видеоизображения, из иммерсивного видеоизображения. Такая технология предоставляет возможность минимизировать необходимую площадь в кадре иммерсивного видеоизображения для кодирования цветовой информации. Другим преимуществом является то, что поверхность отображения, используемая для традиционного видеоизображения, уже является плоской и прямоугольной (т.е. составление кусочных частей не требуется).

Фиг. 6 иллюстрирует пример двух традиционных видеоизображений 61 и 63, захваченных из иммерсивного видеоизображения 60, и пример этого иммерсивного видеоизображения, из которых две части, используемые для упомянутых двух традиционных видеоизображений, были удалены. В примере на фиг. 6 иммерсивное видеоизображение подготовлено для сферической поверхности отображения, как иллюстрировано на фиг. 2. Первое традиционное видеоизображение 61 (также называемое первым видеоизображением) захватывается камерой, помещенной в центре сферы отображения и нацеленной в направлении части 62 иммерсивного видеоизображения 60. Захваченная часть 62 выпрямляется для того, чтобы составлять традиционное видеоизображение 61, и удаляется из иммерсивного видеоизображения 60. В примере на фиг. 6 удаление принимает форму заполнения площади части цветом по умолчанию. Это имеет преимущество облегчения сжатой версии кадра 60.

Удаление части из иммерсивного видеоизображения может принимать различные формы согласно поверхности отображения, для которой иммерсивное видеоизображение подготовлено. С иммерсивными видеоизображениями, подготовленными для параллелепипедной поверхности отображения, например, удаление может принимать форму модификации функции отображения для того, чтобы оптимизировать (т.е. уменьшать, насколько возможно) площадь кадра иммерсивного видеоизображения. Как иллюстрировано на фиг. 5, форма поверхности отображения может быть модифицирована. В результате, функция отображения изменяется, и размер кадра приспосабливается, чтобы соответствовать новой функции отображения.

Из одного иммерсивного видеоизображения возможно захватывать несколько традиционных видеоизображений (т.е., первые видеоизображения) с различными данными управления камерой. На фиг. 6 второе традиционное видеоизображение 63 захватывается из традиционной камеры, помещенной в центре сферы и направленной посредством других данных управления камерой. Захваченная часть 64 выпрямляется для того, чтобы составлять традиционное видеоизображение 63, и удаляется из иммерсивного видеоизображения 60. Со сферической поверхностью отображения проекция захваченной части на кадре не является прямоугольной.

Фиг. 7 показывает вариант осуществления аппаратных средств аппарата 70, сконфигурированных, чтобы реализовывать способы, описанные относительно фиг. 8 или 9. В этом примере устройство 70 содержит следующие элементы, соединенные друг с другом шиной 71 для адресов и данных, которая также передает тактовый сигнал:

- микропроцессор 72 (или CPU), который является, например, DSP (или цифровым сигнальным процессором);

- энергонезависимую память типа 73 ROM (постоянное запоминающее устройство);

- оперативное запоминающее устройство или RAM (74);

- интерфейс 75 I/O (ввода/вывода) для приема данных для передачи, от приложения; и

- графическую карту 76, которая может содержать регистры оперативного запоминающего устройства;

- источник 77 мощности.

В соответствии с примером, источник 77 мощности является внешним по отношению к устройству. В каждом из вышеупомянутых запоминающих устройств слово "регистр", используемое в спецификации, может соответствовать области небольшой емкости (несколько бит) или очень большой области (например, всей программе или большому объему принятых или декодированных данных). ROM 73 содержит, по меньшей мере, программу и параметры. ROM 73 может хранить алгоритмы и инструкции, чтобы выполнять способы в соответствии с настоящими принципами. После включения питания, CPU 72 выгружает программу в RAM и выполняет соответствующие инструкции.

RAM 74 содержит, в регистре, программу, выполняемую посредством CPU 72 и выгруженную после включения устройства 70, входные данные в регистре, промежуточные данные в различных состояниях способа в регистре и другие переменные, используемые для выполнения способа в регистре.

Реализации, описанные в данном документе, могут быть реализованы, например, в способе или процессе, аппарате, программе системы программного обеспечения, потоке данных или сигнале. Даже если обсуждается только в контексте единственной формы реализации (например, обсуждается только как способ или устройство), реализация обсуждаемых отличительных признаков может также быть реализована в других формах (например, программе). Аппарат может быть реализован, например, в соответствующих аппаратных средствах, программном обеспечении и микропрограммном обеспечении. Способы могут быть реализованы, например, в таком аппарате, как, например, процессор, который означает устройства обработки в целом, включающие в себя, например, компьютер, микропроцессор, интегральную схему или программируемое логическое устройство. Процессоры также включают в себя устройства связи, такие как, например, компьютеры, сотовые телефоны, переносные/персональные цифровые помощники ("PDA"), телевизионные приставки и другие устройства, которые обеспечивают обмен информацией между конечными пользователями.

В соответствии с примером формирования обратно совместимого потока иммерсивного видеоизображения, как иллюстрировано на фиг. 8, иммерсивное видеоизображение и данные управления камерой получаются из источника. Например, источник принадлежит набору, содержащему:

- локальную память (73, 74 или 76), например, видеопамять или RAM (или оперативное запоминающее устройство), флэш-память, ROM (или постоянное запоминающее устройство), жесткий диск;

- интерфейс (75) запоминающего устройства, например, интерфейс с запоминающим устройством большой емкости, RAM, флэш-памятью, ROM, оптическим диском или магнитным диском; и

- интерфейс (75) связи, например, проводной интерфейс (например, шинный интерфейс, интерфейс глобальной вычислительной сети, интерфейс локальной вычислительной сети) или беспроводной интерфейс (такой как IEEE 802.11 интерфейс или Bluetooth® интерфейс).

Согласно одному конкретному варианту осуществления, алгоритмы, реализующие этапы способа формирования обратно совместимого иммерсивного видеопотока и описанные далее в данном документе на фиг. 9, хранятся в памяти GRAM графической карты 76, ассоциированной с устройством 70, реализующим эти этапы. Согласно варианту, часть RAM (74) выделяется посредством CPU (72) для хранения алгоритмов. Эти этапы ведут к формированию видеопотока, который отправляется адресату, принадлежащему набору, содержащему локальную память, например, видеопамять (74), RAM (74), ROM (73), флэш-память (73) или жесткий дик (73), интерфейс (75) запоминающего устройства, например, интерфейс с запоминающим устройством большой емкости, RAM, ROM, флэш-памятью, оптическим диском или магнитным диском, и/или принимается от интерфейса (75) связи, например, интерфейса линии связи типа "точка-точка", шины, линии связи типа "точка-много точек" или сети широковещания.

В соответствии с примерами, устройство 70, сконфигурированное с возможностью реализовывать способ формирования обратно совместимого иммерсивного видеопотока, описанный в отношении с фиг. 8, принадлежит набору, содержащему:

- мобильное устройство;

- устройство связи;

- игровое устройство;

- планшет (или планшетный компьютер);

- портативный компьютер;

- микросхема кодирования;

- сервер фотографий; и

- видеосервер (например, сервер широковещания, сервер видео по запросу или веб-сервер).

В соответствии с примером составления видеоизображения из обратно совместимого иммерсивного видеопотока, поток, представляющий обратно совместимое иммерсивное видеоизображение, получается из источника. Для примера, поток считывается из локальной памяти, например, видеопамяти (74), RAM (74), ROM (73), флэш-памяти (73) или жесткого диска (73). В варианте, поток принимается от интерфейса (75) запоминающего устройства, например, интерфейса с запоминающим устройством большой емкости, RAM, ROM, флэш-памяти, оптического диска или магнитного диска и/или принимается от интерфейса (75) связи, например, интерфейса с линией связи типа "точка-точка", шины, линии связи типа "точка-много точек" или сети широковещания.

Согласно одному конкретному варианту осуществления, алгоритмы, реализующие этапы способа составления видеоизображения из обратно совместимого иммерсивного видеопотока для устройства воспроизведения и описанные далее в данном документе на фиг. 9, хранятся в памяти GRAM графической карты 76, ассоциированной с устройством 70, реализующим эти этапы. Согласно варианту, часть RAM (74) выделяется посредством CPU (72) для хранения алгоритмов. Эти этапы ведут к составлению видеоизображения, которое отправляется адресату, принадлежащему набору, содержащему:

- мобильное устройство;

- устройство связи;

- игровое устройство;

- телевизионную приставку;

- телевизор;

- планшет (или планшетный компьютер);

- портативный компьютер;

- дисплей; и

- микросхему декодирования.

Фиг. 8 схематично показывает вариант осуществления способа 80 формирования обратно совместимого иммерсивного видеопотока, когда реализуется в устройстве обработки, таком как устройство 70 согласно неограничивающему предпочтительному варианту осуществления.

На этапе 81 инициализации устройство 70 получает иммерсивное видеоизображение из источника. Следует отметить, что этап получения информации из источника в настоящем документе может рассматриваться либо как этап считывания такой информации в блоке памяти электронного устройства, либо как этап приема такой информации от другого электронного устройства через средство связи (например, через проводное или беспроводное соединение или посредством контактного соединения). Устройство 70 загружает данные управления камерой из источника. Источник данных может быть тем же, что и источник иммерсивного видеоизображения. В варианте два источника являются различными. Например, данные управления камерой могут быть сохранены в памяти устройства 70 (или даже записаны в программе, реализующей способ), в то время как иммерсивное видеоизображение получается от видеосервера.

Этапы 82 и 83 выполняются параллельно. В варианте, этап 82 выполняется перед этапом 83. В другом варианте этап 83 выполняется перед этапом 82. На этапе 82 иммерсивное видеоизображение отображается на поверхности отображения, для которой оно подготовлено. Виртуальная камера помещается в центр поверхности отображения. Камера направляется согласно данным управления камерой, которые определяют часть иммерсивного видеоизображения, которая составляет визуальный контент каждого первого традиционного видеоизображения. Что касается каждого из первых традиционных видеоизображений, захваченная часть кодируется как традиционное видеоизображение и подготавливается в качестве видеопотока. Согласно варианту, этап 82 не использует виртуальную камеру и вырезает часть иммерсивного видеокадра, когда получен из источника, выпрямляет визуальный контент при необходимости и кодирует вычисленный кадр как традиционное видеоизображение. На этапе 83 второй иммерсивный видеокадр подготавливается посредством удаления частей, захваченных для первых традиционных видеоизображений из иммерсивного видеоизображения, когда получен из источника. Как иллюстрировано на фиг. 4-6, удаление части из иммерсивного видеоизображения может принимать различные формы согласно форме поверхности отображения, для которой иммерсивное видеоизображение было подготовлено. Этап 83 использует данные управления камерой, чтобы определять формы и части для удаления. Что касается этапа 82, возможно обрабатывать этот этап 83 непосредственно по кадру иммерсивного видеоизображения или использовать виртуальную камеру, помещенную в центре поверхности отображения, иммерсивное видеоизображение отображается на поверхности отображения. В другом варианте осуществления этапы 82 и 83 выполняются на удаленном устройстве. Первое и второе видеоизображения подготавливаются посредством другого устройства и сохраняются на носителе или передаются устройству 70. Этапы 82 и 83 формирования состоят в получении видеоизображений, сформированных на удаленном устройстве.

Необязательный этап 84 кодирования информационных данных, представляющих описание частей, используемых для захвата первых традиционных видеоизображений, выполняется параллельно с этапами 82 и 83. В варианте этапы 82, 83 и 84 выполняются последовательно в любом порядке. В варианте этап 84 не выполняется, и данные не кодируются. Эти данные описывают части иммерсивного видеоизображения, которые удалены на этапе 83. В зависимости от поверхности отображения иммерсивного видеоизображения, как распознано на этапе 83, упомянутые данные кодируют описание способа и местоположения, в котором первые традиционные видеоизображения должны быть отображены, для того, чтобы найти иммерсивное видеоизображение, когда получено из источника. Информационные данные относятся к данным управления камерой и к способу, которым поверхность отображения была подготовлена при захвате первых традиционных видеоизображений.

На этапе 85 формируется обратно совместимый иммерсивный видеопоток. По меньшей мере, одно первое традиционное видеоизображение упаковывается в поток как первый синтаксический элемент. Второе иммерсивное видеоизображение упаковывается в поток как второй синтаксический элемент. Все видеоизображения кодируются и сжимаются с помощью кодера изображения/видеоизображения, например, кодера с потерей типа JPEG, JPEG2000, MPEG2, рекомендация HEVC ("High Efficiency Video Coding", SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, рекомендация ITU-T H.265, Сектор стандартизации электросвязи для ITU, апрель 2013) или рекомендация H264/AVC ("Advanced video coding for generic audiovisual Services", SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS, рекомендация ITU-T H.264, Сектор стандартизации электросвязи для ITU, февраль 2014)). Если информационные данные были сформированы на этапе 84, они добавляются в поток как третий синтаксический элемент. Эти два или три синтаксических элемента упаковываются в контейнер потока, который предоставляет возможность декодеру извлекать каждый синтаксический элемент независимо, такой как AVI или MPEG4, например.

Фиг. 9 схематично показывает вариант осуществления способа 90 составления видеоизображения из обратно совместимого иммерсивного видеопотока, когда реализуется в устройстве обработки, таком как устройство 70 согласно неограничивающему предпочтительному варианту осуществления.

На этапе 91 инициализации устройство 70 получает обратно совместимый иммерсивный видеопоток из источника. Следует отметить, что этап получения информации из источника в настоящем документе может рассматриваться либо как этап считывания такой информации в блоке памяти электронного устройства, либо как этап приема такой информации от другого электронного устройства через средство связи (например, через проводное или беспроводное соединение или посредством контактного соединения).

Тестируется этап 92 с условием. Когда устройство 70 является или соединено с устройством воспроизведения традиционного видеоизображения, выполняется этап 93. Когда устройство 70 является или соединено с устройством воспроизведения иммерсивного видеоизображения, выполняется этап 95. В другом варианте осуществления устройство 70 соединяется с несколькими устройствами воспроизведения, некоторые являются устройствами воспроизведения традиционного видеоизображения, а другие являются устройствами воспроизведения иммерсивного видеоизображения. В таком варианте осуществления оба этапа 93 и 95 выполняются параллельно, и видеоизображения, составленные посредством каждой ветви способа, отправляются соответствующим устройствам воспроизведения.

Этап 93 состоит в извлечении одного традиционного видеоизображения из потока. Различные синтаксические элементы обратно совместимого иммерсивного видеопотока упаковываются в контейнер, который предоставляет возможность приемнику независимо извлекать один заданный синтаксический элемент. Формат контейнера является, например, AVI или MPEG4. Если информация о предпочтительном видеоизображении для отображения не присутствует в заголовках потока, устройство 70 извлекает первый из первых синтаксических элементов. При приеме потока, организованного посредством такого контейнера, обычные проигрыватели традиционного видеоизображения конфигурируются для воспроизведения каждого первого синтаксического элемента. Преимущество обратно совместимого иммерсивного видеопотока, как описано в настоящем изобретении, заключается в возможности непосредственного считывания посредством обычных проигрывателей традиционного видеоизображения. После того как синтаксический элемент, который кодирует выбранное видеоизображение, извлечен, выполняется этап 94.

На этапе 94 традиционное видеоизображение, извлеченное из потока, декодируется для отправки устройству воспроизведения. Этот этап может включать в себя этап распаковки, с помощью кодировщика, например, MPEG2, рекомендации HEVC или H264/AVC. Составленное традиционное видеоизображение отправляется устройству воспроизведения, присоединенному к устройству 70. В варианте устройство 70 является устройством воспроизведения традиционного видеоизображения, и составленное видеоизображение отображается на экране устройства 70.

На этапе 95 каждые первые синтаксические элементы и второй синтаксический элемент потока извлекаются из потока и декодируются. Каждый первый синтаксический элемент используется для декодирования традиционного видеоизображения. Второй элемент синтаксиса используется для декодирования иммерсивного видеоизображения, из которого была удалена, по меньшей мере, одна часть. Когда третий элемент синтаксиса присутствует в потоке, параллельно выполняется этап 96. В варианте этап 96 выполняется перед или после этапа 95. На этапе 96 третий синтаксический элемент потока извлекается из потока, и информационные данные декодируются. Эти информационные данные представляют элементы описания, включающие в себя форму, местоположение и размер частей, которые были удалены из иммерсивного видеоизображения, чтобы формировать второй синтаксический элемент.

Этап 97 состоит в составлении иммерсивного видеопотока из кадров извлеченных видеоизображений на этапе 95. Если третий синтаксический элемент не был обнаружен в структуре потока, информационные данные устанавливаются в значение по умолчанию. Каждый кадр первых традиционных видеоизображений искажается, повторно масштабируется и транслируется согласно информационным данным. После этой операции эти модифицированные кадры заполняют части иммерсивного видеоизображения, из которых они были удалены, когда поток был сформирован. Эти модифицированные кадры накладываются на второй иммерсивный видеокадр. Результатом этого этапа является иммерсивный видеокадр без удаленной части. Этот результирующий кадр отображается на поверхности отображения иммерсивного видеоизображения. В варианте наложение выполняется на поверхности отображения. В другом варианте осуществления устройство 70 приспособлено отслеживать часть иммерсивного видеоизображения, просматриваемого пользователем, и накладывать первые традиционные видеоизображения на иммерсивное видеоизображение, только если соответствующие части принадлежат области просмотра пользователя (или части, немного более крупной).

Фиг. 10 показывает примерную структуру 100 обратно совместимого иммерсивного видеопотока. Структура состоит в контейнере, который организует поток в независимых синтаксических элементах. Структура может содержать часть 101 заголовка, которая является набором данных, общих для каждого из синтаксических элементов потока. Например, часть заголовка содержит метаданные о синтаксических элементах, описывающие природу и роль каждого из них. Например, часть заголовка может содержать информацию о предпочтительном первом традиционном видеоизображении, которое должно быть извлечено проигрывателями традиционного видеоизображения. Обратно совместимый иммерсивный видеопоток содержит первый элемент синтаксиса 102, который относится к первому традиционному видеоизображению, это видеоизображение представляет часть иммерсивного видеоизображения. Этот первый синтаксический элемент 102 является обязательным в потоке, и, когда информация о предпочтительном традиционном видеоизображении не присутствует в части заголовка, этот первый синтаксический элемент 102 рассматривается как предпочтительное традиционное видеоизображение по умолчанию. Дополнительные первые синтаксические элементы 103 могут быть добавлены в поток способом формирования, который иллюстрирован на фиг. 8. Каждый из этих дополнительных первых синтаксических элементов относится к первому традиционному видеоизображению, это видеоизображение представляет часть иммерсивного видеоизображения. Предпочтительное традиционное видеоизображение может быть одним из этих дополнительных синтаксических элементов потока, если обозначено как предпочтительное видеоизображение в части заголовка. Второй элемент синтаксиса 104 является обязательным и относится ко второму иммерсивному видеоизображению, сформированному из иммерсивного видеоизображения, из которого упомянутая, по меньшей мере, одна часть была удалена. Этот второй синтаксический элемент 104 имеет часть заголовка, которая содержит информацию о поверхности отображения и функцию отображения, для которой второе иммерсивное видеоизображение подготовлено. В варианте часть заголовка второго синтаксического элемента 104 собирается с частью 101 заголовка потока. Согласно другому варианту осуществления эта информация изменяется со временем и синхронизируется со вторым иммерсивным видеоизображением. Информация может быть включена вместе со вторым синтаксическим элементом вместо части заголовка.

Необязательный третий синтаксический элемент 105, который относится к информационным данным, представляющим описание упомянутой, по меньшей мере, одной части, может быть включен в структуру потока. Эти информационные данные представляют элементы описания, включающие в себя форму, местоположение и размер частей, которые были удалены из иммерсивного видеоизображения, чтобы формировать второй синтаксический элемент. В варианте эти информационные данные изменяются со временем и синхронизируются со вторым иммерсивным видеоизображением второго синтаксического элемента.

Естественно, настоящее раскрытие сущности не ограничено вышеописанными вариантами осуществления. В частности, настоящее изобретение не ограничивается способом формирования обратно совместимого иммерсивного видеопотока и способом составления видеоизображения из обратно совместимого иммерсивного видеопотока для устройства воспроизведения. Реализация вычислений, необходимых для формирования такого потока или для составления видеоизображения из такого потока, не ограничивается реализацией в CPU, но также распространяется на реализацию в любом типе программ, например, программах, которые могут быть исполнены посредством микропроцессора типа GPU.

Реализации, описанные в данном документе, могут быть реализованы, например, в способе или процессе, аппарате, программе системы программного обеспечения, потоке данных или сигнале. Даже если обсуждается только в контексте единственной формы реализации (например, обсуждается только как способ или аппарат), реализация обсуждаемых отличительных признаков может также быть реализована в других формах (например, программе). Аппарат может быть реализован, например, в соответствующих аппаратных средствах, программном обеспечении и микропрограммном обеспечении. Способы могут быть реализованы, например, в таком аппарате, как, например, процессор, который означает устройства обработки в целом, включающие в себя, например, компьютер, микропроцессор, интегральную схему или программируемое логическое устройство. Процессоры также включают в себя устройства связи, такие как, например, смартфоны, планшеты, компьютеры, мобильные телефоны, переносные/персональные цифровые помощники ("PDA"), видеосерверы, телевизионные приставки и другие устройства.

Реализации различных процессов и признаков, описанных в данном документе, могут быть осуществлены во множестве различных видов оборудования или приложений, в частности, например, в оборудовании или в приложениях, ассоциированных с кодированием данных, декодированием данных, созданием представлений, обработкой текстуры и другой обработкой изображений и связанной информацией текстуры и/или информацией глубины. Примеры такого оборудования включают в себя кодер, декодер, пост-процессор, обрабатывающий выходные данные из декодера, предварительный процессор, предоставляющий входные данные кодеру, видеокодер, видеодекодер, веб-сервер, телевизионную приставку, портативный компьютер, персональный компьютер, сотовый телефон, PDA и другие устройства связи. Должно быть очевидным, что оборудование может быть мобильным и даже установленным в мобильном транспортном средстве.

Дополнительно, способы могут быть реализованы посредством инструкций, выполняемых процессором, и такие инструкции (и/или значения данных, сформированные посредством реализации) могут храниться на процессорночитаемом носителе, таком как, например, интегральная схема, носитель программного обеспечения или другое запоминающее устройство, такое как, например, жесткий диск, компакт-диск ("CD"), оптический диск (такой как, например, DVD, часто называемый цифровым универсальным диском или цифровым видеодиском), оперативное запоминающее устройство ("RAM") или постоянное запоминающее устройство ("ROM"). Инструкции могут формировать прикладную программу, материально осуществленную на процессорночитаемом носителе. Инструкции могут быть, например, в аппаратных средствах, микропрограммном обеспечении, программном обеспечении или сочетании. Инструкции могут содержаться, например, в операционной системе, в отдельном приложении или в комбинации означенного. Следовательно, процессор может характеризоваться, например, в качестве как устройства, выполненного с возможностью осуществлять процесс, так и устройства, которое включает в себя процессорночитаемый носитель (к примеру, устройство хранения данных), имеющий инструкции для выполнения процесса. Дополнительно, процессорночитаемый носитель может хранить, в дополнение к или вместо инструкций, значения данных, сформированные посредством реализации.

Специалистам данной области техники должно быть очевидным, что реализации также могут формировать множество сигналов, отформатированных с возможностью переносить информацию, которая, например, может сохраняться или передаваться. Информация может включать в себя, например, инструкции для осуществления способа или данные, сформированные посредством одной из описанных реализаций. Например, сигнал может форматироваться с возможностью переносить в качестве данных правила для записи или считывания синтаксиса описанного варианта осуществления или переносить в качестве данных фактические синтаксические значения, записанные посредством описанного варианта осуществления. Этот сигнал, например, может быть отформатирован как электромагнитная волна (к примеру, с использованием радиочастотного участка спектра) или как сигнал в полосе модулирующих частот. Форматирование может включать в себя, например, кодирование потока данных и модуляцию несущей с потоком кодированных данных. Информация, которую переносит сигнал, например, может быть аналоговой или цифровой информацией. Как известно, сигнал может передаваться по множеству различных линий проводной или беспроводной связи. Сигнал может быть сохранен на процессорночитаемом носителе.

Был описан ряд реализаций. Тем не менее, следует понимать, что могут вноситься различные модификации. Например, элементы различных реализаций могут комбинироваться, дополняться, модифицироваться или удаляться для того, чтобы формировать другие реализации. Дополнительно, специалисты в данной области техники должны понимать, что другие структуры и процессы могут быть использованы вместо раскрытых структур и процессов, и результирующие реализации должны выполнять, по меньшей мере, практически идентичную функцию(и), по меньшей мере, практически идентичным способом(ами), чтобы добиваться, по меньшей мере, практически идентичного результата(ов), что и раскрытые реализации. Соответственно, эти и другие реализации предполагаются посредством этой заявки.

Изобретение относится к области форматирования обратно совместимого потока, представляющего иммерсивное видеоизображение, например, когда такой поток распределяется разнородному набору клиентских устройств, некоторые из клиентских устройств конфигурируются, чтобы отображать традиционные прямоугольные видеоизображения, а другие конфигурируются, чтобы отображать иммерсивные видеоизображения. Техническим результатом является преодоление недостатка формата для обратно совместимого иммерсивного видеопотока, который мог бы быть надлежащим образом отображен на устройствах воспроизведения как традиционного, так и иммерсивного видеоизображения. По меньшей мере, одно традиционное прямоугольное видеоизображение захватывается из иммерсивного видеоизображения, полученного из источника. Множество данных управления камерой используется для определения того, какие части иммерсивного видеоизображения будут составлять традиционные видеоизображения. Эти части удаляются из иммерсивного видеоизображения, и каждые подготовленные видеоизображения упаковываются в поток. Структура из потока является контейнером. Информационные данные о местоположении и размере удаленных частей могут быть добавлены в поток. 4 н. и 9 з.п. ф-лы, 10 ил.

1. Способ (80) формирования потока (100) из видеоизображения (20, 30), подготовленного для выпуклой поверхности отображения, способ содержит этапы, на которых:

формируют (82), по меньшей мере, одно первое видеоизображение (61, 63), кадр первого видеоизображения, являющийся частью кадра видеоизображения (20, 30) и выпрямляющийся для того, чтобы отображать плоскую прямоугольную поверхность отображения;

формируют (83) второе видеоизображение (60), причем второе видеоизображение является видеоизображением (20, 30), в котором части, соответствующие упомянутому, по меньшей мере, одному первому видеоизображению, заполнены цветом по умолчанию; и

формируют (85) поток (100), содержащий первый синтаксический элемент (102, 103), относящийся, по меньшей мере, к одному первому видеоизображению (61, 63), и второй синтаксический элемент (104), относящийся к упомянутому второму видеоизображению (60).

2. Способ по п. 1, в котором поток (100) дополнительно содержит третий синтаксический элемент (105), содержащий метаданные, представляющие описание части видеокадра упомянутого, по меньшей мере, одного первого видеоизображения.

3. Способ по п. 2, в котором упомянутые метаданные изменяются со временем.

4. Способ по п. 2, в котором упомянутое формирование (82), по меньшей мере, одного первого видеоизображения дополнительно содержит этап, на котором переориентируют упомянутую поверхность отображения согласно упомянутым данным.

5. Устройство, сконфигурированное, чтобы формировать поток (100) из видеоизображения (20, 30), подготовленного для выпуклой поверхности отображения, устройство содержит:

генератор видеоизображения, чтобы формировать (82) кадр первого видеоизображения, являющийся частью кадра видеоизображения (20, 30) и выпрямляющийся для того, чтобы отображать плоскую прямоугольную поверхность отображения;

генератор видеоизображения, чтобы формировать (83) второе видеоизображение из иммерсивного видеоизображения (20, 30), в котором части, соответствующие упомянутой, по меньшей мере, одной части, заполнены цветом по умолчанию; и

генератор потока, чтобы формировать (85) поток (100), содержащий первый синтаксический элемент (102, 103), относящийся, по меньшей мере, к одному первому видеоизображению, и второй синтаксический элемент (104), относящийся к упомянутому второму видеоизображению.

6. Устройство по п. 5, в котором генератор потока дополнительно сконфигурирован, чтобы добавлять третий синтаксический элемент (105) в поток (100), причем упомянутый третий синтаксический элемент относится к метаданным, представляющим описание частей кадра видеоизображения, соответствующего упомянутому, по меньшей мере, одному первому видеоизображению.

7. Устройство по п. 6, в котором упомянутые метаданные изменяются со временем.

8. Способ (90) составления видеоизображения для устройства воспроизведения из потока (100), несущего данные, представляющие иммерсивное видеоизображение (20, 30), подготовленное для выпуклой поверхности отображения, способ содержит этапы, на которых:

когда устройство является устройством воспроизведения иммерсивного видеоизображения:

получают из первого синтаксического элемента (102, 103) потока, по меньшей мере, одно первое видеоизображение (61, 63), кадр первого видеоизображения, являющийся частью кадра иммерсивного видеоизображения (20, 30) и выпрямляющийся для того, чтобы отображать плоскую прямоугольную поверхность отображения;

получают второе видеоизображение (104) из второго синтаксического элемента потока, упомянутое второе видеоизображение является иммерсивным видеоизображением (20, 30), в котором части, соответствующие упомянутому, по меньшей мере, одному первому видеоизображению, заполнены цветом по умолчанию; и

составляют видеоизображение посредством наложения упомянутого, по меньшей мере, одного первого видеоизображения на второе видеоизображение.

9. Способ по п. 8, в котором упомянутый поток дополнительно содержит третий синтаксический элемент (105), содержащий метаданные, представляющие описание частей кадра иммерсивного видеоизображения, соответствующего упомянутому, по меньшей мере, одному первому видеоизображению.

10. Способ по п. 9, в котором составление видеоизображения содержит этапы, на которых искажают, масштабируют и транслируют каждое первое видеоизображение согласно описанию части, соответствующей упомянутому первому видеоизображению, для наложения на второе видеоизображение.

11. Устройство, сконфигурированное, чтобы составлять видеоизображение из потока (100), несущего данные, представляющие иммерсивное видеоизображение (20, 30), подготовленное для выпуклой поверхности отображения, для устройства воспроизведения, устройство содержит память, ассоциированную с процессором, сконфигурированным, чтобы:

когда устройство является устройством воспроизведения иммерсивного видеоизображения,

получать из первого синтаксического элемента (102, 103) потока, по меньшей мере, одно первое видеоизображение (61, 63), кадр первого видеоизображения, представляющего собой часть кадра иммерсивного видеоизображения (20, 30) и выпрямляющийся для того, чтобы отображать плоскую прямоугольную поверхность отображения;

получать второе видеоизображение (60) из второго синтаксического элемента потока (104), упомянутое второе видеоизображение является иммерсивным видеоизображением (20, 30), в котором части, соответствующие упомянутому, по меньшей мере, одному первому видеоизображению, заполнены цветом по умолчанию; и

составлять видеоизображение посредством наложения каждого из упомянутого, по меньшей мере, одного первого видеоизображения на второе видеоизображение.

12. Устройство по п. 11, в котором упомянутый поток дополнительно содержит третий синтаксический элемент (105), содержащий метаданные, представляющие описание частей кадра иммерсивного видеоизображения, соответствующего упомянутой, по меньшей мере, одной части.

13. Устройство по п. 12, в котором составление видеоизображения содержит искажение, масштабирование и транслирование каждого первого видеоизображения (61, 63) согласно описанию части, соответствующей упомянутому первому видеоизображению, для наложения на второе видеоизображение.