СПОСОБ, УСТРОЙСТВО И ПОТОК ФОРМАТИРОВАНИЯ ИММЕРСИВНОГО ВИДЕО ДЛЯ УСТРОЙСТВ УНАСЛЕДОВАННОГО И ИММЕРСИВНОГО РЕНДЕРИНГА Российский патент 2021 года по МПК G06T15/10 H04N21/4402 H04N19/119 

1. Область техники

Настоящее раскрытие сущности относится к области техники форматирования обратно совместимого потока, представляющего иммерсивное видео, например, когда такой поток распределен в гетерогенный набор клиентских устройств, причем некоторые из клиентских устройств сконфигурированы с возможностью отображать унаследованные прямоугольные видео, а некоторые другие сконфигурированы с возможностью отображать иммерсивные видео.

2. Уровень техники

Видео представляет собой последовательность, по меньшей мере, из одного изображения. Фактически, изображение может рассматриваться как неподвижное видео. Видео кодируется в прямоугольном кадре, который представляет собой двумерную матрицу пикселов (т.е. элемент цветовой информации). Один кадр кодируется в расчете на изображение последовательности. Изображение кодируется согласно функции преобразования. Унаследованные видео, предназначенные для отображения на прямоугольном экране, кодируются согласно прямоугольному преобразованию. Иммерсивные видео предназначены для подготовки посредством рендеринга вокруг зрителя, т.е. зритель не имеет возможность видеть все изображение, а должен поворачивать свою голову (либо перемещать или использовать контроллер, например, джойстик или мышь), чтобы видеть части изображения за пределами своего поля зрения. Иммерсивные видео, когда кодируются в прямоугольном кадре, требуют функции иммерсивного преобразования, например, равнопрямоугольного преобразования, кубического преобразования или пирамидального преобразования.

Видеопоток подготавливается и форматируется согласно типу устройства рендеринга, на котором видео предназначено для подготовки посредством рендеринга. Устройства рендеринга унаследованного видео надлежащим образом не отображают иммерсивные видео, поскольку они сконфигурированы с возможностью декодировать видеокадры только согласно прямоугольному преобразованию. Аналогично, устройства рендеринга иммерсивного видео надлежащим образом не отображают унаследованные видео, поскольку они ожидают кадры, кодированные согласно иммерсивной проекции. Отсутствует формат для обратно совместимого иммерсивного видеопотока, который может надлежащим образом отображаться посредством устройств рендеринга унаследованного и иммерсивного видео.

3. Сущность изобретения

Цель настоящего раскрытия сущности состоит в том, чтобы преодолевать отсутствие формата для обратно совместимого иммерсивного видеопотока, который может надлежащим образом отображаться посредством устройств рендеринга унаследованного и иммерсивного видео. Настоящее раскрытие сущности относится к способу составления видеокадра для устройства рендеринга из видеопотока, при этом способ содержит:

- получение исходного видеокадра из видеопотока,

- получение первой информации из видеопотока, причем упомянутая первая информация представляет размер и позицию первой области упомянутого исходного видеокадра,

- когда устройство рендеринга представляет собой устройство рендеринга унаследованного видео, составление упомянутого видеокадра с упомянутой первой областью исходного видеокадра;

- когда устройство рендеринга представляет собой устройство рендеринга иммерсивного видео:

-- получение второй информации из видеопотока, причем упомянутая вторая информация представляет тип схемы, поле зрения упомянутой первой части, размер второй области и опорное направление,

-- компоновку преобразованной поверхности согласно упомянутой первой и второй информации и с использованием упомянутого исходного видеокадра,

-- составление видеокадра с помощью, по меньшей мере, одной виртуальной камеры, захватывающей участок упомянутой преобразованной поверхности.

Согласно конкретной характеристике, схема основана на иммерсивном преобразовании, принадлежащем набору иммерсивного преобразования, содержащему: равнопрямоугольное преобразование, кубическое преобразование и пирамидальное преобразование.

Согласно конкретному варианту осуществления, поток декодируется согласно стандарту высокоэффективного кодирования видео (HEVC), при этом первая информация переносится посредством параметров окна соответствия, при этом вторая информация переносится посредством дополнительной улучшающей информации (SEI).

Настоящее раскрытие сущности также относится к устройству, сконфигурированному с возможностью составлять видеокадр для устройства рендеринга из видеопотока, причем устройство содержит:

- средство для получения исходного видеокадра из видеопотока,

- средство для получения первой информации из видеопотока, причем упомянутая первая информация представляет размер и позицию первой области упомянутого исходного видеокадра,

- когда устройство рендеринга представляет собой устройство рендеринга унаследованного видео, процессор, сконфигурированный с возможностью составлять упомянутый видеокадр с упомянутой первой областью исходного видеокадра;

- когда устройство рендеринга представляет собой устройство рендеринга иммерсивного видео:

-- средство для получения второй информации из видеопотока, причем упомянутая вторая информация представляет тип схемы, поле зрения упомянутой первой части, размер второй области и опорное направление,

-- процессор, сконфигурированный с возможностью компоновать преобразованную поверхность согласно упомянутой первой и второй информации и с использованием упомянутого исходного видеокадра,

-- процессор, сконфигурированный с возможностью составлять видеокадр с помощью, по меньшей мере, одной виртуальной камеры, захватывающей участок упомянутой преобразованной поверхности.

Настоящее раскрытие сущности также относится к способу формирования видеопотока из иммерсивного видео, при этом способ содержит:

- кодирование первой части иммерсивного видеокадра согласно прямоугольному преобразованию;

- кодирование второй части иммерсивного видеокадра согласно преобразованию, переходящему от упомянутого прямоугольного преобразования к иммерсивному преобразованию;

- кодирование третьей части иммерсивного видеокадра согласно упомянутому иммерсивному преобразованию;

- составление видеокадра согласно схеме, содержащей упомянутую первую часть в качестве первой области, упомянутую вторую часть в качестве второй области и упомянутую третью часть в качестве третьей области;

- формирование видеопотока, включающего в себя упомянутый скомпонованный видеокадр, первую информацию относительно размера и местоположения упомянутой первой области и вторую информацию, содержащую, по меньшей мере, тип упомянутой схемы, поле зрения упомянутой первой части, размер второй области и опорное направление.

Согласно конкретному варианту осуществления, схема основана на иммерсивном преобразовании, принадлежащем набору иммерсивного преобразования, содержащему: равнопрямоугольное преобразование, кубическое преобразование и пирамидальное преобразование.

Согласно конкретной характеристике, поток основан на стандарте высокоэффективного кодирования видео (HEVC), при этом первая информация переносится посредством параметров окна соответствия, при этом вторая информация переносится посредством дополнительной улучшающей информации (SEI).

Настоящее раскрытие сущности также относится к устройству, сконфигурированному с возможностью формировать видеопоток из иммерсивного видео и содержащему:

- кодер, сконфигурированный с возможностью кодировать первую часть иммерсивного видеокадра согласно прямоугольному преобразованию;

- кодер, сконфигурированный с возможностью кодировать вторую часть иммерсивного видеокадра согласно преобразованию, переходящему от упомянутого прямоугольного преобразования к иммерсивному преобразованию;

- кодер, сконфигурированный с возможностью кодировать третью часть иммерсивного видеокадра согласно упомянутому иммерсивному преобразованию;

- процессор, сконфигурированный с возможностью составлять видеокадр согласно схеме, содержащей упомянутую первую часть в качестве первой области, упомянутую вторую часть в качестве второй области и упомянутую третью часть в качестве третьей области;

- формирователь видеопотоков, сконфигурированный с возможностью формировать видеопоток, включающий в себя упомянутый скомпонованный видеокадр, первую информацию относительно размера и местоположения упомянутой первой области и вторую информацию, содержащую, по меньшей мере, тип упомянутой схемы, поле зрения упомянутой первой части, размер второй области и опорное направление.

Настоящее раскрытие сущности также относится к потоку, переносящему данные, представляющие иммерсивное видео, и содержащему:

- видеокадр, организованный согласно схеме, содержащей первую область, кодированную согласно прямоугольному преобразованию, вторую область, кодированную согласно преобразованию, переходящему от упомянутого прямоугольного преобразования к иммерсивному преобразованию, и третью область, кодированную согласно упомянутому иммерсивному преобразованию,

- первую информацию, представляющую размер и местоположение упомянутой первой области в видеокадре,

- вторую информацию, содержащую, по меньшей мере, тип упомянутой схемы, поле зрения первой части, размер упомянутой второй области в видеокадре и опорное направление.

4. Краткое описание чертежей

Настоящее раскрытие сущности должно лучше пониматься, и другие характерные признаки и преимущества должны становиться очевидными после прочтения нижеприведенного описания, при этом описание ссылается на прилагаемые чертежи, на которых:

Фиг. 1 иллюстрирует кодирование на основе прямоугольного преобразования видеокадра, согласно конкретному варианту осуществления настоящих принципов;

Фиг. 2 показывает пример функции равнопрямоугольного преобразования по сравнению с прямоугольным преобразованием по фиг. 1, согласно конкретному варианту осуществления настоящих принципов;

Фиг. 3 иллюстрирует примерную схему функции кубического преобразования по сравнению с другими возможными преобразованиями по фиг. 1 и 2, согласно конкретному варианту осуществления настоящих принципов;

Фиг. 4 показывает примеры изображений, кодированных согласно различным преобразованиям, например, преобразованиям по фиг. 1, 2 и 3 и подготовленных посредством рендеринга посредством устройства рендеринга унаследованного видео, согласно конкретному варианту осуществления настоящих принципов;

Фиг. 5 иллюстрирует примерную схему обратно совместимого кадра, подготовленного для преодоления нежелательного искажения интересующей области при равнопрямоугольном преобразовании по фиг. 4, согласно конкретному варианту осуществления настоящих принципов;

Фиг. 6 показывает пример преобразования иммерсивного кадра, кодированного согласно равнопрямоугольному преобразованию, в обратно совместимый кадр, кодированный с помощью примерной схемы по фиг. 5, согласно конкретному варианту осуществления настоящих принципов;

Фиг. 7 иллюстрирует конкретный вариант осуществления структуры данных потока, переносящего данные, представляющие обратно совместимое иммерсивное видео, включающее в себя видеокадр, как проиллюстрировано на фиг. 5 и 6, согласно конкретному варианту осуществления настоящих принципов;

Фиг. 8 иллюстрирует примерную схему обратно совместимого кадра, подготовленного для преодоления нежелательных неоднородностей в интересующей области при кубическом преобразовании по фиг. 3, согласно конкретному варианту осуществления настоящих принципов;

Фиг. 9 показывает аппаратный вариант осуществления устройства, сконфигурированного с возможностью реализовывать способы, описанные в отношении с фиг. 10 или 11, согласно конкретному варианту осуществления настоящих принципов;

Фиг. 10 схематически показывает вариант осуществления способа формирования обратно совместимого иммерсивного видеопотока, реализованного в устройстве обработки по фиг. 9, таком как устройство согласно неограничивающему преимущественному варианту осуществления;

Фиг. 11 схематически показывает вариант осуществления способа составления видеокадра из обратно совместимого иммерсивного видеопотока для данного устройства рендеринга, реализованного в устройстве обработки, таком как устройство по фиг. 9 согласно неограничивающему преимущественному варианту осуществления.

5. Подробное описание вариантов осуществления

Далее описывается предмет изобретения со ссылкой на чертежи, на которых аналогичные номера ссылок используются для того, чтобы ссылаться на аналогичные элементы во всем описании. В нижеприведенном описании, для целей пояснения, многие конкретные подробности изложены для того, чтобы обеспечивать полное понимание настоящего изобретения. Следует понимать, что варианты осуществления предмета изобретения могут осуществляться на практике без этих конкретных подробностей.

Согласно неограничивающему варианту осуществления настоящего раскрытия сущности, раскрыт поток, кодирующий обратно совместимое иммерсивное видео. Также раскрыты способы и устройства для того, чтобы декодировать такой поток. Такой поток может декодироваться и подготавливаться посредством рендеринга устройствами рендеринга унаследованного видео, а также посредством устройств рендеринга иммерсивного видео. Такой поток, например, доставляется из сети (например, широковещательной сети, VoD-сети или Интернета) либо сохраняется на носителе (например, на DVD, диске Blu-ray или карте памяти в формате Memory Stick) независимо от устройства, которое декодирует его.

Устройство рендеринга унаследованного видео представляет собой устройство, допускающее декодирование унаследованных видеопотоков, кодированных в стандартных форматах, таких как MPEG2, H.264/AVC или H.265/HEVC. Устройство рендеринга унаследованного видео подготавливает посредством рендеринга декодированное видео на двумерном прямоугольном экране (например, телевизоре, видеопроекторе, планшетном компьютере или смартфоне). Следует отметить, что рендеринг представляет собой операцию подготовки изображения таким способом, что изображение является надлежащим образом отображаемым посредством устройства отображения. Абонентские приставки и процессоры, сконфигурированные с возможностью декодировать видеопоток, также рассматриваются в качестве устройств рендеринга видео. В одном конкретном варианте осуществления, обратно совместимый видеопоток использует стандартные параметры H.265/HEVC и имеет преимущество возможности декодирования посредством существующих устройств рендеринга унаследованного видео без предварительной модификации.

Способы для устройств рендеринга иммерсивного видео дополнительно детализированы в настоящем раскрытии сущности. Иммерсивные видео предназначены для подготовки посредством рендеринга вокруг зрителя, т.е. зритель не имеет возможность видеть все изображение, а должен поворачивать свою голову (либо перемещаться), чтобы видеть части изображения за пределами своего поля зрения. "Группа камер", например, представляет собой устройство рендеринга иммерсивного видео, которое состоит из нескольких видеопроекторов; проекторы отображают декодированное видео в нескольких направлениях вокруг зрителей. Устройства со шлемом-дисплеем (HMD), планшетные компьютеры или смартфоны, например, могут быть сконфигурированы с возможностью представлять собой устройства рендеринга иммерсивного видео, поскольку они оснащены блоками инерциальных измерений, которые отслеживают, по меньшей мере, ориентацию устройства в пространстве. Ориентация устройства определяет направление просмотра, и виртуальная камера захватывает часть окружающего иммерсивного видео, которое должно подготавливаться посредством рендеринга на прямоугольном экране устройства.

Также раскрыты способы и устройства для формирования обратно совместимого иммерсивного видеопотока из исходного иммерсивного видео. Видеокадры кодируются согласно, по меньшей мере, одной функции преобразования. Функция преобразования ассоциирует каждую точку поверхности преобразования с цветовой информацией из кадра. Для подготовки посредством рендеринга, проекционная функция применяется к поверхности преобразования, чтобы выбирать и/или адаптировать преобразованное изображение к экрану, на котором это должно отображаться. Функция преобразования является функцией устройства рендеринга видео. Проекционная функция ассоциирована с устройством отображения. Согласно конкретным вариантам осуществления, проекционная функция применяется посредством устройства рендеринга видео к поверхности преобразования, чтобы подготавливать кадр ожидаемым образом посредством конкретного устройства отображения, связанного с устройством рендеринга видео.

Фиг. 1 иллюстрирует режим кодирования на основе прямоугольного преобразования. Изображения видеопоследовательности кодируются в прямоугольном кадре 10, который предназначен для подготовки посредством рендеринга на прямоугольной поверхности 11. Функция 12 преобразования является простой, поскольку кадр 10 и поверхность 11 преобразования являются эквивалентными. Экран 13 может не иметь разрешения и/или четкости, идентичного разрешению и/или четкости поверхности 11 преобразования. Как следствие, проекционная функция 14 может повторно масштабировать и/или обрезать или отображать черные полосы на стороне поверхности 11 преобразования. На фиг. 1 кадр 10 и поверхность 11 преобразования имеют соотношение сторон 4:3, тогда как экран имеет соотношение сторон 16:9. В этом примере, проекционная функция 14 управляет обрезкой в середине изображения, чтобы формировать видео, которое умещается на экране 13. В разновидности, проекционная функция 14 добавляет черные полосы слева и справа от поверхности 11 преобразования с тем, чтобы получать видео, которое умещается на экране 13. В другом варианте осуществления, видео по фиг. 1 является стереоскопическим. В такой разновидности, кадр 10 содержит два различных изображения, которые преобразуются на двух различных поверхностях 11 преобразования. Поверхности преобразования комбинируются согласно типу экрана, чтобы подготавливать посредством рендеринга стереоскопический эффект.

Фиг. 2 показывает пример функции равнопрямоугольного преобразования. Последовательность изображений кодируется в прямоугольном кадре 20, предназначенном для преобразования на сферической поверхности 21 преобразования. Функция 22 преобразования устанавливает преобразование между каждым пикселом кадра 20 и точкой на поверхности 21 преобразования (и наоборот). На фиг. 2, функция 22 преобразования основана на равнопрямоугольной проекции (также называемой "равноотстоящей цилиндрической проекцией"). Изображение в кадре 20 искажается. Расстояния соблюдаются на экваторе и растягиваются на полюсах. Прямые линии более не являются прямыми, и перспективы искажаются. В разновидностях, функция 22 преобразования основана, например, на равноотстоящей конической проекции. Если экран 23 является прямоугольным, как в устройствах со шлемом-дисплеем (HMD) либо в планшетных компьютерах или смартфонах, часть поверхности 21 преобразования выбирается. Проекционная функция 24 состоит в выборе части поверхности 21 преобразования, видимой посредством камеры, расположенной в центре сферы, причем камера сконфигурирована в отношении поля зрения и разрешения, чтобы формировать изображение, которое непосредственно умещается на экране 23. Выбранное поле зрения зависит от характеристик устройства отображения. Для HMD, преимущественно, угол поля зрения находится близко к полю человеческого стереоскопического зрения, которое составляет приблизительно сто двадцать градусов. Направление наведения камеры соответствует направлению, на которое смотрит пользователь, и контроллер виртуальной камеры устройства рендеринга иммерсивного видео используется для того, чтобы модифицировать направление наведения камеры. В разновидности, видео по фиг. 2 является стереоскопическим. В такой разновидности, кадр 20 содержит два различных изображения, которые преобразуются на двух различных поверхностях 21 преобразования. Поверхности преобразования комбинируются согласно типу экрана, чтобы подготавливать посредством рендеринга стереоскопический эффект.

Фиг. 3 иллюстрирует примерную схему функции кубического преобразования. Последовательность изображений кодируется в прямоугольном (или квадратном) кадре 30, предназначенном для преобразования на кубической поверхности 31 преобразования. Функция 32 преобразования устанавливает соответствие между квадратами в кадре 30 и гранями куба 31. Наоборот, функция преобразования определяет то, как грани куба 31 организованы внутри поверхности кадра 30. Изображения на каждой грани не искажаются. Тем не менее в полном изображении кадра 30 линии являются кусочно-прямыми, и перспективы нарушаются. Изображение может содержать пустые квадраты (заполненные цветовой информацией по умолчанию или произвольной цветовой информацией, белым цветом в примере по фиг. 3). Проекционная функция работает в качестве проекционной функции по фиг. 2. Камера размещена в центре куба 31 и захватывает изображение, которое умещается на экране устройства рендеринга.

В разновидностях используются, например, другие поверхности преобразования и/или функции преобразования, преобразующие видеокадр в цилиндре или в пирамиде.

Фиг. 4 показывает примеры изображений, кодированных согласно различным функциям преобразования и подготовленных посредством рендеринга посредством устройства рендеринга унаследованного видео. Поскольку они подготавливаются посредством рендеринга посредством устройства рендеринга унаследованного видео, все изображения по фиг. 4 кодируются согласно прямоугольному преобразованию. Тем не менее они проецируются согласно различной проекционной функции. Изображение 40 извлекается из типичного унаследованного видео (т.е. видео, которое пользователи раньше смотрели на телевизоре или в кинотеатрах). Камера, которая захватывает изображение 40, использует функцию перспективной проекции. Для перспективной проекции, прямые линии являются прямыми, углы и пропорции соответствуют реальным углам и пропорциям, и перспективы соблюдаются. Камера захватывает часть окружающей среды. Эта часть называется интересующей областью (RoI), поскольку она представляет собой часть, которую режиссер выбирает для показа. Горизонтальное поле зрения перспективного прямоугольного изображения составляет, например, семьдесят градусов (70°), угол, который приблизительно соответствует почти периферийному человеческому зрению с хорошим различением цветов.

Изображение 41 захвачено с помощью широкоугольной камеры. Для такой проекционной функции, при подготовке посредством рендеринга плоского экрана, прямые линии более не являются прямыми, углы и пропорции более не соответствуют реальности, и перспективы искажаются. Интересующая область является более крупной для изображения 41. Горизонтальное поле зрения составляет более шестидесяти градусов (60°).

Изображение 42 представляет собой обрезку, извлеченную из иммерсивного изображения, которое кодируется согласно равнопрямоугольному преобразованию. Исходное иммерсивное изображение предназначено для подготовки посредством рендеринга посредством устройства рендеринга иммерсивного видео согласно перспективной проекции (т.е. относительно прямых линий, углов, пропорций и перспектив). Изображение 42 представляет собой участок изображения, кодированный с помощью равнопрямоугольного преобразования и декодированный с помощью прямоугольного преобразования. Как следствие, показанная интересующая область искажается для любого горизонтального поля зрения. Искажение локально изменяется согласно местоположению обрезки в исходном изображении и согласно полю зрения. Изображение 43 представляет собой участок изображения, кодированный с помощью кубического преобразования и декодированный с помощью прямоугольного преобразования. Здесь, перспектива сохраняется, но непрерывность нарушается, когда интересующая область перекрывает ребра куба.

Фиг. 5 иллюстрирует примерную схему 50 обратно совместимого кадра, подготовленного для преодоления нежелательного искажения интересующей области при равнопрямоугольном преобразовании. Эта схема 50 представляет собой прямоугольный кадр данного размера, например, 720×576 пикселов (PAL-четкость), 720×480 (NTSC-четкость), 1280×720 (HD1-четкость), 1920×1080 пикселов (HD2-четкость) или 4096×2160 (4K). Схема 50 состоит из трех (3) частей.

Часть 51 соответствует интересующей области исходного иммерсивного контента, захваченного, например, согласно перспективной проекции и кодированного согласно прямоугольному преобразованию. Этот субкадр 51 подготовлен с возможностью подготовки посредством рендеринга на устройствах рендеринга унаследованного видео. Размер субкадра 51 составляет данную четкость, например, 1920×1080 пикселов, если кадр 50 представляет собой 4K-кадр. Левый верхний угол субкадра 51 расположен в позиции (x, y) в кадре 50, например, x=1088 и y=540. Размер и позиция субкадра 51 являются постоянными в течение длительности видео. В разновидности, размер и/или позиция субкадра 51 варьируются во времени.

Часть 52 представляет собой прямоугольный кадр, кодирующий исходный иммерсивный контент согласно равнопрямоугольному преобразованию. Область, соответствующая части 53, вырезается из этого кадра. Часть 53 представляет собой переходную область, в которой изображение непрерывно переходит от прямоугольного преобразования (на своей центральной стороне) к равнопрямоугольному преобразованию (на своей периферийной стороне).

Фиг. 6 показывает пример преобразования иммерсивного кадра 60, кодированного согласно равнопрямоугольному преобразованию, в обратно совместимый кадр 50, кодированный с помощью примерной схемы по фиг. 5. Интересующая область выбирается, например, вручную посредством модуля управления или, например, автоматически с использованием алгоритма обработки изображений, например, на основе карты отличительных характеристик изображения. Интересующая область соответствует участку поля зрения иммерсивного контента (который составляет вплоть до 360°). Как пояснено выше, если перспективная проекция выбирается для интересующей области, поле зрения составляет вплоть до семидесяти градусов. В разновидности, широкий угол выбирается в качестве проекционной функции интересующей области.

В следующем примере, позиция (x, y) субкадра 51 в кадре 50 выбрана таким образом, чтобы иметь субкадр 51 в середине кадра. В разновидностях этого примера, уравнения могут быть адаптированы посредством трансляции системы отсчета.

С учетом горизонтального поля зрения, вертикальное поле зрения определяется посредством следующего уравнения:

[уравнение 1]

где w и h являются, соответственно, шириной и высотой субкадра 51. Для точки M_e (i_e, j_e) кадра 50, координата M_s в субкадре 51 определяется согласно уравнению 2:

[уравнение 2]

где w_e и h_e являются, соответственно, шириной и высотой кадра 50. Для каждого пиксела M_s (i, j) субкадра 51, ассоциированная трехмерная точка M_v вычисляется из уравнения 3). Координата M соответствующего пиксела в кадре 60 посредством проецирования нормализации точки на сфере (уравнение 4).

[уравнение 3]

[уравнение 4]

Функция f является функцией для преобразования из пространства изображений в промежуточное параметрическое пространство поверхности. Например, для равнопрямоугольного преобразования, функция f может задаваться следующим образом:

f: (i, j)->(θ, ϕ) [уравнение 4a]

ϕ=(i-h/2)/h*2π

θ=(j-w/2)/w*π

Функция является функцией для преобразования из промежуточного параметрического пространства в трехмерное пространство поверхности. Для равнопрямоугольного преобразования, трехмерная поверхность представляет собой сферу, и дельта может задаваться следующим образом:

delta: (θ,ϕ)->(X,Y,Z)

X=sin(ϕ) cos(θ)

Y=sin(ϕ) sin(θ)

Z=cos(ϕ)

Если поле зрения субкадра 51 меньше части поля зрения иммерсивного кадра 50, 60, занимаемой посредством субкадра 51, пикселы "сжимаются" в переходной области 53. Это имеет место в примере по фиг. 6, в котором горизонтальное поле зрения субкадра 51 составляет шестьдесят градусов, когда пространство, занятое посредством субкадра 51, составляет 168,75 градусов (1920×360/4096). В отличие от этого, если поле зрения субкадра 51 превышает часть поля зрения иммерсивного кадра 50, 60, занимаемую посредством субкадра 51, пикселы "растягиваются" в переходной области 53.

Примерный способ для того, чтобы заполнять переходную область 53, заключается в том, чтобы вычислять сглаженную интерполяцию от субкадра 51 прямоугольного преобразования к части 52 равнопрямоугольного преобразования; например, посредством определения весового коэффициента согласно расстоянию между двумя участками 51 и 52 кадра.

, [уравнение 5]

где m_x и m_y являются, соответственно, шириной и высотой допустимых запасов, задающих часть 53 вокруг субкадра 51. Координаты точки на сфере вычисляются согласно функции от весового коэффициента (уравнению 6), и координаты пиксела кадра 60, который следует использовать, получаются посредством уравнения 7.

[уравнение 6]

[уравнение 7]

Функция h используется для того, чтобы модулировать наклон перехода между двумя преобразованиями. С учетом положительной константы α, большей или равной 1, функция h, например, представляет собой одно из следующего:

В другом варианте осуществления, сглаженная интерполяция выполняется в трехмерном пространстве вместо параметрической поверхности, как подробно указано выше.

Фиг. 7 иллюстрирует конкретный вариант осуществления структуры данных потока 70, переносящего данные, представляющие обратно совместимое иммерсивное видео, включающее в себя видеокадр, как проиллюстрировано на фиг. 5 и 6. Кадр 50 по фиг. 5 и 6 кодируется в частях 71 рабочих данных потока. Глобальная или общая информация относительно контента включена в часть 72 заголовка. Изменяющаяся или повторяющаяся информация сохраняется в части 73 заголовка каждой части 71 рабочих данных.

Кадр 50 содержит субкадр 51, который адаптирован к устройству рендеринга унаследованного видео. Единственная информация, которая требуется этим устройствам для того, чтобы декодировать субкадр 51, представляет собой его местоположение и размер в кадре 60, также называется первой информацией в этом документе. Поскольку первая информация может изменяться во времени, либо поскольку заголовок контента, возможно, не принят посредством клиентского устройства (например, в случаях широковещательной передачи), первая информация включена в часть 73 заголовка каждой части 71 рабочих данных. В разновидности, первая информация включена в часть 72 заголовка контента. В другой разновидности первая информация включена в часть 73 заголовка частей 71 рабочих данных только при изменении или многократно, например, один раз в 5 или 10 частей 71 рабочих данных.

В конкретном варианте осуществления, кадр 50 кодируется согласно H.265/HEVC-кодеку (см. документ ETSI TS 101 154 v2.2.1 DVB-стандарта). Параметры "окна соответствия" этого кодека зарезервированы для переноса информации местоположения и размера субкадра в основном кадре. Если присутствуют в потоке, использование параметров окна соответствия посредством устройства рендеринга является обязательным в спецификациях DVB-стандарта. Адаптация соотношения сторон управляется посредством устройства рендеринга унаследованного видео как обычно, без предварительной модификации устройства.

При декодировании посредством устройства рендеринга иммерсивного видео (например, планшетного компьютера, смартфона или HMD), обратное преобразование кадра 50 выполняется для того, чтобы извлекать кадр 60. В примере по фиг. 6, обратное преобразование может быть основано на обратных функциях по уравнению 8 и уравнению 9:

[уравнение 8]

[уравнение 9]

Параметры, требуемые для этого обратного преобразования, являются идентичными параметрам, необходимым для преобразования: с одной стороны, первая информация, которая содержит местоположение и размер субкадра 51, и с другой стороны, вторая информация, которая содержит: тип схемы преобразования, используемый для того, подготавливать кадр 50 (кадр по фиг. 5 в этом примере), поле зрения, используемое для того, вычислять субкадр 51, размер переходной области и опорное направление; местоположение переходной области коррелируется с типом схемы преобразования. Опорное направление может быть полезным знать, в иммерсивном просмотре абсолютной нулевой позиции поверхности преобразования при рендеринге. Вторая информация является постоянной во времени и по этой причине кодируется в части 72 заголовка контента. В другом варианте осуществления, например, когда поток передается в широковещательном режиме, заголовок контента 72 может быть пропущен посредством клиента; как следствие, вторая информация многократно кодируется в потоке, например, в части 73 заголовка частей 71 рабочих данных. В разновидности, некоторые данные второй информации (например, размер переходной области) могут изменяться во времени, и по этой причине, вторая информация кодируется в части 73 заголовка частей 71 рабочих данных потока.

Восстановленный кадр 60 затем преобразуется на сфере, и устройство рендеринга иммерсивного видео использует свою регулярную проекционную функцию, чтобы подготавливать посредством рендеринга часть иммерсивного контента для отображения. В другом варианте осуществления, устройство рендеринга иммерсивного видео компонует поверхность преобразования, конкретную для кадра 50 согласно упомянутой первой и второй информации. Например, конкретная поверхность преобразования состоит из плоскости (для субкадра 51), эллиптического участка (для переходной части 53) и частично сферической части (для равнопрямоугольной части 52). Кадр 50 преобразуется на конкретной поверхности преобразования, регулярная проекционная функция устройства рендеринга иммерсивного видео автоматически вырезает часть иммерсивного содержимого, адаптированного, по меньшей мере, к одному экрану, ассоциированному с устройством.

В конкретном варианте осуществления, кадр 50 и первая и вторая информация кодируются в отдельных синхронизированных потоках.

Фиг. 8 иллюстрирует примерную схему 80 обратно совместимого кадра, подготовленного для преодоления нежелательных неоднородностей в интересующей области при кубическом преобразовании. В этой примерной схеме, размер и отношение каждой грани трехмерной поверхности адаптированы. По идентичным причинам, что и для примерной равнопрямоугольной схемы по фиг. 5 и 6, субкадр 81 подготовлен таким образом, чтобы иметь возможность непосредственного декодирования посредством устройств рендеринга унаследованного видео. Эта примерная схема 80 представляет собой прямоугольный кадр данного размера, например, 720×576 пикселов (PAL-четкость), 720×480 (NTSC-четкость), 1280×720 (HD1-четкость), 1920×1080 пикселов (HD2-четкость) или 4096×2160 (4K). Шесть граней куба составляют три (3) части схемы: часть 81 прямоугольного преобразования, часть 82 иммерсивного преобразования и область 83 переходного преобразования.

Часть 81 соответствует интересующей области исходного иммерсивного контента, захваченного, например, согласно перспективной проекции и кодированного согласно прямоугольному преобразованию. Интересующая область занимает одну грань куба. Размер субкадра 51 составляет данную четкость, например, 1920×1080 пикселов, если кадр 80 представляет собой 4K-кадр. Такие стандартные размеры имеют преимущество возможности декодироваться и подготавливаться посредством рендеринга посредством существующего устройства рендеринга унаследованного видео без предварительной модификации. Тем не менее, поскольку они являются прямоугольными (а не квадратными), размер других граней куба в схеме преобразования должен быть адаптирован. На примере по фиг. 8, часть 81 наблюдается в качестве передней грани (условно) и занимает половину ширины кадра 80 и половину его высоты. Верхняя, нижняя и задняя грани сохраняют квадратную форму. Левая и правая грани представляют собой, например, прямоугольники, меньшие нижней грани. При иммерсивном кубическом преобразовании, каждая грань куба принимает девяносто градусов (90°) горизонтального поля зрения (которое составляет 360°) и девяносто градусов вертикального поля зрения. В примерной обратно совместимой схеме по фиг. 8, FOV передней грани соответствует FOV интересующей области. Если это FOV меньше 90°, левая, правая, верхняя и нижняя грани должны кодировать более 90°FOV на меньшей области для левой и правой граней. Как следствие, пикселы "сжимаются" в переходной области 83 распределенных на упомянутых четырех гранях. Оставшаяся часть кадра 80 используется для того, чтобы кодировать иммерсивный кадр согласно кубическому преобразованию.

Обратно совместимое иммерсивное видео, подготовленное с помощью схемы по фиг. 8, кодируется в потоке, как проиллюстрировано на фиг. 7 для схемы по фиг. 5. Подготовленный кадр кодируется в части 71 рабочих данных потока 70. Первая информация, содержащая местоположение и размер субкадра 81, кодируется согласно идентичным разновидностям в частях 73 заголовка частей 71 рабочих данных и/или в части 72 заголовка контента. Вторая информация, содержащая: тип схемы преобразования, используемый для того, чтобы подготавливать кадр 50 (кадр по фиг. 8 в этом примере), поле зрения, используемое для того, чтобы вычислять субкадр 81, размер переходной области и опорного направления; местоположение переходной области коррелируется с типом схемы преобразования.

Фиг. 9 показывает аппаратный вариант осуществления устройства 70, сконфигурированного с возможностью реализовывать способы, описанные в отношении фиг. 10 или 11. В этом примере, устройство 90 содержит следующие элементы, соединенные между собой посредством шины 91 адресов и данных, которые также транспортируют синхросигнал:

- микропроцессор 92 (или CPU), который представляет собой, например, DSP (или процессор цифровых сигналов);

- энергонезависимое запоминающее устройство типа 93 ROM (постоянного запоминающего устройства);

- оперативное запоминающее устройство или RAM (94);

- интерфейс 95 ввода-вывода для приема данных, которые следует передавать, из приложения; и

- видеокарту 96, которая может встраивать регистры оперативного запоминающего устройства;

- источник 97 питания.

В соответствии с примером, источник 97 питания является внешним для устройства. В каждом упомянутом запоминающем устройстве, слово "регистр", используемое в спецификации, может соответствовать области небольшой емкости (несколько битов) или очень большой области (например, всей программы или большому объему принимаемых или декодированных данных). ROM 93 содержит, по меньшей мере, программу и параметры. ROM 93 может сохранять алгоритмы и инструкции, чтобы выполнять технологии в соответствии с настоящими принципами. После включения питания, CPU 92 выгружает программу в RAM и выполняет соответствующие инструкции.

RAM 94 содержит, в регистре, программу, выполняемую посредством CPU 92 и выгруженную после включения устройства 90, входные данные в регистре, промежуточные данные в различных состояниях способа в регистре и другие переменные, используемые для выполнения способа, в регистре.

Реализации, описанные в данном документе, могут быть реализованы, например, в способе или процессе, устройстве, программе, потоке данных или сигнале. Даже если поясняется только в контексте одной формы реализации (например, поясняется только как способ или устройство), реализация поясненных признаков также может быть реализована в других формах (например, как программа). Устройство может быть реализовано, например, в соответствующих аппаратных средствах, программном обеспечении и микропрограммном обеспечении. Способы могут быть реализованы, например, в таком устройстве, как, например, процессор, который означает устройства обработки в целом, включающие в себя, например, компьютер, микропроцессор, интегральную схему или программируемое логическое устройство. Процессоры также включают в себя устройства связи, такие как, например, компьютеры, сотовые телефоны, портативные/персональные цифровые устройства (PDA), абонентские приставки и другие устройства, которые упрощают обмен информацией между конечными пользователями.

В соответствии с примером формирования обратно совместимого иммерсивного видеопотока, как проиллюстрировано на фиг. 10, исходное иммерсивное видео и данные, представляющие интересующую область исходного иммерсивного видео, получаются из источника. Например, источник принадлежит набору, содержащему:

- локальное запоминающее устройство (93, 94 или 96), например, запоминающее устройство для хранения видеоданных или RAM (или оперативное запоминающее устройство), флэш-память, ROM (или постоянное запоминающее устройство), жесткий диск;

- интерфейс (95) хранения данных, например, интерфейс с устройством хранения данных большой емкости, RAM, флэш-памятью, ROM, оптическим диском или магнитной подложкой; и

- интерфейс (95) связи, например, проводной интерфейс (например, шинный интерфейс, глобальный сетевой интерфейс, локальный сетевой интерфейс) или беспроводной интерфейс (к примеру, интерфейс IEEE 802.11 или интерфейс Bluetooth®).

Согласно одному конкретному варианту осуществления, алгоритмы, реализующие этапы способа формирования обратно совместимого иммерсивного видеопотока и описанные далее на фиг. 10 сохраняются в запоминающем устройстве GRAM видеокарты 96, ассоциированной с устройством 90, реализующим эти этапы. Согласно разновидности, часть RAM (94) назначается посредством CPU (92) для хранения алгоритмов. Эти этапы приводят к формированию видеопотока, который отправляется в назначение, принадлежащее набору, содержащему локальное запоминающее устройство, например, запоминающее устройство (94) для хранения видеоданных, RAM (94), ROM (93), флэш-память (93) или жесткий диск (93), интерфейс (95) хранения данных, например, интерфейс с устройством хранения данных большой емкости, RAM, ROM, флэш-памятью, оптическим диском или магнитной подложкой, и/или принимается из интерфейса (95) связи, например, интерфейса с линией связи "точка-точка", шиной, линией связи "точка-многоточка" или широковещательной сетью.

В соответствии с примерами, устройство 90, сконфигурированное с возможностью реализовывать способ формирования обратно совместимого иммерсивного видеопотока, описанный в отношении с фиг. 10, принадлежит набору, содержащему:

- мобильное устройство;

- устройство связи;

- игровое устройство;

- планшетный компьютер (или планшетный компьютер);

- переносной компьютер;

- микросхему кодирования;

- сервер неподвижных изображений; и

- видеосервер (например, широковещательный сервер, сервер "видео по запросу" или веб-сервер).

В соответствии с примером составления видео из обратно совместимого иммерсивного видеопотока, поток, представляющий обратно совместимое иммерсивное видео, получается из источника. В качестве примера, поток считывается из локального запоминающего устройства, например, запоминающего устройства (94) для хранения видеоданных, RAM (94), ROM (73), флэш-памяти (93) или жесткого диска (93). В разновидности, поток принимается из интерфейса (95) хранения данных, например, интерфейса с устройством хранения данных большой емкости, RAM, ROM, флэш-памятью, оптическим диском или магнитной подложкой, и/или принимается из интерфейса (95) связи, например, интерфейса с линией связи "точка-точка", шиной, линией связи "точка-многоточка" или широковещательной сетью.

Согласно одному конкретному варианту осуществления, алгоритмы, реализующие этапы способа составления видео из обратно совместимого иммерсивного видеопотока для устройства рендеринга и описанные далее на фиг. 11 сохраняются в запоминающем устройстве GRAM видеокарты 96, ассоциированной с устройством 90, реализующим эти этапы. Согласно разновидности, часть RAM (94) назначается посредством CPU (92) для хранения алгоритмов. Эти этапы приводят к составлению видео, которое отправляется в назначение, принадлежащее набору, содержащему:

- мобильное устройство;

- устройство связи;

- игровое устройство;

- абонентскую приставку;

- телевизор;

- планшетный компьютер (или планшетный компьютер);

- переносной компьютер;

- дисплей, и

- микросхему декодирования.

Фиг. 10 схематически показывает вариант осуществления способа 100 формирования обратно совместимого иммерсивного видеопотока, реализованного в устройстве обработки, таком как устройство 90 согласно неограничивающему преимущественному варианту осуществления.

На этапе 101, иммерсивное видео и данные, представляющие интересующую область иммерсивного видео, получаются из источника. Иммерсивное видео содержит кадр, кодированный согласно иммерсивному преобразованию, например, равнопрямоугольному преобразованию (как кадр 60 по фиг. 6), кубическому преобразованию (например, как кадр 30 по фиг. 3) или пирамидальному преобразованию. Иммерсивное видео может содержать другие данные, которые используются без модификации при формировании обратно совместимого иммерсивного видеопотока, к примеру, аудиотреки или метаданные.

На этапе 102, схема выбирается для подготовки обратно совместимого кадра, например, схема на основе равнопрямоугольного преобразования, как указано на фиг. 5, либо схема на основе кубического преобразования, как указано на фиг. 8, либо схема на основе пирамидального преобразования.

Этап 103 состоит в компоновке обратно совместимого кадра. Этот этап содержит три подэтапа 104, 105 и 106. Эти три подэтапа могут выполняться последовательно или параллельно. Этап 104 состоит в кодировании кадра согласно прямоугольному преобразованию. Этот этап 104 является общим для всех схемы, поскольку он формирует часть кадра, который является обратно совместимым. Цветовая информация (т.е. пикселы) кадра определяется из иммерсивного видеокадра согласно описанию интересующей области. Этап 105 и 106 состоит в подготовке части иммерсивного видео, которая находится за пределами интересующей области. Иммерсивное преобразование схемы может отличаться от иммерсивного преобразования иммерсивного видео. Размер переходной области определяется. Местоположение переходной области зависит от выбранной схемы. Переходная область продолжает обратно совместимый кадр. На этапе 105, цветовая информация переходной области определяется. Преобразование, используемое для этой части, является непрерывно переходящим от прямоугольного преобразования к иммерсивному преобразованию схемы. На этапе 106, цветовая информация иммерсивной части определяется. Три области, соответствующие трем частям иммерсивного видеокадра, используются для того, чтобы составлять обратно совместимый кадр согласно выбранной схеме. Значения, определенные для выполнения этапа 103, передаются в качестве записи этапа 107. Эти значения следующие: размер и местоположение первой области, тип схемы, поле зрения первой части, размер переходной области и направление абсолютной нулевой позиции поверхности преобразования при рендеринге, также называемое "опорным направлением".

Этап 107 состоит в формировании обратно совместимого иммерсивного видеопотока. Поток содержит обратно совместимый видеокадр, первую информацию относительно размера и местоположения первой области и вторую информацию, содержащую тип схемы, поле зрения первой части, размер переходной области и опорное направление.

Фиг. 11 схематически показывает вариант осуществления способа 110 составления видеокадра из обратно совместимого иммерсивного видеопотока для данного устройства рендеринга, реализованного в устройстве обработки, таком как устройство 90 согласно неограничивающему преимущественному варианту осуществления. Устройство рендеринга представляет собой либо устройство рендеринга унаследованного видео, такое как телевизор, планшетный компьютер или смартфон, либо устройство рендеринга иммерсивного видео, такое как группа камер, HMD или планшетный компьютер или смартфон, сконфигурированное с возможностью подготавливать посредством рендеринга иммерсивные видео. Первые три этапа способа являются общими для обоих типов устройств рендеринга.

На этапе 111, поток получается из источника. Поскольку поток является обратно совместимым, он может синтаксически анализироваться посредством стандартного устройства рендеринга унаследованного видео без предварительной модификации. На этапе 112, видеокадр потока получается. Согласно варианту осуществления, кадр декодируется на этом этапе. В другом варианте осуществления, к кодированным данным кадра осуществляется доступ, и они продолжают кодироваться. Этот вариант осуществления является полезным для устройства рендеринга унаследованного видео, для которого только первая область кадра декодируется на этапе 114. Этот вариант осуществления может реализовываться, например, посредством использования мозаичных фрагментов. Независимые мозаичные фрагменты являются признаком HEVC, в котором выделяемая дополнительная улучшающая информация (SEI) зарезервирована, чтобы сигнализировать размер и местоположение мозаичных фрагментов, которые должны быть декодированы, независимо друг от друга. На этапе 113, первая информация, содержащая размер и местоположение первой области, синтаксически анализируется из потока.

В этот момент, если устройство рендеринга представляет собой устройство рендеринга унаследованного видео, часть кадра, соответствующая первой области, используется для того, чтобы составлять кадр, который должен подготавливаться посредством рендеринга. Поскольку первая область кодируется согласно прямоугольному преобразованию, устройство рендеринга унаследованного видео может подготавливать ее посредством рендеринга без предварительной модификации. Согласно варианту осуществления, кадр обрезается согласно первой информации, чтобы сохранять только первую область. Согласно другому варианту осуществления, только часть первой области декодируется посредством использования, например, признака мозаичных фрагментов.

Если устройство рендеринга представляет собой устройство рендеринга иммерсивного видео, вторая информация синтаксически анализируется из потока на этапе 115. Эта информация используется, в дополнение к первой информации, чтобы компоновать преобразованную поверхность на этапе 116. Согласно варианту осуществления, поверхность преобразования выбирается, например, из сферы, куба или пирамиды. Эта поверхность преобразования, например, представляет собой ячеистую сеть, ассоциированную с текстурными координатами. Эти текстурные координаты вычисляются таким образом, что они совпадают с входным кадром. В разновидности, вершины ячеистой сети смещены, чтобы заставлять их позицию совпадать с позицией их адреса текстурных координат во входном кадре. В другой разновидности, вычисляется промежуточный кадр, чтобы кадр совпадал с текстурными координатами поверхности преобразования.

Этап 117 состоит в захвате видео, которые должны подготавливаться посредством рендеринга из виртуальных камер, размещенных в центре преобразованной поверхности. Он представляет собой регулярный этап устройств рендеринга иммерсивного видео. По меньшей мере, одна виртуальная камера размещена в центре преобразованной поверхности и захватывает кадр, предназначенный для передачи на проекционное устройство. Для наголовных устройств, проекционное устройство представляет собой экран устройства. Для групп камер, каждый из световых проекторов представляет собой проекционное устройство.

Естественно, настоящее раскрытие сущности не ограничено вышеописанными вариантами осуществления.

В частности, настоящее раскрытие сущности не ограничено способом обработки контента иммерсивного видео, а также расширяется на любой способ отображения обработанного видеокадра и на любое устройство, реализующее этот способ отображения. Реализация вычислений, необходимых для того, чтобы формировать кадр и поток, не ограничена реализацией в микропрограммах для формирователя теней, а также расширяется на реализацию в любом типе программ, например, в программах, которые могут выполняться посредством CPU-микропроцессора. Использование способов настоящего раскрытия сущности не ограничено использованием "вживую", а также расширяется на любое другое использование, например, для обработки, известной как обработка постпроизводства в студии звукозаписи.

Реализации, описанные в данном документе, могут быть реализованы, например, в способе или процессе, устройстве, программе, потоке данных или сигнале. Даже если поясняется только в контексте одной формы реализации (например, поясняется только как способ или устройство), реализация поясненных признаков также может быть реализована в других формах (например, как программа). Устройство может быть реализовано, например, в соответствующих аппаратных средствах, программном обеспечении и микропрограммном обеспечении. Способы могут быть реализованы, например, в таком устройстве, как, например, процессор, который означает устройства обработки в целом, включающие в себя, например, компьютер, микропроцессор, интегральную схему или программируемое логическое устройство. Процессоры также включают в себя устройства связи, такие как, например, смартфоны, планшетные компьютеры, мобильные телефоны, портативные/персональные цифровые устройства (PDA) и другие устройства, которые упрощают обмен информацией между конечными пользователями.

Реализации различных процессов и признаков, описанных в данном документе, могут быть осуществлены во множестве различных видов оборудования или приложений, в частности, например, в оборудовании или в приложениях, ассоциированных с кодированием данных, декодированием данных, созданием представлений, обработкой текстуры и другой обработкой изображений и связанной информацией текстуры и/или информацией глубины. Примеры такого оборудования включают в себя кодер, декодер, постпроцессор, обрабатывающий вывод из декодера, препроцессор, предоставляющий ввод в кодер, видеокодер, видеодекодер, видеокодек, веб-сервер, абонентскую приставку, переносной компьютер, персональный компьютер, сотовый телефон, PDA и другие устройства связи. Должно быть очевидным, что оборудование может быть мобильным и даже установленным в мобильном транспортном средстве.

Дополнительно, способы могут реализовываться посредством инструкций, выполняемых посредством процессора, и такие инструкции (и/или значения данных, сформированные посредством реализации) могут сохраняться на процессорночитаемом носителе, таком как, например, интегральная схема, программный носитель или другое устройство хранения данных, такое как, например, жесткий диск, компакт-диск (CD), оптический диск (такой как, например, DVD, зачастую называемый "универсальным цифровым диском" или "цифровым видеодиском"), оперативное запоминающее устройство (RAM) или постоянное запоминающее устройство (ROM). Инструкции могут формировать прикладную программу, материально осуществленную на процессорночитаемом носителе. Инструкции, например, могут находиться в аппаратных средствах, микропрограммном обеспечении, программном обеспечении или в комбинации. Инструкции могут содержаться, например, в операционной системе, в отдельном приложении или в комбинации означенного. Следовательно, процессор может характеризоваться, например, в качестве как устройства, сконфигурированного с возможностью выполнять процесс, так и устройства, которое включает в себя процессорночитаемый носитель (к примеру, устройство хранения данных), имеющий инструкции для выполнения процесса. Дополнительно, процессорночитаемый носитель может сохранять, в дополнение или вместо инструкций, значения данных, сформированные посредством реализации.

Специалистам данной области техники должно быть очевидным, что реализации также могут формировать множество сигналов, отформатированных с возможностью переносить информацию, которая, например, может сохраняться или передаваться. Информация может включать в себя, например, инструкции для осуществления способа или данные, сформированные посредством одной из описанных реализаций. Например, сигнал может форматироваться с возможностью переносить в качестве данных правила для записи или считывания синтаксиса описанного варианта осуществления или переносить в качестве данных фактические синтаксические значения, записанные посредством описанного варианта осуществления. Этот сигнал, например, может быть отформатирован как электромагнитная волна (к примеру, с использованием радиочастотного участка спектра) или как сигнал в полосе модулирующих частот. Форматирование может включать в себя, например, кодирование потока данных и модуляцию несущей с потоком кодированных данных. Информация, которую переносит сигнал, например, может быть аналоговой или цифровой информацией. Как известно, сигнал может передаваться по множеству различных линий проводной или беспроводной связи. Сигнал может быть сохранен на процессорночитаемом носителе.

Описан ряд реализаций. Тем не менее следует понимать, что могут вноситься различные модификации. Например, элементы различных реализаций могут комбинироваться, дополняться, модифицироваться или удаляться для того, чтобы формировать другие реализации. Дополнительно, специалисты в данной области техники должны понимать, что другие структуры и процессы могут быть использованы вместо раскрытых структур и процессов, и результирующие реализации должны выполнять, по меньшей мере, практически идентичную функцию(и), по меньшей мере, практически идентичным способом(ами), чтобы добиваться, по меньшей мере, практически идентичного результата(ов), что и раскрытые реализации. Соответственно, эти и другие реализации предполагаются посредством этой заявки.

Изобретение относится к области кодирования и декодирования видео. Технический результат заключается в улучшении кодирования обратно совместимого иммерсивного видео. Поток переносит данные, представляющие иммерсивное видео, состоящее из кадра, организованного согласно схеме, содержащей первую область, кодированную согласно прямоугольному преобразованию, вторую область, кодированную согласно преобразованию, переходящему от прямоугольного преобразования к иммерсивному преобразованию, и третью область, кодированную согласно иммерсивному преобразованию. Для обратной совместимости поток дополнительно содержит первую информацию, представляющую размер и местоположение первой области в видеокадре, и вторую информацию, содержащую, по меньшей мере, тип выбранной схемы, поле зрения первой части, размер упомянутой второй области в видеокадре и опорное направление. 6 н. и 9 з.п. ф-лы, 11 ил.

1. Способ составления (110) видеокадра для устройства рендеринга из видеопотока, отличающийся тем, что способ содержит этапы, на которых:

- получают (113) первую информацию из видеопотока, причем упомянутая первая информация представляет размер и позицию первой области исходного видеокадра, полученного из видеопотока,

- в случае, если устройство рендеринга представляет собой устройство рендеринга иммерсивного видео:

- получают (115) вторую информацию из видеопотока, причем упомянутая вторая информация представляет тип схемы, поле зрения упомянутой первой части, размер второй области и опорное направление,

- компонуют (116) преобразованную поверхность согласно упомянутой первой и второй информации и с использованием упомянутого исходного видеокадра,

- составляют (117) видеокадр с участком упомянутой преобразованной поверхности;

- в другом случае составляют (114) упомянутый видеокадр с упомянутой первой областью исходного видеокадра.

2. Способ по п. 1, в котором упомянутая схема основана на иммерсивном преобразовании, принадлежащем набору иммерсивного преобразования, содержащему: равнопрямоугольное преобразование, кубическое преобразование и пирамидальное преобразование.

3. Способ по п. 1 или 2, в котором первая информация переносится посредством параметров окна соответствия, при этом вторая информация переносится посредством дополнительной улучшающей информации (SEI).

4. Устройство (90), сконфигурированное с возможностью составлять видеокадр для устройства рендеринга из видеопотока, отличающееся тем, что устройство содержит:

- средство для получения первой информации из видеопотока, причем упомянутая первая информация представляет размер и позицию первой области исходного видеокадра, полученного из видеопотока,

- в случае, если устройство рендеринга представляет собой устройство рендеринга иммерсивного видео:

- средство для получения второй информации из видеопотока, причем упомянутая вторая информация представляет тип схемы, поле зрения упомянутой первой части, размер второй области и опорное направление,

- процессор, сконфигурированный с возможностью компоновать преобразованную поверхность согласно упомянутой первой и второй информации и с использованием упомянутого исходного видеокадра,

- процессор, сконфигурированный с возможностью составлять видеокадр с участком упомянутой преобразованной поверхности;

- в другом случае процессор, сконфигурированный с возможностью составлять упомянутый видеокадр с упомянутой первой областью исходного видеокадра.

5. Устройство по п. 4, в котором упомянутая схема основана на иммерсивном преобразовании, принадлежащем набору иммерсивного преобразования, содержащему: равнопрямоугольное преобразование, кубическое преобразование и пирамидальное преобразование.

6. Устройство по п. 4 или 5, в котором первая информация переносится посредством параметров окна соответствия, при этом вторая информация переносится посредством дополнительной улучшающей информации (SEI).

7. Устройство по одному из пп. 4-6, причем упомянутое устройство принадлежит набору устройств, содержащему мобильное устройство, устройство связи, игровое устройство, планшетный компьютер, переносной компьютер, микросхему кодирования, сервер неподвижных изображений, видеосервер, широковещательный сервер, сервер "видео по запросу" и веб-сервер.

8. Способ формирования (100) видеопотока из иммерсивного видео, отличающийся тем, что способ содержит этап, на котором:

- кодируют первую часть (104) иммерсивного видеокадра согласно прямоугольному преобразованию;

- кодируют вторую часть (105) иммерсивного видеокадра согласно преобразованию, переходящему от упомянутого прямоугольного преобразования к иммерсивному преобразованию;

- кодируют третью часть (106) иммерсивного видеокадра согласно упомянутому иммерсивному преобразованию;

- составляют видеокадр (103) согласно схеме, содержащей упомянутую первую часть в качестве первой области, упомянутую вторую часть в качестве второй области и упомянутую третью часть в качестве третьей области;

- формируют видеопоток (107), включающий в себя упомянутый скомпонованный видеокадр, первую информацию относительно размера и местоположения упомянутой первой области и вторую информацию, содержащую, по меньшей мере, тип упомянутой схемы, поле зрения упомянутой первой части, размер второй области и опорное направление.

9. Способ по п. 8, в котором упомянутая схема основана на иммерсивном преобразовании, принадлежащем набору иммерсивного преобразования, содержащему: равнопрямоугольное преобразование, кубическое преобразование и пирамидальное преобразование.

10. Способ по п. 8 или 9, в котором первая информация переносится посредством параметров окна соответствия, при этом вторая информация переносится посредством дополнительной улучшающей информации (SEI).

11. Устройство (90), сконфигурированное с возможностью формировать видеопоток из иммерсивного видео, отличающееся тем, что устройство содержит:

- кодер, сконфигурированный с возможностью кодировать первую часть иммерсивного видеокадра согласно прямоугольному преобразованию;

- кодер, сконфигурированный с возможностью кодировать вторую часть иммерсивного видеокадра согласно преобразованию, переходящему от упомянутого прямоугольного преобразования к иммерсивному преобразованию;

- кодер, сконфигурированный с возможностью кодировать третью часть иммерсивного видеокадра согласно упомянутому иммерсивному преобразованию;

- процессор, сконфигурированный с возможностью составлять видеокадр согласно схеме, содержащей упомянутую первую часть в качестве первой области, упомянутую вторую часть в качестве второй области и упомянутую третью часть в качестве третьей области;

- формирователь видеопотоков, сконфигурированный с возможностью формировать видеопоток, включающий в себя упомянутый скомпонованный видеокадр, первую информацию относительно размера и местоположения упомянутой первой области и вторую информацию, содержащую, по меньшей мере, тип упомянутой схемы, поле зрения упомянутой первой части, размер второй области и опорное направление.

12. Устройство по п. 11, в котором упомянутая схема основана на иммерсивном преобразовании, принадлежащем набору иммерсивного преобразования, содержащему: равнопрямоугольное преобразование, кубическое преобразование и пирамидальное преобразование.

13. Устройство по п. 11 или 12, в котором первая информация переносится посредством параметров окна соответствия, при этом вторая информация переносится посредством дополнительной улучшающей информации (SEI).

14. Процессорно-читаемый носитель, хранящий инструкции, которые при исполнении побуждают устройство выполнить способ по любому из пп. 1-3.

15. Процессорно-читаемый носитель, хранящий инструкции, которые при исполнении побуждают устройство выполнить способ по любому из пп. 8-10.