ПОЛУЧЕНИЕ СЭМПЛА ДЛЯ КОДИРОВАНИЯ 360-ГРАДУСНОГО ВИДЕО Российский патент 2022 года по МПК H04N19/597 H04N19/55 H04N19/146 

Настоящая заявка испрашивает приоритет по предварительной заявке на патент США № 62/737,303, поданной 27 сентября 2018 г., содержание которой полностью включено в настоящий документ путем ссылки.

Предпосылки создания изобретения

Виртуальная реальность (ВР) все больше входит в нашу повседневную жизнь. ВР применяют во множестве областей, включая здравоохранение, образование, социальные сети, промышленное проектирование/обучение, игры, кино, совершение покупок, развлечения и т.д. ВР вызывает интерес как у предприятий, так и у потребителей, поскольку с ее помощью можно обеспечить впечатление полного эффекта присутствия при просмотре. ВР создает виртуальную среду, окружающую зрителя, и генерирует истинное ощущение присутствия для зрителя. Способ обеспечения ощущения полной реальности в среде ВР влияет на впечатление пользователя. Например, взаимодействие с системой ВР может быть обеспечено с помощью позы, жеста, взгляда, голоса и т.д. Для естественного взаимодействия пользователя с объектами в мире ВР в ВР может быть обеспечена тактильная обратная связь для пользователя.

Изложение сущности изобретения

Описаны системы, способы и средства для выполнения горизонтального геометрического заполнения на текущем сэмпле на основании получения указания с разрешением заворачивания, которое указывает на то, что компенсация горизонтального движения заворачивания разрешена.

Устройство кодирования видеосигналов может принимать изображение, связанное с видеосодержимым, в битовом потоке. Устройство кодирования видеосигналов, описанное в настоящем документе, может включать в себя кодер и/или декодер. Изображение может представлять собой или может включать в себя изображение с упакованными кадрами. Устройство кодирования видеосигналов может принимать указание с разрешением заворачивания. Например, устройство кодирования видеосигналов может принимать указание с разрешением заворачивания на уровне последовательности. Указание с разрешением заворачивания может указывать, разрешена или запрещена компенсация горизонтального движения заворачивания. Указание с разрешением заворачивания может представлять собой или может включать в себя флаг с разрешением заворачивания, который указывает, разрешена или запрещена компенсация горизонтального движения заворачивания.

На основании указания с разрешением заворачивания, указывающего, что компенсация горизонтального движения заворачивания разрешена, устройство кодирования видеосигналов может определять смещение заворачивания эталонного сэмпла для текущего сэмпла в изображении. В примерах устройство кодирования видеосигналов может принимать в битовом потоке указание смещения заворачивания эталонного сэмпла. Смещение заворачивания эталонного сэмпла может быть определено на основании указания смещения. Смещение заворачивания эталонного сэмпла может указывать на ширину панорамы. В примерах устройство кодирования видеосигналов может принимать указание размера, указывающее ширину панорамы изображения. Например, указание размера может представлять собой или может включать в себя ширину защитной полосы в выборках яркости. Устройство кодирования видеосигналов может вычислять ширину панорамы изображения на основании указания размера и может использовать вычисленную ширину в качестве смещения заворачивания эталонного сэмпла. В примерах защитная полоса может иметь одну и ту же ширину. В примерах защитная полоса может иметь разную ширину.

Устройство кодирования видеосигналов может определять местоположение эталонного сэмпла по отношению к текущему сэмплу на основании смещения заворачивания эталонного сэмпла, ширины изображения и местоположения текущего сэмпла. Устройство для кодирования видеосигналов может принимать смещение заворачивания эталонного сэмпла на уровне последовательности.

В примерах устройство кодирования видеосигналов может определять, находится ли исходное местоположение эталонного сэмпла (например, первичное местоположение эталонного сэмпла), связанное с местоположением текущего сэмпла, за пределами изображения. Если исходное местоположение эталонного сэмпла находится за пределами изображения, устройство кодирования видеосигналов может рассчитывать местоположение эталонного сэмпла для горизонтального геометрического заполнения. Например, устройство кодирования видеосигналов может вычислять местоположение эталонного сэмпла путем применения смещения заворачивания эталонного сэмпла к горизонтальной координате сэмпла, связанной с исходным местоположением эталонного сэмпла.

В примерах устройство кодирования видеосигналов может вычислять ширину панорамы изображения на основании смещения заворачивания эталонного сэмпла и ширины изображения. Устройство кодирования видеосигналов может идентифицировать местоположение текущего сэмпла в изображении. Устройство кодирования видеосигналов может определять, находится ли исходное местоположение эталонного сэмпла за пределами изображения. Если исходное местоположение эталонного сэмпла находится за пределами крайней левой горизонтальной границы изображения, устройство кодирования видеосигналов может определять местоположение эталонного сэмпла путем добавления смещения заворачивания эталонного сэмпла к горизонтальной координате сэмпла, связанной с исходным местоположением эталонного сэмпла. Если исходное местоположение эталонного сэмпла находится за пределами крайней правой горизонтальной границы изображения, устройство кодирования видеосигналов может определять местоположение эталонного сэмпла путем вычитания смещения заворачивания эталонного сэмпла из горизонтальной координаты сэмпла, связанной с исходным местоположением эталонного сэмпла.

Устройство кодирования видеосигналов может прогнозировать текущий сэмпл на основании местоположения эталонного сэмпла.

Устройство кодирования видеосигналов может определять, разрешена ли компенсация горизонтального движения заворачивания, на основе указания с разрешением заворачивания. Если указание с разрешением заворачивания указывает на то, что компенсация горизонтального движения заворачивания запрещена, устройство кодирования видеосигналов может идентифицировать местоположение текущего сэмпла в изображении. Устройство кодирования видеосигналов может определять, находится ли местоположение текущего сэмпла на горизонтальной границе изображения. Устройство кодирования видеосигналов может определять, находится ли местоположение эталонного сэмпла за пределами горизонтальной границы изображения. Если устройство кодирования видеосигналов определяет, что местоположение эталонного сэмпла находится за пределами горизонтальной границы изображения, устройство кодирования видеосигналов может идентифицировать местоположение эталонного сэмпла на горизонтальной границе изображения. Устройство кодирования видеосигналов может прогнозировать текущий сэмпл на основании местоположения эталонного сэмпла.

Изображение может представлять собой или может включать в себя формат равнопромежуточной проекции (ERP), формат равноплощадной проекции (EAP) или формат скорректированной равноплощадной проекции (AEP).

Устройство кодирования видеосигналов может определять, принимать ли указание смещения для смещения заворачивания эталонного сэмпла на основании указания с разрешением заворачивания. Если устройство кодирования видеосигналов определяет, что указание с разрешением заворачивания выдано, устройство кодирования видеосигналов может синтаксически анализировать битовый поток для приема указания смещения для смещения заворачивания эталонного сэмпла. Если устройство кодирования видеосигналов определяет, что указание с разрешением заворачивания не выдано, устройство кодирования видеосигналов может пропускать анализ битового потока и пропускать прием указания смещения для смещения заворачивания эталонного сэмпла.

Указание может быть передано посредством сигнализации (например, в битовом потоке), чтобы разрешить геометрическое заполнение. Может быть определено правильное положение одного или более соседей в сферической окрестности. Геометрическое заполнение может учитывать положение и/или размер защитных полос для вычисления правильного положения одного или более соседей в сферической окрестности. Положение и/или размер защитных полос могут быть добавлены при упаковке одной или более панорам в изображении (например, перед кодированием). Одно или более указаний, относящихся к геометрическому заполнению, могут быть переданы посредством сигнализации для указания того, применено ли геометрическое заполнение, и/или указания защитных полос.

Для геометрий проекции, включающих в себя панораму (например, одну панораму), такую как ERP, EAP, AEP и/или подобные форматы проекции, геометрическое заполнение можно выполнять в горизонтальном направлении. При выполнении геометрического заполнения в горизонтальном направлении можно использовать повторяющееся заполнение в вертикальном направлении. Положение сэмпла может быть определено как горизонтальная координата сэмпла, которая может быть завернута в кодированном изображении. Вертикальная координата сэмпла может быть обрезана по одной или более закодированных границ изображения, например, как при повторяющемся заполнении. Может быть определен процесс выведения целочисленных сэмплов и/или процесс интерполяции дробных сэмплов для внешнего прогнозирования (например, с использованием горизонтального геометрического заполнения), связанный с геометрией проекции, основанной на одной панораме.

Краткое описание графических материалов

На фиг. 1A представлен пример сферического сэмплирования в долготе и широте.

На фиг. 1B представлен пример двухмерной (2D) плоскости с равнопромежуточной проекцией.

На фиг. 2A представлен пример трехмерной (3D) геометрической структуры для проекции с кубической текстурой (CMP).

На фиг. 2B представлен пример 2D-планера для шести панорам CMP.

На фиг. 3A представлен пример изображения с заполненными границами с использованием равнопромежуточной проекции (ERP).

На фиг. 3B представлен пример изображения с заполненными границами с использованием CMP.

На фиг. 4A представлен пример геометрии заполнения для ERP.

На фиг. 4B представлен пример заполненного изображения ERP.

На фиг. 5A представлен пример геометрии заполнения для CMP.

На фиг. 5B представлен пример заполненных панорам CMP.

На фиг. 6 представлен пример рабочего процесса получения 360-градусного видео.

На фиг. 7 представлен пример видеокодера.

На фиг. 8 представлен пример видеодекодера.

На фиг. 9 представлен пример эталонного сэмпла, используемого во внутреннем прогнозировании.

На фиг. 10 представлен пример указания направлений внутреннего прогнозирования.

На фиг. 11 представлен пример внешнего прогнозирования с вектором движения (например, унипрогнозирование).

На фиг. 12 представлен пример заполнения эталонных сэмплов за пределами границы изображения.

На фиг. 13 представлен пример пространственных соседей, используемых при определении кандидатов на пространственное объединение.

На фиг. 14 представлен пример кэширования восстановленных сэмплов для внешнего прогнозирования при использовании горизонтального геометрического заполнения.

На фиг. 15 представлен пример положений целочисленного сэмпла (например, заштрихованный блок с прописными буквами) и дробного сэмпла (например, незаштрихованные блоки со строчными буквами) для интерполяции яркости сэмпла с точностью в четверть пиксела.

На фиг. 16A представлена системная схема примера системы связи, в которой может быть реализован один или более описанных вариантов осуществления.

На фиг. 16B представлена системная схема примера модуля беспроводной передачи/приема (WTRU), который может использоваться в системе связи, представленной на фиг. 16A.

Фиг. 16C представлена системная схема примера сети радиодоступа (RAN) и примера опорной сети (CN), которые могут использоваться в системе связи, представленной на фиг. 16A.

На фиг. 16D представлена системная схема еще одного примера RAN и дополнительного примера сети CN, которые могут использоваться в системе связи, представленной на фиг. 16A.

Подробное описание

Далее приведено подробное описание иллюстративных вариантов осуществления со ссылкой на различные фигуры. Хотя в настоящем описании приведены подробные примеры возможных вариантов реализации, следует отметить, что данное подробное описание приведено в качестве примера и ни в коей мере не ограничивает объем заявки.

360-градусные видео, описанные в настоящем документе, могут включать в себя или могут представлять собой сферические видео, всенаправленные видео, видео виртуальной реальности (ВР), панорамные видео, видео, создающие эффект присутствия (например, видео в световом поле, которые могут включать в себя 6 степеней свободы), видео в облаке точек и/или т.п.

В системах ВР 360-градусные видео можно использовать для обеспечения пользователя возможностью просмотра сцены под углами до 360 градусов в горизонтальном направлении и под углами до 180 градусов в вертикальном направлении. ВР и 360-градусные видео могут рассматриваться как направление для использования мультимедиа за пределами возможностей услуги вывода изображений сверхвысокой четкости (UHD). Для улучшения качества 360-градусных видео в системах ВР и/или для стандартизации последовательности обработки информации для взаимодействия с клиентом могут быть выработаны требования и потенциальные технологии для формата применения всенаправленного мультимедиа. Согласно технологии Free view TV (FTV) можно проверять характеристики одного или более из следующего: (1) система на основе 360-градусного видео (например, всенаправленного видео); (2) многовидовая система.

Система ВР может включать в себя цепь обработки. Цепь обработки может представлять собой или включать в себя захват, обработку, отображение и/или применения. В отношении захвата система ВР может использовать одну или более камер для захвата сцен с разных противоположных ракурсов (например, от 6 до 12 ракурсов). Ракурсы могут быть сшиты вместе с образованием 360-градусного видео в высоком разрешении (например, 4K или 8K). На стороне клиента и/или на стороне пользователя система виртуальной реальности (ВР) может включать в себя вычислительную платформу, наголовный дисплей (HMD) и/или один или более датчиков слежения за положением головы пользователя. Вычислительная платформа может принимать и/или декодировать 360-градусное видео и/или генерировать окно просмотра для отображения. Для окна просмотра могут отображаться два изображения, по одному для каждого глаза. В HMD могут отображаться два изображения (например, для стереопросмотра). Для увеличения изображения, отображаемого в HMD, можно использовать линзу для более удобного просмотра. Датчик слежения за положением головы пользователя может сохранять (например, постоянно сохранять) данные слежения за ориентацией головы зрителя и/или может передавать информацию об ориентации в систему для отображения изображения окна просмотра для этой ориентации.

Система ВР может включать в себя сенсорное устройство для зрителя, например, для взаимодействия с объектами в виртуальном мире. Управление системой ВР может работать под управлением рабочей станции с поддержкой графического процессора (GPU). Система ВР может использовать смартфон в качестве вычислительной платформы, HMD-дисплей и/или датчик слежения за положением головы. Пространственное разрешение HMD может составлять 2160 x 1200, частота обновления может составлять 90 Гц и/или поле зрения (FOV) может составлять 110 градусов. Плотность выборки для датчика слежения за положением головы пользователя может составлять 1000 Гц, что позволяет захватывать изображение при быстром перемещении. Система ВР может включать в себя линзу и/или плату и/или может работать под управлением смартфона.

360-градусное видео могут сжиматься и/или доставляться, например, путем динамической адаптивной потоковой передачи через методики потоковой передачи видео с организацией потоковой передачи видео на основании HTTP (DASH). Доставка 360-градусного видео может быть реализована, например, с использованием сферической геометрической структуры для представления 360-градусной информации. Например, множество синхронизированных ракурсов, захватываемых множеством камер, можно сшивать на сфере (например, как единую структуру). Сферическую информацию можно проецировать на плоскую 2D поверхность посредством преобразования геометрической формы (например, в форме равнопромежуточной проекции и/или проекции с кубической текстурой).

Может быть выполнена равнопромежуточная проекция. На фиг. 1A представлен пример сферической выборки в долготах (ϕ) и широтах (θ). На фиг. 1B представлен пример сферы, проецированной на 2D плоскость с использованием равнопромежуточной проекции (ERP). Долгота ϕ в диапазоне [-π, π] может быть поворотом относительно вертикальной оси, а широта θ в диапазоне [-π/2, π/2] может быть поворотом относительно поперечной оси в авиации. Величина π может представлять собой отношение длины окружности к ее диаметру. Координаты (x, y, z) могут представлять собой координаты точки в 3D пространстве. Координаты (ue, ve) могут представлять собой координаты точки в 2D плоскости после ERP. Проекция ERP может быть представлена математически, например, как показано в уравнениях (1) и (2).

ue = (ϕ / (2 * π) + 0,5) * W (1) ve = (0,5 - θ / π) * H (2)

где W и H могут быть шириной и высотой 2D плоского изображения. Как показано на фиг. 1A, точка P, точка пересечения между долготой L4 и широтой A1 на сфере может картироваться в уникальную точку q на фиг. 1B на 2D плоскости с использованием уравнений (1) и/или (2). Точка q на 2D плоскости, показанная на фиг. 1B, может быть спроецирована обратно в точку P на сфере, показанной на фиг. 1A, например, посредством поперечного проецирования. Поле зрения (FOV) на фиг. 1B представляет пример сопоставления FOV на сфере с 2D плоскостью, например, под углом зрения вдоль оси X, составляющим около 110 градусов.

Одно или более 360-градусных видео могут быть сопоставлены с 2D видео. Сопоставленное видео может быть закодировано с помощью видеокодека (например, H.264, HEVC и/или т.п.) и/или может быть доставлено клиенту. На стороне клиента равнопромежуточное видео может быть декодировано и/или отображено на основе окна просмотра пользователя (например, путем проецирования и/или отображения части, принадлежащей FOV, на равнопромежуточное изображение на HMD). Сферическое видео может быть преобразовано в 2D плоское изображение для кодирования с помощью ERP. Характеристика равнопромежуточного 2D изображения может отличаться от неравнопромежуточного 2D изображения (например, прямолинейного видео). Верхнюю часть изображения, которая может соответствовать северному полюсу, и нижнюю часть изображения, которая может соответствовать южному полюсу, можно растягивать (например, при сравнении со средней частью изображения, которая может соответствовать экватору). Растяжение может указывать на то, что равнопромежуточная выборка в пространственной области 2D может быть неравномерной. Поле движения в 2D равнопромежуточном изображении может быть сложным и осуществляться вдоль временного направления.

Левая и/или правая границы изображения ERP могут быть закодированы (например, закодированы независимо). Нежелательные визуальные артефакты в виде швов панорам на восстановленном видео могут создаваться, например, когда восстановленное видео используют для отображения области просмотра, которая затем отображается пользователю посредством HMD или посредством 2D экрана. Заполнение N (например, 8) выборок яркости может быть применено с левой и/или правой сторон изображения. Может быть закодировано заполненное изображение ERP, включающее в себя сэмплы заполнения. Восстановленная ERP с заполнением может быть преобразована обратно. Например, восстановленная ERP с заполнением может быть преобразована обратно путем смешивания дублированных сэмплов и/или обрезания заполненных областей (например, после декодирования).

Для цилиндрической равноплощадной проекции (EAP) Ламберта можно использовать ту же выборку в долготе, что и для ERP. Цилиндрическая EAP Ламберта может компенсировать повышение плотности выборки вблизи полюсов путем уменьшения вертикальной плотности выборки. В EAP вертикальная плотность выборки может быть установлена равной cos(φ), а комбинированная плотность выборки может быть постоянной по всей сфере. Скорректированная равноплощадная проекция (AEP) может представлять собой обобщение EAP. AEP может вводить параметр, который может контролировать частоту повторной выборки в проекции.

Может быть выполнена проекция с кубической текстурой. Верхний и/или нижний участки изображения ERP, например те, которые могут соответствовать северному полюсу и южному полюсу соответственно, могут быть растянуты (по сравнению, например, со средним участком изображения). Это может указывать на то, что сферическая плотность выборки изображения может быть неравномерной. Поле движения, которое может описывать временную корреляцию между соседними изображениями ERP, может оказаться сложным. Некоторые видеокодеки (например, MPEG-2, H.264 и/или HEVC) могут использовать трансляционную модель для описания поля движения и могут не иметь возможности представлять перемещения с изменением формы на плоских изображениях ERP.

Форматы геометрической проекции могут использоваться для сопоставления 360-градусного видео множеству панорам. Например, можно использовать проекцию с кубической текстурой (CMP). На фиг. 2 A представлен пример геометрической проекции CMP. Как показано на фиг. 2A, проекция CMP может включать в себя шесть квадратных панорам, которые могут быть обозначены как PX, PY, PZ, NX, NY и/или NZ. P может означать положительное, а N может означать отрицательное. X, Y и Z могут означать оси. Панорамы могут быть обозначены с помощью чисел 0–5. Например, панорамы могут быть обозначены как PX (0), NX (1), PY (2), NY (3), PZ (4), NZ (5). Если радиус касательной сферы равен 1, длина стороны каждой панорамы может быть равна 2. Шесть панорам формата CMP могут быть упакованы вместе (например, в виде упакованных вместе кадров) в изображение (например, одно изображение). Панораму можно поворачивать на некоторый угол (например, на определенный угол), который может влиять (например, максимально влиять) на непрерывность между соседними панорамами. На фиг. 2B представлен пример упаковки, в которой шесть панорам помещены в равнопромежуточное изображение. Индекс панорамы может быть размещен в направлении, совпадающем с соответствующим поворотом панорамы. Например, панораму № 3 и панораму № 1 можно повернуть против часовой стрелки на 180 и 270 градусов соответственно. Другие панорамы могут быть не повернуты. В примерах способ упаковки кадров может включать компоновку 3х2 (например, как показано на фиг. 2B). Как показано на фиг. 2B, верхний ряд из 3 панорам может представлять собой пространственно соседние панорамы в 3D геометрической структуре и может иметь непрерывную текстуру. Как показано на фиг. 2B, нижний ряд из 3 панорам может представлять собой пространственно соседние панорамы в 3D геометрической структуре и может иметь непрерывную текстуру. Верхний ряд панорам и нижний ряд панорам могут не быть пространственно непрерывными в 3D геометрической структуре, и между двумя рядами панорам может существовать шов, например прерывистая граница.

В проекции CMP если в центре панорамы плотность выборки составляет 1, к краям плотность выборки может увеличиваться. Текстура вокруг краев может быть растянута по сравнению с текстурой в центре. Проекции с кубической текстурой (например, равноугольная проекция с кубической текстурой (EAC), скорректированная проекция с кубической текстурой (ACP) и/или т.п.) могут корректировать панораму (например, каждую панораму) с использованием нелинейной функции деформации в вертикальном и/или горизонтальном направлениях. Например, в проекции EAC корректировки могут быть выполнены с применением функции тангенса. В проекции ACP корректировка может быть выполнена с использованием полиномиальной функции второго порядка.

Может быть выполнена гибридная проекция с кубической текстурой (CMP). В HCP функция коррекции и ее параметры могут быть настроены для панорамы в целом и/или отдельного направления. Формат проекции с кубической текстурой может включать в себя формат гибридной равноугольной проекции с кубической текстурой (HEC). Проекции с кубической текстурой могут быть упакованы. Например, проекции с кубической текстурой могут быть упакованы аналогично CMP. Разрыв панорамы в изображении с упакованными кадрами может происходить в проекции с кубической текстурой.

Может быть выполнено геометрическое заполнение для 360-градусного кодирования видеосигналов.

Видеокодеки могут быть разработаны с учетом 2D видео, захватываемого на плоскости. Когда прогнозирование с компенсацией движения использует сэмпл за границами эталонного изображения, заполнение может быть выполнено посредством копирования значений сэмплов с границ изображения. Этот тип заполнения может быть известен как повторяющееся заполнение. На фиг. 3A и 3B проиллюстрированы примеры расширения исходного изображения (например, ограниченного пунктирной рамкой) с использованием повторяющегося заполнения для ERP и CMP соответственно.

360-градусное видео может охватывать видеоинформацию на сфере (например, всей сфере) и/или может иметь свойство цикличности. Эталонное изображение 360-градусного видео может не иметь границ. Например, эталонное изображение 360-градусного видео может быть завернуто вокруг сферы (например, и может не иметь границ). Свойство цикличности может существовать при представлении 360-градусного видео на 2D плоскости. Свойство цикличности может существовать независимо от того, какой формат проекции и/или какой вариант реализации упаковки кадров используется. Геометрическое заполнение может быть выполнено для кодирования 360-градусного видео путем заполнения сэмпла с учетом 3D геометрии.

Может быть выполнено геометрическое заполнение для ERP. ERP может быть определена на сфере с некоторыми долготой и широтой. Если точка (u, v), подлежит заполнению (например, вне изображения ERP), точку (u', v') можно использовать для выведения сэмпла заполнения. Это можно определять следующим образом:

где W и H могут быть шириной и высотой изображения ERP.

На фиг. 4A представлен пример процесса геометрического заполнения для ERP. Заполнение может быть выполнено за пределами левой границы изображения. Например, как показано на фиг. 4A, сэмплы A, B и C, которые находятся за пределами левой границы изображения, могут заполняться сэмплами A’, B’ и C’, которые могут находиться в пределах правой границы изображения. Заполнение может быть выполнено за пределами правой границы изображения. Например, как показано на фиг. 4A, сэмплы D, E и F могут заполняться сэмплами D’, E’ и F’, которые могут находиться в пределах левой границы изображения. Заполнение может быть выполнено за пределами верхней границы изображения. Например, как показано на фиг. 4A, сэмплы G, H, I и J могут заполняться сэмплами G’, H’, I’ и J’, которые могут находиться в пределах верхней границы изображения со смещением на половину ширины. Заполнение может быть выполнено за пределами нижней границы изображения. Например, как показано на фиг. 4A, сэмплы K, L, M и N могут заполняться сэмплами K’, L’, M’ и N’, которые могут находиться в пределах нижней границы изображения со смещением на половину ширины. На фиг. 4B представлен пример расширенного изображения ERP с использованием геометрического заполнения. Как показано на фиг. 4B, геометрическое заполнение может обеспечивать непрерывность между соседними сэмплами для областей, находящихся за пределами границ изображения ERP. Геометрическое заполнение для ERP может быть упрощено. Например, левая и/или правая границы изображения могут быть заполнены с использованием геометрического заполнения, а верхняя и нижняя границы изображения могут быть заполнены с использованием повторяющегося заполнения. Геометрическое заполнение левой и/или правой границ изображения и повторяющееся заполнение верхней и нижней границ изображения может быть желательным, например, поскольку области вокруг экватора, такие как левая и/или правая границы, могут включать в себя более интересное видеосодержимое и/или могут просматриваться пользователями чаще по сравнению с областями, расположенными у полюсов, такими как верхняя и нижняя границы.

Если закодированное изображение находится в формате CMP, одна или более панорам CMP могут заполняться с использованием геометрического заполнения. На фиг. 5A представлен пример геометрического заполнения, выполненного на заданной панораме в 3D геометрической структуре. На фиг. 5A, точка P может находиться на панораме F1, но может находиться и за границами панорамы F1. Точка P может быть заполнена. Как показано на фиг. 5A, точка O может находиться в центре сферы. Как показано на фиг. 5A, точка R может представлять собой точку на левой границе, которая может быть ближайшей к P и находиться внутри панорамы F1. Как показано на фиг. 5A, точка Q может представлять собой точку проекции точки P на панораме F2 из центральной точки O. Геометрическое заполнение может быть выполнено с использованием значения сэмпла в точке Q для заполнения значения сэмпла в точке P. На фиг. 5B представлен пример расширенных панорам с использованием геометрического заполнения для изображения CMP 3x2. Как показано на фиг. 5B, заполнение может быть выполнено на каждой панораме по отдельности. Геометрическое заполнение может обеспечивать сэмплы для областей за границей панорамы CMP.

Может быть выполнено гибридное видеокодирование. Пример реализации доставки 360-градусного видео показан на фиг. 6. Как показано на фиг. 6, пример реализации доставки 360-градусного видео может включать в себя захват 360-градусного видео, для которого можно использовать множество камер для захвата видео, охватывающих сферическое пространство (например, все сферическое пространство). Отдельные видео можно сшивать друг с другом (например, сшивать друг с другом в собственной геометрической структуре). Например, отдельные видео можно сшивать друг с другом в формате ERP. Собственная геометрическая структура может быть преобразована в один или более форматов проекции для кодирования, например, на основе видеокодеков. В приемнике видео может быть декодировано, и/или распакованное видео может преобразовываться в геометрию для отображения. Видео может быть использовано для отображения путем проецирования в окно просмотра в соответствии с углом зрения пользователя.

На фиг. 7 представлен пример гибридной системы 600 видеокодирования на основе блоков. Входной видеосигнал 602 может быть обработан поблочно. Расширенные размеры блоков (например, называемые единицей кодирования (CU)) могут быть использованы (например, использованы в HEVC) для сжатия видеосигналов высокого разрешения (например, 1080 пкс. и/или более). Единица CU может иметь до 64x64 пикселей (например, в HEVC). CU может быть разделен на элементы прогнозирования (PU), для которых можно применять отдельные прогнозы. Для входного видеоблока (например, макроблока (MB) или CU) может быть выполнено пространственное прогнозирование 660 или прогнозирование 662 движения. Пространственное прогнозирование (например, или внешнее прогнозирование) может использовать пиксели из уже закодированных соседних блоков в одном и том же видеоизображении и/или фрагменте для прогнозирования текущего видеоблока. Пространственное прогнозирование может уменьшать пространственную избыточность, характерную для видеосигнала. Прогнозирование движения (например, называемое внешним прогнозированием или временным прогнозированием) может использовать пиксели из уже закодированных видеоизображений для прогнозирования текущего видеоблока. Прогнозирование движения может снизить временную избыточность, характерную для видеосигнала. Сигнал прогнозирования движения для данного видеоблока может передаваться посредством сигнализации с помощью вектора движения, который указывает величину и/или направление движения между текущим блоком и соответствующим ему эталонным блоком. Если поддерживается множество эталонных изображений (например, в H.264/AVC, HEVC и/или т.п.), индекс эталонного изображения видеоблока может передаваться посредством сигнализации на декодер. Эталонный индекс может быть использован для идентификации того, от какого эталонного изображения в хранилище 664 эталонных изображений может поступать сигнал временного прогнозирования.

После пространственного прогнозирования и/или прогнозирования движения средство 680 принятия решения о режиме в кодере может выбирать режим прогнозирования, например, на основании оптимизации зависимости искажений от скорости передачи. Блок прогнозирования может быть вычтен из текущего видеоблока на 616. Остаточные значения прогнозирования могут быть декоррелированы с использованием модуля 604 преобразования и модуля 606 квантования для достижения целевой скорости передачи в битах. Квантованные остаточные коэффициенты могут быть обратно квантованы на 610 и обратно преобразованы на 612 для формирования воссозданных остаточных значений. Воссозданные остаточные значения могут быть добавлены обратно в блок прогнозирования на 626 для формирования воссозданного видеоблока. Внутрипетлевой фильтр, такой как фильтр деблокирования и/или адаптивный петлевой фильтр, может быть применен к воссозданному видеоблоку на 666, прежде чем он будет помещен в хранилище 664 эталонных изображений. Эталонные изображения в хранилище 664 эталонных изображений могут быть использованы для кодирования будущих видеоблоков. Может быть сформирован выходной битовый видеопоток 620. Режим кодирования (например, режим внешнего или внутреннего кодирования), информация о режиме прогнозирования, информация о движении и/или квантованные остаточные коэффициенты могут быть отправлены в единицу 608 энтропийного кодирования для сжатия и упаковки для формирования битового потока 620.

На фиг. 8 представлен пример гибридного видеодекодера на основе блоков. Битовый видеопоток 202 может быть принят, распакован и/или энтропийно декодирован в узле 208 энтропийного декодирования. Информация о режиме кодирования и/или прогнозирования может быть отправлена в блок 260 пространственного прогнозирования (например, если было выполнено внутреннее кодирование) и/или в блок 262 временного прогнозирования (например, если было выполнено внешнее кодирование). Блок прогнозирования может быть сформирован с использованием блока 260 пространственного прогнозирования и/или блока 262 временного прогнозирования. Остаточные коэффициенты преобразования могут быть отправлены в блок 210 обратного квантования и в блок 212 обратного преобразования для восстановления остаточного блока. Блок прогнозирования и остаточный блок могут быть добавлены на 226. Восстановленный блок может проходить через внутрипетлевое средство 266 фильтрации и может быть сохранен в хранилище 264 эталонных изображений. Восстановленное видео в хранилище 264 эталонных изображений может быть использовано для приведения в действие устройства отображения и/или для прогнозирования будущих видеоблоков.

Для кодирования 2D плоского прямолинейного видео можно использовать видеокодек, такой как H.264 и/или HEVC. Кодирование видеосигналов может использовать пространственную и/или временную корреляцию, например, для удаления избыточной информации. Во время кодирования видеосигналов может быть применен один или более способов прогнозирования, таких как внутреннее прогнозирование и/или внешнее прогнозирование. Внутреннее прогнозирование может прогнозировать значение сэмпла с помощью соседних по отношению к нему восстановленных сэмплов. На фиг. 9 представлен пример эталонных сэмплов, которые могут быть использованы для внутреннего прогнозирования текущего блока преобразования (TU). Эталонные сэмплы могут представлять собой или включать в себя восстановленные сэмплы, расположенные выше и/или слева от текущего TU. Эталонные сэмплы могут представлять собой или включать в себя левый и/или верхний соседние восстановленные сэмплы.

На фиг. 10 представлен пример указания направлений внутреннего прогнозирования в HEVC. Например, HEVC может указывать 35 режимов внутреннего прогнозирования, которые включают в себя плоское (0), DC (1) и/или угловое прогнозирования (2 ~ 34), как показано на фиг. 10. Можно выбирать соответствующий режим внутреннего прогнозирования. Например, на стороне кодера можно выбирать соответствующий режим внутреннего прогнозирования. Можно сравнивать прогнозы, сгенерированные множеством потенциальных режимов внутреннего прогнозирования. Можно выбирать потенциальный режим внутреннего прогнозирования, который создает наименьшее искажение между сэмплами прогнозирования и исходными сэмплами. Выбранный режим внутреннего прогнозирования можно закодировать в битовом потоке.

Угловые прогнозирования можно использовать для прогнозирования направленных текстур. На фиг. 11 показан пример внешнего прогнозирования с вектором движения (MV). Блоки B0’ и B1' в эталонном изображении могут представлять собой соответствующие эталонные блоки для блоков B0 и B1 текущего изображения. Эталонный блок B0‘ может частично находиться за пределами границы эталонного изображения. Заполнение может быть использовано для заполнения неизвестных сэмплов за пределами границ изображения. На фиг. 12 представлен пример заполнения эталонных сэмплов за пределами границы изображения. Например, примеры заполнения для блока B0‘ могут содержать четыре части: P0, P1, P2 и P3. Части P0, P1 и P2 могут находиться за пределами границы изображения и могут быть заполнены, например, посредством заполнения. Часть P0 может быть заполнена верхним левым сэмплом эталонного изображения. Часть Р1 может быть заполнена посредством вертикального заполнения с использованием крайнего верхнего ряда эталонного изображения. Часть Р2 может быть заполнена посредством горизонтального заполнения с использованием крайнего левого столбца изображения.

В режиме объединения можно использовать (например, повторно использовать) информацию MV из пространственных и/или временных соседних PU. Векторы движения для PU (например, текущего PU) могут не кодироваться. Кодер и/или декодер может формировать список кандидатов для объединения векторов движения. Например, список может быть создан с использованием информации MV из пространственных и/или временных соседних PU. На фиг. 13 представлен пример пространственных соседей (например, левого нижнего, левого, правого верхнего, верхнего и/или левого верхнего), используемых для выведения кандидата на объединение. Индекс выбранного кандидата на объединение может быть закодирован и/или передан посредством сигнализации. Список кандидатов на объединение может быть создан декодером. Создание списка декодером может осуществляться аналогично (например, аналогично) созданию списка кодером. Запись индекса кандидата на объединение, переданного посредством сигнализации, может быть использована в качестве MV для PU (например, текущего PU).

Можно реализовать геометрическое заполнение для 360-градусного кодирования видеосигналов. Например, геометрическое заполнение для 360-градусного кодирования видеосигналов можно реализовать на основании функций сопоставления 2D с 3D, а также 3D с 2D. Функции сопоставления 2D с 3D, а также 3D с 2D могут использовать функции деления и/или тригонометрические функции, такие как синус, косинус, тангенс и/или т.п. При реализации геометрического заполнения могут быть использованы вычислительные ресурсы, такие как ЦП и/или запоминающее устройство. Геометрическое заполнение может быть реализовано аппаратно. Можно реализовать операции деления с постоянным знаменателем. Например, операции деления с постоянным знаменателем можно реализовать с использованием операций битового сдвига. Операции деления с переменным знаменателем могут быть сложными для реализации. Одна или более функций могут быть реализованы с использованием таблиц перекодировки (LUT). Таблицы LUT могут быть недоступны для платформы декодирования. Кодер и/или декодер может хранить таблицы LUT в запоминающем устройстве.

Геометрическое заполнение может быть реализовано путем создания эталонного изображения. Количество сэмплов в эталонном изображении может быть предварительно заполнено вокруг границ изображения. Один или более предварительно заполненных сэмплов могут не использоваться. Например, один или более предварительно заполненных сэмплов могут отсутствовать и могут не использоваться, если ни один вектор движения в битовом потоке не относится к заполненным сэмплам. Эталонное изображение и/или предварительно заполненные сэмплы могут быть сохранены. Например, эталонное изображение и/или предварительно заполненные сэмплы могут быть сохранены в запоминающем устройстве.

В примерах геометрическое заполнение может быть реализовано на основании выведения одного или более сэмплов при получении сферических соседей, например, как описано в настоящем документе. Например, один или более сэмплов могут быть выведены из геометрии проекции на основании одной панорамы, такой как ERP, EAP, AEP и/или т.п. форматы, при использовании горизонтального геометрического заполнения. Операцию обрезки можно использовать для ограничения сэмпла в декодированном изображении.

Например, текущий блок можно разделять на один или более подблоков. Например, блок можно разделять на один или более подблоков на основании его векторов движения. Можно получать прогнозирование для подблока из различных частей проецируемого видео. Например, если вектор движения принимает левую часть блока за пределами левого края изображения ERP, этот блок можно разделять на множество частей, например на две части. Эти части могут находиться внутри и/или за пределами края изображения ERP. Часть, находящаяся за пределами левой границы, может быть получена с правой стороны изображения ERP, а часть, находящаяся в пределах левой границы, может быть получена с левой стороны от изображения ERP.

Устройство кодирования видеосигналов может выполнять геометрическое заполнение. Устройство кодирования видеосигналов, описанное в настоящем документе, может включать в себя кодер и/или декодер. Например, устройство кодирования видеосигналов может выполнять геометрическое заполнение на основании выведения одного или более сэмплов при получении одного или более сферических соседей.

Указание для разрешения геометрического заполнения, такого как горизонтальное геометрическое заполнение, может быть передано посредством сигнализации. Например, посредством сигнализации может быть передано указание с разрешением заворачивания для указания того, что геометрическое заполнение разрешено. Указание с разрешением заворачивания может указывать, разрешена ли компенсация горизонтального движения заворачивания. Указание с разрешением заворачивания может представлять собой или может включать в себя флаг с разрешением заворачивания, который может указывать, разрешена ли компенсация горизонтального движения заворачивания. Указание, такое как указание с разрешением заворачивания, может быть передано посредством сигнализации в битовом потоке.

Может быть определено правильное положение одного или более соседей в сферической окрестности. Например, устройство кодирования видеосигналов может определять правильное положение одного или более сферических соседей, связанных с текущим сэмплом, на основании смещения заворачивания эталонного сэмпла относительно текущего сэмпла. Устройство кодирования видеосигналов может учитывать смещение, такое как смещение заворачивания эталонного сэмпла, посредством геометрического заполнения и может вычислять правильное положение одного или более сферических соседей. Например, смещение заворачивания эталонного сэмпла может представлять собой или может включать в себя информацию, которая указывает ширину панорамы изображения, такого как изображение с упакованными кадрами, связанное с видеосодержимым. Устройство кодирования видеосигналов может вычислять правильное положение одного или более сферических соседей на основании указания размера, указывающего ширину панорамы изображения с упакованными кадрами. Указание размера может представлять собой или может включать в себя размер защитной полосы, например ширину защитной полосы в выборках яркости. На основании указания размера, который может представлять собой или может включать в себя ширину защитной полосы, устройство кодирования видеосигналов может вычислять правильное положение одного или более сферических соседей, связанных с текущим сэмплом. Положение и/или размер защитных полос могут быть добавлены (например, могли быть добавлены) при упаковке одной или более панорам в изображении. При упаковке одной или более панорам в изображении, таком как изображение с упакованными кадрами, могут быть добавлены защитные полосы. Например, при упаковке одной или более панорам в изображении перед кодированием могут быть добавлены защитные полосы. Как описано в настоящем документе, одно или более указаний, относящихся к геометрическому заполнению, могут быть переданы посредством сигнализации для указания, применено ли горизонтальное геометрическое заполнение, и/или указания защитных полос.

Для геометрий проекции, включающих в себя панораму, например формат проекции на основании одной панорамы, такой как ERP, EAP, AEP и/или подобные форматы проекции, геометрическое заполнение можно выполнять в горизонтальном направлении. При выполнении геометрического заполнения в горизонтальном направлении можно использовать повторяющееся заполнение в вертикальном направлении. Положение сэмпла может быть определено как горизонтальная координата сэмпла, которая может быть завернута в кодированном изображении (например, см. ур. (3)). Вертикальная координата сэмпла может быть обрезана по одной или более закодированных границ изображения, например, как при повторяющемся заполнении. Может быть определен процесс выведения целочисленных сэмплов и/или процесс интерполяции дробных сэмплов для внешнего прогнозирования (например, с использованием горизонтального геометрического заполнения) для геометрий проекции на основании панорамы (например, одной панорамы).

Одно или более указаний, относящихся к геометрическому заполнению, могут быть могут быть переданы посредством сигнализации. Как описано в настоящем документе, указание с разрешением заворачивания может быть передано посредством сигнализации. Указание с разрешением заворачивания может указывать, разрешена ли компенсация горизонтального движения заворачивания. Указание с разрешением заворачивания может быть передано посредством сигнализации на уровне последовательности и/или изображения. Например, указание с разрешением заворачивания, которое указывает геометрическое заполнение, может быть передано посредством сигнализации на уровне последовательности, например набора параметров последовательности (SPS).

Один или более параметров упаковки кадров могут быть переданы посредством сигнализации в битовом потоке. Например, один или более параметров упаковки кадров могут быть переданы посредством сигнализации на уровне последовательности и/или изображения с использованием элементов синтаксиса высокого уровня (HLS). Положение и/или ориентация панорамы изображения с упакованными кадрами, могут быть переданы посредством сигнализации в битовом потоке. Указание, указывающее ширину панорамы, которая связана с изображением с упакованными кадрами, может быть передано посредством сигнализации в битовом потоке. Указание для одного или более смещений, где такое указание размера указывает ширину защитной полосы и/или наличие одной или более защитных полос, может быть передано посредством сигнализации в битовом потоке. Например, указание размера и/или наличия защитной полосы для одного или более пикселей (например, дополнительных пикселей) на границах панорамы могут быть переданы посредством сигнализации в битовом потоке. Положение защитных полос, такое как смещения, может быть основано на формате проекции. Например, при геометриях проекции на основании одной панорамы защитные полосы могут располагаться на левой и/или правой границах панорам. В примерах защитные полосы, расположенные на левой и правой границах панорам, могут иметь одинаковый размер. В примерах защитные полосы, расположенные на левой и правой границах панорам, могут иметь разный размер. Указание размера, указывающее ширину защитной полосы, может включать в себя ширины защитных полос, таких как левая и правая защитные полосы. Для формата проекции на основании множественных панорам, такого как формат CMP, защитные полосы могут располагаться вокруг группы непрерывных панорам и/или ряда панорам. Если в формате проекции на основании множественных панорам размеры защитных полос отличаются, указание размера может включать в себя ширины каждой защитной полосы.

Одна или более защитных полос и/или элементы синтаксиса геометрического заполнения, описанные в настоящем документе, могут быть переданы посредством сигнализации. Например, посредством сигнализации может быть передано указание с разрешением заворачивания, в котором указано, разрешена ли компенсация горизонтального движения заворачивания. Указание может представлять собой или может включать в себя флаг разрешения заворачивания. Указание может включать в себя указание размера, указывающее ширину панорамы изображения с упакованными кадрами, и может быть передано посредством сигнализации. Как описано в настоящем документе, указание размера (например, указывающее ширину панорамы) может представлять собой или может включать в себя некоторый параметр, такой как guard_bands_param_present_flag, указывающий ширину защитной полосы. В таблице 1 показан пример геометрического заполнения и элементов синтаксиса защитной полосы. Геометрическое заполнение и/или элементы синтаксиса защитной полосы могут быть переданы посредством сигнализации на уровне последовательности и/или уровне изображения.

Таблица 1. Геометрическое заполнение и синтаксис защитных полос

В примерах параметры таблицы 1 могут иметь следующую семантику.

Элемент синтаксиса projection_geometry может представлять собой или может включать в себя индекс сопоставления (например, как показано в таблице 2) используемой геометрии проекции.

Элемент синтаксиса guard_bands_param_present_flag может указывать на наличие элемента синтаксиса guard_bands_size_in_luma_samples. Если элемент синтаксиса guard_bands_size_in_luma_samples отсутствует, значение элемента синтаксиса guard_bands_param_present_flag может быть выведено как равное 0.

Указание наличия смещения, такое как указание того, присутствует ли смещение, может включать в себя информацию о смещении. Например, указание наличия смещения, такое как guard_bands_param_present_flag, может быть применено для определения того, присутствует ли смещение в битовом потоке. Если указание наличия смещения указывает на наличие смещения в битовом потоке, устройство кодирования видеосигналов, такое как декодер, может синтаксически анализировать битовый поток для приема смещения. Если указание наличия смещения указывает на то, что в битовом потоке смещение отсутствует, устройство кодирования видеосигналов может пропускать синтаксический анализ битового потока для приема смещения. Например, если указание наличия смещения, такое как guard_bands_param_presnt_flag, указывает на то, что смещение отсутствует, устройство кодирования видеосигналов может пропускать использование защитной полосы. Крайняя левая и крайняя правая границы проецируемой панорамы могут быть соединены в сфере, при этом границы могут не соединяться в изображении с упакованными кадрами. Заполненные/расширенные сэмплы в защитной полосе могут быть закодированы в битовом потоке. Например, информация о левой защитной полосе может быть получена из крайней правой области внутри панорамы, а информация о правой защитной полосе может быть получена из крайней левой области внутри панорамы. Восстановленные сэмплы на крайней левой и крайней правой границах могут быть непрерывными (например, восстановленные сэмплы на крайней левой и крайней правой границах при кодировании рассматриваются как соседние сэмплы). Сэмплы в защитной полосе могут быть отброшены при отображении (например, поскольку сэмплы физически не существуют).

Может быть принято указание размера, указывающее ширину панорамы изображения (например, изображения с упакованными кадрами). Например, указание размера может включать в себя элемент синтаксиса, такой как guard_bands_size_in_luma_samples. Ширина панорамы изображения с упакованными кадрами может быть вычислена на основании указания размера. Вычисленная ширина панорамы может быть использована в качестве смещения заворачивания эталонного сэмпла. Например, элемент синтаксиса guard_bands_size_in_luma_samples может представлять размер в одной или более выборках яркости защитных полос, используемых в изображении с упакованными кадрами. Местоположение защитных полос (например, смещений) может быть определено для формата проекции. Например, для геометрии проекции на основании одной панорамы, такой как ERP, EAP, AEP и/или т.п. форматы, одна или более защитных полос могут быть определены на левой и/или правой границах панорамы. В примерах защитные полосы на левой и правой границах панорамы могут иметь одинаковую ширину. В примерах защитные полосы на левой и правой границах панорамы могут иметь разную ширину. Для геометрии проекции на основании множественных панорам, такой как формат CMP, одна или более защитных полос могут определяться вокруг группы панорам (например, каждой группы непрерывных панорам или каждого ряда панорам). Элемент синтаксиса guard_bands_size_in_luma_samples может не быть равен 0. Элемент синтаксиса guard_bands_size_in_luma_samples может быть целым числом, кратным MinCbSizeY.

Если элемент синтаксиса geometry_padding_enabled_flag равен 1, элемент синтаксиса geometry_padding_enabled_flag может указывать на то, что геометрическое заполнение эталонных изображений применяют для одного или более сэмплов, расположенных за пределами границы изображения. Если элемент синтаксиса geometry_padding_enabled_flag равен 0, элемент синтаксиса geometry_padding_enabled_flag может указывать на то, что геометрическое заполнение пропущено (например, не применяется). Если элемент синтаксиса geometry_padding_enabled_flag отсутствует, значение элемента синтаксиса geometry_padding_enabled_flag может быть выведено как равное 0.

В таблице 2 представлены примеры индексов геометрии проекции.

Таблица 2. Индексы геометрии проекции

Индекс Геометрия проекции 0 Равнопромежуточная проекция 1 Проекция с кубической текстурой 2 Равноплощадная проекция 3 Скорректированная равноплощадная проекция

Фактический размер панорамы, такой как ширина панорамы без защитных полос, может быть вычислена на основе информации, переданной посредством сигнализации, в таблице 1 и/или размера закодированного изображения. Например, для геометрии проекции на основании одной панорамы, такой как ERP, EAP, AEP и/или подобные форматы, с защитными полосами на левой и/или правой сторонах кодированного изображения фактическая ширина панорамы может быть вычислена, например, с использованием ур. (6). Параметр, такой как указание размера, который указывает ширину панорамы изображения с упакованными кадрами, может представлять собой или может включать в себя элемент pic_width_in_luma_samples, как описано в настоящем документе. Указание размера или такой параметр, как pic_width_in_luma_samples, может представлять ширину декодированного изображения в единицах выборок яркости. Параметр pic_width_in_luma_samples может быть передан посредством сигнализации на уровне последовательности. Высота панорамы может быть выведена из кодированной высоты изображения, например, при отсутствии защитных полос на верхней и/или нижней сторонах.

face_width_in_luma_samples = pic_width_in_luma_samples – 2 * guard_bands_size_in_luma_samples (6)

В примерах левая и правая защитные полосы могут иметь одинаковый размер. В примерах левая и правая защитные полосы могут иметь разные размеры. Если левая и правая защитные полосы имеют разные размеры, размер (например, индивидуальный размер) защитной полосы может быть передан посредством сигнализации, например, в соответствии с таблицей 3. В таблице 3 показан пример геометрического заполнения и синтаксиса защитных полос.

Таблица 3. Геометрическое заполнение и синтаксис защитных полос

Элемент синтаксиса guard_bands_param_present_flag может указывать на то, присутствует ли по меньшей мере один из элементов синтаксиса left_guard_band_width_in_luma_samples, right_guard_band_width_in_luma_samples или guard_bands_size_in_luma_samples. Если по меньшей мере один из элементов синтаксиса, такой как left_guard_band_width_in_luma_samples, right_guard_band_width_in_luma_samples или guard_bands_size_in_luma_samples, отсутствует, значение элемента синтаксиса guard_bands_param_present_flag может быть выведено как равное 0.

Элемент синтаксиса left_guard_band_width_in_luma_samples может представлять ширину в выборках яркости защитной полосы, используемой в изображении с упакованными кадрами на левой границе панорамы изображения, связанного с проекцией на основании одной панорамы (например, изображения ERP, EAP и/или AEP). Элемент синтаксиса left_guard_band_width_in_luma_samples может быть целым числом, кратным MinCbSizeY.

Элемент синтаксиса right_guard_band_width_in_luma_samples может представлять ширину в выборках яркости защитной полосы, используемой в изображении с упакованными кадрами на правой границе панорамы изображения, связанного с проекцией на основании одной панорамы (например, изображения ERP, EAP и/или AEP). Элемент синтаксиса right_guard_band_width_in_luma_samples может быть целым числом, кратным MinCbSizeY.

Как описано в настоящем документе, ширина панорамы изображения с упакованными кадрами может быть вычислена на основании указания размера, которое указывает ширину панорамы изображения с упакованными кадрами, такого как left_guard_band_width_in_luma_samples и/или right_guard_band_width_in_luma_samples. Например, используя представление, описанное в настоящем документе, ширину панорамы может быть вычислена, например, на основании ур. (7).

face_width_in_luma_samples = pic_width_in_luma_samples – (left_guard_band_width_in_luma_samples + right_guard_band_width_in_luma_samples) (7)

В примерах значения ширины защитной полосы могут быть кратными MinCbSizeY. Если значения ширины защитной полосы кратны MinCbSizeY, элементы синтаксиса могут быть указаны в единицах MinCbSizeY, например, вместо или в дополнение к указанию в единицах выборок яркости.

Геометрия проекции на основании одной панорамы может быть заполнена геометрией на основании одного или более сэмплов. При внешнем прогнозировании текущий блок в текущем изображении может быть спрогнозирован из эталонного блока в эталонном изображении. Например, текущий блок в текущем изображении может быть спрогнозирован из эталонного блока в эталонном изображении с использованием MV, соответствующего перемещению из положения текущего блока в положение эталонного блока. Для положения сэмпла (x, y) в текущем блоке сигнал прогнозирования I^pred (x, y) может быть получен из эталонного изображения I^ref и MV (∆x, ∆y), например с использованием ур. (8).

… (8)

MV может использовать дробную погрешность p. Например, MV может использовать погрешность 1/2, 1/4, 1/8 или 1/16 пикселей. Дробная погрешность может использовать интерполяцию из одного или более доступных положений целочисленных сэмплов. Положение сэмпла в эталонном изображении может быть представлено в виде целой части и дробной части, например, с использованием ур. (9)–(12). , и могут представлять собой арифметические сдвиги вправо и влево соответственно. & может представлять собой побитовый оператор «и».

…(9) …(10)

…(11) …(12)

Сигнал прогнозирования может быть получен посредством интерполяции одного или более соседних сэмплов на целочисленные положения. Сигнал прогнозирования может быть получен для определения значения в дробном положении. Если сэмпл в целочисленном положении находится за пределами границы эталонного изображения, например за пределами изображения с упакованными кадрами, можно применять операцию обрезки для ограничения положения сэмпла в пределах границы кодированного изображения. Это может быть аналогично (например, эквивалентно) выполнению повторяющегося заполнения. Для выборок яркости координаты x_Int и y_Int могут быть обрезаны, например, с использованием ур. (13) и (14) соответственно.

(13)

(14)

Например, если указание с разрешением заворачивания указывает на то, что компенсация горизонтального движения заворачивания не разрешена, может быть выполнена операция обрезки и/или повторяющееся заполнение. Может быть идентифицировано местоположение текущего сэмпла в изображении с упакованными кадрами. Устройство кодирования видеосигналов может определять, находится ли местоположение текущего сэмпла на горизонтальной границе изображения с упакованными кадрами. Устройство кодирования видеосигналов может определять, находится ли местоположение эталонного сэмпла за пределами горизонтальной границы изображения с упакованными кадрами. Может быть идентифицировано местоположение эталонного сэмпла на горизонтальной границе изображения с упакованными кадрами. Например, как описано в настоящем документе, местоположение эталонного сэмпла на горизонтальной границе изображения с упакованными кадрами может быть идентифицировано на основании обрезки. Текущий сэмпл может быть спрогнозирован на основании местоположения эталонного сэмпла.

В случае компонента яркости при использовании горизонтального геометрического заполнения координата в кодированном изображении может быть завернута, например, с использованием ур. (15), где , и , чтобы учесть циклическое свойство 360-градусного видео. Как описано в настоящем документе, указание, такое как указание с разрешением заворачивания, может предоставлять информацию о том, что использовано горизонтальное геометрическое заполнение.

(15)

Как описано в настоящем документе, устройство кодирования видеосигналов может определять, находится ли исходное местоположение эталонного сэмпла (например, первичное местоположение эталонного сэмпла) за пределами изображения с упакованными кадрами. Если исходное местоположение эталонного сэмпла находится за пределами изображения с упакованными кадрами, местоположение эталонного сэмпла может быть вычислено путем применения смещения заворачивания эталонного сэмпла к горизонтальной координате сэмпла, связанной с исходным местоположением эталонного сэмпла.

В примерах ширина панорамы изображения с упакованными кадрами может быть определена на основании смещения заворачивания эталонного сэмпла. Может быть идентифицировано местоположение текущего сэмпла в изображении с упакованными кадрами. Устройство кодирования видеосигналов может определять, находится ли исходное местоположение эталонного сэмпла (например, первичное местоположение эталонного сэмпла) за пределами изображения с упакованными кадрами. Если исходное местоположение эталонного сэмпла находится за пределами крайней левой горизонтальной границы изображения с упакованными кадрами, местоположение эталонного сэмпла может быть определено путем добавления смещения заворачивания эталонного сэмпла к горизонтальной координате сэмпла (например, координате ), связанной с исходным местоположением эталонного сэмпла (например, как показано в уравнении 15). Если исходное местоположение эталонного сэмпла находится за пределами крайней правой горизонтальной границы изображения с упакованными кадрами, местоположение эталонного сэмпла может быть определено путем вычитания смещения заворачивания эталонного сэмпла из горизонтальной координаты сэмпла, связанной с исходным местоположением эталонного сэмпла (например, как показано в уравнении 15).

Для геометрии проекции на основании одной панорамы (например, ERP, EAP, AEP и/или т.п. форматы) может быть получено положение выборки яркости, например, как показано в таблице 4. В таблице 4 представлен пример подхода к получению положения выборки яркости. Например, в таблице 4 представлен пример процесса выведения целочисленных величин и/или процесса интерполяции дробных сэмплов для внешнего прогнозирования.

Таблица 4. Пример подхода к выведению положения выборки яркости

Для одной или более выборок цветности при использовании повторяющегося заполнения координаты и могут быть обрезаны, например с помощью ур. (16) и (17) соответственно.

(16)

… (17)

В случае компонента цветности при использовании горизонтального геометрического заполнения координата в кодированном изображении может быть завернута, например с помощью ур. (18), где и

, для учета циклического свойства 360-градусного видео.

(18)

Для геометрии проекции на основании одной панорамы (например, ERP, EAP, AEP и/или т.п. форматы) может быть получено положение выборки цветности, например, как показано в таблице 5. В таблице 5 представлен пример подхода к получению положения выборки цветности. Например, в таблице 5 представлен пример процесса выведения целочисленных величин и/или процесса интерполяции дробных сэмплов для внешнего прогнозирования.

Таблица 5. Пример подхода к выведению положения выборки цветности

Заворачивание местоположений сэмплов, описанное в настоящем документе, с использованием операции по модулю можно применять к горизонтальному геометрическому заполнению, если формат проекции, используемый для представления 360-градусного видео, представляет собой формат проекции на основании одной панорамы (например, ERP, EAP, AEP и/или т.п. формат проекции). Для других форматов проекции, таких как формат проекции на основании множественных панорам (например, CMP и/или формат проекции на основании CMP), могут быть реализованы функции сопоставления 2D с 3D, а также 3D с 2D. Операция по модулю, описанная в настоящем документе, может быть применена к формату проекции на основании множественных панорам (например, CMP и/или формату проекции на основании CMP) в качестве приближения.

Устройство кодирования видеосигналов может определять положение сэмпла в текущей CU и/или может выполнять компенсацию движения на уровне сэмпла. Для видео со стандартным динамическим диапазоном (SDR) и/или т.п. компенсация движения может быть выполнена на уровне блока (например, блоком может быть CU или под-CU). CU может разделяться на множество частей (например, две части) и/или может выполнять компенсацию движения с использованием геометрического заполнения для каждой из множества частей (например, двух частей).

На фиг. 14 представлен пример кэширования восстановленных сэмплов для внешнего прогнозирования при использовании горизонтального геометрического заполнения. При внешнем прогнозировании доступ к сэмплу в эталонном изображении может осуществляться более одного раза, поскольку на одну и ту же область может ссылаться несколько блоков, процессов интерполяции и/или процессов уточнения. При доступе к буферу декодированного изображения часть эталонного изображения может быть сохранена в запоминающем устройстве (например, локальном запоминающем устройстве) для быстрого доступа при выполнении внешнего прогнозирования, как показано на фиг. 14. Сохраненная область может представлять собой соседний участок с центром в положении текущего блока и/или положении текущего CTU. Размер сохраненной области может быть ограниченным. Если используется геометрическое заполнение и текущий блок находится на границе первой панорамы и/или вблизи нее, сохраненная область может быть разделена на две подобласти: первую подобласть, расположенную вокруг положения текущего блока в первой панораме; и вторую подобласть, расположенную с другой стороны от границы первой панорамы, например на второй панораме, соседней с первой панорамой. Например, если рассматривать ERP-изображение, показанное на фиг. 12, в эталонном изображении сохраненные данные могут включать в себя две подобласти: первую область, расположенную вокруг положения текущего блока (например, для прогнозирования областей двух подчастей Р1 и Р3 на фиг. 12); и вторую область (например, для прогнозирования областей двух подчастей P0 и P2 на фиг. 12), соответствующую данным заворачивания, например, учитывающим свойства цикличности 360-градусного видео.

Для прогнозирования части, которая соответствует областям Р1 и Р3, показанным на фиг. 12, один или более сэмплов прогнозирования могут находиться с левой стороны изображения. Если вектор движения содержит дробную погрешность сэмпла, может быть осуществлена интерполяция, и/или с помощью интерполяции могут быть изменены соседи с правой стороны изображения (например, области, соответствующие областям P0 и P2, показанным на фиг. 12). Повторяющееся заполнение может быть применено для получения одного или более значений сэмплов, используемых в интерполяции для прогнозирования областей P1 и P3, показанных на фиг. 12.

При необходимости интерполяции для прогнозирования части, которая соответствует областям P0 и P2, один или более соседних сэмплов могут быть получены путем повторяющегося заполнения (например, путем повторения одного или более сэмплов на правой границе изображения с использованием свойства цикличности 360-градусного видео). Получение одного или более сэмплов с левой границы изображения может быть пропущено. При получении двух векторов движения для каждой из двух частей для первой части, которая соответствует областям Р1 и Р3, вектор движения может оставаться без изменения. Для второй части, которая соответствует областям P0 и P2, операция по модулю может быть применена к горизонтальному компоненту вектора движения, например, для достижения эффекта заворачивания, как описано в настоящем документе.

Доступ к данным может осуществляться извне кэш-памяти. Для горизонтального геометрического заполнения операция заворачивания может быть ограничена пропуском получения одного или более сэмплов, расположенных за пределами сохраненных данных. Например, горизонтальное геометрическое заполнение может быть выполнено в пределах заданного диапазона S_L (S_L ≤ face_width_in_luma_samples, S_{C =} S_L / SubWidthC), который может быть связан с размером кэш-памяти. Для одного или более сэмплов, расположенных вне сохраненных данных, можно применять повторяющееся заполнение, выходящее за пределы этого диапазона. Ур. (15) и (18) могут быть заменены ур. (19) и (20) соответственно.

(19)

(20)

При интерполяции одного или более сэмплов в местоположениях дробных сэмплов может быть выведен один или более сэмплов в местоположениях полных сэмплов, используемых интерполяционным фильтром, например, как показано в таблице 4 и/или таблице 5 для компонентов яркости и цветности соответственно. Например, с учетом ситуации, показанной на фиг. 15, выборки a_{0, 0}–r_{0, 0} яркости в положениях дробных сэмплов могут быть интерполированы с использованием выборок A_{i, j} яркости в местоположениях (xA_{i, j}, yA_{i, j}) полных сэмплов. Для выборки A_{i, j} яркости в местоположениях полных сэмплов координаты xA_{i, j} и yA_{i, j} могут быть выведены, как показано в таблице 4 и/или таблице 5 для компонентов яркости и цветности соответственно.

На фиг. 16A представлена схема, иллюстрирующая пример системы 100 связи, в которой могут быть реализованы один или более описанных вариантов осуществления. Система 100 связи может представлять собой систему множественного доступа, от которой множество пользователей беспроводной связи получают содержимое, такое как голосовая информация, данные, видео, обмен сообщениями, широковещание и т.д. Система 100 связи может быть выполнена с возможностью предоставления множеству пользователей беспроводной связи доступа к такому содержимому посредством совместного использования системных ресурсов, включая ширину полосы пропускания беспроводного соединения. Например, в системах 100 связи может быть использован один или более способов доступа к каналу, таких как множественный доступ с кодовым разделением каналов (CDMA), множественный доступ с временным разделением каналов (TDMA), множественный доступ с частотным разделением каналов (FDMA), множественный доступ с ортогональным частотным разделением каналов (OFDMA), FDMA с одной несущей (SC-FDMA), расширенное OFDM с безызбыточным расширенным дискретным преобразованием Фурье (DFT) с синхропакетом (ZT UW DTS-s OFDM), OFDM с синхропакетом (UW-OFDM), OFDM с фильтрацией ресурсного блока, блок фильтров с множеством несущих (FBMC) и т.п.

Как показано на фиг. 16A, система 100 связи может включать в себя модули 102a, 102b, 102c, 102d беспроводной передачи/приема (WTRU), RAN 104/113, CN 106/115, коммутируемую телефонную сеть 108 общего пользования (PSTN), сеть Интернет 110 и другие сети 112, хотя следует понимать, что в описанных вариантах осуществления предполагается возможность применения любого количества WTRU, базовых станций, сетей и/или элементов сети. Каждый из WTRU 102a, 102b, 102c, 102d может представлять собой устройство любого типа, выполненное с возможностью функционирования и/или взаимодействия в среде беспроводной связи. Например, WTRU 102a, 102b, 102c, 102d, любой из которых может называться станцией и/или STA, могут быть выполнены с возможностью передачи и/или приема радиосигналов и могут включать в себя оборудование пользователя (UE), мобильную станцию, стационарный или мобильный абонентский модуль, абонентский модуль, пейджер, сотовый телефон, карманный персональный компьютер (PDA), смартфон, ноутбук, нетбук, персональный компьютер, беспроводной датчик, точку доступа или устройство Mi-Fi, устройство Интернета физических объектов (IoT), часы или другие носимые устройства, наголовный дисплей (HMD), транспортное средство, беспилотный радиоуправляемый летательный аппарат, медицинское устройство и приложения (например, применяемые в дистанционной хирургии), промышленное устройство и приложения (например, робот и/или другие беспроводные устройства, работающие в условиях промышленной и/или автоматизированной технологической цепочки), устройство, относящееся к бытовой электронике, устройство, работающее в коммерческой и/или промышленной беспроводной сети, и т.п. Любой из WTRU 102a, 102b, 102c и 102d можно взаимозаменяемо называть UE.

Системы 100 связи могут также включать в себя базовую станцию 114a и/или базовую станцию 114b. Каждая из базовых станций 114a, 114b может представлять собой устройство любого типа, выполненное с возможностью беспроводного взаимодействия с по меньшей мере одним из WTRU 102a, 102b, 102c, 102d для облегчения доступа к одной или более сетям связи, таким как CN 106/115, сеть Интернет 110 и/или другие сети 112. В качестве примера базовые станции 114a, 114b могут представлять собой базовые приемопередающие станции (BTS), станции Node-B, станции eNode B, станции Home Node B, станции Home eNode B, базовую станцию следующего поколения (gNB), NodeB на основании NR, контроллер пункта связи, точку доступа (AP), беспроводной маршрутизатор и т.п. Хотя каждая из базовых станций 114a, 114b показана как отдельный элемент, следует понимать, что базовые станции 114a, 114b могут включать в себя любое количество взаимно соединенных базовых станций и/или элементов сети.

Базовая станция 114a может быть частью RAN 104/113, которая может также включать в себя другие базовые станции и/или элементы сети (не показаны), такие как контроллер базовой станции (BSC), контроллер радиосети (RNC), ретрансляционные узлы и т.п. Базовая станция 114a и/или базовая станция 114b могут быть выполнены с возможностью передачи и/или приема радиосигналов на одной или более несущих частотах, которые могут называться сотой (не показана). Эти частоты могут относиться к лицензированному спектру, нелицензированному спектру или к сочетанию лицензированного и нелицензированного спектров. Сота может обеспечивать покрытие для беспроводного сервиса в конкретной географической зоне, которая может быть относительно фиксированной или которая может изменяться со временем. Сота может быть дополнительно разделена на сектора соты. Например, сота, связанная с базовой станцией 114a, может быть разделена на три сектора. Таким образом, в одном варианте осуществления базовая станция 114a может включать в себя три приемопередатчика, например один для каждого сектора соты. В варианте осуществления в базовой станции 114a может быть использована технология «множественный вход — множественный выход» (MIMO), и может быть задействовано множество приемопередатчиков для каждого сектора соты. Например, для передачи и/или приема сигналов в требуемых пространственных направлениях можно использовать формирование лучей.

Базовые станции 114a, 114b могут обмениваться данными с одним или более из WTRU 102a, 102b, 102c, 102d посредством радиоинтерфейса 116, который может представлять собой любую подходящую систему беспроводной связи (например, для передачи сигналов в радиочастотном (РЧ), микроволновом спектре, спектре сантиметровых волн, спектре микрометровых волн, инфракрасном (ИК), ультрафиолетовом (УФ) спектре, спектре видимого света и т.д.). Радиоинтерфейс 116 может быть установлен с использованием любой подходящей технологии радиодоступа (RAT).

Более конкретно, как указано выше, система 100 связи может представлять собой систему множественного доступа, и в ней можно использовать одну или более схем доступа к каналу, например CDMA, TDMA, FDMA, OFDMA, SC-FDMA и т.п. Например, в базовой станции 114a в RAN 104/113 и WTRU 102a, 102b, 102c может быть реализована технология радиосвязи, такая как универсальный наземный доступ (UTRA) для универсальной системы мобильной связи (UMTS), в которой может быть установлен радиоинтерфейс 115/116/117 с использованием широкополосного CDMA (WCDMA). WCDMA может включать в себя протоколы связи, такие как высокоскоростной пакетный доступ (HSPA) и/или усовершенствованный HSPA (HSPA+). Протокол HSPA может включать в себя высокоскоростной пакетный доступ по нисходящей (DL) линии связи (HSDPA) и/или высокоскоростной пакетный доступ по восходящей (UL) линии связи (HSUPA).

В варианте осуществления в базовой станции 114a и WTRU 102a, 102b, 102c может быть реализована такая технология радиосвязи, как усовершенствованная сеть наземного радиодоступа UMTS (E-UTRA), которая может устанавливать радиоинтерфейс 116 с использованием стандарта долгосрочного развития сетей связи (LTE), и/или LTE-Advanced (LTE-A), и/или LTE-Advanced Pro (LTE-A Pro).

В одном варианте осуществления базовая станция 114a и WTRU 102a, 102b, 102c могут реализовывать такую технологию радиосвязи, как новая технология радиодоступа (NR Radio Access), которая может устанавливать радиоинтерфейс 116 с использованием технологии New Radio (NR).

В варианте осуществления в базовой станции 114a и WTRU 102a, 102b, 102c может быть реализовано множество технологий радиодоступа. Например, в совокупности в базовой станции 114a и WTRU 102a, 102b, 102c может быть реализован радиодоступ LTE и радиодоступ NR, например, с использованием принципов двойного подключения (DC). Таким образом, радиоинтерфейс, используемый WTRU 102a, 102b, 102c, может характеризоваться применением множества типов технологий радиодоступа и/или передачами, направляемыми на базовые станции / с базовых станций, относящихся к множеству типов (например, eNB и gNB).

В других вариантах осуществления базовая станция 114a и WTRU 102a, 102b, 102c могут реализовывать технологии радиосвязи, такие как IEEE 802.11 (например, Wireless Fidelity (WiFi)), IEEE 802.16 (например, глобальная совместимость для микроволнового доступа (WiMAX)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, временный стандарт 2000 (IS-2000), временный стандарт 95 (IS-95), временный стандарт 856 (IS-856), глобальная система мобильной связи (GSM), усовершенствованные скорости передачи данных для сетей GSM Evolution (EDGE), GSM EDGE (GERAN) и т.п.

Базовая станция 114b, показанная на фиг. 16A, может представлять собой, например, беспроводной маршрутизатор, станцию Home Node B, станцию Home eNode B или точку доступа, и в ней может быть использована любая подходящая RAT для облегчения обеспечения беспроводной связи в локализованной зоне, такой как коммерческое предприятие, жилое помещение, транспортное средство, учебное заведение, промышленный объект, воздушный коридор (например, для использования беспилотными радиоуправляемыми летательными аппаратами), проезжая часть и т.п. В одном варианте осуществления в базовой станции 114b и WTRU 102c, 102d может быть реализована технология радиосвязи, такая как IEEE 802.11, для создания беспроводной локальной сети (WLAN). В варианте осуществления в базовой станции 114b и WTRU 102c, 102d может быть реализована технология радиосвязи, такая как IEEE 802.15, для создания беспроводной персональной сети (WPAN). В еще одном варианте осуществления базовая станция 114b и WTRU 102c, 102d могут использовать RAT на основе сот (например, WCDMA, CDMA2000, GSM, LTE, LTE-A, LTE-A Pro, NR и т.д.) для создания пикосоты или фемтосоты. Как показано на фиг. 16A, базовая станция 114b может иметь прямое соединение с сетью Интернет 110. Таким образом, для базовой станции 114b может не требоваться доступ к сети Интернет 110 посредством CN 106/115.

RAN 104/113 может обмениваться данными с CN 106/115, которая может представлять собой сеть любого типа, выполненную с возможностью предоставления услуг передачи голосовой информации, данных, приложений и/или голосовой связи по протоколу (VoIP) Интернета одному или более из WTRU 102a, 102b, 102c, 102d. К данным могут предъявляться различные требования по качеству обслуживания (QoS), например различные требования по производительности, требования к задержке, требования к отказоустойчивости, требования к надежности, требования к скорости передачи данных, требования к мобильности и т.п. Сеть CN 106/115 может предоставлять управление вызовами, услуги биллинга, услуги мобильной связи на основании местоположения, предварительно оплаченные вызовы, возможность связи с сетью Интернет, распределение видеосигналов и т.п. и/или выполнять функции высокоуровневой защиты, такие как аутентификация пользователей. Хотя на ФИГ. 16A это не показано, следует понимать, что RAN 104/113 и/или CN 106/115 могут прямо или косвенно обмениваться данными с другими RAN, в которых использована такая же RAT, что и в RAN 104/113, или другая RAT. Например, в дополнение к соединению с RAN 104/113, в которой может быть использована технология радиосвязи NR, CN 106/115 может также обмениваться данными с другой RAN (не показана), использующей технологию радиосвязи GSM, UMTS, CDMA 2000, WiMAX, E-UTRA или WiFi.

CN 106/115 может также выступать в качестве шлюза для WTRU 102a, 102b, 102c, 102d, чтобы обеспечивать доступ к сети PSTN 108, сети Интернет 110 и/или другим сетям 112. PSTN 108 может включать в себя телефонные сети с коммутацией каналов, которые предоставляют традиционные услуги телефонной связи (POTS). Интернет 110 может включать в себя глобальную систему взаимно соединенных компьютерных сетей и устройств, которые используют распространенные протоколы связи, такие как протокол управления передачей (TCP), протокол пользовательских дейтаграмм (UDP) и/или протокол Интернета (IP) в наборе протоколов Интернета TCP/IP. Сети 112 могут включать в себя проводные и/или беспроводные сети связи, которые принадлежат другим поставщикам услуг и/или предоставлены ими для использования. Например, сети 112 могут включать в себя другую CN, соединенную с одной или более RAN, в которых может быть использована такая же RAT, как и в RAN 104/113, или другая RAT.

Некоторые или все из WTRU 102a, 102b, 102c, 102d в системе 100 связи могут включать в себя многорежимные возможности (например, WTRU 102a, 102b, 102c, 102d могут включать в себя множество приемопередатчиков для связи с разными беспроводными сетями по разным беспроводным линиям связи). Например, WTRU 102c, показанный на фиг. 16A, может быть выполнен с возможностью обмена данными с базовой станцией 114a, которая может использовать технологию радиосвязи на основе сот, а также с базовой станцией 114b, которая может использовать технологию радиосвязи IEEE 802.

На фиг. 16B представлена схема системы, иллюстрирующая пример WTRU 102. Как показано на фиг. 16B, WTRU 102 может включать в себя, помимо прочего, процессор 118, приемопередатчик 120, передающий/приемный элемент 122, динамик/микрофон 124, клавиатуру 126, дисплей / сенсорную панель 128, несъемное запоминающее устройство 130, съемное запоминающее устройство 132, источник 134 питания, набор 136 микросхем глобальной системы определения местоположения (GPS) и/или другие периферийные устройства 138. Следует понимать, что WTRU 102 может включать в себя любую подкомбинацию вышеперечисленных элементов и при этом соответствовать варианту осуществления.

Процессор 118 может представлять собой процессор общего назначения, процессор специального назначения, традиционный процессор, цифровой сигнальный процессор (DSP), множество микропроцессоров, один или более микропроцессоров, связанных с ядром DSP, контроллер, микроконтроллер, специализированные интегральные схемы (ASIC), схемы программируемых пользователем вентильных матриц (FPGA), интегральную микросхему (IC) любого другого типа, конечный автомат и т.п. Процессор 118 может выполнять кодирование сигналов, обработку данных, управление мощностью, обработку ввода/вывода и/или иметь любые другие функциональные возможности, с помощью которых WTRU 102 работает в среде беспроводной связи. Процессор 118 может быть соединен с приемопередатчиком 120, который может быть соединен с передающим/приемным элементом 122. Хотя на фиг. 16B процессор 118 и приемопередатчик 120 показаны в виде отдельных компонентов, следует понимать, что процессор 118 и приемопередатчик 120 могут быть выполнены за единое целое и встроены в электронный блок или микросхему.

Передающий/приемный элемент 122 может быть выполнен с возможностью передачи сигналов на базовую станцию (например, базовую станцию 114a) по радиоинтерфейсу 116 или приема от нее сигналов. Например, в одном варианте осуществления передающий/приемный элемент 122 может представлять собой антенну, выполненную с возможностью передачи и/или приема РЧ-сигналов. В варианте осуществления передающий/приемный элемент 122 может представлять собой излучатель/детектор, выполненный с возможностью передачи и/или приема, например, сигналов в ИК-, УФ- или спектре видимого света. В еще одном варианте осуществления передающий/приемный элемент 122 может быть выполнен с возможностью передачи и/или приема сигналов как в РЧ-спектре, так и в спектре видимого света. Следует понимать, что передающий/приемный элемент 122 может быть выполнен с возможностью передачи и/или приема любой комбинации беспроводных сигналов.

Хотя на фиг. 16B передающий/приемный элемент 122 показан в виде единственного элемента, WTRU 102 может включать в себя любое количество передающих/приемных элементов 122. Более конкретно, в WTRU 102 может быть использована технология MIMO. Таким образом, в одном варианте осуществления WTRU 102 может включать в себя два или более передающих/приемных элементов 122 (например, множество антенн) для передачи и приема беспроводных сигналов по радиоинтерфейсу 116.

Приемопередатчик 120 может быть выполнен с возможностью модуляции сигналов, которые подлежат передаче посредством передающего/приемного элемента 122, а также демодуляции сигналов, принятых посредством передающего/приемного элемента 122. Как указано выше, WTRU 102 может иметь многорежимные возможности. Таким образом, приемопередатчик 120 может включать в себя множество приемопередатчиков, с помощью которых WTRU 102 получает возможность взаимодействия посредством множества RAT, таких как, например, NR и IEEE 802.11.

Процессор 118 WTRU 102 может быть соединен с динамиком/микрофоном 124, клавиатурой 126 и/или дисплеем / сенсорной панелью 128 (например, жидкокристаллическим дисплеем (LCD) или дисплеем на органических светодиодах (OLED)) и может принимать от них данные, вводимые пользователем. Процессор 118 может также выводить пользовательские данные на динамик/микрофон 124, клавиатуру 126 и/или дисплей / сенсорную панель 128. Кроме того, процессор 118 может иметь доступ к информации с подходящего запоминающего устройства любого типа, такого как несъемное запоминающее устройство 130 и/или съемное запоминающее устройство 132, и хранить на нем данные. Несъемное запоминающее устройство 130 может включать в себя оперативное запоминающее устройство (ОЗУ), постоянное запоминающее устройство (ПЗУ), жесткий диск или запоминающее устройство любого другого типа. Съемное запоминающее устройство 132 может включать в себя карту модуля идентификации абонента (SIM), карту памяти, безопасную цифровую карту памяти (SD) и т.п. В других вариантах осуществления процессор 118 может осуществлять доступ к информации с запоминающего устройства, которое физически размещено не в WTRU 102, а, например, на сервере или домашнем компьютере (не показан), и хранить на нем данные.

Процессор 118 может принимать питание от источника 134 питания и может быть выполнен с возможностью управления питанием и/или распределения питания на другие компоненты в WTRU 102. Источник 134 питания может представлять собой любое подходящее устройство для подачи питания на WTRU 102. Например, источник 134 питания может включать одну или более сухих батарей (например, никель-кадмиевых (NiCd), никель-цинковых (NiZn), никель-металл-гидридных (NiMH), литий-ионных (Li-ion) и т.д.), солнечных элементов, топливных элементов и т.п.

Процессор 118 также может быть соединен с набором 136 микросхем GPS, который может быть выполнен с возможностью предоставления информации о местоположении (например, долготы и широты) относительно текущего местоположения WTRU 102. Дополнительно или вместо информации от набора 136 микросхем GPS WTRU 102 может принимать информацию о местоположении по радиоинтерфейсу 116 от базовой станции (например, от базовых станций 114a, 114b) и/или определять местоположение на основе синхронизации сигналов, принимаемых от двух или более соседних базовых станций. Следует понимать, что WTRU 102 может получать информацию о местоположении посредством любого подходящего способа определения местоположения и при этом соответствовать варианту осуществления.

Процессор 118 может быть дополнительно соединен с другими периферийными устройствами 138, которые могут включать в себя один или более программных и/или аппаратных модулей, в которых предусмотрены дополнительные признаки, функциональные возможности и/или возможности по установлению проводной или беспроводной связи. Например, периферийные устройства 138 могут включать в себя акселерометр, электронный компас, спутниковый приемопередатчик, цифровую камеру (для фото- и видеосъемки), порт универсальной последовательной шины (USB), вибрационное устройство, телевизионный приемопередатчик, беспроводную гарнитуру, модуль Bluetooth®, радиомодуль с частотной модуляцией (FM), цифровой музыкальный проигрыватель, мультимедийный проигрыватель, модуль устройства для воспроизведения видеоигр, Интернет-браузер, устройство виртуальной реальности и/или дополненной реальности (VR/AR), трекер активности и т.п. Периферийные устройства 138 могут содержать один или более датчиков, причем датчики могут представлять собой один или более из гироскопа, акселерометра, датчика Холла, магнитометра, датчика ориентации, датчика приближения, датчика температуры, датчика времени; датчика географического положения; высотомера, датчика освещенности, датчика касания, магнитометра, барометра, датчика жеста, биометрического датчика и/или датчика влажности.

WTRU 102 может включать в себя полнодуплексное радиоустройство, для которого передача и прием некоторых или всех сигналов, например, связанных с конкретными подкадрами как для UL (например, для передачи), так и для нисходящей линии связи (например, для приема), могут быть осуществлены совместно и/или одновременно. Полнодуплексное радиоустройство может включать в себя блок управления помехами для снижения уровня и/или по существу устранения собственных помех с помощью либо аппаратного обеспечения (например, дросселя), либо обработки сигнала с помощью процессора (например, отдельного процессора (не показан) или процессора 118). В одном варианте осуществления WRTU 102 может включать в себя полудуплексное радиоустройство для передачи и приема некоторых или всех сигналов (например, связанных с конкретными подкадрами либо для UL (например, для передачи), либо для нисходящей линии связи (например, для приема)).

На фиг. 16C представлена схема системы, иллюстрирующая RAN 104 и CN 106 в соответствии с одним вариантом осуществления. Как отмечено выше, RAN 104 может использовать технологию радиосвязи E-UTRA для обмена данными с WTRU 102a, 102b, 102c по радиоинтерфейсу 116. RAN 104 может также обмениваться данными с CN 106.

RAN 104 может включать в себя eNode-B 160a, 160b, 160c, хотя следует понимать, что сеть RAN 104 может включать в себя любое количество eNode-B и при этом соответствовать варианту осуществления. Каждая eNode-B 160a, 160b, 160c может включать в себя один или более приемопередатчиков для обмена данными с WTRU 102a, 102b, 102c по радиоинтерфейсу 116. В одном варианте осуществления в eNode B 160a, 160b, 160c может быть реализована технология MIMO. Таким образом, в eNode-B 160a может, например, использоваться множество антенн для передачи беспроводных на WTRU 102a и/или приема беспроводных сигналов от него.

Каждая eNode-B 160a, 160b, 160c может быть связана с конкретной сотой (не показана) и может быть выполнена с возможностью принятия решений по управлению радиоресурсами, решений по передаче обслуживания, диспетчеризации пользователей в UL и/или DL и т.п. Как показано на фиг. 16C, eNode-B 160a, 160b, 160c могут обмениваться данными друг с другом по интерфейсу X2.

CN 106, показанная на фиг. 16C, может включать в себя объект 162 управления мобильностью (MME), обслуживающий шлюз 164 (SGW) и шлюз 166 (или PGW) сети с пакетной передачей данных (PDN). Хотя каждый из вышеперечисленных элементов показан как часть CN 106, следует понимать, что любой из этих элементов может принадлежать субъекту, отличному от оператора CN, и/или может быть предоставлен им для использования.

MME 162 может быть подключен к каждой eNode-B 162a, 162b, 162c в RAN 104 по интерфейсу S1 и может выступать в качестве узла управления. Например, MME 162 может отвечать за аутентификацию пользователей WTRU 102a, 102b, 102c, активацию/деактивацию канала, выбор конкретного обслуживающего шлюза во время начального соединения WTRU 102a, 102b, 102c и т.п. MME 162 может обеспечивать функцию плоскости управления для переключения между RAN 104 и другими RAN (не показаны), которые используют другие технологии радиосвязи, такие как GSM и/или WCDMA.

SGW 164 может быть подключен к каждой eNode B 160a, 160b, 160c в RAN 104 по интерфейсу S1. SGW 164 может по существу направлять и пересылать пакеты пользовательских данных на WTRU 102a, 102b, 102c и от них. SGW 164 может выполнять другие функции, например привязку плоскостей пользователя во время передачи обслуживания между базовыми станциями eNode B, инициирование пейджинга, когда данные DL доступны для WTRU 102a, 102b, 102c, управление и хранение контекста WTRU 102a, 102b, 102c и т.п.

SGW 164 может быть подключен к PGW 166, который может предоставлять WTRU 102a, 102b, 102c доступ к сетям с коммутацией пакетов, таким как сеть Интернет 110, для облегчения обмена данными между WTRU 102a, 102b, 102c и устройствами с поддержкой протокола IP.

CN 106 может облегчать обмен данными с другими сетями. Например, CN 106 может предоставлять WTRU 102a, 102b, 102c доступ к сетям с коммутацией каналов, таким как PSTN 108, для облегчения обмена данными между WTRU 102a, 102b, 102c и традиционными устройствами связи наземной линии связи. Например, CN 106 может включать в себя IP-шлюз (например, сервер мультимедийной IP-подсистемы (IMS)), который выступает в качестве интерфейса между CN 106 и PSTN 108, либо может обмениваться данными с ним. Кроме того, CN 106 может предоставлять WTRU 102a, 102b, 102c доступ к другим сетям 112, которые могут включать в себя другие проводные и/или беспроводные сети, которые принадлежат другим поставщикам услуг и/или предоставлены ими для использования.

Хотя WTRU описан на фиг. 16A–16D как беспроводной терминал, предполагается, что в определенных типовых вариантах осуществления с таким терминалом можно использовать (например, временно или постоянно) проводные интерфейсы связи с сетью связи.

В типовых вариантах осуществления другая сеть 112 может представлять собой WLAN.

WLAN в режиме базового набора служб (BSS) инфраструктуры может иметь точку доступа (АР) для BSS и одну или более станций (STA), связанных с АР. АР может иметь доступ к системе распределения (DS) или интерфейс с ней или осуществлять связь по проводной/беспроводной сети другого типа, которая переносит трафик в BSS и/или вне BSS. Трафик на STA, образованный вне BSS, может поступать через AP и может быть доставлен на STA. Трафик, исходящий от STA к получателям вне BSS, может быть отправлен на АР для доставки соответствующим получателям. Трафик между STA в пределах BSS может быть отправлен через АР, например, если STA-источник может отправлять трафик на АР, а АР может доставлять трафик STA-получателю. Трафик между STA в пределах BSS может рассматриваться и/или называться одноранговым трафиком. Одноранговый трафик может быть передан между (например, непосредственно между) STA-источником и STA-получателем при установлении прямой линии связи (DLS). В определенных типовых вариантах осуществления DLS может использовать DLS 802.11e или туннелированное DLS 802.11z (TDLS). WLAN с использованием независимого BSS (IBSS) режима может не иметь АР, а STA (например, все из STA) в пределах или с использованием IBSS могут осуществлять связь непосредственно друг с другом. В настоящем документе режим IBSS иногда может упоминаться как режим связи с прямым соединением.

При использовании режима работы инфраструктуры 802.11ac или аналогичного режима работы AP может передавать маяк по фиксированному каналу, такому как первичный канал. Первичный канал может иметь фиксированную ширину (например, ширину полосы пропускания 20 МГц) или ширину, динамически установленную с помощью сигнализации. Первичный канал может представлять собой рабочий канал BSS и может использоваться STA для установления соединения с АР. В определенных типовых вариантах осуществления может быть реализован множественный доступ с контролем несущей и предотвращением коллизий (CSMA/CA), например, в системах 802.11. STA (например, каждая STA), включая АР, могут обнаруживать первичный канал для CSMA/CA. При распознавании/обнаружении и/или определении занятости первичного канала конкретной STA эта конкретная STA может отключаться. Одна STA (например, только одна станция) может осуществлять передачу в любой конкретный момент времени в данном BSS.

Для осуществления связи STA с высокой пропускной способностью (HT) может быть использован канал шириной 40 МГц, например, путем объединения первичного канала 20 МГц со смежным или несмежным каналом 20 МГц с образованием канала шириной 40 МГц.

STA со сверхвысокой пропускной способностью (VHT) могут поддерживать каналы шириной 20 МГц, 40 МГц, 80 МГц и/или 160 МГц. Каналы 40 МГц и/или 80 МГц могут быть образованы путем объединения сплошных каналов 20 МГц. Канал 160 МГц может быть образован путем объединения 8 сплошных каналов 20 МГц или путем объединения двух несплошных каналов 80 МГц, которые могут называться конфигурацией 80 + 80. Для конфигурации 80 + 80 данные после кодирования канала могут проходить через анализатор сегментов, который может разделять данные на два потока. Обработку в виде обратного быстрого преобразования Фурье (IFFT) и обработку во временной области можно выполнять отдельно для каждого потока. Потоки могут быть сопоставлены с двумя каналами 80 МГц, а данные могут быть переданы передающей STA. В приемнике принимающей STA вышеописанная операция для конфигурации 80 + 80 может быть инвертирована, а объединенные данные могут быть отправлены на устройство управления доступом к среде передачи данных (MAC).

802.11af и 802.11ah поддерживают подрежимы работы 1 ГГц. Значения ширины полосы пропускания канала и несущие уменьшены в 802.11af и 802.11ah по отношению к используемым в 802.11n и 802.11ac. 802.11af поддерживает значения ширины полосы пропускания 5 МГц, 10 МГц и 20 МГц в неиспользуемом частотном спектре телевидения (TVWS), а 802.11ah поддерживает значения ширины полосы пропускания 1 МГц, 2 МГц, 4 МГц, 8 МГц и 16 МГц с использованием спектра, отличного от TVWS. Согласно типовому варианту осуществления 802.11ah может поддерживать управление с измерением/межмашинные связи, например устройства MTC в макрозоне покрытия. Устройства MTC могут обладать определенными возможностями, например ограниченными возможностями, включая поддержку (например, поддержку только) определенных и/или ограниченных значений ширины полосы пропускания. Устройства МТС могут включать в себя батарею, имеющую срок службы батареи, превышающий пороговое значение (например, для обеспечения очень длительного срока службы батареи).

Системы WLAN, которые могут поддерживать множество каналов и значений ширины полосы пропускания канала, такие как 802.11n, 802.11ac, 802.11af и 802.11ah, включают в себя канал, который может быть назначен в качестве первичного канала. Первичный канал может иметь ширину полосы пропускания, равную наибольшей общей рабочей ширине полосы пропускания, поддерживаемой всеми STA в BSS. Ширина полосы пропускания первичного канала может быть установлена и/или ограничена STA из числа всех STA, работающих в BSS, которая поддерживает режим работы с наименьшей шириной полосы пропускания. В примере 802.11ah первичный канал может иметь ширину 1 МГц для STA (например, устройств типа MTC), которые поддерживают (например, поддерживают только) режим 1 МГц, даже если AP и другие STA в BSS поддерживают 2 МГц, 4 МГц, 8 МГц, 16 МГц и/или режимы работы с другими значениями ширины полосы пропускания канала. Параметры обнаружения несущей и/или вектора выделения сети (NAV) могут зависеть от состояния первичного канала. Если первичный канал занят, например, из-за STA (в которой поддерживается только режим работы 1 МГц), осуществляющей передачу на AP, все доступные полосы частот могут считаться занятыми, даже если большинство полос частот все еще не заняты и могут быть доступными.

В Соединенных Штатах Америки доступные полосы частот, которые могут быть использованы 802.11ah, находятся в диапазоне от 902 МГц до 928 МГц. Доступные полосы частот в Корее — от 917,5 МГц до 923,5 МГц. Доступные полосы частот в Японии — от 916,5 МГц до 927,5 МГц. Общая ширина полосы пропускания, доступная для 802.11ah, составляет от 6 МГц до 26 МГц в зависимости от кода страны.

На фиг. 16D представлена схема системы, иллюстрирующая RAN 113 и CN 115 в соответствии с вариантом осуществления. Как отмечено выше, RAN 113 может использовать технологию радиосвязи NR для обмена данными с WTRU 102a, 102b, 102c по радиоинтерфейсу 116. RAN 113 может также обмениваться данными с CN 115.

RAN 113 может включать в себя gNB 180a, 180b, 180c, хотя следует понимать, что RAN 113 может включать в себя любое количество gNB и при этом соответствовать варианту осуществления. Каждая gNB 180a, 180b, 180c может включать в себя один или более приемопередатчиков для обмена данными с WTRU 102a, 102b, 102c по радиоинтерфейсу 116. В одном варианте осуществления gNB 180a, 180b, 180c могут реализовывать технологию MIMO. Например, gNB 180a, 108b могут использовать формирование лучей для передачи сигналов на и/или приема сигналов от gNB 180a, 180b, 180c. Таким образом, gNB 180a, например, может использовать множество антенн для передачи радиосигналов на WTRU 102a и/или приема от него радиосигналов. В варианте осуществления gNB 180a, 180b, 180c могут реализовывать технологию агрегирования несущих. Например, gNB 180a может передавать на WTRU 102a множество несущих составляющих (не показаны). Подмножество этих несущих составляющих может относиться к нелицензированному спектру, тогда как остальные несущие составляющие могут относиться к лицензированному спектру. В варианте осуществления gNB 180a, 180b, 180c могут реализовывать технологию многоточечного согласования (CoMP). Например, WTRU 102a может принимать согласованные передачи от gNB 180a и gNB 180b (и/или gNB 180c).

WTRU 102a, 102b, 102c могут обмениваться данными с gNB 180a, 180b, 180c с использованием передач, связанных с масштабируемой численной величиной. Например, разнос символов OFDM и/или разнос поднесущих OFDM может различаться для разных передач, разных сот и/или разных участков спектра беспроводной передачи. WTRU 102a, 102b, 102c могут осуществлять связь с gNB 180a, 180b, 180c с использованием подкадра или временных интервалов передачи (TTI) с различной или масштабируемой длительностью (например, содержащих различное количество символов OFDM и/или имеющих постоянные различные длительности абсолютного значения времени).

gNB 180a, 180b, 180c могут быть выполнены с возможностью обмена данными с WTRU 102a, 102b, 102c в автономной конфигурации и/или в неавтономной конфигурации. В автономной конфигурации WTRU 102a, 102b, 102c могут обмениваться данными с gNB 180a, 180b, 180c без одновременного доступа к другим RAN (например, таким как eNode-B 160a, 160b, 160c). В автономной конфигурации WTRU 102a, 102b, 102c могут использовать одну или более gNB 180a, 180b, 180c в качестве якорной точки для мобильности. В автономной конфигурации WTRU 102a, 102b, 102c могут обмениваться данными с gNB 180a, 180b, 180c с использованием сигналов в нелицензированной полосе. В неавтономной конфигурации WTRU 102a, 102b, 102c могут обмениваться данными / устанавливать соединение с gNB 180a, 180b, 180c, одновременно обмениваясь данными / устанавливая соединение с другой RAN, такой как eNode-B 160a, 160b, 160c. Например, WTRU 102a, 102b, 102c могут реализовывать принципы DC для по существу одновременного обмена данными с одной или более gNB 180a, 180b, 180c и одной или более eNode-B 160a, 160b, 160c. В неавтономной конфигурации eNode-B 160a, 160b, 160c могут выступать в качестве якорной точки для мобильности для WTRU 102a, 102b, 102c, а gNB 180a, 180b, 180c могут обеспечивать дополнительное покрытие и/или пропускную способность для обслуживания WTRU 102a, 102b, 102с.

Каждая из gNB 180a, 180b, 180c может быть связана с конкретной сотой (не показано) и может быть выполнена с возможностью принятия решений относительно управления радиоресурсом, решений относительно передачи обслуживания, планирования пользователей в UL и/или DL, поддержки сегментирования сети, двойного подключения, взаимодействия между NR и E-UTRA, маршрутизации данных плоскости пользователя в функциональный блок 184a, 184b плоскости пользователя (UPF), маршрутизации информации плоскости управления в функциональный блок 182a, 182b управления доступом и мобильностью (AMF) и т.п. Как показано на фиг. 16D, станции gNB 180a, 180b, 180c могут обмениваться данными друг с другом по интерфейсу Xn.

CN 115, показанная на фиг. 16D, может включать в себя по меньшей мере один AMF 182a, 182b, по меньшей мере один UPF 184a, 184b, по меньшей мере один функциональный блок 183a, 183b управления сеансом (SMF) и, возможно, сеть 185a, 185b передачи данных (DN). Хотя каждый из вышеперечисленных элементов показан как часть CN 115, следует понимать, что любой из этих элементов может принадлежать субъекту, отличному от оператора CN, и/или может быть предоставлен им для использования.

AMF 182a, 182b могут быть подключены к одной или более из gNB 180a, 180b, 180c в RAN 113 по интерфейсу N2 и могут выступать в качестве узла управления. Например, AMF 182a, 182b может отвечать за аутентификацию пользователей WTRU 102a, 102b, 102c, поддержку сегментирования сети (например, обработку различных сеансов PDU с различными требованиями), выбор конкретного SMF 183a, 183b, управление зоной регистрации, прекращение сигнализации NAS, управление мобильностью и т.п. Сегментирование сети может быть использовано в AMF 182a, 182b для настройки поддержки CN для WTRU 102a, 102b, 102c на основе типов сервисов, используемых WTRU 102a, 102b, 102c. Например, различные сетевые срезы могут быть установлены для разных вариантов использования, например службы, основанные на связи повышенной надежности с низкой задержкой (URLLC), службы, основанные на доступе к расширенной широкополосной сети мобильной связи (eMBB), службы для доступа к межмашинной связи (MTC) и/или т.п. AMF 162 может предоставлять функцию плоскости управления для переключения между RAN 113 и другими RAN (не показаны), которые используют другие технологии радиосвязи, такие как LTE, LTE-A, LTE-A Pro, и/или технологии доступа, отличные от 3GPP, например WiFi.

SMF 183a, 183b может быть подключен к AMF 182a, 182b в CN 115 по интерфейсу N11. SMF 183a, 183b также может быть подключен к UPF 184a, 184b в CN 115 по интерфейсу N4. SMF 183a, 183b может выбирать UPF 184a, 184b и управлять им, а также конфигурировать маршрутизацию трафика с помощью UPF 184a, 184b. SMF 183a, 183b может выполнять другие функции, такие как управление IP-адресом UE и его выделение, управление сеансами PDU, управление реализацией политики и QoS, предоставление уведомлений о данных нисходящей линии связи и т.п. Тип сеанса PDU может быть основан на IP, не основан на IP, основан на Ethernet и т.п.

UPF 184a, 184b могут быть подключены к одной или более gNB 180a, 180b, 180c в RAN 113 по интерфейсу N3, который может предоставлять WTRU 102a, 102b, 102c доступ к сетям с коммутацией пакетов, таким как сеть Интернет 110, для облегчения обмена данными между WTRU 102a, 102b, 102c и устройствами с поддержкой протокола IP. UPF 184, 184b могут выполнять другие функции, такие как маршрутизация и передача пакетов, применение политик в плоскости пользователя, поддержка многоканальных сеансов PDU, обработка QoS в плоскости пользователя, буферизация пакетов нисходящей линии связи, привязка для поддержки мобильности и т.п.

CN 115 может облегчать обмен данными с другими сетями. Например, CN 115 может включать в себя IP-шлюз (например, сервер мультимедийной IP-подсистемы (IMS)), который выступает в качестве интерфейса между CN 115 и PSTN 108, либо может обмениваться данными с ним. Кроме того, CN 115 может предоставлять WTRU 102a, 102b, 102c доступ к другим сетям 112, которые могут включать в себя другие проводные и/или беспроводные сети, которые принадлежат другим поставщикам услуг и/или предоставлены ими для использования. В одном варианте осуществления WTRU 102a, 102b, 102c могут быть подключены к локальной сети передачи данных (DN) 185a, 185b через UPF 184a, 184b по интерфейсу N3 к UPF 184a, 184b и интерфейсу N6 между UPF 184a, 184b и DN 185a, 185b.

С учетом фиг. 16A–16D и соответствующих описаний фиг. 16A–16D одна или более или все из функций, описанных в настоящем документе в связи с одним или более из: WTRU 102a–d, базовой станции 114а–b, eNode-B 160a–c, MME 162, SGW 164, PGW 166, gNB 180a–c, AMF 182a–b, UPF 184a–b, SMF 183a–b, DN 185a–b и/или любого (-ых) другого (-их) устройства (устройств), описанного (-ых) в настоящем документе, могут быть реализованы одним или более устройствами эмуляции (не показаны). Устройства эмуляции могут представлять собой одно или более устройств, выполненных с возможностью эмуляции одной или более или всех функций, описанных в настоящем документе. Например, устройства эмуляции можно применять для испытания других устройств и/или для моделирования функций сети и/или WTRU.

Устройства эмуляции могут быть выполнены с возможностью выполнения одного или более испытаний других устройств в лабораторной среде и/или в сетевой среде оператора. Например, одно или более устройств эмуляции могут выполнять одну или более функций или все функции, при этом они полностью или частично реализованы и/или развернуты в качестве части проводной и/или беспроводной сети связи, для испытания других устройств в сети связи. Одно или более устройств эмуляции могут выполнять одну или более функций или все функции, при этом они временно реализованы/развернуты в качестве части проводной и/или беспроводной сети связи. Устройство эмуляции может быть непосредственно соединено с другим устройством для испытания и/или выполнения испытания с использованием беспроводной связи посредством канала беспроводной связи.

Одно или более устройств эмуляции могут выполнять одну или более функций, включая все функции, и при этом не быть реализованными/развернутыми в качестве части проводной и/или беспроводной сети связи. Например, устройства эмуляции можно использовать в сценарии испытания в испытательной лаборатории и/или в неразвернутой (например, испытательной) проводной и/или беспроводной сети связи для проведения испытания одного или более компонентов. Одно или более устройств эмуляции могут представлять собой испытательное оборудование. Для передачи и/или приема данных в устройствах эмуляции можно использовать прямое РЧ-соединение и/или беспроводные связи посредством РЧ-схемы (которая может, например, содержать одну или более антенн).

Описанные в настоящем документе процессы и/или способы могут быть реализованы в компьютерной программе, программном обеспечении и/или микропрограммном обеспечении, записанном в машиночитаемый носитель для исполнения с помощью компьютера и/или процессора. Примеры машиночитаемого носителя включают в себя, без ограничений, электронные сигналы (передаваемые посредством проводных и/или беспроводных соединений) и/или машиночитаемые носители данных. Примеры машиночитаемого носителя данных включают в себя, без ограничений, постоянное запоминающее устройство (ПЗУ), оперативное запоминающее устройство (ОЗУ), реестр, быстродействующую буферную память, полупроводниковые устройства хранения данных, магнитные носители, такие как, без ограничений, внутренние жесткие диски и съемные диски, магнитооптические носители и/или оптические носители, такие как диски CD-ROM и/или цифровые универсальные диски (DVD). Процессор в сочетании с программным обеспечением можно применять для реализации радиочастотного приемопередатчика, предназначенного для применения в WTRU, терминале, базовой станции, RNC и/или любом главном компьютере.

Изобретение относится к области видеокодирования. Технический результат заключается в обеспечении естественного взаимодействия пользователя с объектами в виртуальном мире с тактильной обратной связью для пользователя. Предложен способ для выполнения горизонтального геометрического заполнения на текущем сэмпле на основании получения указания с разрешением заворачивания, которое указывает, разрешена ли компенсация горизонтального движения заворачивания. Если компенсация горизонтального движения заворачивания разрешена на основании указания с разрешением заворачивания, устройство кодирования видеосигналов может определять смещение заворачивания эталонного сэмпла для текущего сэмпла в изображении. Смещение заворачивания эталонного сэмпла может указывать на ширину панорамы. Устройство кодирования видеосигналов может определять местоположение эталонного сэмпла по отношению к текущему сэмплу на основании смещения заворачивания эталонного сэмпла, ширины изображения и местоположения текущего сэмпла, а также может прогнозировать текущий сэмпл на основании местоположения эталонного сэмпла в горизонтальном направлении. Повторяющееся заполнение или обрезка могут быть использованы в вертикальном направлении. 6 н. и 21 з.п. ф-лы, 24 ил., 5 табл.

1. Способ декодирования видеосодержимого, включающий:

получение изображения, связанного с видеосодержимым, в видеоданных;

получение указания с разрешением заворачивания, указывающего, разрешена ли компенсация горизонтального движения заворачивания;

на основании указания с разрешением заворачивания, определение того, что компенсация горизонтального движения заворачивания разрешена;

на основании определения того, что компенсация горизонтального движения заворачивания разрешена, анализ видеоданных для получения указания смещения смещения заворачивания эталонного сэмпла;

определение смещения заворачивания для текущего сэмпла в изображении;

определение местоположения эталонного сэмпла по отношению к текущему сэмплу на основании смещения заворачивания эталонного сэмпла, ширины изображения и местоположения текущего сэмпла; и

прогнозирование текущего сэмпла на основании местоположения эталонного сэмпла.

2. Способ по п. 1, дополнительно включающий:

на основании определения того, что компенсация горизонтального движения заворачивания не разрешена, пропуск анализа видеоданных для получения указания смещения для смещения заворачивания эталонного сэмпла.

3. Способ по п. 1, в котором указание с разрешением заворачивания представляет собой флаг с разрешением заворачивания, который указывает, разрешена ли компенсация горизонтального движения заворачивания.

4. Способ по п. 1, в котором смещение заворачивания эталонного сэмпла определяют на основании указания смещения и в котором смещение заворачивания эталонного сэмпла указывает ширину панорамы изображения.

5. Способ по п. 1, в котором определение смещения заворачивания эталонного сэмпла для текущего сэмпла в изображении включает:

получение указания размера, которое выполнено с возможностью указывать ширину защитной полосы в изображении; и

получение ширины панорамы изображения на основе указания размера, причем указание размера выполнено с возможностью указывать ширину защитной полосы в выборках яркости.

6. Способ по п. 5, в котором ширина защитной полосы представляет собой первую ширину защитной полосы в выборках яркости, причем указание размера выполнено с возможностью указывать вторую ширину защитной полосы в выборках яркости, причем ширину панорамы изображения получают на основании первой ширины защитной полосы в выборках яркости и второй ширины защитной полосы в выборках яркости.

7. Способ по п. 1, в котором указание с разрешением заворачивания и смещение заворачивания эталонного сэмпла получают на уровне последовательности.

8. Способ по п. 1, в котором определение местоположения эталонного сэмпла включает:

получение ширины панорамы изображения на основании смещения заворачивания эталонного сэмпла и ширины изображения;

идентификацию местоположения текущего сэмпла в изображении;

определение того, что исходное местоположение эталонного сэмпла находится за пределами изображения;

после определения того, что исходное местоположение эталонного сэмпла находится за пределами крайней левой горизонтальной границы изображения, определение местоположения эталонного сэмпла путем добавления смещения заворачивания эталонного сэмпла к горизонтальной координате сэмпла, связанной с исходным местоположением эталонного сэмпла; и

после определения того, что исходное местоположение эталонного сэмпла находится за пределами крайней правой горизонтальной границы изображения, определение местоположения эталонного сэмпла путем вычитания смещения заворачивания эталонного сэмпла из горизонтальной координаты сэмпла, связанной с исходным местоположением эталонного сэмпла.

9. Способ по п. 1, включающий:

определение того, что исходное местоположение эталонного сэмпла находится за пределами изображения; и

получение местоположения эталонного сэмпла путем применения смещения заворачивания эталонного сэмпла к горизонтальной координате сэмпла, связанной с исходным местоположением эталонного сэмпла.

10. Способ по п. 1, включающий:

идентификацию местоположения текущего сэмпла в изображении;

определение того, что местоположение текущего сэмпла находится на горизонтальной границе изображения;

определение того, что местоположение эталонного сэмпла находится за пределами горизонтальной границы изображения;

на основании определения того, что компенсация горизонтального движения заворачивания не разрешена, идентификацию местоположения эталонного сэмпла на горизонтальной границе изображения; и

прогнозирование текущего сэмпла на основании местоположения эталонного сэмпла.

11. Способ по п. 1, в котором изображение связано с форматом равнопромежуточной проекции (ERP), форматом равноплощадной проекции (EAP) или форматом скорректированной равноплощадной проекции (AEP).

12. Устройство для декодирования видеосодержимого, содержащее:

процессор, выполненный с возможностью:

получения изображения, связанного с видеосодержимым, в видеоданных;

получения указания с разрешением заворачивания, указывающего, разрешена ли компенсация горизонтального движения заворачивания;

на основе указания с разрешением заворачивания, определения того, разрешена ли компенсация горизонтального движения заворачивания;

на основе определения того, что компенсация горизонтального движения заворачивания разрешена, анализа видеоданных для получения указания смещения заворачивания эталонного сэмпла;

определения смещения заворачивания эталонного сэмпла для текущего сэмпла в изображении;

определения местоположения эталонного сэмпла по отношению к текущему сэмплу на основании смещения заворачивания эталонного сэмпла, ширины изображения и местоположения текущего сэмпла; и

прогнозирования текущего сэмпла на основании местоположения эталонного сэмпла.

13. Устройство по п. 12, в котором указания с разрешением заворачивания представляют собой флаг с разрешением заворачивания, который указывает, разрешена ли компенсация горизонтального движения заворачивания, причем смещение заворачивания эталонного сэмпла определяют на основании указания смещения и причем смещение заворачивания эталонного сэмпла указывает ширину панорамы изображения.

14. Устройство по п. 12, в котором для определения смещения заворачивания эталонного сэмпла для текущего сэмпла в изображении процессор выполнен с возможностью:

получения указания размера, которое выполнено с возможностью указывать ширину защитной полосы в изображении; и

получения ширины панорамы изображения на основе указания размера, причем указание размера выполнено с возможностью указания ширины защитной полосы в выборках яркости.

15. Устройство по п. 12, в котором для определения местоположения эталонного сэмпла процессор выполнен с возможностью:

получения ширины панорамы изображения на основании смещения заворачивания эталонного сэмпла и ширины изображения;

идентификации местоположения текущего сэмпла в изображении;

определения того, что исходное местоположение эталонного сэмпла находится за пределами изображения;

после определения того, что исходное местоположение эталонного сэмпла находится за пределами крайней левой горизонтальной границы изображения, определения местоположения эталонного сэмпла путем добавления смещения заворачивания эталонного сэмпла к горизонтальной координате сэмпла, связанной с исходным местоположением эталонного сэмпла; и

после определения того, что исходное местоположение эталонного сэмпла находится за пределами крайней правой горизонтальной границы изображения, определения местоположения эталонного сэмпла путем вычитания смещения заворачивания эталонного сэмпла из горизонтальной координаты сэмпла, связанной с исходным местоположением эталонного сэмпла.

16. Устройство по п. 12, в котором процессор выполнен с возможностью:

на основании определения того, что компенсация горизонтального движения заворачивания не разрешена, пропускать анализ видеоданных для получения указания смещения для смещения заворачивания эталонного сэмпла.

17. Устройство по п. 14, в котором ширина защитной полосы представляет собой первую ширину защитной полосы в выборках яркости, причем указание размера выполнено с возможностью указывать вторую ширину защитной полосы в выборках яркости, причем ширину панорамы изображения получают на основании первой ширины защитной полосы в выборках яркости и второй ширины защитной полосы в выборках яркости.

18. Способ кодирования видеосодержимого, включающий:

получение изображения, связанного с видеосодержимым, в видеоданных;

получение местоположения текущего сэмпла, причем местоположение текущего сэмпла связано с текущим сэмплом в полученном изображении;

определение местоположения эталонного сэмпла, которое связано с текущим сэмплом;

определение того, что ссылочный образец находится за пределами изображения в определенном местоположении ссылочного образца, ширины изображения и местоположения текущего сэмпла, причем ссылочный образец связан с местоположением ссылочного образца; и

на основании определения того, что эталонный сэмпл находится за пределами изображения, включение указания с разрешением заворачивания и указания смещения в видеоданные, причем указание с разрешением заворачивания указывает, разрешена ли компенсация горизонтального движения заворачивания, и указание смещения обеспечено для смещения заворачивания эталонного сэмпла.

19. Способ по п. 18, в котором указания с разрешением заворачивания представляют собой флаг с разрешением заворачивания, и способ включает в себя:

включение по меньшей мере одного из указания с разрешением заворачивания или указание смещения на уровне последовательности.

20. Способ по п. 18, включающий:

включение указания размера видеоданных, причем указание размера выполнено с возможностью указания первой ширины защитной полосы в изображении и второй ширины защитной полосы в изображении, причем первая ширина защитной полосы в выборках яркости, и вторая ширина защитной полосы в выборках яркости.

21. Способ по п. 18, согласно которому способ включает:

включение указания с разрешением заворачивания или указания смещения на уровне последовательности.

22. Устройство для кодирования видеосодержимого, содержащее:

процессор, выполненный с возможностью:

получения изображения, связанного с видеосодержимым, в видеоданных;

идентификации местоположения текущего сэмпла, причем местоположение текущего сэмпла связано с текущим сэмплом в полученном изображении;

определения местоположения эталонного сэмпла, причем местоположение эталонного сэмпла связано с текущим сэмплом;

определения того, что эталонный образец находится за пределами изображения, на основании определенного местоположения эталонного сэмпла, ширины изображения и местоположения текущего сэмпла, причем эталонный сэмпл связан с местоположением эталонного сэмпла; и

на основании определения того, что эталонный сэмпл находится за пределами изображения, включения указания с разрешением заворачивания и указания смещения в видеоданные, причем указание с разрешением заворачивания указывает, разрешена ли компенсация горизонтального движения заворачивания, причем указание смещения обеспечено для смещения заворачивания эталонного сэмпла.

23. Устройство по п. 22, в котором процессор выполнен с возможностью:

включения по меньшей мере одного указания с разрешением заворачивания или указания смещения на уровне последовательности.

24. Устройство по п. 22, в котором указание с разрешением заворачивания представляет собой флаг с разрешением заворачивания, причем процессор выполнен с возможностью включения по меньшей мере одного указания с разрешением заворачивания или указания смещения на уровне последовательности.

25. Устройство по п. 22, в котором процессор выполнен с возможностью:

включать в видеоданные указание размера, которое выполнено с возможностью указывать первую ширину защитной полосы в изображении и первую ширину защитной полосы в изображении, причем первая ширина защитной полосы в выборках яркости, и вторая ширина защитной полосы в выборках яркости.

26. Компьютерочитаемый носитель данных, выполненный с возможностью хранения инструкций для декодирования видеосодержимого, побуждающих процессор к выполнению способа согласно любому из пп. 1-11.

27. Компьютерочитаемый носитель данных, выполненный с возможностью хранения инструкций для кодирования видеосодержимого, побуждающих процессор к выполнению способа согласно любому из пп. 18-21.