АДАПТИВНОЕ КВАНТОВАНИЕ ДЛЯ КОДИРОВАНИЯ 360-ГРАДУСНОГО ВИДЕО Российский патент 2021 года по МПК H04N19/176 H04N19/124 H04N19/167 

Перекрестная ссылка

Настоящая заявка испрашивает преимущество по предварительной заявке на патент США № 62/522,976, поданной 21 июня 2017 г., которая полностью включена в настоящий документ путем ссылки, как если бы она была изложена в полном объеме.

Предпосылки создания изобретения

Виртуальная реальность (ВР) все больше входит в нашу повседневную жизнь. ВР применяют во множестве областей, включая здравоохранение, образование, социальные сети, промышленное проектирование/обучение, игры, кино, совершение покупок, развлечения и т.д. ВР вызывает интерес как у предприятий, так и у потребителей, поскольку с ее помощью можно обеспечить впечатление полного эффекта присутствия при просмотре. ВР создает виртуальную среду, окружающую зрителя, и генерирует истинное ощущение присутствия для зрителя. Способ обеспечения ощущения полной реальности в среде ВР влияет на впечатление пользователя. Например, взаимодействие с системой ВР может быть обеспечено с помощью позы, жеста, взгляда, голоса и т.д. Для естественного взаимодействия пользователя с объектами в мире ВР в ВР может быть обеспечена тактильная обратная связь для пользователя.

Изложение сущности изобретения

При кодировании 360-градусного видео может быть выполнено адаптивное квантование. Контент 360-градусного видео, описанный в настоящем документе, может включать в себя или может представлять собой сферический видеоконтент, всенаправленный видеоконтент, видеоконтент виртуальной реальности (ВР), панорамный видеоконтент, видеоконтент, создающий эффект присутствия (например, видеоконтент в световом поле, который включает в себя 6 степеней свободы), видеоконтент в облаке точек и/или т.п.

Коррекцию параметра квантования (QP) яркости и коррекцию QP цветности можно выполнять в области кодирования на основании геометрических параметров проекции. Например, QP можно скорректировать на уровне блока кодирования (например, на уровне блока). Смещение QP для текущего блока может быть вычислено на основании плотности сферической выборки для текущего блока.

Например, может быть определен QP яркости, связанный с якорной областью. На основании QP яркости можно определять QP цветности, связанный с якорной областью. Например, QP яркости для якорной области может быть определен путем проведения синтаксического анализа битового потока, а QP цветности для якорной области может быть вычислен на основании полученного в результате анализа QP яркости. Может быть определено смещение QP, связанное с текущей областью. QP яркости для текущей области может быть определен, например, на основании QP яркости для якорной области и смещения QP для текущей области. QP цветности для текущей области может быть определен на основании QP цветности для якорной области и смещения QP для текущей области. Обратное квантование может быть выполнено для текущей области на основании значения QP яркости и QP цветности для текущей области.

Якорная область может включать в себя или может представлять собой якорный блок кодирования. Якорная область может представлять собой срез или изображение, связанные с текущим блоком кодирования. QP яркости и/или QP цветности могут быть определены на уровне блока кодирования или на уровне блока дерева кодирования. Смещение QP может быть определено на основании индикации смещения QP в битовом потоке. Смещение QP может быть вычислено или определено для текущей области кодирования (например, текущего блока, текущего среза, текущего блока кодирования, текущего блока дерева кодирования или т.п.) на основании плотности сферической выборки. Смещение QP может быть вычислено или определено для текущей области кодирования на основании сравнения плотности сферической выборки для текущей области кодирования и плотности сферической выборки для якорной области. Смещение QP может быть вычислено на основании местоположения (например, координаты (координат)) текущей области кодирования.

Коррекции для QP яркости и QP цветности могут быть отделены. Смещение QP для коррекции QP яркости и смещение QP для коррекции QP цветности могут отличаться. QP яркости и QP цветности могут быть скорректированы независимо. Может быть вычислено смещение QP для текущей области кодирования. QP яркости может быть скорректирован на основании вычисленного смещения QP (например, путем применения смещения QP для текущей области кодирования к QP яркости якорной области). Вычисленное смещение QP может быть взвешено перед применением для коррекции QP цветности.

Значение QP цветности может быть определено на основании смещения QP, взвешенного с применением весового коэффициента. Весовой коэффициент может быть передан в битовом потоке. Значение QP цветности может быть скорректировано с применением взвешенного смещения QP. Взвешенное смещение QP может быть сгенерировано путем применения весового коэффициента в отношении смещения QP для текущей области. QP цветности может быть определен путем применения взвешенного смещения QP к QP цветности для якорной области. Обратное квантование может быть выполнено на основании независимо скорректированных QP яркости и цветности.

Краткое описание графических материалов

Более подробное объяснение содержится в представленном ниже описании, приведенном в качестве примера, в сочетании с прилагаемыми чертежами.

На фиг. 1A, 1B, 1C представлены примеры проецирования сферической геометрической формы на двухмерную плоскость с помощью равнопромежуточного проецирования (ERP).

На фиг. 2A, 2B, 2C представлены примеры проецирования с кубической текстурой (CMP).

На фиг. 3 изображен пример рабочего процесса 360-градусной видеосистемы.

На фиг. 4 изображен пример схемы видеокодировщика на базе блоков.

На фиг. 5 представлен пример блок схемы видеодекодера.

На фиг. 6A представлены примеры сравнений согласно механизму коррекции параметра квантования (QP) цветности по примеру адаптивного квантования.

На фиг. 6B представлены примеры сравнений согласно механизму коррекции параметра квантования (QP) цветности по примеру адаптивного квантования.

На фиг. 7A представлены примеры расположения QP для ERP в случае применения входного значения QP в отношении блоков с самой низкой плотностью сферической выборки.

На фиг. 7В представлены примеры расположения QP для ERP в случае применения входного значения QP в отношении блоков с самой высокой плотностью сферической выборки.

На фиг. 7С представлены примеры расположения QP для ERP в случае применения входного значения QP в отношении блоков со средней плотностью сферической выборки.

На фиг. 8A представлен пример сравнения затрат на оптимизацию «искажение - скорость передачи данных» (R-D) при кодировании текущего блока в качестве блока кодирования.

На фиг. 8B представлен пример сравнения затрат на оптимизацию «искажение - скорость передачи данных» (R-D) при разделении текущего блока на четыре подблока кодирования.

На фиг. 9A представлена системная схема, иллюстрирующая пример системы связи, в которой могут быть реализованы один или более описанных вариантов осуществления.

На фиг. 9B представлена системная схема, иллюстрирующая пример модуля беспроводной передачи/приема (WTRU), который может быть применен в рамках системы связи, изображенной на фиг. 9A.

На фиг. 9C представлена системная схема, иллюстрирующая пример сети радиодоступа и пример опорной сети (CN), которые могут быть применены в рамках системы связи, изображенной на фиг. 9A.

На фиг. 9D представлена системная схема, иллюстрирующая дополнительный пример RAN и еще один дополнительный пример CN, которые могут быть применены в системе связи, изображенной на фиг. 9A.

Подробное описание

Далее приведено подробное описание иллюстративных вариантов осуществления со ссылкой на различные фигуры. Хотя в настоящем описании приведены подробные примеры возможных вариантов реализации, следует отметить, что данное подробное описание приведено в качестве примера и ни в коей мере не ограничивает объем настоящей заявки.

В системах ВР 360-градусное видео можно использовать для обеспечения пользователя возможностью просмотра сцены под углами до 360 градусов в горизонтальном направлении и под углами до 180 градусов в вертикальном направлении. ВР и 360-градусное видео могут представлять собой направление для использования мультимедиа за пределами возможностей услуги вывода изображений сверхвысокой четкости (UHD). 360-градусное видео может включать в себя или может представлять собой сферический видеоконтент, всенаправленный видеоконтент, видеоконтент виртуальной реальности (ВР), панорамный видеоконтент, видеоконтент, создающий эффект присутствия (например, видеоконтент в световом поле, который включает 6 степеней свободы), видеоконтент в облаке точек и/или т.п. Для улучшения качества 360-градусного видео в ВР и/или для стандартизации последовательности обработки информации для взаимодействия с клиентом могут быть выработаны требования и потенциальные технологии для формата применения всенаправленного мультимедиа. Согласно технологии Free view TV (FTV) можно проверять характеристики одного или более из следующего: (1) система на основе 360-градусного видео (всенаправленного видео); (2) многовидовая система.

Может быть улучшено качество одного или более аспектов в последовательности обработки информации ВР и/или впечатление от них. Например, можно улучшать качество одного или более аспектов, связанных с захватом, обработкой, отображением и т.д., обработку данных ВР и/или впечатление от них. Например, на стороне захвата для ВР можно использовать одну или более камер для захвата сцены с одного или более (например, разных) ракурсов (например, с 6–12 ракурсов). Ракурсы могут быть сшиты вместе для формирования 360-градусного видео высокого разрешения (например, 4K или 8K). На стороне клиента и/или на стороне пользователя система виртуальной реальности может включать в себя вычислительную платформу, устанавливаемый на голову дисплей (HMD) и/или датчики слежения за положением головы пользователя. Вычислительная платформа может принимать и/или декодировать 360-градусное видео и/или может генерировать окно просмотра для отображения. Для окна просмотра могут быть отображены два изображения (например, по одному для каждого глаза). Два изображения могут быть отображены в HMD (например, для стереопросмотра). Линзу можно использовать для увеличения изображения, отображаемого в HMD для лучшего просмотра. Датчик слежения за положением головы пользователя может сохранять (например, постоянно сохранять) данные слежения за ориентацией головы зрителя и/или может передавать информацию об ориентации в систему для отображения изображения окна просмотра для этой ориентации.

Системы ВР могут включать в себя сенсорное устройство для зрителя, например, для взаимодействия с объектами в виртуальном мире. Системы ВР могут работать под управлением мощной рабочей станции с поддержкой графического процессора (GPU). В облегченной системе ВР (например, Gear VR) смартфон может быть использован в качестве вычислительной платформы, дисплея HMD и/или датчика слежения за положением головы пользователя. Пространственное разрешение HMD может составлять 2160 x 1200, частота обновления может составлять 90 Гц и/или поле зрения (FOV) может составлять 110 градусов. Плотность выборки для датчика слежения за положением головы пользователя может составлять 1000 Гц, что позволяет захватывать изображение при быстром перемещении. Система ВР может включать в себя линзу и/или плату и/или может работать под управлением смартфона.

Может быть получено проекционное представление 360-градусного видео. Можно выполнять сжатие и доставку 360-градусного видео. Доставка 360-градусного видео может представлять 360-градусную информацию с использованием сферической геометрической структуры. Например, синхронизированные ракурсы (например, захватываемые множеством камер) можно сшивать на сфере как единую структуру. Сферическую информацию можно проецировать на плоскую двухмерную поверхность, например, с применением предварительно заданного геометрического преобразования. Могут быть использованы форматы проецирования (например, равнопромежуточное проецирование и/или проецирование с кубической текстурой).

Может быть выполнено равнопромежуточное проецирование (ERP). ERP может сопоставлять координаты широты и/или долготы сферического глобуса. Например, ERP может сопоставлять координаты широты и/или долготы сферического шара на (например, напрямую на) горизонтальные и/или вертикальные координаты сетки. На фиг. 1A изображен пример сферической выборки в долготе (φ) и широте (θ). На фиг. 1B представлен пример сферы, проецированной на двухмерную плоскость с использованием ERP. На фиг. 1C представлен пример изображения ERP. Долгота φ в диапазоне [-π, π] может упоминаться как отклонение относительно вертикальной оси. Широта θ в диапазоне [-π/2, π/2] может упоминаться в авиации как крен относительно поперечной оси, где π может представлять собой отношение длины окружности к диаметру окружности. На фиг. 1A, (x, y, z) могут представлять координаты точки в трехмерном пространстве. (ue, ve) могут представлять координаты точки в двухмерной плоскости, как показано на фиг. 1B. ERP может быть представлено математически в виде уравнений (1) и (2):

ue = (φ / (2 * π) + 0,5) * W (1)

ve = (0,5 - θ / π) * H, (2)

где W и H могут быть шириной и высотой двухмерного плоского изображения. Как показано на фиг. 1A, точка P, которая представляет собой точку пересечения долготы L4 и широтой A1 на сфере, может быть сопоставлена с уникальной точкой q на двухмерной плоскости, как показано на фиг. 1B, с использованием уравнений (1) и (2). Точка q на двухмерной плоскости может быть спроецирована обратно на точку P на сфере посредством, например, обратной проекции. Поле зрения (FOV) на фиг. 1B представляет пример сопоставления FOV на сфере на двухмерную плоскость, например, с углом зрения вдоль оси X, составляющим приблизительно 110 градусов.

Может быть выполнено проецирование с кубической текстурой (CMP). Как показано на фиг. 1C, верхний и/или нижний участки изображения ERP (например, которые могут соответствовать соответственно северному полюсу и южному полюсу) могут быть растянуты по сравнению, например, со средним участком изображения. Растяжение верхнего и нижнего участков изображения ERP (например, по сравнению со средним участком изображения) может указывать на неравномерную плотность сферической выборки для формата ERP. Для описания поля движения в видеокодеках (например, MPEG-2, H.264 или HEVC) может быть использована трансляционная модель. Перемещение в рамках формы может быть представлено в плоскостных изображениях ERP. С помощью форматов геометрической проекции можно сопоставлять 360-градусное видео с одной или более гранями. CMP может представлять собой удобный для сжатия формат.

На фиг. 2A показан пример геометрической трехмерной структуры, такой как пример геометрической конфигурации CMP. CMP может состоять из одной или более (например, 6) квадратных граней, например указанные грани могут быть обозначены как PX, PY, PZ, NX, NY, NZ. P может соответствовать положительным значениям, N может соответствовать отрицательным значениям и/или X, Y, Z могут относиться к осям. Указанные грани могут быть обозначены номерами 0–5 соответственно: PX (0), NX (1), PY (2), NY (3), PZ (4), NZ (5). Радиус касательной сферы может быть равен 1. Если радиус касательной сферы равен 1, длина стороны (например, каждой) грани может быть равна 2. 6 граней формата CMP могут быть собраны в единое изображение. Грани могут быть повернуты под предварительно заданным углом. Например, грани можно поворачивать под предварительно заданным углом для увеличения до максимума непрерывности между соседними гранями. На фиг. 2B показан пример двухмерной плоскости для шести граней, такой как пример сборки для преобразования 6 граней в прямоугольное изображение. Индекс грани (например, каждой) может быть указан в направлении, совпадающем с соответствующим поворотом грани. Например, панорама № 3 и панорама № 1 поворачиваются против часовой стрелки на 270 и 180 градусов соответственно. Другие грани могут быть повернуты или не повернуты. На фиг. 2C показано иллюстративное изображение (например, проекционное изображение) с применением CMP.

Может быть предложен рабочий процесс для 360-градусной видеосистемы. Пример рабочего процесса для 360-градусной видеосистемы показан на фиг. 3. Пример рабочего процесса для 360-градусной видеосистемы может включать в себя вариант реализации захвата 360-градусного видео, в котором может быть использована одна или более камер для захвата видео, охватывающих сферу (например, всю сферу). Видеоданные можно сшивать друг с другом (например, сшивать друг с другом в собственной геометрической структуре). Например, видеоданные можно сшивать друг с другом в формате ERP. Собственная геометрическая структура может быть преобразована в другой формат проецирования (например, CMP) для кодирования на основе видеокодеков. В приемнике видео может быть декодировано. Распакованные видео могут быть преобразованы в геометрическую конфигурацию для отображения. Видео (например, распакованное видео) может быть использовано для отображения путем проецирования в окно просмотра, например, в соответствии с углом зрения пользователя.

На фиг. 4 представлен пример блок-схемы гибридной системы кодирования видео на основе блоков. Входной видеосигнал 402 может быть обработан поблочно. Расширенные блоки (например, блок кодирования (CU)) могут быть использованы для сжатия (например, эффективного сжатия) видеосигналов высокого разрешения (1080p и выше). CU может составлять 64 x 64 пикселя. CU может быть разделен на элементы прогнозирования (PU), для которых можно применять отдельные прогнозы. Для (например, каждого) блока входного видеосигнала (например, MB и/или CU) может быть выполнено пространственное прогнозирование (460) и/или временное прогнозирование (462).

При пространственном прогнозировании (например, внутреннем прогнозировании) могут быть использованы пиксели из закодированных соседних блоков того же видеоизображения/среза, например, для прогнозирования текущего видеоблока. Пространственное прогнозирование может уменьшать пространственную избыточность (например, пространственную избыточность, характерную для видеосигнала). При временном прогнозировании (внешнее прогнозирование или прогнозирование с компенсацией движения) могут быть использованы пиксели из закодированных видеоизображений, например, для прогнозирования текущего видеоблока. Временное прогнозирование может снижать временную избыточность, которая может быть характерной для видеосигнала. Сигнал временного прогнозирования для данного видеоблока может передан, например, посредством одного или более векторов движения, которые могут указывать величину и/или направление движения между текущим блоком и опорным блоком текущего блока. При поддержке множества опорных изображений (например, для (например, каждого) видеоблока), может быть отправлен индекс опорного изображения и/или опорный индекс может быть использован для определения, из какого опорного изображения в хранилище (464) опорных изображений может быть получен сигнал временного прогнозирования.

После пространственного и/или временного прогнозирования блок (480) выбора режима в кодере может выбирать режим прогнозирования (например, лучший режим прогнозирования), например, на основании оптимизации соотношения «искажение — скорость передачи данных». Блок прогнозирования может быть вычтен из текущего видеоблока (416), и/или остаточное значение прогнозирования может быть декореллировано (например, с помощью преобразования (404)) и/или квантовано (406) для достижения целевой скорости передачи данных. Квантованные остаточные коэффициенты могут быть подвергнуты обратному квантованию (410) и/или обратному преобразованию (412) с получением восстановленного остатка, который может быть добавлен обратно в блок прогнозирования (426) для получения восстановленного видеоблока. Фильтрация в цикле, например, с использованием фильтра деблокирования и адаптивных контурных фильтров, может быть применена (466) к восстановленному видеоблоку перед его помещением в хранилище опорных изображений (464) и/или использована для кодирования будущих видеоблоков. В блок энтропийного кодирования может быть отправлена информация о режиме кодирования (например, внутренний или внешний), информация о режиме прогнозирования, информация о движении и/или коэффициенты квантованных остатков. Например, для создания выходного битового потока 420 видеоданных информацию о режиме кодирования (внутренний или внешний), информацию о режиме прогнозирования, информацию о движении и/или коэффициенты квантованных остатков могут отправлять (например, могут все отправлять) в блок энтропийного кодирования (408), дополнительно сжимая и/или упаковывая их с созданием битового потока.

На фиг. 5 изображен пример блок-схемы видеодекодера на основе блоков. Битовый поток 202 видеоданных может быть распакован и/или энтропийно декодирован (например, сначала распакован и энтропийно декодирован) в блоке 208 энтропийного декодирования. Информация о режиме кодирования и/или о прогнозировании может быть отправлена в блок 260 пространственного прогнозирования (например, если было выполнено внутреннее кодирование) и/или в блок 262 временного прогнозирования (например, если было выполнено внешнее кодирование). Параметры (например, коэффициенты) могут быть отправлены в блок обратного квантования 210 и/или в блок обратного преобразования 212, например, для восстановления блока. Например, остаточные коэффициенты преобразования могут быть отправлены в блок 210 обратного квантования и/или в блок 212 обратного преобразования, например, для восстановления остаточного блока. Блок прогнозирования и/или остаточный блок могут быть одновременно добавлены в блоке 226. Восстановленный блок может быть подвергнут фильтрации в цикле. Например, восстановленный блок может быть подвергнут фильтрации в цикле перед сохранением восстановленного блока в хранилище 264 опорных изображений. Восстановленное видео в хранилище опорных изображений может быть отправлено для воспроизведения на устройстве отображения и/или может быть использовано для прогнозирования будущих видеоблоков.

Может быть выполнено квантование / обратное квантование. Как показано на фиг. 4 и фиг. 5, остаточные значения прогнозирования могут быть переданы с кодера на декодер. Остаточные значения могут быть квантованы. Например, для уменьшения размера служебной информации сигнализации остаточного значения (например, в случае применения кодирования с потерями) остаточные значения могут быть квантованы (например, могут быть разделены путем квантования) перед их передачей в виде битового потока. Может быть использована скалярная схема квантования, которой можно управлять с помощью параметра квантования (QP), который может находиться в диапазоне от 0 до 51. Соотношение между QP и соответствующим размером шага квантования (например, ) можно описать следующим образом:

(3)

С учетом значения остаточной выборки квантованное значение остаточной выборки может быть получено в кодере (как показано на фиг. 4) следующим образом:

, (4)

где dead_zone_offset может представлять собой ненулевое смещение, которое может быть установлено равным 1/3 для внутренних блоков и 1/6 для внешних блоков; ) и могут представлять собой варианты реализации, в которых могут быть возвращены знак и абсолютное значение входного сигнала; может представлять собой вариант реализации, предполагающий округление входного значения до целого числа, не превышающего входное значение. В декодере (например, как показано на фиг. 5) восстановленное значение остаточной выборки может быть получено, например, путем умножения на размер шага квантования, как показано ниже:

, (5)

где может представлять собой вариант реализации, предполагающий округление входного плавающего значения до ближайшего целого значения. В уравнениях (4) и (5) может быть числом с плавающей запятой. Деления и умножения на числа с плавающей запятой могут быть аппроксимированы, например, путем умножения на коэффициент масштабирования с последующим сдвигом вправо соответствующих битов. Например, значения 52 размеров шага квантования, которые могут соответствовать находятся в диапазоне от 0,63 до 228 . Значение может соответствовать . Размер шага квантования может увеличиваться. Например, размер шага квантования может удваиваться (например, увеличиваться ровно в два раза) для каждого из 6 приращений . В варианте реализации квантования для может быть использован такой же коэффициент масштабирования, как и для . В варианте реализации квантования для может быть использован такой же коэффициент масштабирования, как и для , и/или может быть использовано в k раз больше сдвигов вправо, например, потому, что размер шага квантования, связанный с , может быть в больше шага квантования, связанный с . Благодаря указанному свойству цикличности 6 пар параметров масштабирования (например, encScale[i] и decScale[i], i = 0, 1, …, 5) могут быть сохранены для квантования и обратного квантования в кодере и декодере соответственно. В таблице 1 указаны значения encScale[i] и decScale[i], где QP%6 может представлять собой операцию QP по модулю 6.

Таблица 1

Параметры масштабирования, используемые для квантования и обратного квантования

QP%6 0 1 2 3 4 5 encScale[QP%6] 26214 23302 20560 18396 16384 14564 decScale[QP%6] 40 45 51 57 64 72

Ошибка кодирования (например, средняя ошибка кодирования) может быть вычислена (например, если распределение входного видеосигнала является равномерным) на основании значения . Например, с учетом размера шага квантования , полученного в (4), ошибка кодирования (например, средняя ошибка кодирования) (например, если распределение входного видеосигнала является равномерным) может быть вычислена на основании значения следующим образом:

(6)

Системы зрения человека могут быть более чувствительными к изменениям яркости, чем к изменениям цвета. Система кодирования видеосигналов может выделять большую ширину полосы для компонентов яркости, чем для компонентов цветности. Компоненты цветности могут быть субдискредитированы (например, в форматы цветности 4 : 2 : 0 и 4 : 2 : 2) для уменьшения пространственного разрешения компонентов цветности, например для уменьшения размера служебной информации сигнализации (например, без значительного ухудшения качества восстановленных компонентов цветности). Компоненты цветности могут содержать менее высокочастотную информацию, чем компонент яркости (например, плоскости цветности могут быть более сглаженными, чем плоскость яркости), например, из-за субдискредитирования. Компоненты цветности могут быть квантованы с использованием меньшего размера шага квантования (например, меньшего QP), чем компонент яркости, например, для достижения компромисса (например, лучшего компромисса) с точки зрения скорости передачи битов и/или качества. За счет неиспользования квантования (например, сильного квантования) для компонентов цветности при значениях QP (например, высоких значениях QP) можно уменьшать искажение цвета, например, при низких скоростях передачи битов, что может быть визуально неприемлемым. Значение QP для цветности может быть получено в зависимости от QP для яркости с помощью справочной таблицы (LUT). Например, LUT, как показано в таблице 2, может быть использована для сопоставления значения QP компонента яркости (например, QP_L) с соответствующим значением QP, которое может быть применено в отношении компонентов цветности (например, QP_C).

Таблица 2

Справочная таблица для сопоставления QP яркости с QP цветности

QP_L < 30 30 31 32 33 34 35 36 37 38 39 40 41 42 43 > 43 QP_C = QP_L 29 30 31 32 33 33 34 34 35 35 36 36 37 37 = QP_L − 6

Может быть выполнена оптимизация соотношения «искажение — скорость передачи данных». В видеокодерах с помощью оптимизации соотношения «искажение — скорость передачи данных» (RDO) на основе функции Лагранжа можно повышать эффективность кодирования и/или определять параметры кодирования (например, режим кодирования, направление внутреннего прогнозирования, векторы движения (MV) и т.д.) на основании следующего варианта реализации затрат на оптимизацию соотношения «искажение — скорость передачи данных» (R-D) на основе функции Лагранжа:

, (7)

где D и R могут представлять собой искажение и скорость передачи битов, а λ может представлять собой множитель Лагранжа. Значения (например, различные значения) λ могут быть использованы для компонентов яркости и цветности соответственно. Для компонентов яркости и цветности могут быть использованы разные значения λ, например, с учетом возможности использования разных значений QP для компонентов яркости и цветности. Значение лямбда, используемое для компонента яркости (например, ), может быть получено следующим образом:

, (8)

где α может представлять собой коэффициент, который может быть определен (например, определен в соответствии с тем, используют ли текущее изображение в качестве опорного изображения для кодирования будущих изображений); может представлять собой коэффициент, который может зависеть от конфигурации кодирования (например, полностью внутреннее, произвольный доступ, низкая задержка) и/или от иерархического уровня текущего изображения в пределах группы изображений (GOP). Значение лямбда, используемое для компонентов цветности (например, ), может быть получено путем умножения на коэффициент масштабирования, который может зависеть от разницы QP между компонентами яркости и цветности, и может быть описано следующим образом:

(9)

Значение может быть использовано для специфичных для цветности вариантов реализации RDO, например, для вариантов реализации в виде квантования с оптимизацией соотношения «искажение — скорость передачи данных» (RDOQ), адаптивного смещения выборки (SAO) и/или адаптивной контурной фильтрации (ALF).

В (7) показатели (например, разные показатели) могут быть применены для вычисления искажения D, например суммы квадратичных погрешностей (SSE), суммы абсолютной разности (SAD) и/или суммы абсолютной трансформированной разности (SATD). Один или более (например, различных) вариантов реализации затрат на R-D на основе функции Лагранжа могут быть применены на одном или более (например, различных) этапах реализации RDO, например, в зависимости от применяемого показателя искажения, как описано в настоящем документе.

Может быть осуществлен вариант реализации затрат на R-D на основе функции Лагранжа, основанный на SAD. Например, при оценке движения (ME) в кодере (например, как показано на фиг. 4) вариант реализации затрат на R-D на основе функции Лагранжа, основанный на SAD, может быть использован для поиска оптимального целочисленного MV для (например, каждого) блока, который может быть спрогнозирован из опорных изображений во временной области. Например, затраты на R-D могут быть определены с помощью следующей формулы:

, (10)

где может представлять собой количество битов, которые могут быть получены на этапе ME (например, включая биты для направления прогнозирования кода, индексы опорных изображений и/или MV); может представлять собой SAD искажения; может представлять собой множитель Лагранжа, который может быть использован на этапе ME и который может быть вычислен следующим образом:

(11)

Могут быть вычислены затраты на R-D на основе функции Лагранжа на основании SATD. Вариант реализации затрат на R-D на основе SAD в (10) может быть использован для определения MV с точностью целочисленной выборки на этапе компенсации движения. Например, для определения MV с точностью нецелочисленной выборки может быть использован вариант реализации затрат на R-D на основе функции Лагранжа, основанный на SATD, который может быть определен следующим образом:

, (12)

где может представлять собой SATD искажения.

Могут быть вычислены затраты на R-D на основе функции Лагранжа на основании SSE. В кодерах вариант реализации функции Лагранжа на основе SSE может быть использован для вычисления затрат на R-D для режимов кодирования (например, всех режимов кодирования), например для выбора оптимального режима кодирования (например, внутреннее/внешнее кодирование, преобразование / отсутствие преобразования и т.д.). Режим кодирования, предполагающий минимальные затраты на R-D, может быть выбран, например, в качестве режима кодирования для текущего блока. Скорость передачи битов и/или искажение компонентов яркости и/или цветности могут быть учтены в варианте реализации затрат на основе SSE, например, в отличие от варианта реализации затрат на R-D на основе SAD в (10) и варианта реализации затрат на R-D на основе SATD в (12), которые могут учитывать компонент яркости. Взвешенная SSE может быть использована при вычислении искажения цветности, например, для компенсации разницы в качестве между восстановленными сигналами каналов яркости и цветности. Взвешенная SSE может быть использована при вычислении искажения цветности, например, для компенсации разницы в качестве между восстановленными сигналами каналов яркости и цветности. Взвешенная SSE может быть использована при вычислении искажения цветности, например, потому, что QP (например, разные QP) могут быть использованы для квантования компонентов яркости и/или цветности. Затраты на R-D на основе SSE могут быть определены следующим образом:

, (13)

где и могут представлять собой SSE искажения компонента яркости и компонента цветности соответственно; может представлять собой весовой коэффициент, полученный в соответствии с (9); может представлять собой количество битов, которые могут быть использованы для кодирования блока.

Может быть вычислено взвешенное сферически однородное PSNR. Выборки на проецируемой двухмерной плоскости могут соответствовать различным плотностям выборки на сфере, например, в зависимости от формата проецирования, используемого для представления 360-градусного видео. Плотности выборки могут быть одинаковыми, например, в двухмерной плоскости. Для проецируемых сферических видео пиковое отношение сигнал / шум (PSNR) может не обеспечивать определение качества. Например, с помощью PSNR можно равномерно определять весовой коэффициент искажения в (например, в каждом) местоположении выборки. За счет однородного веса PSNR в сфере (WS-PSNR) можно определить качество сферического видео (например, непосредственно определить качество сферического видео) в области проецирования. Для определения качества сферического видео благодаря однородному весу PSNR в сфере (WS-PSNR) можно определить качество сферического видео (например, непосредственно определить качество сферического видео) в области проецирования, например, путем присвоения весовых коэффициентов (например, различных весовых коэффициентов) выборкам на двухмерной плоскости проекции. С помощью показателя WS-PSNR можно оценить выборки в двухмерном проецированном изображении и/или можно определить весовые коэффициенты для искажения в выборках (например, в разных выборках), например, на основании охваченных областей на сфере.

Значение WS-PSNR может быть вычислено следующим образом:

, (14)

где может быть максимальным значением выборки; W и H могут представлять собой ширину и высоту двухмерного проецированного изображения; и могут представлять собой выборки (например, исходные и восстановленные выборки), например, расположенные в местоположении на двухмерной плоскости; может представлять собой, например, весовой коэффициент (например, нормализованный весовой коэффициент), связанный с выборкой в местоположении , которая может быть вычислена на основании . Ненормализованный весовой коэффициент может соответствовать, например, соответствующей области, охваченной выборкой на сфере,

, (15)

вычисление может зависеть от области выборки, которая может быть охвачена на сфере. Например, для ERP весовой коэффициент может быть задан следующим образом:

(16)

Для CMP весовой коэффициент (например, соответствующий весовой коэффициент в координате ) может быть вычислен следующим образом:

, (17)

где и могут представлять собой ширину и высоту грани CMP.

Как описано в настоящем документе, благодаря характеристике геометрической проекции формат проекции может отражать свойство выборки (например, характерное свойство выборки), например, для выборок в областях (например, в разных областях) в пределах проецированного изображения. Как показано на фиг. 1C, верхний и/или нижний участки ERP-изображения могут быть растянуты, например, по сравнению со средним участком ERP-изображения. Растяжение верхнего и/или нижнего участков ERP-изображения (например, по сравнению со средним участком) может указывать на то, что плотность сферической выборки в области вокруг северного полюса и/или южного полюса может быть выше, чем в областях вблизи экваториальной линии.

Как показано на фиг. 2, области вокруг центра грани могут быть сжатыми и/или области вблизи границ грани могут быть расширены, например, на грани CMP. Сжатие областей вокруг центра грани и/или расширение на границах грани может демонстрировать неравномерность сферической выборки CMP и/или может показывать большую частоту выборки на границах грани и/или небольшую плотность выборки в центрах граней.

Формат проецирования с неравномерной сферической выборкой может быть использован для кодирования 360-градусного видео. При использовании формата проецирования с неравномерной сферической выборкой для кодирования 360-градусного видео использованная (например, затраченная) служебная информация кодирования в (например, каждой) области проецируемого изображения может зависеть, например, от частоты выборки области на сфере. Биты могут быть использованы для одной или более областей с более высокой плотностью сферической выборки. Биты (например, больше битов) могут быть использованы для областей с более высокой плотностью сферической выборки (что, например, может привести к неравномерному распределению искажений от области к области в проецируемом изображении), например, в случае применения постоянного QP. Кодер может использовать (например, затрачивать) больше битов кодирования для областей вблизи границ грани, чем для областей вблизи центров граней, например, из-за действия функции сферической выборки CMP. Качество окон просмотра вблизи границ грани может быть выше качества окон просмотра вблизи центров граней. 360-градусный видеоконтент, который может заинтересовать зрителей, может находиться за пределами области с высокой плотностью сферической выборки.

Может быть выполнена адаптивная коррекция QP. Например, может быть обеспечено одинаковое качество восстановления между областями (например, различными областями) на сфере. Обеспечение одинакового качества восстановления между областями может быть достигнуто путем управления (например, адаптивного управления) значением QP одной или более областей ERP-изображения, например, для модуляции искажения в соответствии со значениями сферической частоты для одной или более областей ERP-изображения. Например, если QP₀ представляет собой значение QP, которое может быть использовано на экваторе ERP-изображения, значение QP для видеоблока в местоположении может быть вычислено на основании следующей формулы:

, (18)

где может представлять собой весовой коэффициент, например, в местоположении , который может быть получен в соответствии с вычислением весового коэффициента WS-PSNR, как описано для (16). Весовой коэффициент может представлять собой вариант реализации вертикальной координаты j, (например, широты) и/или может не зависеть от горизонтальной координаты i (например, долготы), например, из-за характеристики формата ERP. Согласно уравнению (18), QP на полюсах может быть больше QP₀ (например, значения QP на экваторе). Вычисленное значение QP может быть усечено до целого числа и/или может быть ограничено до диапазона . Вычисленное значение QP может быть усечено до целого числа и/или может быть ограничено до диапазона , например, для предотвращения переполнения,

(19)

Нормализация весового коэффициента может быть использована в (18) и (19). При определении значения весового коэффициента для блока среднее значение из весовых значений для выборок в блоке может быть использовано для вычисления значения QP блока, например, в соответствии с (19).

Как описано в настоящем документе, получение QP цветности блока может зависеть от значения QP яркости блока. Например, получение QP цветности блока может зависеть от значения QP яркости блока на основании LUT (например, как показано в таблице 2). QP цветности видеоблока может быть вычислено (например, в случае применения коррекции QP) путем выполнения одного или более из следующего: вычисление измененного значения QP, которое может быть применено к компоненту яркости блока, например, на основании координаты блока согласно (18)-(19); и/или сопоставления измененного значения QP компонента яркости с соответствующим значением QP, которое может быть применено к компонентам цветности (например, как указано в таблице 2). Отношение сопоставления между QP яркости и QP цветности может не предполагать взаимно однозначное соответствие, как, например, показано в таблице 2. Например, при QP яркости 30 или более два различных QP яркости могут быть сопоставлены с одним и тем же QP цветности. В отношении компонентов яркости и/или цветности для блока могут быть применены различные значения коррекции QP (например, QP_offset в (18)).

Как описано в настоящем документе, на разных этапах кодирования может быть применен один или более (например, различных) вариантов реализации затрат на R-D на основе функции Лагранжа. В случае применения коррекции QP для варианта реализации RDO может быть использовано то же значение лямбда (которое, например, может быть определено на основании (8) в соответствии со значением QP, которое может быть использовано для изображения/среза (например, всего изображения/среза)) для блоков кодирования внутри проецированного изображения. Такое же значение лямбда может быть использовано для варианта реализации RDO для блоков кодирования. Может быть учтена разность значений QP, которые могут быть использованы для кодирования различных областей внутри проецированного изображения. Например, как показано на фиг. 1C, большие QP могут быть использованы для областей ERP, которые могут характеризоваться более высокой плотностью сферической выборки (например, меньшим весовым коэффициентом), таких как области, расположенные ближе к полюсам. Значение лямбда для блоков кодирования может быть увеличено в областях (например, областях, расположенных ближе к полюсам). Путем повышения значения лямбда для блоков кодирования в областях, некоторые битовые потоки могут быть сдвинуты (например, сдвинуты от кодирования областей с более высокой плотностью сферической выборки к кодированию областей с более низкой плотностью сферической выборки). Сдвиг битовых потоков от кодирования областей с более высокой плотностью сферической выборки к кодированию областей с более низкой плотностью сферической выборки может обеспечивать более равномерное качество восстановления во всех областях на сфере.

Может быть выполнено адаптивное квантование. Адаптивное квантование может повышать производительность кодирования 360-градусного видео. Совершенствования адаптивного квантования могут включать в себя одно или более из следующего.

В случае применения адаптивных QP коррекция QP цветности может зависеть от коррекции QP яркости. В случае применения адаптивного квантования QP яркости и/или QP цветности можно управлять (например, независимо управлять) для (например, каждого) блока кодирования. Например, QP яркости и/или QP цветности можно настраивать (например, независимо управлять) для (например, каждого) блока кодирования в зависимости от плотности выборки блока кодирования на сфере. На основании выборок цветности, имеющих меньший динамический диапазон, чем выборки яркости (например, более сглаженных), при коррекции значений QP блока кодирования для компонентов яркости и цветности могут быть применены неравные смещения QP.

На стороне кодера могут быть вычислены лямбда и/или весовые коэффициенты для варианта реализации RDO, например, в случае применения адаптивного квантования. Могут быть определены (например, адаптивно определены) параметры RDO (например, лямбда и/или весовые коэффициенты, которые могут быть использованы для ME и выбора режима). Например, параметры RDO (например, лямбда и весовые коэффициенты, используемые для ME и выбора режима) могут быть определены (например, адаптивно определены) в соответствии со значениями QP, которые могут быть применены к компонентам яркости и/или цветности блока.

Может быть выполнена коррекция QP для компонента яркости. Значения QP яркости могут быть изменены (например, адаптивно изменены) для модуляции искажения выборок яркости в одной или более областях проецированного изображения, например, в соответствии с плотностью сферической выборки одной или более областей. Например, значения QP яркости могут быть изменены в одной или более областях проецированного изображения (например, в соответствии с плотностью сферической выборки), поскольку смещение QP может быть идентифицировано (например, вычислено, получено и т.д.) на основании плотности сферической выборки одной или более областей. Коррекция QP может быть применена (например, только) в отношении ERP и/или коррекция QP может быть применена более общим образом. Может быть вычислен QP яркости блока кодирования в случае применения адаптивного квантования, например, для кодирования 360-градусного видео.

WS-PSNR может указывать качество сферического видео. При использовании WS-PSNR для измерения качества сферического видео средняя ошибка квантования (как показано в (6)) может становиться:

, (20)

где δ может представлять собой весовой коэффициент, полученный с помощью WS-PSNR. QP₀ может представлять собой значение QP, которое может быть использовано для якорного блока, например которое может представлять самую низкую плотность сферической выборки в проецированном изображении (например, блоки на экваторе ERP-изображений и блоки в центрах граней CMP-изображений). Сферическое искажение якорного блока может быть вычислено следующим образом:

, (21)

где может представлять собой весовой коэффициент, примененный в отношении якорного блока. С учетом другой выборки в координате (x, y) в проецированном изображении для обеспечения однородного сферического искажения соответствующий QP (например, ) может удовлетворять следующему условию:

, (22)

где может представлять собой весовой коэффициент, связанный с выборкой в координате (x, y). Значение может быть вычислено следующим образом:

(23)

С учетом того что значение QP представляет собой целое число, уравнение (23) может быть изменено следующим образом:

(24)

Может быть использован вариант реализации округления, а отсечение (например, ненужное отсечение) может быть отменено.

Как показано в (24), вычисление скорректированного значения QP может быть основано на координате выборки. Для определения значения QP, которое может быть использовано для блока, может быть применен один или более вариантов реализации. Например, может быть выбрана координата предварительно заданной выборки (например, сверху-слева, в центре, снизу-слева и т.д.) в текущем блоке для определения значения QP, которое может быть использовано для блока (например, всего блока) в соответствии с (24). Как показано в (24), для получения скорректированного значения QP для блока могут быть определены весовые значения для выборок (например, всех выборок) в текущем блоке и/или может быть использовано среднее из весовых значений. Значения QP на основе выборки могут быть вычислены на основании предварительно заданного весового коэффициента образца в текущем блоке согласно (24). Среднее значение QP на основе выборки может быть использовано в качестве значения QP (например, конечного значения QP), которое, например, может быть применено в отношении блока (например, текущего блока).

Может быть выполнена коррекция QP для компонента цветности. Может быть определен QP цветности для блока кодирования, например, при применении адаптивного квантования для кодирования 360-градусного видео. На фиг. 6A представлен пример вычисления QP цветности для блока кодирования, используемого при коррекции QP. Как показано на фиг. 6A, скорректированное значение QP цветности блока может зависеть от скорректированного значения QP яркости. Например, QP цветности может быть получен путем вычисления измененного значения QP яркости (например, QP_L) блока в соответствии с (19). Значение QP_L может быть сопоставлено с соответствующим QP цветности (например, QP_C), примененным в отношении блока.

Для одного или более блоков кодирования может быть определено значение QP (например, значение QP цветности и/или значение QP яркости). Например, значение QP цветности может быть независимо определено для одного или более блоков кодирования. Адаптивное квантование может быть выполнено для компонентов блока цветности. Для компонента яркости и компонентов цветности (например, каждого) блока кодирования коррекцию QP могут выполнять независимо. Например, независимую коррекцию QP могут применять в отношении компонента яркости и компонентов цветности (например, каждого) блока кодирования на основании плотности выборки блока на сфере.

На фиг. 6B представлен пример блок-схемы адаптации QP. Например, якорный блок может представлять собой блок, в отношении которого может быть применен QP (например, переданный QP) уровня изображения и/или среза. Могут быть определены значения QP, которые могут быть применены к компоненту яркости и/или компонентам цветности якорного блока (например, QP₀ и QP^c₀). Может быть определено весовое значение, которое может быть применено к якорному блоку (например, δ₀). Значения QP, применяемые в отношении компонентов цветности якорного блока (например, QP^c₀), могут быть определены на основании значений QP, примененных в отношении компонентов яркости якорного блока (например, QP₀). Смещение QP (например, ) для текущего блока может быть получено на основании координаты (x, y) текущего блока и/или координаты (x, y) якорного блока (например, , показано в (23)). Например, смещение QP может быть получено на основании плотности сферической выборки текущего блока и/или плотности сферической выборки якорного блока. QP яркости текущего блока может быть вычислен путем применения смещения в отношении QP₀ (например, вычитания из QP₀, добавления к QP₀ и/или т.п.). QP цветности текущего блока может быть вычислен путем применения смещения в отношении QP^c₀ (например, вычитания из QP^c₀, добавления к QP^c₀ и/или т.п.).

Якорный блок может быть идентифицирован. Может быть определено значение QP яркости QP₀ и/или соответствующее весовое значение δ₀ якорного блока. QP₀ может быть сопоставлен со значением QP цветности якорного блока, например QP^c₀ = LUT(QP₀).

Может быть определено весовое значение блока (например, якорного блока). Может быть определено (например, вычислено) смещение QP, которое может быть применено в отношении текущего блока. Например, с учетом координаты (x, y) текущего блока кодирования может быть определено весовое значение δ_{(x, y)} блока (например, текущего блока). Может быть определено смещение QP, которое может быть применено в отношении текущего блока. Весовое значение δ(_{x, y}) и/или весовое значение δ₀ могут быть вычислены на основании плотности выборки блока. QP_offset может быть равно log2(δ_{(x, y)} / δ₀).

Могут быть вычислены QP яркости и QP цветности для текущего блока. Например, QP яркости и QP цветности текущего блока могут быть вычислены путем применения смещения QP (например, одинакового смещения QP) в отношении компонентов яркости и цветности по отдельности, например,

, (25)

Система зрения человека может быть более чувствительной к изменениям яркости, чем к изменениям цвета. Система кодирования видеосигналов может выделять большую ширину полосы для компонента яркости, например, вследствие того, что система зрения человека может быть более чувствительной к изменениям яркости, чем к изменениям цвета. Выборки цветности могут быть субдискредитированы, например, для уменьшения пространственного разрешения (например, в форматах цветности 4 : 2 : 0 и 4 : 2 : 2) без ухудшения воспринимаемого качества восстановленных выборок цветности. Выборки цветности могут иметь небольшой динамический диапазон (например, могут быть более сглаженными). Выборки цветности могут содержать менее значимые остаточные значения, чем выборки яркости. В случае применения адаптивного квантования при кодировании 360-градусного видео в отношении компонентов цветности может быть применено меньшее смещение QP, чем в отношении компонента яркости, например, для обеспечения того, что остаточные выборки цветности не будут квантованы с наложением. Неравные смещения QP могут быть применены к компонентам яркости и/или цветности, например, при коррекции значений QP блока кодирования. Весовой коэффициент может быть использован в (25) при вычислении значения смещения QP, которое может быть применено к компонентам цветности, например, для компенсации разницы между динамическими диапазонами остаточных выборок яркости и остаточных выборок цветности. Вычисление QP яркости и/или QP цветности блока кодирования (например, как определено в (25)) может быть следующим:

, (26)

где может представлять собой весовой параметр (например, коэффициент), который может быть использован для вычисления смещения QP для компонентов цветности.

В случае применения (26) значение может быть адаптировано на различных уровнях. Значение (например, 0,9) может быть фиксированным на уровне последовательности, например, таким образом, что весовой коэффициент (например, один и тот же весовой коэффициент) может быть использован для квантования остаточных выборок цветности в одном или более изображениях в видеопоследовательности (например, в одной и той же видеопоследовательности). Один или более (например, набор) параметров (например, предварительно заданных весовых параметров) могут быть переданы на уровне последовательности (например, переданы в наборе параметров видеосигнала (VPS), наборе параметров последовательности (SPS)). Весовые параметры могут быть выбраны для изображения/среза, например, в соответствии с соответствующими характеристиками остаточных сигналов изображения/среза. Весовые параметры (например, различные весовые параметры) могут быть применены в отношении компонентов Cb и/или Cr. Например, весовые параметры (например, различные весовые параметры) могут быть применены в отношении компонентов Cb и/или Cr по отдельности. Значение может быть передано в наборе параметров изображения (PPS) и/или в заголовке среза. Например, значение может быть передано в PPS и/или в заголовке среза для обеспечения адаптации на уровне изображения и/или среза. Определение весового параметра может зависеть от значения входного QP яркости (например, в (25) и (26)). LUT (например, одна) может определять сопоставление между и , и/или может быть использована кодером и/или декодером.

Адаптивная коррекция QP может быть ступенчатой. Например, в случае применения адаптивного QP при кодировании 360-градусного видео адаптацию значений QP можно проводить на одном или более уровнях, например на уровне блока кодирования (CU) и/или на уровне блока дерева кодирования (CTU). Может быть передано указание уровня коррекции QP (например, блок кодирования, блок дерева кодирования и т.д.), которые могут быть использованы. Уровень (например, каждый) может обеспечивать ступенчатость (например, различную ступенчатость) изменения значений QP. Например, при выполнении коррекции QP на уровне CU кодер/декодер может корректировать (например, адаптивно корректировать) значение QP для отдельных CU. При выполнении коррекции QP на уровне CTU кодер/декодер может корректировать (например, может быть разрешена коррекция) значения QP для отдельных CTU. Для CU (например, для всех CU) в пределах CTU могут использовать значение QP (например, могут использовать одно и то же значение QP). Может быть выполнена коррекция QP на основе области. Проецированное изображение может быть разделено на области (например, предварительно заданные области). Значения QP (например, разные значения QP) могут быть назначены (например, адаптивно назначены) кодером/декодером для (например, каждой) области.

Адаптивное квантование может быть основано на расположении (например, различном расположении) значений QP. Как показано на фиг. 6B, в примере адаптивного квантования можно использовать входное значение QP (например, переданное в заголовке среза) для блоков, который может соответствовать плотности сферической выборки (например, самой низкой плотности сферической выборки) в проецированном изображении (например, в (25) и (26)). С помощью адаптивного квантования можно увеличивать (например, постепенному увеличивать) значения QP для определенных блоков (например, блоков с более высокой плотностью сферической выборки).

На фиг. 7A представлен пример изменения значений QP для ERP-изображения в зависимости от расположения QP (описанного в настоящем документе), когда входное значение QP равно 32. Как показано на фиг. 7A, значение QP может быть установлено равным входному значению QP для блоков вокруг центра изображения и/или может постепенно увеличиваться при кодировании блоков вблизи, например, верхней и/или нижней границ изображения. Плотность сферической выборки ERP может быть самой низкой на экваторе и самой высокой на северном и/или южном полюсах. Входное значение QP может быть применено для кодирования блоков, которые соответствуют самой высокой плотности сферической выборки (например, самой высокой плотности сферической выборки на сфере), и/или может уменьшать (например, постепенно уменьшать) значение QP для блоков с более низкой плотностью выборки (например, с более низкой плотностью выборки на сфере). Входное значение QP может быть применен в отношении блоков, которые соответствуют промежуточной плотности сферической выборки (например, средней плотности сферической выборки для выборок (например, для всех выборок) в проецированном изображении), и/или может увеличивать/уменьшать (например, постепенно увеличивать/уменьшать) значение QP для блоков кодирования, сферическая выборка для которых может быть выше/ниже среднего значения. На основании входного значения QP, показанного на фиг. 7A, фиг. 7B и фиг. 7C, проиллюстрировано соответствующее изменение значений QP в случае применения второго и третьего вариантов расположения QP соответственно. Применение третьего варианта расположения QP может приводить к снижению вероятности отсечения QP (например, из-за того, что QP может находиться в пределах от 0 до 51 включительно) вследствие коррекции QP_offset (например, положительного и/или отрицательного), который может иметь абсолютное значение (например, большое абсолютное значение). Синтаксический элемент adaptive_qp_arrangement_method_idc (который может быть проиндексирован по 0, 1 и 2, например 2 битам) может быть передан, например, в SPS, PPS и/или заголовке среза для указания того, какое расположение QP может быть применено.

На декодере может быть обеспечена индикация скорректированных значений QP. Например, из уравнений (25) и (26) следует, что при применении значений QP (например, различные значения QP) в отношении областей (например, разных областей, таких как разные блоки) на проецированном изображении кодер может предоставлять (например, передавать) значения QP на декодер. Для предоставления (например, передачи) кодером корректированного значения QP на декодер могут быть использованы синтаксические элементы для сигнализации значения дельта QP. Скорректированный QP (например, каждого) блока кодирования может быть спрогнозирован на основании QP соседнего блока кодирования. В битовом потоке может быть предоставлена (например, передана) разность (например, только разность).

Может быть осуществлено получение значений. Получение (как показано в (25) и (26)) может быть использовано для вычисления значения QP для (например, каждого) блока в кодере и/или декодере. Как видно из (16), (17) и (24), для получения значений весовых коэффициентов и/или смещения QP, которые могут быть применены в отношении текущего блока, могут быть применены варианты реализации косинуса, квадратного корня и/или логарифма. Варианты реализации представляют собой нелинейные варианты реализации и/или могут быть основаны на операциях с плавающей запятой. Скорректированные значения QP могут быть синхронизированы, например, в кодере и декодере, при этом в случае применения адаптивного квантования для кодирования 360-градусного видео можно избежать использования операций с плавающей запятой.

В случае применения адаптивного квантования может быть использовано сопоставление g(x, y) для указания взаимосвязи между двухмерной координатой (x, y) предварительно заданной выборки на проецированном изображении и/или соответствующим смещением QP (например, , вычисленным в (23)). Смещение QP может быть применено к выборке в сравнении со значением QP якорного блока, например . Варианты реализации горизонтального и/или вертикального сопоставления могут быть некоррелированными. Вариант реализации сопоставления g(x, y) может быть разделен на два варианта реализации, например g(x, y) = f(x) · f(y), причем варианты реализации сопоставления в x- и y-направлениях могут быть идентичными. Могут быть применены различные варианты моделирования, например, полиномиальная реализация, экспоненциальная реализация, логарифмическая реализация и т.д. Для аппроксимации сопоставлений может быть применен один или более (например, различных) вариантов реализации моделирования. Для моделирования может быть использована полиномиальная модель 1-го порядка (например, линейная модель). Смещение QP, примененное в отношении выборки в местоположении (x, y) в проецированном изображении, может быть вычислено следующим образом:

(27)

Значения (например, только значения), которые являются полиномиальными параметрами, могут быть отправлены с кодера на декодер, например, с возможностью дублирования смещения QP (например, одни и те же смещения QP), которые могут быть использованы для блоков кодирования во время кодирования, на стороне декодера. Как показано в (27), полиномиальные параметры (например, и ) могут быть действительными числами. Полиномиальные параметры могут быть квантованы, например, перед отправкой в декодер. Для предоставления параметров варианта реализации моделирования в SPS и/или PPS могут быть использованы следующие синтаксические элементы, представленные в таблице 3 (например, в случае применения линейного моделирования).

Таблица 3

Синтаксические элементы сигнализации параметров согласно варианту реализации моделирования для вычисления смещения QP

qp_offset_modeling_parameter_set( ) { Дескриптор adaptive_qp_arrangement_method_idc u(2) para_scaling_factor_minus1 ue(v) para_bit_shift ue(v) для (k = 0; k < 2; k++) { modeling_para_abs[k] ue(v) modeling_para_sign[k] ue(v) } }

Параметр adaptive_qp_arrangement_method_idc может указывать, какое расположение QP может быть использовано для вычисления параметра квантования блока кодирования. Например, если величина adaptive_qp_arrangement_method_idc равна 0, параметр квантования, указанный в заголовке среза, может быть применен к блоку кодирования с самой низкой плотностью сферической выборки. Если величина adaptive_qp_arrangement_method_idc равна 1, параметр квантования, указанный в заголовке среза, может быть применен к блоку кодирования с самой высокой плотностью сферической выборки. Если величина adaptive_qp_arrangement_method_idc равна 2, параметр квантования, указанный в заголовке среза, может быть применен к блоку кодирования с промежуточной плотностью сферической выборки.

Параметр para_scaling_factor_minus1 плюс один (например, para_scaling_factor_minus1 + 1) может указывать значение коэффициента масштабирования, который может быть использован для вычисления параметров варианта реализации моделирования смещений параметра квантования.

Параметр para_bit_shift может указывать количество сдвигов вправо, используемых для вычисления параметров варианта реализации моделирования смещений параметра квантования.

Параметр modeling_para_abs[k] может указывать абсолютное значение k-го параметра варианта реализации моделирования смещений параметра квантования.

Параметр modeling_para_sign[k] может указывать знак k-го параметра варианта реализации моделирования смещений параметра квантования.

Параметр modeling_para_abs[k] и/или modeling_para_sign[k] может указывать значение k-го параметра для варианта реализации моделирования для вычисления смещений параметра квантования следующим образом:

QPOffsetModelingPara[k] = ((1 - 2 * modeling_para_sign[k] * modeling_para_abs[k] * (para_scaling_factor_minus1 + 1)) >> para_bit_shift

Как описано в настоящем документе, линейная модель (например, одна и та же линейная модель) может быть использована для аппроксимации вариантов реализации сопоставления в направлениях x и y, например для облегчения сигнализации синтаксиса. Синтаксические элементы могут быть применимыми в отношении одной или более (например, других аппроксимаций). Например, синтаксические элементы могут быть применимыми в отношении вариантов реализации, в которых могут использовать модели (например, более сложные модели) и/или применять различные варианты реализации модели в направлениях x и y. Как показано в (27), значение смещения QP может быть вычислено на основании координат x и/или y. Значение смещения QP можно не вычислять независимо на основании координат x и/или y. Например, как указано в (16), весовые значения, используемые в формате ERP, могут зависеть (например, зависеть только) от вертикальной координаты. Вариант реализации смещения QP может представлять собой одномерную реализацию вертикальной координаты, например, в случае применения моделирования для ERP.

Значение смещения QP, которое может быть применено в отношении (например, каждого) элементарного блока (например, в зависимости от ступенчатости адаптивной коррекции QP, описанной в настоящем документе), может быть передано (например, непосредственно передано) в случае применения адаптивного квантования для кодирования 360-градусного видео. Например, при выполнении адаптации QP на уровне CTU значение смещения QP для CTU в проекции может быть передано в битовом потоке. Смещения QP для грани могут быть переданы, например, с учетом того, что трехмерное проецирование 360-градусного видео на множество граней может быть симметричным. Например, для подмножества CTU в пределах грани могут быть переданы значения смещения QP, которые могут быть повторно использованы другими CTU в пределах грани (например, одной и той же грани). Весовые коэффициенты, полученные для коррекции значений QP для ERP, могут быть вертикально симметричными и/или могут зависеть от вертикальных координат (как показано в (16)). Может быть передано указание о смещениях QP, которые могут быть применены в отношении CTU (например, в верхней половине первого столбца CTU). Как показано в (17), вычисление весовых коэффициентов, применяемых для CMP, может быть симметричным в горизонтальном и/или вертикальном направлениях. Смещения QP для CTU могут быть указаны в первом квадранте грани CMP (например, в верхнем левом квадранте) в битовом потоке. Синтаксические элементы, представленные в таблице 4, могут отражать значения смещения QP CTU, переданных с кодера на декодер.

Таблица 4

Синтаксические элементы сигнализации смещений QP

adaptive_qp_offset set( ) { Дескриптор num_qp_offset_signaled ue(v) для (k = 0; k < num_qp_offset; k++){ qp_offset_value[k] se(v) } }

Параметр num_qp_offset_signaled может указывать количество смещений параметра квантования, переданных в битовом потоке.

Параметр qp_offset_value[k] может указывать значение смещения параметра k-го квантования.

Значение смещения QP может быть передано предиктивно. Смещение QP, которое используют для блока, может быть таким же, как и для его пространственных соседей. Например, учитывая ограниченное сферическое расстояние между соседними блоками (например, в частности, учитывая, что 360-градусное видео может быть захвачено в высоком разрешении, например, 8K или 4K), используемое для блока смещение QP может быть таким же, как и для его пространственных соседей. Для кодирования смещения QP может быть применено прогнозное кодирование. Например, смещение QP для блока может быть спрогнозировано по смещению QP одного или более соседних блоков (например, левого соседа). Разность может быть передана в битовом потоке.

LUT может быть использована для предварительного вычисления и/или сохранения смещения QP (например, соответствующего смещения QP), которое может быть применено в отношении элементарного блока. LUT может быть использована при кодировании и/или декодировании, например, с возможностью повторного использования смещения QP (например, одно и то же смещение QP), которое применяют в кодере, в декодере. Проецированное изображение в пределах (например, каждой) грани может быть симметричным. Значения смещения QP (например, только значения смещения QP) подмножества блоков на грани могут сохранять. Значения смещения QP можно использовать повторно для одного или более других блоков в пределах грани (например, одной и той же грани). Значения смещения QP могут не быть переданы. Данные LUT могут быть сохранены в запоминающем устройстве. Например, размер запоминающего устройства (например, общий размер запоминающего устройства), используемый для хранения LUT, может быть определен разрешением проецированного изображения (грани). Как показано в (23) и (24), весовые коэффициенты, которые могут быть применены в отношении блоков в проецированном изображении, могут иметь различные значения, в результате чего смещения QP, применяемые в одном или более (например, различных) блоках, будут различными.

LUT может быть определена на основании сетки выборки, например сетки выборки, которая может иметь разрешение, которое может быть меньше, чем у исходного проецированного изображения. Координата блока в высоком разрешении может быть преобразована в другую координату в сетке выборки с более низким разрешением, например, при вычислении смещения QP элементарного блока в проецированном изображении. Значение смещения QP, связанное с преобразованной координатой (например, координатой на сетке выборки с более низким разрешением), может быть использовано в качестве смещения QP для текущего блока. Если указанную координату не преобразуют в целочисленное местоположение на сетке выборки LUT, может быть использовано значение смещения QP ближайшего соседа. Интерполяции (например, билинейный фильтр, кубический фильтр, гауссовский фильтр и т.п.) можно применять, например, для вычисления смещения QP в местоположениях нецелочисленного выборки. Как показано на фиг. 7, распределение значений смещения QP может быть неравномерным на ERP-изображении. Например, варьирование значений QP в областях с большей сферической выборкой (например, в областях, расположенных ближе к полюсам) могут быть больше, чем в областях с меньшей сферической выборкой (например, в областях, расположенных ближе к экватору). LUT может быть основана на неравномерной выборке. Например, для областей с более различными значениями QP можно назначить больше точек выборки. Меньшее количество точек выборки может быть предусмотрено для областей с менее различающимися значениями QP.

Может быть выполнена фильтрация для деблокирования с адаптивным квантованием. Например, значение QP, полученное в (25) и (26), может быть применено в отношении вариантов реализации кодирования (например, в случаях, когда могут быть переданы значения QP). В варианте реализации деблокирования значения QP блока кодирования могут быть использованы для компонентов яркости и/или цветности, например, для определения степени действия фильтра (например, выбора между сильным фильтром и нормальным фильтром) и/или для определения, сколько выборок на (например, каждой) стороне границы блока может быть отфильтровано. Скорректированные значения QP блока кодирования могут быть использованы при деблокировании блока. Деблокирование может быть чаще инициировано при высоких значениях QP по сравнению с низкими значениями QP, например, с учетом возможной зависимости принятия решения о фильтрации для деблокирования от значения QP. При применении вышеуказанного для кодирования 360-градусного видео области с более высокой плотностью сферической выборки могут быть связаны с большими значениями QP, например, по сравнению с областями с более низкой плотностью сферической выборки. Применение сильного деблокирования может быть более вероятным в областях с более высокой плотностью сферической выборки. Сильное деблокирование, выполняемое в областях с более высокой плотностью сферической выборки, может быть нежелательным, например, если указанные области имеют сложную текстуру и/или содержат большое количество информации о направленном крае. Значения QP блоков с более низкой плотностью сферической выборки (например, более низкие значения QP) могут быть использованы для принятия решения о фильтрации для деблокирования блоков (например, всех блоков) в проецированном изображении.

Могут быть представлены измененные критерии R-D. Оптимизация R-D может быть выполнена в случае применения адаптивного квантования для кодирования 360-градусного видео. Как описано в настоящем документе, для различных блоков кодирования в пределах проецированного изображения можно применять различные значения QP, например в случае применения адаптивного QP. Значения множителей Лагранжа (например, в (10) и (12), а также в (13)) и/или значение весового параметра цветности (например, в (13)) блока могут быть изменены с помощью его (например, блока) скорректированного значения QP, например, для обеспечения принятия оптимального решения в отношении R-D. Значения и могут быть увеличены, например, для проецированных областей с высокой плотностью сферической выборки. Значения и могут быть увеличены для сохранения битов, которые могут быть использованы в проецированных областях кодирования с более низкой плотностью сферической выборки, например, в тех случаях, когда могут быть применены уменьшенные значения множителя Лагранжа. Вариант реализации затрат на R-D на основе SAD в (10), вариант реализации затрат на R-D на основе SATD в (12) и вариант реализации затрат на R-D на основе SSE в (13) следует изменить следующим образом:

(28)

(29)

, (30)

где , и могут представлять собой множители Лагранжа и весовой параметр цветности, которые могут быть применены в отношении текущего блока кодирования, расположенного в координате (x, y). Указанные множители и/или параметры могут быть получены путем подстановки скорректированных значений QP компонентов яркости и цветности (как указано в (25) и (26)) в (8) и (9) следующим образом:

, (31)

(32)

Значения множителей Лагранжа могут быть скорректированы, как указано в (31), и могут быть применены, например, при выполнении адаптации значений QP на уровне CTU с возможностью использования для блоков кодирования (например, всех блоков кодирования) в пределах CTU одного и того же значения QP и/или возможности сравнение с точки зрения затрат на оптимизацию «искажение - скорость передачи данных» (R-D). Может быть определено, разделять или не разделять блок кодирования. Как показано на фиг. 8, затраты на R-D для подблоков в текущем блоке кодирования могут быть вычислены на основании различных значений лямбда (например, λ₁, λ₂, λ₃ и λ₄ на фиг. 8), которые могут отличаться от значения лямбда, которое может быть использовано для текущего блока (например, λ₀ на фиг. 8). В случае применения адаптивной коррекции QP может быть выполнено вычисление взвешенного искажения для оптимизации R-D на основе SSE. Например, весовой коэффициент может быть использован для вычисления искажения в текущем блоке кодирования на этапе оптимизации R-D. Если представляет собой множитель Лагранжа, применяемый в отношении якорного блока (например, блока, связанного со входным значением QP ), вариант реализации оптимизации затрат на R-D на основе SSE в (30) может быть следующим:

(33)

где может представлять собой весовой коэффициент искажения для текущего блока, который может быть дополнительно получен следующим образом:

(34)

Тот же множитель Лагранжа может быть использован при вычислении затрат на R-D. Например, как показано в (33), при использовании того же множителя Лагранжа при вычислении затрат на R-D могут быть сравнены затраты на R-D для блоков на разных уровнях кодирования.

На фиг. 9A представлена схема, иллюстрирующая пример системы 100 связи, в которой могут быть реализованы один или более описанных вариантов осуществления. Система 100 связи может представлять собой систему множественного доступа, которая предоставляет содержимое, такое как голосовая информация, данные, видео, обмен сообщениями, широковещание и т.п., множеству пользователей беспроводной связи. Система 100 связи может быть выполнена с возможностью обеспечения множества пользователей беспроводной связи доступом к такому содержимому посредством совместного использования системных ресурсов, включая ширину полосы пропускания беспроводного соединения. Например, в системах 100 связи может быть использован один или более способов доступа к каналу, таких как множественный доступ с кодовым разделением каналов (CDMA), множественный доступ с временным разделением каналов (TDMA), множественный доступ с частотным разделением каналов (FDMA), множественный доступ с ортогональным частотным разделением каналов (OFDMA), FDMA с одной несущей (SC-FDMA), расширенное OFDM с безызбыточным расширенным дискретным преобразованием Фурье (DFT) с синхропакетом (ZT UW DTS-s OFDM), OFDM с синхропакетом (UW-OFDM), OFDM с фильтрацией ресурсного блока, блок фильтров с множеством несущих (FBMC) и т.п.

Как показано на фиг. 9A, система 100 связи может включать в себя модули беспроводной передачи/приема (WTRU) 102a, 102b, 102c, 102d, RAN 104/113, CN 106/115, коммутируемую телефонную сеть 108 общего пользования (PSTN), сеть Интернет 110 и другие сети 112, хотя следует понимать, что описанные варианты осуществления предполагают любое количество WTRU, базовых станций, сетей и/или элементов сети. Каждый из WTRU 102a, 102b, 102c, 102d может представлять собой устройство любого типа, выполненное с возможностью функционирования и/или взаимодействия в среде беспроводной связи. Например, модули WTRU 102a, 102b, 102c, 102d, любой из которых может называться станцией и/или STA, могут быть выполнены с возможностью передачи и/или приема радиосигналов и могут включать в себя оборудование пользователя (UE), мобильную станцию, стационарный или мобильный абонентский модуль, абонентский модуль, пейджер, сотовый телефон, карманный персональный компьютер (PDA), смартфон, ноутбук, нетбук, персональный компьютер, беспроводной датчик, точку доступа или устройство Mi-Fi, устройство Интернета физических объектов (IoT), часы или другие носимые устройства, устанавливаемый на голове дисплей (HMD), транспортное средство, беспилотный летательный аппарат, медицинское устройство и приложения (например, применяемые в дистанционной хирургии), промышленное устройство и приложения (например, робот и/или другие беспроводные устройства, работающие в условиях промышленной и/или автоматизированной технологической цепочки), устройство, относящееся к бытовой электронике, устройство, работающее в коммерческой и/или промышленной беспроводной сети, и т.п. Любой из WTRU 102a, 102b, 102c и 102d можно взаимозаменяемо называть UE.

Системы 100 связи могут также включать в себя базовую станцию 114a и/или базовую станцию 114b. Каждая из базовых станций 114a, 114b может представлять собой устройство любого типа, выполненное с возможностью беспроводной взаимодействия с по меньшей мере одним из WTRU 102a, 102b, 102c, 102d для облегчения доступа к одной или более сетям связи, таким как CN 106/115, сеть Интернет 110 и/или другие сети 112. В качестве примера базовые станции 114a, 114b могут представлять собой базовые приемопередающие станции (BTS), станции Node-B, станции eNode B, станции Home Node B, станции Home eNode B, базовую станцию следующего поколения (gNB), NodeB на основе NR, контроллер пункта связи, точку доступа (AP), беспроводной маршрутизатор и т.п. Хотя базовые станции 114a, 114b показаны как отдельный элемент, следует понимать, что базовые станции 114a, 114b могут включать в себя любое количество взаимно соединенных базовых станций и/или элементов сети.

Базовая станция 114a может быть частью RAN 104/113, которая может также включать в себя другие базовые станции и/или элементы сети (не показаны), такие как контроллер базовой станции (BSC), контроллер радиосети (RNC), ретрансляционные узлы и т.п. Базовая станция 114a и/или базовая станция 114b могут быть выполнены с возможностью передачи и/или приема радиосигналов на одной или более частотах несущих, которые могут называться сотой (не показана). Эти частоты могут относиться к лицензированному спектру, нелицензированному спектру или к комбинации лицензированного и нелицензированного спектров. Сота может обеспечивать покрытие для беспроводного сервиса в конкретной географической зоне, которая может быть относительно фиксированной или которая может изменяться с течением времени. Сота может быть дополнительно разделена на секторы соты. Например, сота, связанная с базовой станцией 114a, может быть разделена на три сектора. Таким образом, в одном варианте осуществления базовая станция 114a может включать в себя три приемопередатчика, т.е. один для каждого сектора соты. В варианте осуществления базовая станция 114a может использовать технологию «множественного входа - множественного выхода» (MIMO) и может использовать множество приемопередатчиков для каждого сектора соты. Например, для передачи и/или приема сигналов в требуемых пространственных направлениях можно использовать формирование луча.

Базовые станции 114a, 114b могут обмениваться данными с одним или более из WTRU 102a, 102b, 102c, 102d посредством радиоинтерфейса 116, который может представлять собой любую подходящую систему беспроводной связи (например, для передачи сигналов в радиочастотном (РЧ), микроволновом спектре, спектре сантиметровых волн, спектре микрометровых волн, инфракрасном (ИК), ультрафиолетовом (УФ) спектре, спектре видимого света и т.д.). Радиоинтерфейс 116 может быть установлен с использованием любой подходящей технологии радиодоступа (RAT).

Более конкретно, как указано выше, система 100 связи может представлять собой систему множественного доступа и может использовать одну или более схем доступа к каналу, например CDMA, TDMA, FDMA, OFDMA, SC-FDMA и т.п. Например, базовая станция 114a в RAN 104/113 и модули WTRU 102a, 102b, 102c могут реализовывать технологию радиосвязи, такую как универсальный наземный доступ (UTRA) для универсальной мобильной телекоммуникационной системы (UMTS), которая может устанавливать радиоинтерфейс 115/116/117 с использованием широкополосного CDMA (WCDMA). Технология широкополосного множественного доступа с кодовым разделением (WCDMA) может включать в себя протоколы связи, такие как высокоскоростной пакетный доступ (HSPA) и/или усовершенствованный HSPA (HSPA+). HSPA может включать в себя высокоскоростной пакетный доступ по нисходящей (DL) линии связи (HSDPA) и/или высокоскоростной пакетный доступ по восходящей (UL) линии связи (HSUPA).

В варианте осуществления базовая станция 114a и модули WTRU 102a, 102b, 102c могут реализовывать такую технологию радиосвязи, как сеть наземного радиодоступа UMTS последующего поколения (E-UTRA), которая может устанавливать радиоинтерфейс 116 с использованием стандарта долгосрочного развития (LTE), и/или LTE-Advanced (LTE-A), и/или LTE-Advanced Pro (LTE-A Pro).

В варианте осуществления базовая станция 114a и WTRU 102a, 102b, 102c могут реализовывать такую технологию радиосвязи, как новая технология радиодоступа (NR Radio Access), которая может устанавливать радиоинтерфейс 116 с использованием технологии New Radio (NR).

В варианте осуществления базовая станция 114a и модули WTRU 102a, 102b, 102c могут реализовывать множество технологий радиодоступа. Например, базовая станция 114a и модули WTRU 102a, 102b, 102c могут совместно реализовывать радиодоступ LTE и радиодоступ NR, например, с использованием принципов двусторонней связи (DC). Таким образом, радиоинтерфейс, используемый модулями WTRU 102a, 102b, 102c, может характеризоваться применением множества типов технологий радиодоступа и/или передачами, отправленными на множество типов базовых станций (например, eNB и gNB) с них.

В других вариантах осуществления базовая станция 114a и модули WTRU 102a, 102b, 102c могут реализовывать технологии радиосвязи, такие как IEEE 802.11 (т.е. Wireless Fidelity (WiFi)), IEEE 802.16 (т.е. глобальная совместимость для микроволнового доступа (WiMAX)), CDMA2000, CDMA2000 1X, CDMA2000 EV-DO, временный стандарт 2000 (IS-2000), временный стандарт 95 (IS-95), временный стандарт 856 (IS-856), глобальная система мобильной связи (GSM), усовершенствованные скорости передачи данных для сетей GSM Evolution (EDGE), GSM EDGE (GERAN) и т.п.

Базовая станция 114b, изображенная на фиг. 9A, может представлять собой, например, беспроводной маршрутизатор, станцию Home Node B, станцию Home eNode B или точку доступа, и в ней может быть использована любая подходящая RAT для облегчения обеспечения беспроводной связи в локализованной зоне, такой как коммерческое предприятие, жилое помещение, транспортное средство, учебное заведение, промышленный объект, воздушный коридор (например, для использования беспилотными летательными аппаратами), проезжая часть и т.п. В одном варианте осуществления базовая станция 114b и модули WTRU 102c, 102d могут реализовывать технологию радиосвязи, такую как IEEE 802.11, для организации беспроводной локальной сети (WLAN). В варианте осуществления базовая станция 114b и модули WTRU 102c, 102d могут реализовывать технологию радиосвязи, такую как IEEE 802.15, для организации беспроводной персональной сети (WPAN). В еще одном варианте осуществления базовая станция 114b и модули WTRU 102c, 102d могут использовать RAT на основе сот (например, WCDMA, CDMA2000, GSM, LTE, LTE-A, LTE-A Pro, NR и т.д.) для создания пикосоты или фемтосоты. Как показано на фиг. 9A, базовая станция 114b может иметь прямое соединение с сетью Интернет 110. Таким образом, для базовой станции 114b может не требоваться доступ к сети Интернет 110 посредством CN 106/115.

RAN 104/113 может обмениваться данными с CN 106/115, которая может представлять собой сеть любого типа, выполненную с возможностью предоставления услуг передачи голосовой информации, данных, приложений и/или голосовой связи по протоколу (VoIP) Интернета одному или более из модулей WTRU 102a, 102b, 102c, 102d. К данным могут быть предъявлены различные требования по качеству обслуживания (QoS), например различные требования по производительности, требования к задержке, требования к отказоустойчивости, требования к надежности, требования к скорости передачи данных, требования к мобильности и т.п. CN 106/115 может обеспечивать управление вызовами, услуги биллинга, услуги мобильной связи на основе местоположения, предварительно оплаченные вызовы, возможность связи с сетью Интернет, распределение видеосигналов и т.п. и/или реализовывать функции высокоуровневой защиты, такие как аутентификация пользователей. Хотя на фиг. 9A это не показано, следует понимать, что RAN 104/113 и/или CN 106/115 могут прямо или косвенно осуществлять связь с другими RAN, которые используют такую же RAT, что и RAN 104/113, или другую RAT. Например, в дополнение к соединению с RAN 104/113, которая может использовать технологию радиосвязи NR, CN 106/115 может также осуществлять связь с другой RAN (не показана), использующей технологию радиосвязи GSM, UMTS, CDMA 2000, WiMAX, E-UTRA или WiFi.

CN 106/115 может также выступать в качестве шлюза для модулей WTRU 102a, 102b, 102c, 102d для обеспечения доступа к сети PSTN 108, сети Интернет 110 и/или другим сетям 112. PSTN 108 может включать в себя телефонные сети с коммутацией каналов, которые предоставляют традиционные услуги телефонной связи (POTS). Интернет 110 может включать в себя глобальную систему взаимно соединенных компьютерных сетей и устройств, которые используют распространенные протоколы связи, такие как протокол управления передачей данных (TCP), протокол пользовательских дейтаграмм (UDP) и/или протокол Интернета (IP) в наборе протоколов Интернета TCP/IP. Сети 112 могут включать в себя проводные и/или беспроводные сети связи, которые принадлежат другим поставщикам услуг и/или предоставлены ими для использования. Например, сети 112 могут включать в себя другую CN, соединенную с одной или более RAN, которые могут использовать такую же RAT, как и RAN 104/113, или иную RAT.

Некоторые или каждый из модулей WTRU 102a, 102b, 102c, 102d в системе 100 связи могут включать в себя многорежимные возможности (например, WTRU 102a, 102b, 102c, 102d могут включать в себя множество приемопередатчиков для взаимодействия с различными беспроводными сетями по различным беспроводным линиям связи). Например, WTRU 102c, показанный на фиг. 9A, может быть выполнен с возможностью взаимодействия с базовой станцией 114a, которая может использовать технологию радиосвязи на основе сот, а также с базовой станцией 114b, которая может использовать технологию радиосвязи IEEE 802.

На фиг. 9B представлена системная схема, иллюстрирующая пример WTRU 102. Как показано на фиг. 9B, WTRU 102 может включать в себя, помимо прочего, процессор 118, приемопередатчик 120, передающий/приемный элемент 122, динамик/микрофон 124, клавиатуру 126, дисплей / сенсорную панель 128, несъемное запоминающее устройство 130, съемное запоминающее устройство 132, источник 134 питания, набор 136 микросхем глобальной системы определения местоположения (GPS) и/или другие периферийные устройства 138. Следует понимать, что WTRU 102 может включать в себя любую подкомбинацию вышеперечисленных элементов и при этом все еще соответствовать варианту осуществления.

Процессор 118 может представлять собой процессор общего назначения, процессор специального назначения, традиционный процессор, цифровой сигнальный процессор (DSP), множество микропроцессоров, один или более микропроцессоров, связанных с ядром DSP, контроллер, микроконтроллер, специализированные интегральные схемы (ASIC), схемы программируемых пользователем вентильных матриц (FPGA), интегральную микросхему (IC) любого другого типа, конечный автомат и т.п. Процессор 118 может выполнять кодирование сигналов, обработку данных, управление питанием, обработку ввода/вывода и/или любые другие функциональные возможности, которые позволяют WTRU 102 работать в среде беспроводной связи. Процессор 118 может быть соединен с приемопередатчиком 120, который может быть сопряжен с передающим/приемным элементом 122. Хотя на фиг. 9B процессор 118 и приемопередатчик 120 показаны в виде отдельных компонентов, следует понимать, что процессор 118 и приемопередатчик 120 могут быть совместно встроены в электронный блок или микросхему.

Передающий/приемный элемент 122 может быть выполнен с возможностью передачи сигналов на базовую станцию или приема сигналов от нее (например, базовой станции 114a) по радиоинтерфейсу 116. Например, в одном варианте осуществления передающий/приемный элемент 122 может представлять собой антенну, выполненную с возможностью передачи и/или приема РЧ-сигналов. В варианте осуществления передающий/приемный элемент 122 может представлять собой излучатель/детектор, выполненный с возможностью передачи и/или приема, например, сигналов в ИК-спектре, УФ-спектре или спектре видимого света. В еще одном варианте осуществления передающий/приемный элемент 122 может быть выполнен с возможностью передачи и/или приема сигналов как в РЧ-спектре, так и в спектре видимого света. Следует понимать, что передающий/приемный элемент 122 может быть выполнен с возможностью передачи и/или приема любой комбинации радиосигналов.

Хотя на фиг. 9B передающий/приемный элемент 122 показан в виде отдельного элемента, WTRU 102 может включать в себя любое количество передающих/приемных элементов 122. Более конкретно, WTRU 102 может использовать технологию MIMO. Таким образом, в одном варианте осуществления WTRU 102 может включать в себя два или более передающих/приемных элементов 122 (например, множество антенн) для передачи и приема радиосигналов по радиоинтерфейсу 116.

Приемопередатчик 120 может быть выполнен с возможностью модуляции сигналов, которые подлежат передаче посредством передающего/приемного элемента 122, а также демодуляции сигналов, которые принимает передающий/приемный элемент 122. Как указано выше, WTRU 102 может иметь многорежимные возможности. Таким образом, приемопередатчик 120 может включать в себя множество приемопередатчиков для обеспечения WTRU 102 возможностью взаимодействия посредством множества RAT, таких как, например, NR и IEEE 802.11.

Процессор 118 WTRU 102 может быть соединен и может принимать данные, вводимые пользователем через динамик/микрофон 124, клавиатуру 126 и/или дисплей / сенсорную панель 128 (например, жидкокристаллический дисплей (LCD) или дисплей на органических светодиодах (OLED)). Процессор 118 может также выводить пользовательские данные на динамик/микрофон 124, клавиатуру 126 и/или дисплей / сенсорную панель 128. Кроме того, процессор 118 может осуществлять доступ к информации с любого подходящего запоминающего устройства, такого как несъемное запоминающее устройство 130 и/или съемное запоминающее устройство 132, и хранить на нем данные. Несъемное запоминающее устройство 130 (ЗУ) может включать в себя оперативное запоминающее устройство (ОЗУ), постоянное запоминающее устройство (ПЗУ), жесткий диск или запоминающее устройство любого другого типа. Съемное запоминающее устройство 132 может включать в себя карту модуля идентификации абонента (SIM), карту памяти, безопасную цифровую карту памяти (SD) и т.п. В других вариантах осуществления процессор 118 может осуществлять доступ к информации с запоминающего устройства, которое физически не размещено в WTRU 102, например на сервере или домашнем компьютере (не показано), и хранить на нем данные.

Процессор 118 может принимать питание от источника 134 питания и может быть выполнен с возможностью управления питанием и/или распределения питания на другие компоненты в WTRU 102. Источник 134 питания может представлять собой любое подходящее устройство для подачи питания на WTRU 102. Например, источник 134 питания может включать в себя одну или более сухих батарей (например, никель-кадмиевых (NiCd), никель-цинковых (NiZn), гибридных никелевых (NiMH), литий-ионных (Li-ion) батарей и т.д.), солнечных элементов, топливных элементов и т.п.

Процессор 118 может также быть соединен с набором микросхем GPS 136, который может быть выполнен с возможностью предоставления информации о местоположении (например, долготы и широты) относительно текущего местоположения WTRU 102. Дополнительно или вместо информации от набора микросхем GPS 136 WTRU 102 может принимать информацию о местоположении по радиоинтерфейсу 116 от базовой станции (например, от базовых станций 114a, 114b) и/или определять свое местоположение на основе синхронизации сигналов, принимаемых от двух или более соседних базовых станций. Следует понимать, что WTRU 102 может получать информацию о местоположении посредством любого подходящего способа определения местоположения и при этом все еще соответствовать варианту осуществления.

Процессор 118 может быть дополнительно соединен с другими периферийными устройствами 138, которые могут включать в себя один или более программных и/или аппаратных модулей, которые обеспечивают дополнительные признаки, функциональные возможности и/или возможности по установлению проводной или беспроводной связи. Например, периферийные устройства 138 могут включать в себя акселерометр, электронный компас, спутниковый приемопередатчик, цифровую камеру (для осуществления фото- и видеосъемки), порт универсальной последовательной шины (USB), вибрационное устройство, телевизионный приемопередатчик, беспроводную гарнитуру, модуль Bluetooth®, радиомодуль с частотной модуляцией (FM), цифровой музыкальный проигрыватель, мультимедийный проигрыватель, модуль устройства для воспроизведения видеоигр, Интернет-браузер, устройство виртуальной реальности и/или дополненной реальности (VR/AR), трекер активности и т.п. Периферийные устройства 138 могут включать в себя один или более датчиков, причем датчики могут представлять собой один или более из гироскопа, акселерометра, датчика Холла, магнитометра, датчика ориентации, датчика приближения, датчика температуры, датчика времени; датчика географического положения; высотомера, датчика освещенности, датчика касания, магнитометра, барометра, датчика жеста, биометрического датчика и/или датчика влажности.

WTRU 102 может включать в себя полнодуплексное радиоустройство, в котором передача и прием некоторых или всех сигналов (например, связанных с конкретными подкадрами) как для UL (например, для передачи), так и для нисходящей линии связи (например, для приема) могут быть осуществлены совместно и/или одновременно. Полнодуплексное радиоустройство может включать в себя модуль управления помехами для снижения уровня и/или по существу устранения собственных помех с помощью любого аппаратного обеспечения (например, дросселя) или обработки сигнала с помощью процессора (например, отдельного процессора (не показан) или процессора 118). В варианте осуществления WRTU 102 может включать в себя полнодуплексное радиоустройство для передачи и приема некоторых или всех сигналов (например, связанных с конкретными подкадрами) как для UL (например, для передачи), так и для нисходящей линии связи (например, для приема).

На фиг. 9C представлена системная схема RAN 104 и CN 106 в соответствии с вариантом осуществления. Как отмечено выше, RAN 104 может использовать технологию радиосвязи E-UTRA для взаимодействия с модулями WTRU 102a, 102b, 102c по радиоинтерфейсу 116. RAN 104 может также обмениваться данными с CN 106.

RAN 104 может включать в себя eNode-B 160a, 160b, 160c, хотя следует понимать, что сеть RAN 104 может включать в себя любое количество eNode-B и при этом все еще соответствовать варианту осуществления. Каждая eNode-B 160a, 160b, 160c может включать в себя один или более приемопередатчиков для связи с модулями WTRU 102a, 102b, 102c по радиоинтерфейсу 116. В одном варианте осуществления eNode B 160a, 160b, 160c могут реализовывать технологию MIMO. Таким образом, eNode-B 160a может, например, использовать множество антенн для передачи радиосигналов на WTRU 102a и/или приема от него радиосигналов.

Каждая eNode-B 160a, 160b, 160c может быть связана с конкретной сотой (не показано) и может быть выполнена с возможностью принятия решений относительно управления радиоресурсом, решений относительно передачи обслуживания, диспетчеризации пользователей в UL и/или DL и т.п. Как показано на фиг. 9C, eNode-B 160a, 160b, 160c могут взаимодействовать друг с другом по интерфейсу X2.

CN 106, показанная на фиг. 9C, может включать в себя объект управления мобильностью (MME) 162, обслуживающий шлюз (SGW) 164 и шлюз 166 (или PGW) сети с пакетной передачей данных (PDN). Хотя каждый из вышеперечисленных элементов показан как часть CN 106, следует понимать, что любой из этих элементов может принадлежать субъекту, отличному от оператора CN, и/или может быть предоставлен им для использования.

MME 162 может быть подключен к каждой базовой станции eNode-Bs 162a, 162b, 162c в RAN 104 посредством интерфейса S1 и может выступать в качестве узла управления. Например, MME 162 может отвечать за аутентификацию пользователей WTRU 102a, 102b, 102c, активацию/деактивацию переноса информации, выбор конкретного обслуживающего шлюза во время начального соединения модулей WTRU 102a, 102b, 102c и т.п. MME 162 может обеспечивать функцию плоскости управления для переключения между RAN 104 и другими RAN (не показано), которые используют другие технологии радиосвязи, такие как GSM и/или WCDMA.

SGW 164 может быть подключен к каждой станции eNode B 160a, 160b, 160c в RAN 104 посредством интерфейса S1. SGW 164 может по существу направлять и пересылать пакеты данных пользователя на WTRU 102a, 102b, 102c и от них. SGW 164 может выполнять другие функции, например привязку плоскостей пользователя во время передачи обслуживания между базовыми станциями eNode B, инициирование пейджинга, когда данные DL доступны для модулей WTRU 102a, 102b, 102c, управление и хранение контекста модуля WTRU 102a, 102b, 102c и т.п.

SGW 164 может быть подключен к PGW 166, который может обеспечивать модули WTRU 102a, 102b, 102c доступом к сетям с коммутацией пакетов, таким как сеть Интернет 110, для облегчения обмена данными между WTRU 102a, 102b, 102c и устройствами с поддержкой протокола IP.

CN 106 может облегчать взаимодействие с другими сетями. Например, CN 106 может обеспечивать модули WTRU 102a, 102b, 102c доступом к сетям с коммутацией каналов, например PSTN 108, для облегчения связи между WTRU 102a, 102b, 102c и традиционными устройствами связи наземной линии связи. Например, CN 106 может включать в себя IP-шлюз (например, сервер мультимедийной IP-подсистемы (IMS)), который выступает в качестве интерфейса между CN 106 и PSTN 108, или может осуществлять с ним связь. Кроме того, CN 106 может обеспечивать модули WTRU 102a, 102b, 102c доступом к другим сетям 112, которые могут включать в себя другие проводные и/или беспроводные сети, которые принадлежат другим поставщикам услуг и/или предоставлены ими для использования.

Хотя WTRU описан по фиг. 9A–9D как беспроводной терминал, предполагается, что в определенных типовых вариантах осуществления такой терминал может использовать (например, временно или постоянно) проводной интерфейс связи с сетью связи.

В типовых вариантах осуществления другая сеть 112 может представлять собой WLAN. WLAN в режиме базового набора служб (BSS) инфраструктуры может иметь точку доступа (АР) для BSS и одну или более станций (STA), связанных с АР. АР может иметь доступ к системе распределения (DS) или интерфейс с ней или же осуществлять связь по проводной/беспроводной сети другого типа, которая переносит трафик в BSS и/или вне BSS. Трафик на STA, обеспеченный вне BSS, может поступать через AP и может быть доставлен на STA. Трафик, исходящий от STA к получателям, вне BSS может быть отправлен на АР для доставки соответствующим получателям. Трафик между STA в пределах BSS может быть отправлен через АР, например, если STA-источник может отправлять трафик на АР, а АР может доставлять трафик STA-получателю. Трафик между STA в пределах BSS можно рассматривать и/или упоминать в качестве однорангового трафика. Одноранговый трафик может быть передан между (например, непосредственно между) STA-источником и STA-получателем при установлении прямого соединения (DLS). В определенных типовых вариантах осуществления DLS может использовать DLS 802.11e или туннелированное DLS 802.11z (TDLS). WLAN с использованием независимого BSS (IBSS) режима может не иметь АР, а STA (например, все STA) в пределах, или использующие, IBSS могут осуществлять связь непосредственно друг с другом. IBSS режим иногда может называться в настоящем документе режимом связи с прямым соединением.

При использовании режима работы инфраструктуры 802.11ac или аналогичного режима работы AP может передавать маяк посредством фиксированного канала, такого как первичный канал. Первичный канал может иметь фиксированную ширину (например, ширину полосы пропускания 20 МГц) или ширину, динамически установленную с помощью сигнализации. Первичный канал может представлять собой рабочий канал BSS и может быть использован станциями STA для установления соединения с АР. В определенных типовых вариантах осуществления может быть реализован множественный доступ с контролем несущей и предотвращением конфликтов (CSMA/CA), например, в системах 802.11. Для CSMA/CA STA (например, каждая STA), включая АР, может обнаруживать первичный канал. При распознавании/обнаружении и/или определении занятости первичного канала конкретной станцией STA эта конкретная STA может отключаться. Одна STA (например, только одна станция) может осуществлять передачу в любой конкретный момент времени в данном BSS.

Для осуществления связи STA с высокой пропускной способностью (HT) может быть использован канал шириной 40 МГц, например, путем объединения первичного канала 20 МГц со смежным или несмежным каналом 20 МГц с формированием канала шириной 40 МГц.

STA со сверхвысокой пропускной способностью (VHT) могут поддерживать каналы шириной 20 МГц, 40 МГц, 80 МГц и/или 160 МГц. Каналы 40 МГц и/или 80 МГц могут быть сформированы путем объединения сплошных каналов 20 МГц. Канал 160 МГц может быть сформирован путем объединения 8 сплошных каналов 20 МГц или путем объединения двух несплошных каналов 80 МГц, которые могут называться конфигурацией 80 + 80. Для конфигурации 80 + 80 данные после кодирования канала могут проходить через анализатор сегментов, который может разделять данные на два потока. Обработка в виде обратного быстрого преобразования Фурье (IFFT) и обработка во временной области могут быть выполнены отдельно для каждого потока. Потоки могут быть сопоставлены с двумя каналам 80 МГц, а данные могут быть переданы передающей станцией STA. В приемнике принимающей STA вышеописанная операция для конфигурации 80 + 80 может быть инвертирована, а объединенные данные могут быть отправлены на устройство управления доступом к среде передачи данных (MAC).

802.11af и 802.11ah поддерживают подрежимы работы 1 ГГц. Значения ширины полосы пропускания канала и несущие уменьшены в 802.11af и 802.11ah по сравнению с используемыми в 802.11n и 802.11ac. 802.11af поддерживает значения ширины полосы пропускания 5 МГц, 10 МГц и 20 МГц в неиспользуемом частотном спектре телевидения (TVWS), а 802.11ah поддерживает значения ширины полосы пропускания 1 МГц, 2 МГц, 4 МГц, 8 МГц и 16 МГц с использованием спектра, отличного от TVWS. Согласно типовому варианту осуществления 802.11ah может поддерживать управление с измерением / межмашинные связи, например устройства MTC в макрозоне покрытия. Устройства MTC могут обладать определенными возможностями, например ограниченными возможностями, включая поддержку (например, поддержку только) определенных и/или ограниченных значений ширины полосы пропускания. Устройства МТС могут включать в себя батарею, имеющую срок службы батареи, превышающий пороговое значение (например, для обеспечения очень длительного срока службы батареи).

Системы WLAN, которые могут поддерживать множество каналов и значений ширины полосы пропускания канала, такие как 802.11n, 802.11ac, 802.11af и 802.11ah, включают в себя канал, который может быть назначен в качестве первичного канала. Первичный канал может иметь ширину полосы пропускания, равную наибольшей общей рабочей ширине полосы пропускания, поддерживаемой всеми STA в BSS. Ширина полосы пропускания первичного канала может быть установлена и/или ограничена станцией STA из числа всех STA, работающих в BSS, которая поддерживает режим работы с наименьшей шириной полосы пропускания. В примере 802.11ah первичный канал может иметь ширину 1 МГц для STA (например, устройств типа MTC), которые поддерживают (например, поддерживают только) режим 1 МГц, даже если AP и другие STA в BSS поддерживают 2 МГц, 4 МГц, 8 МГц, 16 МГц и/или режимы работы с другими значениями ширины полосы пропускания канала. Параметры обнаружения несущей и/или вектора выделения сети (NAV) могут зависеть от состояния первичного канала. Если первичный канал занят, например, из-за STA (которая поддерживает только режим работы 1 МГц), осуществляющей передачу на AP, все доступные полосы частот могут считаться занятыми, даже если большинство полос частот остаются незанятыми и могут быть доступными.

В Соединенных Штатах доступные полосы частот, которые могут быть использованы 802.11ah, находятся в диапазоне от 902 МГц до 928 МГц. Доступные полосы частот в Корее - от 917,5 МГц до 923,5 МГц. Доступные полосы частот в Японии - от 916,5 МГц до 927,5 МГц. Общая ширина полосы пропускания, доступная для 802.11ah, составляет от 6 МГц до 26 МГц в зависимости от кода страны.

На фиг. 9D представлена системная схема RAN 113 и CN 115 в соответствии с вариантом осуществления. Как отмечено выше, RAN 113 может использовать технологию радиосвязи NR для взаимодействия с модулями WTRU 102a, 102b, 102c по радиоинтерфейсу 116. RAN 113 может также обмениваться данными с CN 115.

RAN 113 может включать в себя gNB 180a, 180b, 180c, хотя следует понимать, что сеть RAN 113 может включать в себя любое количество станций gNB и при этом все еще соответствовать варианту осуществления. Каждая gNB 180a, 180b, 180c может включать в себя один или более приемопередатчиков для связи с WTRU 102a, 102b, 102c по радиоинтерфейсу 116. В одном варианте осуществления gNB 180a, 180b, 180c могут реализовывать технологию MIMO. Например, gNB 180a, 108b могут использовать формирование лучей для передачи сигналов и/или приема сигналов от gNB 180a, 180b, 180c. Таким образом, gNB 180a, например, может использовать множество антенн для передачи радиосигналов на WTRU 102a и/или приема от него радиосигналов. В варианте осуществления gNB 180a, 180b, 180c могут реализовывать технологию агрегирования несущих. Например, gNB 180a может передавать на WTRU 102a множество несущих составляющих (не показаны). Подмножество этих несущих составляющих может относиться к нелицензированному спектру, тогда как остальные несущие составляющие могут относиться к лицензированному спектру. В варианте осуществления gNB 180a, 180b, 180c могут реализовывать технологию многоточечного согласования (CoMP). Например, WTRU 102a может принимать согласованные передачи от gNB 180a и gNB 180b (и/или gNB 180c).

WTRU 102a, 102b, 102c могут осуществлять связь с gNB 180a, 180b, 180c с использованием передач, связанных с масштабируемой численной величиной. Например, разнос символов OFDM и/или разнос поднесущих OFDM может быть различным для разных передач, разных сот и/или разных участков спектра беспроводной передачи. WTRU 102a, 102b, 102c могут осуществлять связь с gNB 180a, 180b, 180c с использованием подкадра или временных интервалов передачи (TTI) с различной или масштабируемой длительностью (например, содержащих различное количество символов OFDM и/или имеющих постоянные различные длительности абсолютного значения времени).

gNB 180a, 180b, 180c могут быть выполнены с возможностью осуществления связи с модулями WTRU 102a, 102b, 102c в автономной конфигурации и/или в неавтономной конфигурации. В автономной конфигурации WTRU 102a, 102b, 102c могут осуществлять связь с gNB 180a, 180b, 180c без одновременного доступа к другим RAN (например, таким как eNode-B 160a, 160b, 160c). В автономной конфигурации WTRU 102a, 102b, 102c могут использовать одну или более gNB 180a, 180b, 180c в качестве опорной точки для мобильности. В автономной конфигурации WTRU 102a, 102b, 102c могут осуществлять связь с gNB 180a, 180b, 180c с использованием сигналов в нелицензированной полосе. В неавтономной конфигурации WTRU 102a, 102b, 102c могут осуществлять связь / устанавливать соединение с gNB 180a, 180b, 180c, одновременно осуществляя связь / устанавливая соединение с другой RAN, такой как eNode-B 160a, 160b, 160c. Например, WTRU 102a, 102b, 102c могут реализовывать принципы двойного соединения (DC) для по существу одновременного осуществления связи с одной или более gNB 180a, 180b, 180c и одной или более eNode-B 160a, 160b, 160c. В неавтономной конфигурации eNode-B 160a, 160b, 160c могут выступать в качестве опорной точки для мобильности для модулей WTRU 102a, 102b, 102c, а gNB 180a, 180b, 180c могут обеспечивать дополнительное покрытие и/или пропускную способность для обслуживания WTRU 102a, 102b, 102с.

Каждая из gNB 180a, 180b, 180c может быть связана с конкретной сотой (не показано) и может быть выполнена с возможностью принятия решений относительно управления радиоресурсом, решений относительно передачи обслуживания, диспетчеризации пользователей в UL и/или DL, поддержки сегментирования сети, двусторонней связи, взаимодействия между NR и E-UTRA, маршрутизации данных плоскости пользователя в функциональный блок 184a, 184b плоскости пользователя (UPF), маршрутизации информации плоскости управления в функциональный блок 182a, 182b управления доступом и мобильностью (AMF) и т.п. Как показано на ФИГ. 9D, базовые станции gNB 180a, 180b, 180c могут взаимодействовать друг с другом по интерфейсу Xn.

CN 115, показанная на фиг. 9D, может включать в себя по меньшей мере один AMF 182a, 182b, по меньшей мере один UPF 184a, 184b, по меньшей мере одну функцию управления сеансом (SMF) 183a, 183b и, возможно, сеть передачи данных (DN) 185a, 185b. Хотя каждый из вышеперечисленных элементов показан как часть CN 115, следует понимать, что любой из этих элементов может принадлежать субъекту, отличному от оператора CN, и/или может быть предоставлен им для использования.

AMF 182a, 182b может быть подключен к одной или более gNB 180a, 180b, 180c в RAN 113 по интерфейсу N2 и может выступать в качестве узла управления. Например, AMF 182a, 182b может отвечать за аутентификацию пользователей модулей WTRU 102a, 102b, 102c, поддержку сегментирования сети (например, обработку различных сеансов PDU с различными требованиями), выбор конкретного SMF 183a, 183b, управление зоной регистрации, прекращение сигнализации NAS, управление мобильностью и т.п. Сегментирование сети может быть использовано управлением AMF 182a, 182b для настройки поддержки CN для модулей WTRU 102a, 102b, 102c на основании типов служб, используемых модулями WTRU 102a, 102b, 102c. Например, различные фрагменты сети могут быть установлены для разных вариантов использования, например, службы, основанные на связи повышенной надежности с малым временем задержки (URLLC), службы, основанные на доступе к расширенной широкополосной сети мобильной связи (eMBB), службы для доступа к межмашинной связи (MTC) и/или т.п. AMF 162 может обеспечивать функцию плоскости управления для переключения между RAN 113 и другими RAN (не показаны), которые используют другие технологии радиосвязи, такие как LTE, LTE-A, LTE-A Pro, и/или технологии доступа, отличные от 3GPP, например WiFi.

SMF 183a, 183b может быть подключен к AMF 182a, 182b в CN 115 по интерфейсу N11. SMF 183a, 183b может также быть подключен к UPF 184a, 184b в CN 115 по интерфейсу N4. SMF 183a, 183b может выбирать и управлять UPF 184a, 184b и конфигурировать маршрутизацию трафика через UPF 184a, 184b. SMF 183a, 183b может выполнять другие функции, такие как управление и выделение IP-адреса UE, управление сеансами PDU, управление реализацией политики и QoS, предоставление уведомлений о данных нисходящей линии связи и т.п. Тип сеанса PDU может быть основан на IP, не основан на IP, основан на Ethernet и т.п.

UPF 184a, 184b могут быть подключены к одному или более gNB 180a, 180b, 180c в RAN 113 по интерфейсу N3, который может обеспечивать модули WTRU 102a, 102b, 102c доступом к сетям с коммутацией пакетов, таким как Интернет 110, для облегчения обмена данными между WTRU 102a, 102b, 102c и устройствами с поддержкой протокола IP. UPF 184, 184b может выполнять другие функции, такие как маршрутизация и передача пакетов, применение политик в плоскости пользователя, поддержка многоканальных сеансов PDU, обработка QoS в плоскости пользователя, буферизация пакетов нисходящей линии связи, привязка для обеспечения мобильности и т.п.

CN 115 может облегчать взаимодействие с другими сетями. Например, CN 115 может включать в себя IP-шлюз (например, сервер мультимедийной IP-подсистемы (IMS)), который выступает в качестве интерфейса между CN 115 и PSTN 108, или может осуществлять связь с ним. Кроме того, CN 115 может обеспечивать модули WTRU 102a, 102b, 102c доступом к другим сетям 112, которые могут включать в себя другие проводные и/или беспроводные сети, которые принадлежат другим поставщикам услуг и/или предоставлены ими для использования. В одном варианте осуществления WTRU 102a, 102b, 102c могут быть подключены к локальной сети передачи данных (DN) 185a, 185b через UPF 184a, 184b посредством интерфейса N3 к UPF 184a, 184b и интерфейса N6 между UPF 184a, 184b и DN 185a, 185b.

С учетом фиг. 9A–9D и соответствующих описаний фиг. 9A–9D одна или более или все из функций, описанных в настоящем документе в связи с одним или более из: WTRU 102a–d, базовой станции 114а–b, eNode-B 160a–c, MME 162, SGW 164, PGW 166, gNB 180a–c, AMF 182a–b, UPF 184a–b, SMF 183a–b, DN 185a–b и/или любого (-ых) другого (-их) устройства (устройств), описанного (-ых) в этом документе, могут быть реализованы одним или более устройствами эмуляции (не показаны). Устройства эмуляции могут представлять собой одно или более устройств, выполненных с возможностью эмуляции одной или более функций или всех функций, описанных в настоящем документе. Например, устройства эмуляции могут быть применены для испытания других устройств и/или для моделирования функций сети и/или WTRU.

Устройства эмуляции могут быть выполнены с возможностью осуществления одного или более испытаний других устройств в лабораторной среде и/или в сетевой среде оператора. Например, одно или более устройств эмуляции могут выполнять одну или более функций или все функции, будучи полностью или частично реализованными и/или развернутыми в качестве части проводной и/или беспроводной сети связи, для испытания других устройств в сети связи. Одно или более устройств эмуляции могут выполнять одну или более функций или все функции, будучи временно реализованными/развернутыми в качестве части проводной и/или беспроводной сети связи. Устройство эмуляции может быть непосредственно соединено с другим устройством для испытания и/или выполнения испытания с использованием беспроводной связи посредством канала беспроводной связи.

Одно или более устройств эмуляции могут выполнять одну или более функций, включая все функции, не будучи реализованными/развернутыми в качестве части проводной и/или беспроводной сети связи. Например, устройства эмуляции могут быть использованы в сценарии испытания в испытательной лаборатории и/или в неразвернутой (например, испытательной) проводной и/или беспроводной сети связи для осуществления испытания одного или более компонентов. Одно или более устройств эмуляции могут представлять собой испытательное оборудование. Для передачи и/или приема данных в устройствах эмуляции могут быть использованы прямое РЧ-соединение и/или беспроводные связи посредством РЧ-схемы (например, которая может включать в себя одну или более антенн).

Хотя признаки и элементы, описанные в настоящем документе, относятся к конкретным протоколам LTE, LTE-A, New Radio (NR) и/или 5G, следует понимать, что признаки и элементы, описанные в настоящем документе, не ограничиваются конкретными протоколами LTE, LTE-A, New Radio (NR) и/или 5G и также могут быть применены в отношении других беспроводных систем.

Хотя признаки и элементы описаны выше в конкретных комбинациях, специалисту в данной области будет очевидно, что каждый признак или элемент может быть использован отдельно или в любой комбинации с другими признаками и элементами. Кроме того, описанные в настоящем документе способы могут быть реализованы в компьютерной программе, программном обеспечении или программно-аппаратном обеспечении, встроенном в машиночитаемый носитель и предназначенном для исполнения компьютером или процессором. Примеры машиночитаемого носителя включают в себя электронные сигналы (переданные по проводным или беспроводным соединениям) и машиночитаемые носители информации. Примеры машиночитаемого носителя информации включают в себя, без ограничений, постоянное запоминающее устройство (ПЗУ), оперативное запоминающее устройство (ОЗУ), регистр, кэш-память, полупроводниковые устройства хранения данных, магнитные носители, такие как внутренние жесткие диски и съемные диски, магнитооптические носители и оптические носители, такие как диски CD-ROM и цифровые универсальные диски (DVD). Процессор в сочетании с программным обеспечением может быть использован для реализации радиочастотного приемопередатчика, предназначенного для применения в составе WTRU, оборудования пользователя, терминала, базовой станции, контроллера RNC и/или любого главного компьютера.

Изобретение относится к средствам для кодирования 360-градусного видео. Технический результат заключается в повышении эффективности кодирования 360-градусного видео. Идентифицируют первый параметр квантования (QP) яркости для первой области. Первый QP цветности для первой области может быть определен на основании первого QP яркости. Определяют смещение QP для второй области. Второй QP яркости для второй области определяют на основании первого QP яркости и смещения QP для второй области. Второй QP цветности второй области определяют на основании первого QP цветности и смещения QP для второй области. Обратное квантование выполняют для второй области на основании второго QP яркости для второй области и второго QP цветности для второй области. Смещение QP может быть адаптировано на основании плотности сферической выборки. 2 н. и 13 з.п. ф-лы, 20 ил., 4 табл.

1. Способ декодирования 360-градусного видео, включающий:

идентификацию первого параметра квантования (QP) яркости, связанного с первой областью;

определение первого QP цветности, связанного с первой областью, на основании первого QP яркости;

определение смещения QP, связанного со второй областью;

определение второго QP яркости второй области на основании первого QP яркости и смещения QP, связанного со второй областью;

определение второго QP цветности второй области на основании первого QP цветности и смещения QP, связанного со второй областью; и

выполнение обратного квантования для второй области на основании второго QP яркости второй области и второго QP цветности второй области.

2. Способ по п. 1, в котором первая область представляет собой якорный блок кодирования, вторая область представляет собой текущий блок кодирования, а смещение QP, связанное со второй областью, определено на основании плотности сферической выборки второй области.

3. Способ по п. 1, в котором первая область представляет собой срез, который содержит текущий блок кодирования, или изображение, которое содержит текущий блок кодирования, вторая область представляет собой текущий блок кодирования, а смещение QP, связанное со второй областью, определено на основании плотности сферической выборки второй области.

4. Способ по п. 1, в котором смещение QP, связанное со второй областью, определено на основании координаты второй области.

5. Способ по п. 1, в котором смещение QP для второй области определено на основании индикации смещения QP в битовом потоке.

6. Способ по п. 1, в котором второй QP яркости и второй QP цветности определены на уровне блока кодирования или уровне блока дерева кодирования.

7. Способ по п. 1, в котором определение второго QP цветности включает в себя:

определение взвешенного смещения QP путем применения весового коэффициента в отношении смещения QP; и

определение второго QP цветности путем применения взвешенного смещения QP в отношении первого QP цветности.

8. Способ по п. 7, дополнительно включающий:

прием индикации весового коэффициента QP цветности в битовом потоке; и

определение весового коэффициента для смещения QP на основании принятой индикации весового коэффициента QP цветности.

9. Устройство для декодирования 360-градусного видео, содержащее:

процессор, выполненный с возможностью:

определения первого параметра квантования (QP) яркости, связанного с первой областью;

определения первого QP цветности, связанного с первой областью, на основании первого QP яркости;

определения смещения QP, связанного со второй областью;

определения второго QP яркости второй области на основании первого QP яркости и смещения QP, связанного со второй областью;

определения второго QP цветности второй области на основании первого QP цветности и смещения QP, связанного со второй областью; и

выполнения обратного квантования для второй области на основании второго QP яркости второй области и второго QP цветности второй области.

10. Устройство по п. 9, в котором первая область представляет собой якорный блок кодирования, вторая область представляет собой текущий блок кодирования, а процессор выполнен с возможностью определения смещения QP, связанного со второй областью, на основании плотности сферической выборки второй области.

11. Устройство по п. 9, в котором первая область представляет собой срез, связанный с текущим блоком кодирования, или изображение, связанное с текущим блоком кодирования, а смещение QP, связанное со второй областью, определено на основании плотности сферической выборки второй области.

12. Устройство по п. 9, в котором второй QP яркости и второй QP цветности определены на уровне блока кодирования или уровне блока дерева кодирования.

13. Устройство по п. 9, в котором смещение QP, связанное со второй областью, определено на основании по меньшей мере одного из: приема индикации смещения QP, связанного со второй областью, посредством битового потока или координаты второй области.

14. Устройство по п. 9, в котором процессор выполнен с возможностью определения второго QP цветности второй области на основании смещения QP, умножаемого на весовой коэффициент.

15. Устройство по п. 9, в котором определение второго QP цветности включает в себя:

определение взвешенного смещения QP путем применения весового коэффициента в отношении смещения QP; и

определение второго QP цветности путем применения взвешенного смещения QP в отношении первого QP цветности.