СПОСОБЫ УМЕНЬШЕНИЯ МЕЖКОМПОНЕНТНОЙ ЗАВИСИМОСТИ Российский патент 2024 года по МПК H04N19/593 

Область техники, к которой относится изобретение

Данный патентный документ относится к способам, устройствам и системам кодирования и декодирования видео.

Уровень техники

Несмотря на достижения в области сжатия видео, на цифровое видео по-прежнему приходится наибольшая полоса пропускания в Интернете и других сетях цифровой связи. По мере увеличения количества подключенных пользовательских устройств, способных принимать и отображать видео, ожидается, что потребность в полосе пропускания для использования цифрового видео будет продолжать расти.

Раскрытие сущности изобретения

В данном документе описаны устройства, системы и способы, относящиеся к кодированию/декодированию цифрового видео и, в частности, к получению упрощенной линейной модели для режима предсказания на основе межкомпонентной линейной модели (CCLM) при кодировании/декодировании видео. Описанные способы примениы как к существующим стандартам кодирования видео (например, к высокоэффективному кодированию видео (HEVC)), так и к будущим стандартам кодирования видео (например, к универсальному кодированию видео (VVC)) или кодекам.

В одном репрезентативном аспекте раскрыт способ обработки визуальных медиаданных. Способ включает в себя этап, на котором вычисляют, во время преобразования между текущим видеоблоком визуальных медиаданных и представлением битового потока текущего видеоблока, межкомпонентную линейную модель (CCLM) и/или коэффициент масштабирования остатка цветности (CRS) для текущего видеоблока на основе, по меньшей мере частично, соседних отсчетов соответствующего блока яркости, который покрывает верхний левый отсчет совмещенного блока яркости, ассоциированного с текущим видеоблоком, при этом одна или более характеристик текущего видеоблока используются для идентификации соответствующего блока яркости.

В другом репрезентативном аспекте раскрыт способ обработки визуальных медиаданных. Способ включает в себя этапы, на которых используют правил для определения выборочного включения или отключения масштабирования остатка цветности (CRS) для цветовых компонентов текущего видеоблока визуальных медиаданных, причем правило основано на информации о режиме кодирования текущего видеоблока и/или информация о режиме кодирования одного или более соседних видеоблоков; и выполняют преобразование между текущим видеоблоком и представлением битового потока на основе указанного определения.

В еще одном репрезентативном аспекте раскрыт способ обработки визуальных медиаданных. Способ включает в себя этапы, на которых используют единственный коэффициент масштабирования остатка цветности по меньшей мере для одного блока цветности, ассоциированного с видеоблоками в слайсе или группе мозаичных элементов, ассоциированной с текущим видеоблоком визуальных медиаданных; и выполняют преобразование между текущим видеоблоком и представлением битового потока текущего видеоблока.

В другом репрезентативном аспекте раскрыт способ обработки визуальных медиаданных. Способ включает в себя этапы, на которых получают коэффициент масштабирования остатка цветности во время преобразования между текущим видеоблоком визуальных медиаданных и представлением битового потока текущего видеоблока; сохраняют коэффициент масштабирования остатка цветности для использования с другими видеоблоками визуальных медиаданных; и применяют коэффициент остатка цветности для преобразования текущего видеоблока и других видеоблоков в представление битового потока.

В другом репрезентативном аспекте раскрыт способ обработки визуальных медиаданных. Способ включает в себя этапы, на которых, во время преобразования между текущим видеоблоком визуальных медиаданных и представлением битового потока визуальных медиаданных, вычисляют коэффициент остатка цветности текущего видеоблока; сохраняют в буфере коэффициент масштабирования остатка цветности для использования со вторым видеоблоком визуальных медиаданных; и, после использования, удаляют коэффициент масштабирования остатка цветности из буфера.

В еще одном примерном аспекте раскрыто устройство видеодекодера или декодера, содержащее процессор, выполненный с возможностью реализации вышеописанного способа.

В другом примерном аспекте раскрыт машиночитаемый носитель программы. Носитель хранит код, который воплощает исполняемые процессором инструкции для реализации одного из раскрытых способов.

В еще одном репрезентативном аспекте вышеописанный способ воплощен в виде исполняемого процессором кода и хранится на машиночитаемом носителе программы.

Краткое описание чертежей

Фиг. 1 - пример режимов углового внутрикадрового предсказания, используемых в HEVC.

Фиг. 2 - пример направленных режимов, не используемых в HEVC.

Фиг. 3 - пример, связанный с режимом CCLM.

Фиг. 4 - пример отображения яркости с архитектурой масштабирования цветности.

Фиг. 5 - пример блока яркости и блока цветности в разных цветовых форматах.

Фиг. 6 - пример блока яркости и блока цветности в одинаковых цветовых форматах.

Фиг. 7 - пример совмещенного блока яркости, охватывающего несколько форматов.

Фиг. 8 - пример блока яркости в более крупном блоке яркости.

Фиг. 9 - пример блока яркости в более крупном блоке яркости и внутри ограничительной рамки.

Фиг. 10 - блок-схема примера аппаратной платформы для реализации технологии декодирования визуальных медиаданных или кодирования визуальных медиаданных, описанной в настоящем документе.

Фиг. 11 - блок-схема последовательности операций примерного способа получения линейной модели для межкомпонентного предсказания в соответствии с раскрытой технологией.

Фиг. 12 - блок-схема примерной системы обработки видео, в которой могут быть реализованы раскрытые технологии.

Фиг. 13 - блок-схема последовательности операций примерного способа обработки визуальных медиаданных.

Фиг. 14 - блок-схема последовательности операций примерного способа обработки визуальных медиаданных.

Фиг. 15 - блок-схема последовательности операций примерного способа обработки визуальных медиаданных.

Фиг. 16 - блок-схема последовательности операций примерного способа обработки визуальных медиаданных.

Фиг. 17 - блок-схема последовательности операций примерного способа обработки визуальных медиаданных.

Осуществление изобретения

2.1 Краткий обзор HEVC

2.1.1 Внутрикадровое предсказание в HEVC/H.265

Внутрикадровое предсказание включает в себя создание отсчетов для данного TB (блока преобразования) с использованием отсчетов, ранее восстановленных в рассматриваемом цветовом канале. Режим внутрикадрового предсказания сигнализируется отдельно для каналов яркости и цветности, причем режим внутрикадрового предсказания канала цветности при необходимости зависит от режима внутрикадрового предсказания канала яркости при использовании режима DM_CHROMA. Хотя режим внутрикадрового предсказания сигнализируется на уровне PB (блока предсказания), процесс внутрикадрового предсказания применяется на уровне TB в соответствии с иерархией квадродерева остатка для CU, тем самым позволяя кодированию одного TB иметь влияние на кодирование следующего TB в CU и, следовательно, уменьшая расстояние до отсчетов, используемых в качестве контрольных значений.

HEVC включает 35 режимов внутрикадрового предсказания - режим DC, планарный режим и 33 режима направленного или "углового" внутрикадрового предсказания. 33 режима углового внутрикадрового предсказания показаны на фиг. 1.

Для PB, ассоциированных с цветовыми каналами цветности, режим внутрикадрового предсказания определяется как планарный, DC, горизонтальный, вертикальный, режим DM_CHROMA или иногда диагональный режим "34".

Следует отметить, что для форматов цветности 4:2:2 и 4:2:0 PB цветности может перекрывать два или четыре (соответственно) PB яркости; в этом случае направление яркости для DM_CHROMA берется из верхнего левого угла этих PB яркости.

Режим DM_CHROMA указывает, что режим внутрикадрового предсказания цветового PB канала яркости применяется к каналам PB цветности. Так как это является относительно распространенным, схема кодирования наиболее вероятного режима intra_chroma_pred_mode смещена в пользу выбора этого режима.

2.2 Описание алгоритма универсального кодирования видео (VVC)

2.2.1 Архитектура кодирования VVC

Для изучения будущих технологий кодирования видео, выходящих за рамки HEVC, в 2015 году VCEG совместно с MPEG основали объединенную группу исследования видео (JVET). Конференции JVET проводятся одновременно раз в квартал, и новый стандарт кодирования нацелен на 50%-ое снижение скорости передачи битов по сравнению с HEVC. Новый стандарт кодирования видео был официально назван универсальным кодированием видео (VVC) на конференции JVET в апреле 2018 года, и тогда же была выпущена первая версия тестовой модели VVC (VTM). Так как постоянные усилия вносят вклад в стандартизацию VVC, на каждой конференции JVET стандарт VVC дополняются новыми технологиями кодирования. Рабочий проект VVC и тестовая модель VTM обновляются после каждой конференции. После конференции в июле 2020 года проект VVC был нацелен на техническое завершение (FDIS).

Как и в большинстве предыдущих стандартов, VVC имеет архитектуру гибридного кодирования на основе блоков, объединяющую межкадровое и внутрикадровое предсказание изображения и кодирование с преобразованием с энтропийным кодированием. Структура разделения изображения основана на разделении входное видео на блоки, называемые единицами дерева кодирования (CTU). CTU разбиваются с использованием квадродерева с вложенной многотипной древовидной структурой на единицы кодирования (CU), причем листовая единица кодирования (CU) определяет область, в которой совместно используется один и тот же режим предсказания (например, внутрикадровое предсказание или межкадровое предсказание). В данном документе термин "единица" определяет область изображения, охватывающую все цветовые компоненты; термин "блок" используется для определения области, охватывающей конкретный цветовой компонент (например, яркость), и может отличаться пространственным расположением при рассмотрении формата отсчета цветности, такого как 4:2:0.

2.2.2 Разделение на двойные/отдельные деревья в VVC

Компонент яркости и компонент цветности могут иметь деревья с разделением на отдельные части для I-слайсов. Разделение дерева на отдельные части выполняется на уровне блока 64x64, а не на уровне CTU. В программном обеспечении VTM предусмотрен флаг SPS для управления включением и отключением двойного дерева.

2.2.3 Внутрикадровое предсказание в VVC

2.2.3.1 67 режимов внутрикадрового предсказания

Для захвата произвольных краевых направлений, представленных в естественном видео, количество направленных внутрикадровых режимов увеличено в VTM4c 33, как это используется в HEVC, до 65. Новые направленные режимы, не входящие в HEVC, обозначены красными пунктирными стрелками на фиг. 2, и планарный режим и режим DC остаются прежними. Эти более режимы более плотного направленного внутрикадрового предсказания применяются для всех размеров блоков и для внутрикадровый предсказаний как яркости, так и цветности.

2.2.3.2 Межкомпонентное предсказание по линейной модели (CCLM)

Для уменьшения межкомпонентной избыточности в VTM4 используется режим межкомпонентного предсказания по линейной модели (CCLM), для которого отсчеты цветности предсказываются на основе восстановленных отсчетов яркости одной той же CU с использованием линейной модели следующим образом:

pred_C(i,j) = α· rec_L'(i,j) + β

где pred_C(i,j) представляет собой предсказанные отсчеты цветности в CU и rec_L(i,j) представляет восстановленные отсчеты яркости с пониженной дискретизацией одной и той же CU. Параметры α и β линейной модели получаются из соотношения между значениями яркости и значениями цветности из двух отсчетов, которые являются отсчетом яркости с минимальным значением отсчета и с максимальным значением отсчета внутри набора соседних отсчетов яркости с пониженной дискретизацией и их соответствующих отсчетов цветности. Параметры линейной модели и получаются в соответствии со следующими уравнениями.

β = Y_b - α · X_b

где Y_a и X_a представляют собой значение яркости и значение цветности отсчета яркости с максимальным значением отсчета яркости. И X_b и Y_b представляют собой значение яркости и значение цветности отсчета яркости с минимальным значением отсчета яркости, соответственно. На фиг. 3 показан пример расположения левого и верхнего отсчетов и отсчета текущего блока, задействованного в режиме CCLM.

Операция деления для вычисления параметра реализована с помощью справочной таблицы. Чтобы уменьшить объем памяти, необходимый для хранения таблицы, значение diff (разность между максимальным и минимальным значениями) и параметр α выражаются в экспоненциальной записи. Например, diff аппроксимируется 4-разрядной значащей частью и показателем степени. Таким образом, таблица для 1/diff сокращается до 16 элементов для 16 значений значащей части числа следующим образом:

DivTable [] = {0, 7, 6, 5, 5, 4, 4, 3, 3, 2, 2, 1, 1, 1, 1, 0}

Это будет иметь преимущество как в уменьшении сложности вычислений, так и в размере памяти, необходимой для хранения необходимых таблиц.

Помимо верхнего шаблона и левого шаблона, которые можно использовать для совместного вычисления коэффициентов линейной модели, они могут также альтернативно использоваться в двух других режимах LM, называемых режимами LM_A и LM_L.

В режиме LM_A для вычисления коэффициентов линейной модели используется только верхний шаблон. Чтобы получить больше отсчетов, верхний шаблон расширяется до (W+H). В режиме LM_L для расчета коэффициентов линейной модели используется только левый шаблон. Чтобы получить больше отсчетов, левый шаблон расширяется до (H+W).

Для неквадратного блока верхний шаблон расширяется до W+W, левый шаблон расширяется до H+H.

Чтобы согласовать местоположения отсчетов цветности для видеопоследовательностей 4:2:0, к отсчетам яркости применяются два типа фильтра понижающей дискретизации для достижения коэффициента понижающей дискретизации 2:1 как в горизонтальном, так и в вертикальном направлениях. Выбор фильтра понижающей дискретизации определяется флагом уровня SPS. Ниже представлены два фильтра понижающей дискретизации, которые соответствуют содержанию "тип 0" и "тип 2", соответственно.

Следует отметить, что только одна линия яркости (общий строковый буфер при внутрикадровом предсказании) используется для создания отсчетов яркости с пониженной дискретизацией, когда верхняя опорная линия находится на границе CTU.

Вычисление этого параметра выполняется как часть процесса декодирования, а не только как операция поиска кодера. В результате синтаксис не используется для передачи значений α и β в декодер.

Для кодирования во внутрикадровом режиме цветности разрешено всего 8 внутрикадровых режимов для кодирования во внутрикадровом режиме цветности. Эти режимы включают пять традиционных внутрикадровых режимов и три режима межкомпонентной линейной модели (CCLM, LM_A и LM_L). Кодирование в режиме цветности напрямую зависит от режима внутрикадрового предсказания соответствующего блока яркости. Так как в I-слайсах разрешена структура разделения на отдельные блоки для компонентов яркости и цветности, один блок цветности может соответствовать нескольким блокам яркости. Таким образом, для режима Chroma DM напрямую наследуется режим внутрикадрового предсказания соответствующего блока яркости, охватывающий центральную позицию текущего блока цветности.

2.2.3.2.1 Соответствующий измененный рабочий проект (JVET-N0271)

Следующая спецификация основана на модифицированном рабочем проекте JVET-M1001 и приняты в JVET-N0271. Модификации принятого JVET-N0220 выделены жирным шрифтом с подчеркиванием.

Синтаксическая таблица

Синтаксис набора RBSP параметров последовательности

Семантика

sps_cclm_enabled_flag, равный 0, указывает, что внутрикадровое межкомпонентное предсказание по линейной модели от компонента яркости к компоненту цветности отключено. sps_cclm_enabled_flag, равный 1, указывает, что межкомпонентное внутрикадровое предсказание по линейной модели от компонента яркости к компоненту цветности включено.

Процесс декодирования

2.2.3.3 Различные аспекты внутрикадрового предсказания

VTM4 включает в себя множество инструментов внутрикадрового кодирования, которые отличаются от HEVC, например, следующие функции были включены в тестовую модель 3 VVC поверх древовидной структуры блока.

• 67 внутрикадровых режимов с расширением режима широких углов

• 4-отводный интерполяционный фильтр, зависящий от размера блока и режима

• Комбинация позиционно-зависимого внутрикадрового предсказания (PDPC)

• Межкомпонентное внутрикадровое предсказание по линейной модели

• Внутрикадровое предсказание по нескольким опорным линиям

• Внутрикадровые подразделы

2.2.4 Межкадровое предсказание в VVC

2.2.4.1 Объединенное межкадровое и внутрикадровое предсказание (CIIP)

В VTM4, когда CU кодируется в режиме слияния, и если CU содержит не менее 64 отсчетов яркости (то есть ширина CU, умноженная на высоту CU, равна или больше 64), дополнительный флаг сигнализируется для указания того, применим ли режим объединенного межкадрового и внутрикадрового предсказания (CIIP) к текущему CU.

Для формирования предсказания CIIP режим внутрикадрового предсказания сначала получается из двух дополнительных синтаксических элементов. Можно использовать до четырех возможных режимов внутрикадрового предсказания: DC, планарный, горизонтальный или вертикальный. Затем сигналы межкадрового предсказания и внутрикадрового предсказания получаются с использованием обычных процессов межкадрового и внутрикадрового декодирования. Наконец, взвешенное усреднение сигналов межкадрового и внутрикадрового предсказания выполняется для получения предсказания CIIP.

2.2.4.2 Различные аспекты межкадрового предсказания

VTM4 включает в себя множество инструментов межкадрового кодирования, которые отличаются от HEVC, например, следующие функции были включены в тестовую модель 3 VVC поверх древовидной структуры блоков.

• Межкадровое предсказание аффинного движения

• Предсказание временного вектора движения на основе подблоков

• Адаптивное разрешение вектора движения

• Сжатие движения на основе блоков 8x8 для предсказания временного вектора движения

• Сохранение вектора движения с высокой точностью (1/16 пикселя) и компенсация движения с 8-канальным интерполяционным фильтром для компонента яркости и 4-канальным интерполяционным фильтром для компонента цветности.

• Треугольные разделы

• Объединенное внутрикадровое и межкадровое предсказание

• Слияние с MVD (MMVD)

• Симметричное кодирование MVD

• Двунаправленный оптический поток

• Уточнение вектора движения на стороне декодера

• Двунаправленное взвешенное усреднение

2.2.5 Внутриконтурные фильтры

Всего в VTM4 существуют три внутриконтурных фильтра. Помимо фильтра удаления блочности и SAO (двух контурных фильтров в HEVC), в VTM4 применяется адаптивный контурный фильтр (ALF). Порядок процесса фильтрации в VTM4 является следующим: фильтр удаления блочности, SAO и ALF.

В VTM4 процессы SAO и фильтрации удаления блочности являются почти такими же, как и в HEVC.

В VTM4 был добавлен новый процесс, называемый преобразованием яркости с масштабированием цветности (ранее этот процесс назывался адаптивным внутриконтурным перестраиванием). Этот новый процесс выполняется перед удалением блочности.

2.2.6 Отображение яркости с масштабированием цветности (LMCS, также известное как внутриконтурное перестраивание)

В VTM4 инструмент кодирования, называемый преобразованием яркости с масштабированием цветности (LMCS), добавляется в качестве нового блока обработки перед контурными фильтрами. LMCS состоит из двух основных компонентов: 1) внутриконтурное отображение компонента яркости на основе адаптивных кусочно-линейных моделей; 2) для компонентов цветности применяется зависящее от яркости масштабирование остатка цветности. На фиг. 4 показана архитектура LMCS с точки зрения декодера. Светло-синие заштрихованные блоки на фиг. 4 указывают, где применяется обработка в отображенной области; и они включают в себя обратное квантование, обратное преобразование, внутрикадровое предсказание яркости и добавление предсказания яркости вместе с остатком яркости. Незаштрихованные блоки на фиг. 4 указывают, где обработка применяется в исходной (то есть не отображенной) области; и они включают в себя контурные фильтры, такие как фильтры удаления блочности, ALF и SAO, предсказание с компенсацией движения, внутрикадровое предсказание цветности, добавление предсказания цветности вместе с остатком цветности и сохранение декодированных изображений в качестве опорных изображений. Светло-желтые заштрихованные блоки на фиг. 4 представляют собой новые функциональные блоки LMCS, включая прямое и обратное отображение сигнала яркости и процесс масштабирования цветности в зависимости от яркости. Как и большинство других инструментов VVC, LMCS можно включать/отключать на уровне последовательности, используя флаг SPS.

2.2.6.1 Отображение яркости с помощью кусочно-линейной модели

Внутриконтурное отображение компонента яркости регулирует динамический диапазон входного сигнала путем перераспределения кодовых слов по динамическому диапазону для повышения эффективности сжатия. Отображение яркости использует функцию FwdMap прямого отображения и соответствующую функцию InvMap обратного отображения. Функция FwdMap сигнализируется с помощью кусочно-линейной модели с 16 равными частями. Функция InvMap не требует сигнализации, она вместо этого является производной от функции FwdMap.

Модель отображения яркости сигнализируется на уровне группы мозаичных элементов. Сначала сигнализируется флаг наличия. Если в текущей группе мозаичных элементов присутствует модель отображения яркости, то передаются соответствующие параметры кусочно-линейной модели. Кусочно-линейная модель разделяет динамический диапазон входного сигнала на 16 равных частей, и для каждой части его параметры линейного отображения выражаются с помощью количества кодовых слов, назначенных этой части. В качестве примера возьмем 10-разрядные входные данные. Каждой из 16 частей по умолчанию присвоено 64 кодовых слова. Сигнализированное количество кодовых слов используется для вычисления коэффициента масштабирования и соответствующей корректировки функции отображения для этой части. На уровне группы мозаичных элементов сигнализируется другой флаг включения LMCS, указывающий, что процесс LMCS, как изображено на фиг. 4 применяется к текущей группе мозаичных элементов.

Каждая i-я часть, i = 0…15, кусочно-линейной модели FwdMap определяется двумя входными опорными точками InputPivot[] и двумя выходными (отображенными) опорными точками MappedPivot[].

InputPivot[] и MappedPivot[] вычисляются следующим образом (при условии 10-разрядного видео):

1) OrgCW = 64

2) Для i = 0:16, InputPivot[ i ] = i * OrgCW

3) Для i = 0:16 MappedPivot[ i ] рассчитывается следующим образом:

MappedPivot[0] = 0;

для (i = 0; i < 16 ; i++)

MappedPivot[i+1] = MappedPivot[ i ] + SignalledCW[ i ]

где SignalledCW[ i ] - количество кодовых слов, которые сигнализируются для i-го фрагмента.

Как показано на фиг. 4, для блока с межкадровым кодированием предсказание с компенсацией движения выполняется в отображенной области. Другими словами, после того, как блок Y_pred предсказания с компенсацией движения вычислен на основе опорных сигналов в DPB, функция FwdMap применяется для отображения блока предсказания яркости в исходной области в отображенную область Y'_pred = FwdMap(Y_pred). Для блока с внутрикадровым кодированием функция FwdMap не применяется, так как внутрикадровое предсказание выполняется в отображенной области. После вычисления восстановленного блока функция InvMap применяется для преобразования восстановленных значений яркости в отображенной области обратно в восстановленные значения яркости в исходной области Ŷ_i = InvMap(Y_r). Функция InvMap применяется блокам яркости как с внутрикадровым кодированием, так и с межкадровым кодированием.

Процесс отображения яркости (прямое и/или обратное отображение) может быть реализован либо с использованием справочных таблиц (LUT), либо с использованием вычислений "на лету". Если используется LUT, то InvMapLUT можно предварительно рассчитать и предварительно сохранить для использования на уровне группы мозаичных элементов, и прямое и обратное отображение могут быть просто реализованы в виде FwdMap(Y_pred) = FwdMapLUT[Ypred] и InvMap(Y_r) = InvMapLUT[Y_r], соответственно. В качестве альтернативы, могут использоваться вычисления "на лету". Возьмем в качестве примера функцию FwdMap прямого отображения. Для определения части, которой принадлежит отсчет яркости, значение отсчета сдвигается вправо на 6 битов (что соответствует 16 равным частям). Затем параметры линейной модели для этой детали извлекаются и применяются "на лету" для вычисления отображенного значения яркости. Пусть i будет индексом части, a1 и a2 будут InputPivot[ i ] и InputPivot[i+1] соответственно и b1 и b2 будут MappedPivot[ i ] и MappedPivot[i+1], соответственно. Функция FwdMap оценивается следующим образом:

Функция InvMap может быть вычислена "на лету" аналогичным образом, за исключением того, что вместо простого сдвига битов вправо необходимо применять условные проверки при определении части, которой принадлежит значение отсчета, так как части в отображаемой области не равны по размеру.

2.2.6.2 Масштабирование остатка цветности в зависимости от яркости

Масштабирование остатка цветности предназначено для компенсации взаимодействия между сигналом яркости и соответствующими ему сигналами цветности. Тот факт, включено или нет масштабирование остатка цветности, также сигнализируется на уровне группы мозаичных элементов. Если отображение яркости включено, и если раздел двойного дерева (также известный как отдельное дерево цветности) не применяется к текущей группе мозаичных элементов, сигнализируется дополнительный флаг, указывающий, включено или нет масштабирование остатка цветности в зависимости от яркости. Когда отображение яркости не используется, или когда в текущей группе мозаичных элементов используется раздел двойного дерева, зависящее от яркости масштабирование остатка цветности отключается. Кроме того, зависящее от яркости масштабирование остатка цветности всегда отключается для блоков цветности, площадь которых меньше или равна 4.

Масштабирование остатка цветности зависит от среднего значения соответствующего блока предсказания яркости (для блоков как с внутрикадровым кодированием, так и с межкадровым кодированием). Обозначим avgY' как среднее значение блока предсказания яркости. Значение C_ScaltInv вычисляется на следующих этапах:

1) Найти индекс Y_Idx кусочно-линейной модели, к которой принадлежит avgY' на основе функции InvMap.

2) C_ScaltInv = cScaleInv[Y_Idx], где cScaleInv[] предварительно вычисленная LUT, состоящая из 16 частей.

Если текущий блок закодирован в режимах межкадрового кодирования, CIIP или копирования внутрикадрового блока (IBC, также известного как привязка к текущему изображению или CPR), avgY' вычисляется как среднее значение яркости с внутрикадровым, CIIP или IBC предсказанием; в противном случае, avgY' вычисляется как отображенные в прямом направлении средние значения яркости с межкадровым предсказанием (Y'_pred на фиг. 4). В отличие от отображения яркости, которое выполняется на основе отсчета, C_ScaltInv представляет собой постоянное значение для всего блока цветности. При использовании C_ScaltInv масштабирование остатка цветности применяется следующим образом:

Сторона кодера: C_ReScale = C_Res * C_Scale = C_Res/ C_ScaltInv

Сторона декодера: C_Res = C_ResScale/C_Scale = C_ResScale * C_ScaltInv

2.2.6.3 Соответствующий рабочий проект в JVET-M1001_v7 с принятием в JVET-N0220

Последующее описание основано на модифицированном рабочем проекте JVET-M1001 и его принятии в JVET-N0220. Модификация в принятом JVET-N0220 выделена жирным шрифтом с подчеркиванием.

3. Недостатки существующих реализаций.

Текущее построение LMCS/CCLM может иметь следующие недостатки:

1. В инструменте кодирования LMCS коэффициент масштабирования остатка цветности получается из среднего значения совмещенного блока предсказания яркости, что приводит к задержке при обработке отсчетов цветности при масштабировании остатка цветности LMCS.

a) В случае одиночного/общего дерева задержка вызвана (a) ожиданием всех отсчетов предсказания всего доступного блока яркости и (b) усреднением всех отсчетов предсказания яркости, полученных в (a).

b) В случае двойного/отдельного дерева задержка еще хуже, так как в I-слайсах разрешена структура разделения на отдельные блоки для компонентов яркости и цветности. Таким образом, один блок цветности может соответствовать множеству блоков яркости, и один блок цветности 4x4 может соответствовать блоку 64x64 яркости. Таким образом, наихудший случай состоит в том, что для коэффициента масштабирования остатка цветности текущего блока цветности 4x4 может потребоваться подождать, пока не станут доступны все отсчеты предсказания во всем блоке 64x64 яркости. Одним словом, проблема с задержкой в двойном/отдельном дереве будет намного серьезнее.

2. В инструменте кодирования CCLM расчет модели CCLM для внутрикадрового предсказания цветности зависит от левой и верхней опорных отсчетов как блока яркости, так и блока цветности. И предсказание CCLM для блока цветности зависит от восстановленных совмещенных отсчетов яркости одной и той же CU. Это вызовет большую задержку в двойном/отдельном дереве.

• В случае двойного/отдельного дерева один блок цветности 4x4 может соответствовать блоку 64x64 яркости. Таким образом, в худшем случае процессу CCLM для текущего блока цветности может потребоваться дождаться восстановления соответствующего всего блока 64x64 яркости. Эта проблема задержки аналогична масштабированию цветности LMCS в двойном/отдельном дереве.

4. Примеры технологий и вариантов осуществления.

Для решения этих проблем мы предлагаем несколько способов удаления/уменьшения/ограничения межкомпонентной зависимости при зависящем от яркости масштабировании остатка цветности, CCLM и других инструментов кодирования, которые полагаются на информацию от другого цветового компонента.

Подробные варианты осуществления, описанные ниже, следует рассматривать как примеры для объяснения общих концепций. Эти варианты осуществления не следует толковать в узком смысле. Кроме того, эти варианты осуществления можно комбинировать любым способом.

Следует отметить, что хотя маркеры, описанные ниже, явно упоминают LMCS/CCLM, эти способы также могут быть применимы к другим инструментам кодирования, которые полагаются на информацию из другого цветового компонента. Кроме того, термины "яркость" и "цветность", упомянутые ниже, могут быть заменены на "первый цветовой компонент" и "второй цветовой компонент", соответственно, например, "компонент G" и "компонент B/R" в формат цветов RGB.

В последующем обсуждении определение "совмещенный отсчет/совмещенный блок" совпадает с определением совмещенного отсчета/ совмещенного блока в рабочем проекте VVC JVET-M1001. Чтобы быть более конкретным, в цветовом формате 4:2:0 предположим, что верхний левый отсчет блока цветности находится в позиции (xTbC, yTbC), затем верхний левый отсчет совмещенного местоположения (xTbY, yTbY) блока яркости получается следующим образом: (xTbY, yTbY) = (xTbC << 1, yTbC << 1). Как показано на фиг. 5, верхний левый отсчет текущего блока цветности расположена в позиции (x = 16, y = 16) на изображении цветности, затем верхний левый отсчет ее совмещенного блока яркости расположена в позиции (x = 32, y = 32) на изображении яркости, независимо от разделения блоков совмещенного блока яркости на изображении яркости. В качестве другого примера, рассматривая тот же самый цветовой компонент, местоположение верхнего левого отсчета совмещенного блока в опорном кадре должно совпадать с местоположением верхнего левого отсчета текущего блока в текущем кадре, как показано на фиг. 6, предположим, что верхний левый отсчет текущего блока имеет местоположение (x, y) в текущем кадре, тогда верхний левый отсчет совмещенного блока текущего блока имеет такое же местоположение (x, y) в опорном кадре.

В нижеследующем обсуждении "соответствующий блок" может иметь другое местоположение, чем текущий блок. Например, может быть сдвиг движения между текущим блоком и его соответствующим блоком в опорном кадре. Как показано на фиг. 6, предположим, что текущий блок расположен в местоположении (x, y) в текущем кадре и имеет вектор движения, тогда соответствующий блок текущего блока может быть расположен в местоположении (x + mvx, y + mvy) в системе отсчета. Кроме того, для IBC-кодированного блока совмещенный блок яркости (обозначенный нулевым вектором) и соответствующий блок яркости (обозначенный ненулевым BV) могут располагаться в разных местах текущего кадра. В другом примере, когда раздел блока яркости не совпадает с разделом блока цветности (в разделе двойного дерева I-слоев), совмещенный блок яркости текущего блока цветности может принадлежать большему блоку яркости, который зависит от размер раздела перекрывающегося блока кодирования яркости, покрывающего верхний левый отсчет совмещенного блока яркости. Как показано на фиг. 5, предположим, что полужирный прямоугольник обозначает разделы блока, так что блок 64x64 яркости сначала разделяется с помощью BT, а затем правая часть блока 64x64 яркости дополнительно разделяется с помощью TT, что приводит к трем блокам яркости размером 32x16, 32x32, 32x16, соответственно. Таким образом, если посмотреть на верхний левый отсчет (x = 32, y = 32) совмещенного блока яркости текущего блока цветности, то он принадлежит центральному блоку яркости 32x32 раздела TT. В этом случае мы называем соответствующий блок яркости, который покрывает верхний левый отсчет совмещенного блока яркости, как "соответствующий блок яркости". Таким образом, в этом примере верхний левый отсчет соответствующего блока яркости расположена в местоположении (x = 32, y = 16).

Здесь и далее DMVD (получение вектора движения на стороне декодера) используется для представления BDOF (также известного как BIO), или/и DMVR (уточнение вектора движения на стороне декодирования), или/и FRUC (преобразование с повышением частоты кадров) или/и другого способ, который уточняет вектор движения или/и значение отсчета предсказания в декодере.

Удаление задержки масштабирования цветности LMCS и расчет модели CCLM

1. Предлагается, что для блока с межкадровым кодированием, одну или более опорных отсчетов текущего блока в опорных кадрах можно использовать для получения коэффициента масштабирования остатка цветности в режиме LMCS.

a) В одном примере опорные отсчеты яркости могут использоваться непосредственно для получения коэффициента масштабирования остатка цветности.

(1) В качестве альтернативы, интерполяция может сначала применяться к опорным отсчетам, и интерполированные отсчеты могут использоваться для получения коэффициента масштабирования остатка цветности.

(2) В качестве альтернативы, опорные отсчеты в различных опорных кадрах могут использоваться для получения окончательных опорных отсчетов, которые используются для получения коэффициента масштабирования остатка цветности.

1) В одном примере для кодированных блоков двунаправленного предсказания может применяться вышеупомянутый способ.

(3) В одном примере интенсивности опорных отсчетов могут быть преобразованы в область перестраивания перед использованием для получения коэффициента масштабирования остатка цветности.

(4) В одном примере линейная комбинация опорных отсчетов может использоваться для получения коэффициента масштабирования остатка цветности.

1) Например, a×S+b может использоваться для получения коэффициента масштабирования остатка цветности, где S - опорный отсчет, a и b - параметры. В одном примере a и b могут быть получены с помощью компенсации локального освещения (LIC).

b) В одном примере местоположение опорных отсчетов яркости в опорном кадре может зависеть от вектора(ов) движения текущего блока.

(1) В одном примере опорный отсчет принадлежит опорному блоку яркости, который находится в опорном изображении, и имеет ту же ширину и высоту, что и текущий блок яркости. Позицию опорного отсчета яркости в опорном изображении можно вычислить как позицию ее соответствующего отсчета яркости в текущем изображении с добавлением вектора движения.

(2) В одном примере позиция опорных отсчетов яркости может быть получена по позиции верхнего левого (или центрального, или нижнего правого) отсчета текущего блока яркости и вектора движения текущего блока, называемого соответствующим отсчета яркости в системе отсчета.

1) В одном примере целочисленный вектор движения можно использовать для получения соответствующего отсчета яркости в опорном кадре. В одном примере вектор движения, ассоциированный с одним блоком, может быть либо округлен до нуля, либо округлен от нуля для получения целочисленного вектора движения.

2) В качестве альтернативы, дробный вектор движения можно использовать для получения соответствующего отсчета яркости в опорном кадре, так что может потребоваться процесс интерполяции для получения дробных опорных отсчетов.

(3) В качестве альтернативы, позиция опорных отсчетов яркости может быть получена по позиции верхнего левого (или центрального, или нижнего правого) отсчета текущего блока яркости.

(4) В качестве альтернативы, несколько соответствующих отсчетов яркости в некоторых заранее определенных позициях в опорном кадре могут быть выбраны для вычисления коэффициента масштабирования остатка цветности.

c) В одном примере медианное или среднее значение многочисленных опорных отсчетов яркости можно использовать для получения коэффициента масштабирования остатка цветности.

d) В одном примере опорные отсчеты яркости в заранее определенных опорных кадрах можно использовать для получения коэффициента масштабирования остатка цветности.

(1) В одном примере заранее определенный опорный кадр может быть кадром с опорным индексом, равным 0, в списке 0 опорных изображений.

(2) В качестве альтернативы, опорный индекс и/или список опорных изображений для заранее определенного опорного кадра может сигнализироваться на уровне последовательности/изображения/группы мозаичных элементов/слайса/мозаичного элемента/строки CTU/видеоблока.

(3) В качестве альтернативы, могут быть получены опорные отсчеты яркости в многочисленных опорных кадрах, и усредненные или взвешенные средние значения могут быть использованы для получения коэффициента масштабирования остатка цветности.

2. Предполагается, что то, можно ли и каким образом получить коэффициент масштабирования остатка цветности из отсчетов яркости в режиме LMCS, может зависеть от того, применяет ли текущий блок двунаправленное предсказание.

a) В одном примере коэффициент масштабирования остатка цветности получается для каждого направления предсказания индивидуально.

3. Предполагается, что то, можно ли и каким образом получить коэффициент масштабирования остатка цветности из отсчетов яркости в режиме LMCS, может зависеть от того, применяет ли текущий блок предсказание на основе подблоков.

a) В одном примере предсказание на основе подблоков является аффинным предсказанием;

b) В одном примере предсказанием на основе подблоков является альтернативное предсказание вектора движения во времени (ATMVP).

c) В одном примере коэффициент масштабирования остатка цветности получается для каждого подблока индивидуально.

d) В одном примере коэффициент масштабирования остатка цветности получается для всего блока, даже если он предсказывается подблоками.

(1) В одном примере вектор движения одного выбранного подблока (например, верхнего левого подблока) может использоваться для идентификации опорных отсчетов текущего блока, как описано в подпункте 1.

4. Предлагается, чтобы значения предсказания яркости, используемые для получения коэффициента масштабирования остатка цветности, могли бы представлять собой промежуточное значение предсказания яркости вместо окончательного значения предсказания яркости.

a) В одном примере значения предсказания яркости перед процессом двунаправленного оптического потока (BDOF, также известного как BIO) можно использовать для получения коэффициента масштабирования остатка цветности.

b) В одном примере значения предсказания яркости перед процессом уточнения вектора движения (DMVR) на стороне декодера можно использовать для получения коэффициента масштабирования остатка цветности.

c) В одном примере значения предсказания яркости перед процессом LIC можно использовать для получения коэффициента масштабирования остатка цветности.

d) В одном примере значения предсказания яркости перед процессом оптического потока уточнения предсказания (PROF), как предложено в JVET-N0236, можно использовать для получения коэффициента масштабирования остатка цветности.

5. Промежуточные векторы движения могут использоваться для идентификации опорных отсчетов.

a) В одном примере вектор движения перед процессом BDOF, или/и DMVR или/и другими способами DMVD может использоваться для идентификации опорных отсчетов.

b) В одном примере вектор движения перед процессом оптического потока уточнения предсказания (PROF), как предложено в JVET-N0236, может использоваться для идентификации опорных отсчетов.

6. Вышеупомянутые способы могут быть применимы в тех случаях, когда текущий блок кодируется в межкадровом режиме.

7. Предлагается, что для IBC-кодированного блока одна или более опорных отсчетов в опорном блоке текущего кадра можно использовать для получения коэффициента масштабирования остатка цветности в режиме LMCS. Когда блок IBC-кодирован, термин "вектор движения" также может упоминаться как "вектор блока", где опорное изображение устанавливается как текущее изображение.

a) В одном примере опорный отсчет принадлежит опорному блоку, который находится в текущем изображении, и имеет ту же ширину и высоту, что и текущий блок. Позиция опорного отсчета может вычислить как позицию соответствующего ему отсчета с добавлением вектора движения.

b) В одном примере позиция опорных отсчетов яркости может быть получена по позиции верхнего левого (или центрального, или нижнего правого) отсчета текущего блока яркости с добавлением вектора движения.

c) В качестве альтернативы, позиция опорных отсчетов яркости может быть получена по позиции верхнего левого (или центрального, или нижнего правого) отсчета текущего блока яркости с добавлением вектора блока текущего блока.

d) В качестве альтернативы, несколько соответствующих отсчетов яркости в некоторых заранее определенных позициях в опорной области текущего блока яркости могут быть выбраны для вычисления коэффициента масштабирования остатка цветности.

e) В одном примере несколько соответствующих отсчетов яркости можно вычислить с помощью функции для получения коэффициента масштабирования остатка цветности.

(1) Например, медианное или среднее значение нескольких соответствующих отсчетов яркости можно вычислить для получения коэффициента масштабирования остатка цветности.

f) В одном примере интенсивности опорных отсчетов могут быть преобразованы в область изменения формы перед использованием для получения коэффициента масштабирования остатка цветности.

(1) В качестве альтернативы, интенсивности опорных отсчетов могут быть преобразованы в исходную область перед использованием для получения коэффициента масштабирования остатка цветности.

8. Предлагается, что одна или несколько предсказанных/восстановленных отсчетов, которые расположены в идентифицированном(ых) местоположении(ах) текущего блока яркости в текущем кадре, могут использоваться для получения коэффициента масштабирования остатка цветности для текущего блока цветности в режиме LMCS.

a) В одном примере, если текущий блок подвергается межкадровому кодированию, отсчета предсказания (или восстановления) яркости, расположенный в центре текущего блока яркости, может быть выбран для получения коэффициента масштабирования остатка цветности.

b) В одном примере среднее значение первых отсчетов предсказания (или восстановления) яркости MxN может быть выбрано для получения коэффициента масштабирования остатка цветности, где MxN может быть меньше, чем размер ширины совмещенного блока яркости.

9. Предлагается, что вся или часть процедуры, используемой для вычисления модели CCLM, может использоваться для получения коэффициента масштабирования остатка цветности текущего блока цветности в режиме LMCS.

a) В одном примере опорные отсчеты, которые расположены в идентифицированных местопозициях соседних отсчетов яркости совмещенного блока яркости в процессе получения параметров модели CCLM, можно использовать для получения коэффициента масштабирования остатка цветности.

(1) В одном примере эти опорные отсчеты могут использоваться напрямую.

(2) В качестве альтернативы, к этим опорным отсчетам может применяться субдискретизация, и могут применяться опорные отсчеты с пониженной дискретизацией.

b) В одном примере K из S опорных отсчетов, выбранных для вычисления модели CCLM, можно использовать для получения коэффициента масштабирования остатка цветности в режиме LMCS. Например, K равно 1, и S равно 4.

c) В одном примере среднее/минимальное/максимальное значение опорных отсчетов совмещенного блока яркости в режиме CCLM можно использовать для получения коэффициента масштабирования остатка цветности в режиме LMCS.

10. Способ выбора отсчетов для получения коэффициентов масштабирования остатка цветности может зависеть от кодированной информации текущего блока.

a) Кодированная информация может включать в себя QP, режим кодирования, POC, режим внутрикадрового предсказания, информацию движения и т.д.

b) В одном примере для IBC-одированных или не IBC-одированных блоков способ выбора отсчетов может быть другим.

c) В одном примере способ выбора отсчетов может отличаться на основе информации опорного изображения, такой как расстояние POC между опорными изображениями и текущим изображением.

11. Предполагается, что коэффициент масштабирования остатка цветности и/или расчет модели CCLM могут зависеть от соседних отсчетов соответствующего блока яркости, который покрывает верхний левый отсчет совмещенного блока яркости. В настоящем изобретении "блок кодирования" может относиться к области кодирования видео, такой как CU/TU/PU, как указано в спецификации HEVC или в рабочем проекте VVC.

a) "Соответствующий блок кодирования яркости" может быть определен как блок кодирования, который покрывает верхнюю левую позицию совмещенного блока кодирования яркости.

(1) На фиг. 5 показывает пример, где для блока цветности с внутрикадровым кодированием в случае двойного дерева, раздел CTU компонента цветности может отличаться от раздела CTU компонента яркости. Сначала извлекается "соответствующий блок кодирования яркости", покрывающий верхний левый отсчет совмещенного блока яркости текущего блока цветности. Затем, используя информацию о размере блока "соответствующего блока кодирования яркости", может быть получена верхний левый отсчет "соответствующего блока кодирования яркости", причем верхний левый отсчет яркости "соответствующего блока кодирования яркости" покрывает верхний левый отсчет совмещенного блока яркости, расположенного в местоположении (x = 32, y = 16).

b) В одном примере размер/раздел/местоположение/координация блока могут потребоваться для получения местоположения "соответствующего блока кодирования яркости", который покрывает верхний левый отсчет совмещенного блока кодирования яркости.

(1) В одном примере размер блока, и/или раздел блока, и/или координация блоков могут быть сохранены для каждого блока конкретного цветового компонента, такого как компонент яркости.

(2) В одном примере "соответствующий блок кодирования яркости" и текущий блок могут всегда находиться внутри одной и той же строки CTU или CTU, таким образом, в строковом буфере может не храниться размер/раздел/позиция/координации блока.

c) В одном примере восстановленные отсчеты, не входящие в "соответствующий блок кодирования яркости", могут использоваться для получения коэффициента масштабирования остатка цветности и/или вычисления модели CCLM.

(1) В одном примере восстановленные отсчеты, смежные с "соответствующим блоком кодирования яркости", могут использоваться для получения коэффициента масштабирования остатка цветности и/или вычисления модели CCLM.

1) В одном примере N отсчетов, расположенных в левых соседних столбцах и/или в верхних соседних строках "соответствующего блока кодирования яркости", могут использоваться для получения коэффициента масштабирования остатка цветности и/или вычисления модели CCLM, где N = 1…2W + 2H, W и H - ширина и высота "соответствующего блока кодирования яркости".

a) Предположим, что верхний левый отсчет "соответствующего блока кодирования яркости" равна (xCb, yCb), то в одном примере верхняя соседний отсчет яркости может располагаться в позиции (xCb + W/2, yCb - 1) или в позиции (xCb -1, yCb - 1). В альтернативном примере левый соседний отсчет яркости может располагаться в позиции (xCb + W-1, yCb-1).

b) В одном примере одной или более местоположений соседних отсчетов могут быть фиксированными и/или находиться в заранее определенной очередности проверки.

2) В одном примере 1 из N соседних отсчетов может быть выбрана для получения коэффициента масштабирования остатка цветности и/или вычисления модели CCLM. Предположим, что N = 3 и порядок проверки трех соседних отсчетов (xCb -1, yCb - H -1), (xCb + W/2, yCb - 1), (xCb - 1, yCb - 1), то первый доступный соседний отсчет в списке проверки может быть выбран для получения коэффициента масштабирования остатка цветности.

3) В одном примере, медианное или среднее значение N отсчетов, расположенных в левых соседних столбцах и/или в верхних соседних строках "соответствующего блока кодирования яркости", может использоваться для получения коэффициента масштабирования остатка цветности и/или расчета модели CCLM, где N = 1…2W + 2H, W и H - ширина и высота "соответствующего блока кодирования яркости".

d) В одном примере то, выполнять ли масштабирование остатка цветности, может зависеть от "доступных" соседних отсчетов соответствующего блока яркости.

(1) В одном примере "доступность" соседних отсчетов может зависеть от режима кодирования текущего блока/подблока или/и режима кодирования соседнего отсчета.

1) В одном примере для блока, кодированного во внутреннем режиме, соседние отсчеты, кодированные во внутреннем режиме, или/и в режиме IBC, или/и в режиме CIIP или/и в режиме LIC, могут рассматриваться как "недоступные".

2) В одном примере для блока, кодированного в межкадровом режиме, соседние отсчеты, которые используют диффузионный фильтр или/и двунаправленный фильтр или/и фильтр на основе преобразования Адамара, могут считаться "недоступными".

(2) В одном примере "доступность" соседних отсчетов может зависеть от ширины и/или высоты текущего изображения/мозаичного элемента/группы мозаичных элементов/VPDU/слайса.

1) В одном примере, если соседний блок находится за пределами текущего изображения, он рассматривается как "недоступный".

(3) В одном примере, когда нет "доступного" соседнего отсчета, масштабирование остатка цветности может быть запрещено.

(4) В одном примере, когда количество "доступных" соседних отсчетов меньшем K (K> = 1), масштабирование остатка цветности может быть запрещено.

(5) Альтернативно, недоступный соседний отсчет может быть заполнен фиксированным значением по умолчанию, путем дополнения или замены, поэтому масштабирование остатка цветности может применяться всегда.

1) В одном примере, если соседний отсчет недоступен, он может быть заполнен 1 << (bitDepth - 1), где bitDepth указывает битовую глубину отсчетов компонентов яркости/цветности.

2) В качестве альтернативы, если соседний отсчет недоступен, он может быть заполнен путем дополнения из окружающих отсчетов, расположенных в левом/правом/верхнем/нижнем соседе.

3) В качестве альтернативы, если соседний отсчет недоступен, он может быть заменен первым доступным соседним отсчетом в заранее определенном порядке проверки.

4) В качестве альтернативы, если соседний отсчет недоступен, то он может быть заполнен заранее определенным отфильтрованным/отображенным значением (например, отфильтрованным/отображенным значением 1 << (bitDe pth - 1), где bitDepth указывает битовую глубину отсчета компонентов яркости/цветности).

a) В одном примере процесс фильтрации/отображения может представлять собой LUT-индексирование прямого отображения LMCS.

e) В одном примере, то, можно ли и каким образом выполнять масштабирование цветности, может зависеть от режима кодирования текущего блока и/или режимов кодирования соседних блоков.

(1) "Текущий блок" может относиться к текущему блоку цветности, или он может относиться к совмещенному блоку яркости или соответствующему блоку яркости, который покрывает по меньшей мере один отсчет из совмещенного блока цветности. "Соседние блоки" (смежные или несмежные) могут относиться к блокам цветности, соседним с текущим блоком цветности, или они могут относиться к блокам яркости, соседним с текущим блоком яркости.

(2) В одном примере может использоваться режим кодирования одного соседнего блока яркости, который охватывает заданную позицию, такую как (-1, -1), относительно левой верхней координаты текущего блока.

(3) В одном примере могут использоваться режимы кодирования нескольких соседних блоков, которые охватывают несколько позиций, таких как (x, -1) (например, при x равным 0 .. ширина блока минус 1) относительно левой верхней координаты текущего блок и/или (-1, y) (например, если y равно -1 ... высота блока минус 1) относительно левой верхней координаты текущего блока

(4) В одном примере, если для восстановления одного соседнего блока требуется доступ к отсчетам в текущей группе слайсов/мозаичных элементов, например, если они являются X-кодированными, то масштабирование остатка цветности отключается.

1) Например, режим X может быть внутрикадровым режимом;

2) Например, режим X может быть режимом CIIP;

3) Например, режим X может быть режимом IBC;

4) В одном примере, если текущий блок кодируется в межкадровом режиме, и не кодируется в режиме CIIP, и соседний блок, соседний с соответствующим блоком яркости, кодируется в режиме X, то масштабирование остатка цветности отключается.

(5) В одном примере, если для восстановления одного соседнего блока требуется доступ к отсчетам в текущей группе слайсов/мозаичных элементов, например, если он X-кодирован, то значение по умолчанию может использоваться для получения коэффициента масштабирования остатка цветности.

1) Например, режим X может быть внутрикадровым режимом;

2) Например, режим X может быть режимом CIIP;

3) Например, режим X может быть режимом IBC;

4) В одном примере, если текущий блок кодируется в межкадровом режиме, и не кодируется в режиме CIIP, и соседний блок соответствующего блока яркости кодируется в режиме X, то значение по умолчанию может использоваться для получения коэффициента масштабирования остатка цветности.

5) В одном примере значение по умолчанию может зависеть от разрядности отсчетов яркости/цветности.

6) В одном примере значение по умолчанию может быть установлено равным отфильтрованному/отображенному значению 1 << (bitDepth - 1), где bitDepth указывает битовую глубину отсчетов компонентов яркости/цветности. В одном примере процесс фильтрации/отображения может быть LUT-индексированием прямого отображения LMCS.

f) В одном примере отфильтрованные/отображенные восстановленные отсчеты, соседние с "соответствующим блоком кодирования яркости", могут использоваться для получения коэффициента масштабирования остатка цветности и/или вычисления модели CCLM.

(1) В одном примере процесс фильтрации/отображения может включать в себя опорную сглаживающую фильтрацию для внутренних блоков, постфильтрацию, такую как двунаправленный фильтр, фильтр на основе преобразования Адамара, прямое отображение области перестраивания и т.д.

12. Предлагается использовать фиксированное значение для получения коэффициента масштабирования остатка цветности для количества блоков цветности (таких как CU или TU) в текущей группе слайсов/мозаичных элементов.

a) В одном примере коэффициент масштабирования остатка цветности для N блоков цветности может быть получен с помощью фиксированного значения, где N равно 1… общее количество блоков цветности в текущей группе слайсов/мозаичных элементов.

b) В одном примере фиксированное значение может использоваться для нахождения индекса кусочно-линейной модели, которой принадлежит это значение, и затем может быть вычислен коэффициент масштабирования остатка цветности из полученного индекса кусочно-линейной модели. В одном примере фиксированное значение может зависеть от внутренней битовой глубины для отсчетов яркости.

c) В одном примере фиксированное значение может использоваться непосредственно для представления коэффициента масштабирования остатка цветности.

Ограничение на то, применяется или нет масштабирование остатка цветности и/или CCLM

13. Предполагается, что то, применяется или нет масштабирование остатка цветности или CCLM, может зависеть от разделения соответствующего и/или совмещенного блока яркости.

a) В одном примере включение или отключение инструментов с межкомпонентной информацией может зависеть от количества CU/PU/TU в совмещенном блоке яркости (например, компонента Y или G).

(1) В одном примере, если количество CU/PU/TU в совмещенном блоке яркости (например, компонента Y или G) превышает пороговое значение, такие инструменты могут быть отключены.

(2) В качестве альтернативы, включение или отключение инструментов с межкомпонентной информацией может зависеть от глубины дерева разделов.

1) В одном примере, если максимальная (или минимальная, или средняя или другая вариация) глубина квадродерева CU в совмещенном блоке яркости превышает пороговое значение, такие инструменты могут быть отключены.

2) В одном примере, если максимальная (или минимальная, или средняя или другая вариация) BT и/или глубина TT CU в совмещенном блоке яркости превышает пороговое значение, такие инструменты могут быть отключены.

(3) В качестве альтернативы, кроме того, включение или отключение инструментов с межкомпонентной информацией может зависеть от размерности блока для блока цветности.

(4) В качестве альтернативы, кроме того, включение или отключение инструментов с межкомпонентной информацией может зависеть от того, пересекает ли совмещенная яркость многочисленные VPDU/заранее определенные размеры области.

(5) Пороговые значения в приведенном выше обсуждении могут быть фиксированными числами, могут сигнализироваться или могут зависеть от стандартных профилей/уровней/ярусов.

b) В одном примере, если совмещенный блок яркости текущего блока цветности разделен на несколько разделов (например, как показано на фиг. 7), то масштабирование остатка цветности и/или CCLM может быть запрещено.

(1) В качестве альтернативы, если совмещенный блок яркости текущего блока цветности не разделен (например, в пределах одного CU/TU/PU), то может применяться масштабирование остатка цветности и/или CCLM.

c) В одном примере, если совмещенный блок яркости текущего блока цветности содержит более M CU/PU/TU, то масштабирование остатка цветности и/или CCLM может быть запрещено.

(1) В одном примере M может быть целым числом больше 1.

(2) В одном примере M может зависеть от того, является ли это CCLM или процессом масштабирования остатка цветности.

(3) M может быть фиксированным числом, может сигнализироваться или может зависеть от стандартных профилей/уровней/ярусов.

d) Вышеупомянутые CU в совмещенном блоке яркости могут интерпретироваться как все CU в совмещенном блоке яркости. В качестве альтернативы, CU в совмещенном блоке яркости можно интерпретировать как частичные CU в совмещенном блоке яркости, например, CU вдоль границы совмещенного блока яркости.

e) Вышеупомянутые CU в совмещенном блоке яркости могут интерпретироваться как под-CU или подблоки.

(1) Например, под-CU или подблоки могут использоваться в ATMVP;

(2) Например, под-CU или подблоки могут использоваться в аффинном предсказании;

(3) Например, под-CU или подблоки могут использоваться в режиме внутрикадровых под-разделов (ISP).

f) В одном примере, если CU/PU/TU, покрывающая верхний левый отсчет яркости совмещенного блока яркости, больше, чем заранее определенный размер блока яркости, то масштабирование остатка цветности и/или CCLM может быть запрещено.

(1) В примере, показанном на фиг. 8, совмещенный блок яркости имеет размер 32x32, но он находится в соответствующем блоке яркости с размером, равным 64x64, и, если заранее определенный размер блока яркости составляет 32x64, в этом случае запрещается масштабирование остатка цветности и/или CCLM.

(2) В качестве альтернативы, если совмещенный текущий блок цветности не разделен, и соответствующий блок яркости, покрывающий верхний левый отсчет яркости совмещенных блоков яркости, полностью включен в заранее определенную ограничительную рамку, то может быть применено масштабирование остатка цветности и/или CCLM для текущего блока цветности. Ограничительная рамка может быть определена как прямоугольник шириной W и высотой H, обозначенными WxH, как показано на фиг. 9, где соответствующий блок яркости имеет ширину 32 и высоту 64, и ограничительная рамка имеет ширину 40 и высоту 70.

1) В одном примере размер WxH ограничительной рамки может быть определен в соответствии с шириной и/или высотой CTU, или в соответствии с шириной и/или высотой CU, или в соответствии с произвольными значениями.

g) В одном примере, если совмещенный блок яркости текущего блока цветности разделен на несколько разделов, то для получения коэффициента масштабирования остатка цветности в режиме LMCS используются только отсчеты предсказания (или восстановленные отсчеты) внутри заранее определенного раздела совмещенного блока яркости.

(1) В одном примере среднее значение всех отсчетов предсказания (или восстановленных отсчетов) в первом разделе совмещенного блока яркости используется для получения коэффициента масштабирования остатка цветности в режиме LMCS.

(2) В качестве альтернативы, верхний левый отсчет предсказания (или восстановленный отсчет) в первом разделе совмещенного блока яркости используется для получения коэффициента масштабирования остатка цветности в режиме LMCS.

(3) В качестве альтернативы, центральный отсчет предсказания (или восстановленный отсчет) в первом разделе совмещенного блока яркости используется для получения коэффициента масштабирования остатка цветности в режиме LMCS.

h) Предполагается, что применение межкомпонентных инструментов, таких как CCLM и LMCS, может зависеть от режима(ов) кодирования одного или более CU яркости, которые покрывают по меньшей мере один отсчет из совмещенного блока яркости.

(1) Например, межкомпонентные инструменты отключаются, если одна или более CU яркости, которые покрывают по меньшей мере один отсчет из совмещенного блока яркости, кодируются в аффинном режиме;

(2) Например, межкомпонентные инструменты отключаются в том случае, если одна или более CU яркости, которые покрывают по меньшей мере один отсчет из совмещенного блока яркости, кодируются с двунаправленным предсказанием;

(3) Например, межкомпонентные инструменты отключаются в том случае, если одна или более CU яркости, которые покрывают по меньшей мере один отсчет из совмещенного блока яркости, кодируются с помощью BDOF;

(4) Например, межкомпонентные инструменты отключаются в том случае, если одна или более CU яркости, которые покрывают по меньшей мере один отсчет из совмещенного блока яркости, кодируются с помощью DMVR;

(5) Например, межкомпонентные инструменты отключаются в том случае, если одна или более CU яркости, которые покрывают по меньшей мере один отсчет из совмещенного блока яркости, кодируются в режиме матричного аффинного предсказания, как предложено в JVET-N0217;

(6) Например, межкомпонентные инструменты отключаются в том случае, если одна или более CU яркости, которые покрывают по меньшей мере один отсчет из совмещенного блока яркости, кодируются в промежуточном режиме;

(7) Например, межкомпонентные инструменты отключаются в том случае, если одна или более CU яркости, которые покрывают по меньшей мере один отсчет из совмещенного блока яркости, кодируются в режиме ISP;

(8) В одном примере "одна или более CU яркости, которые покрывают по меньшей мере один отсчет из совмещенного блока яркости" могут относиться к соответствующему блоку яркости.

i) Когда CCLM/LMCS запрещен, сигнализация об использовании CCLM/LMCS может быть пропущена.

j) В этом раскрытии CCLM может относиться к любым вариантам режимов CCLM, включая режим LM, режим LM-T и режим LM-L.

14. Предлагается то, можно ли и каким образом применять межкомпонентные инструменты, такие как CCLM и LMCS, для части блока цветности.

a) В одном примере предлагается то, можно ли и каким образом применять межкомпонентные инструменты, такие как CCLM и LMCS, на уровне подблока цветности.

(1) В одном примере подблок цветности определяется как блок 2x2 или 4x4 в CU цветности.

(2) В одном примере для подблока цветности, когда соответствующий блок кодирования яркости текущего CU цветности покрывает все отсчеты соответствующего блока подблока, может применяться CCLM.

(3) В одном примере для подблока цветности, когда не все отсчеты соответствующего блока покрываются соответствующим блоком кодирования яркости текущего CU цветности, CCLM не применяется.

(4) В одном примере параметры CCLM или LMCS получаются для каждого подблока цветности путем обработки подблока как CU цветности.

(5) В одном примере, когда CCLM или LMCS применяются для подблока цветности, могут использоваться отсчеты совмещенного блока.

Применимость масштабирования остатка цветности в режиме LMCS

15. Предлагается, что то, можно ли применить зависящее от яркости масштабирование остатка цветности, можно просигнализировать на другом уровне синтаксиса в дополнение к заголовку группы мозаичных элементов, как определено в JVET-M1001.

a) Например, chroma_residual_scale_flag может сигнализироваться на уровне последовательности (например, в SPS), на уровне изображения (например, в PPS или заголовке изображения), на уровне слайса (например, в заголовке слайса), на уровне мозаичного элемента, на уровне строки CTU, на уровне CTU, на уровне CU. chroma_residual_scale_flag, равный 1, указывает, что масштабирование остатка цветности включено для CU ниже сигнального уровня синтаксиса. chroma_residual_scale_flag, равный 0, указывает, что масштабирование остатка цветности не разрешено ниже сигнального уровня синтаксиса. Когда chroma_residual_scale_flag отсутствует, предполагается, что он равен 0.

b) В одном примере, если масштабирование остатка цветности ограничено на уровне узла разделения, то chroma_residual_scale_flag может не сигнализироваться и получаться равным 0 для CU, охватываемых узлом разделения. В одном примере узлом раздела может быть CTU (CTU рассматривается как корневой узел раздела четвертичного дерева).

c) В одном примере, если масштабирование остатка цветности ограничено размером блока цветности, равным или меньшим 32x32, то chroma_residual_scale_flag может не передаваться и получаться равным 0 для размера блока цветности, равного или меньшего 32x32.

Применимость режима CCLM

16. Предлагается, что то, можно ли применить режим CCLM, можно было сигнализировать на другие уровни синтаксиса в дополнение к уровню sps, как определено в JVET-M1001.

a) Например, он может быть просигнализирован на уровне изображения (например, в PPS или заголовке изображения), на уровне слайса (например, в заголовке слайса), на уровне группы мозаичных элементов (например, в заголовке группы мозаичных элементов), на уровне мозаичного элемента, на уровне строки CTU, на уровне CTU, на уровне CU.

b) В одном примере cclm_flag не может быть просигнализирован и получен равным 0, если не может быть применен CCLM.

(1) В одном примере, если масштабирование остатка цветности ограничено размером блока цветности, равным или меньшим 8x8, то cclm_flag не может быть просигнализирован и получен равным 0 для размера блока цветности, равного или меньшего 8x8.

Унификация получения коэффициента масштабирования остатка цветности для внутрикадрового и межкадрового режима

17. Коэффициент масштабирования остатка цветности может быть получен после кодирования/декодирования блока яркости и может быть сохранен и использован для следующих кодированных блоков.

a) В одном примере определенные отсчеты предсказания или/и промежуточные отсчеты предсказания, или/и восстановленные отсчеты, или/и восстановленные отсчеты перед контурной фильтрацией (например, перед обработкой фильтром удаления блочности, или/и фильтром SAO, или/и двунаправленным фильтром, или/и фильтром на основе преобразования Адамара или/и фильтром ALF) в блоке яркости могут использоваться для получения коэффициента масштабирования остатка цветности.

(1) Например, частичные отсчеты в нижней строке и/или правом столбце блока яркости могут использоваться для получения коэффициента масштабирования остатка цветности.

b) В случае одного дерева, при кодировании блока, кодированного во внутрикадровом режиме, или/и режиме IBC, или/и межкадровом режиме, полученный коэффициент масштабирования остатка цветности соседних блоков может использоваться для получения коэффициента масштабирования текущего блока.

(1) В одном примере некоторые соседние блоки могут проверяться по порядку, и первый доступный коэффициент масштабирования остатка цветности может использоваться для текущего блока.

(2) В одном примере некоторые соседние блоки могут проверяться по порядку, и коэффициент масштабирования может быть получен на основе первых K доступных соседних коэффициентов масштабирования остатка цветности.

(3) В одном примере для блока, кодированного во внутрикадровом режиме или/и режиме CIIP, если соседний блок кодируется во внутрикадровом режиме, или/и режиме IBC, или/и режиме CIIP, коэффициент масштабирования остатка цветности соседнего блока может рассматриваться как " недоступный".

(4) В одном примере соседние блоки могут быть проверены в порядке слева (или сверху слева) -> сверху (или сверху справа).

1) В качестве альтернативы, соседние блоки могут быть проверены в порядке сверху (или сверху справа) -> слева (или сверху слева).

c) В отдельном случае дерева, при кодировании блока цветности, соответствующий блок яркости может быть сначала идентифицирован. Затем полученный коэффициент масштабирования остатка цветности его (например, соответствующего блока яркости) соседних блоков может использоваться для получения коэффициента масштабирования текущего блока.

(1) В одном примере некоторые соседние блоки могут проверяться по порядку, и первый доступный коэффициент масштабирования остатка цветности может использоваться для текущего блока.

(2) В одном примере некоторые соседние блоки могут проверяться по порядку, и коэффициент масштабирования может быть получен на основе первых K доступных соседних коэффициентов масштабирования остатка цветности.

g) Соседние блоки могут быть проверены в заранее определенном порядке.

(1) В одном примере соседние блоки могут быть проверены в порядке слева (или сверху слева) -> сверху (или сверху справа)

(2) В одном примере соседние блоки могут быть проверены в порядке сверху (или сверху справа) -> слева (или сверху слева).

(3) В одном примере соседние блоки могут быть проверены в следующем порядке: снизу слева -> слева -> сверху справа -> сверху -> сверху слева.

(4) В одном примере соседние блоки могут быть проверены в порядке слева -> сверху -> сверху справа -> снизу слева -> сверху слева.

e) В одном примере то, применять ли масштабирование остатка цветности, может зависеть от "доступности" соседнего блока.

(1) В одном примере, когда нет "доступного" соседнего блока, масштабирование остатка цветности может быть запрещено.

(2) В одном примере, когда количество "доступных" соседних блоков меньше, чем K (K> = 1), масштабирование остатка цветности может быть запрещено.

(3) В качестве альтернативы, когда нет "доступного" соседнего блока, коэффициент масштабирования остатка цветности может быть получен по значению по умолчанию.

1) В одном примере значение по умолчанию 1 << (bitDepth - 1) может использоваться для получения коэффициента масштабирования остатка цветности.

f) В одном примере коэффициент масштабирования остатка цветности текущего блока цветности может быть сохранен и использован для следующих кодированных блоков.

g) В одном примере сохранение коэффициентов масштабирования остатка цветности может быть удалено из строкового буфера.

(1) В одном примере, когда текущий блок и соседний (соседний или несмежный) блок, к которому необходимо получить доступ, находятся в разных областях, его коэффициент масштабирования остатка цветности может рассматриваться как "недоступный" и не может использоваться для получения коэффициента масштабирования остатка цветности текущего блока.

1) Область может быть слайсом, мозаичным элементом, группой мозаичных элементов, строкой CTU или CTU.

2) В качестве альтернативы, в таком случае его коэффициент масштабирования остатка цветности может рассматриваться как значение по умолчанию.

3) В качестве альтернативы, в таком случае нельзя применять масштабирование остатка цветности.

h) В одном примере коэффициент масштабирования остатка цветности текущего блока цветности может обновляться "на лету" и может быть сохранен в таблице истории для получения коэффициента масштабирования следующих блоков.

(1) Таблица истории может обновляться в режиме FIFO (первый пришел - первый вышел).

(2) После декодирования/кодирования блока цветности может быть получен коэффициент масштабирования остатка цветности (например, согласно значениям яркости) и может быть сохранен в таблице истории FIFO.

(3) В одном примере таблица истории FIFO может содержать не более 1 записи. В этом случае полученный коэффициент масштабирования остатка цветности последнего декодированного блока используется для текущего блока.

(4) В одном примере таблица истории обновляется перед кодированием/декодированием изображения, и/или слайса, и/или группы мозаичных элементов, и/или мозаичного элемента, и/или строки CTU и/или CTU.

1) В одном примере коэффициент масштабирования остатка цветности по умолчанию может быть помещен в таблицу истории при обновлении таблицы истории.

2) В одном примере таблица истории устанавливается пустой, когда таблица истории FIFO обновляется.

5. Варианты осуществления

5.1 Вариант 1 осуществления

Переменная idxYInv получается путем вызова идентификации индекса кусочно-линейной функции, как указано в пункте 8.7.5.3.2, при использовании invAvgLuma в качестве входного параметра и idxYInv выходного параметра.

2. Переменная varScale получается следующим образом:

varScale = ChromaScaleCoeff[ idxYInv ] … (8-1065)

- recSamples получается следующим образом:

- Если tu_cbf_cIdx[xCurr ][ yCurr ] равно 1, применяется следующее:

resSamples[ i ][ j ] = Clip3( - (1 << BitDepth_C), 1 << BitDepth_C - 1, resSamples[ i ][ j ] )

recSamples[ xCurr + i ][ yCurr + j ] = ClipCidx1( predSamples[ i ][ j ] + … (8-1066)

Sign( resSamples[ i ][ j ] ) * ( ( Abs( resSamples[ i ][ j ] ) * varScale + ( 1 << 10 ) ) >> 11 ))

- В противном случае (tu_cbf_cIdx[xCurr ][ yCurr ] равно 0) применяется следующее:

recSamples[ xCurr + i ][ yCurr + j ] = ClipCidx1(predSamples[ i ][ j ] ) … (8-1067)

5.2 Вариант 2 осуществления

Приведенный ниже вариант осуществления относится к способу в п. 11 примерных вариантов осуществления в разделе 4 данного документа.

Новые добавленные детали выделены жирным, подчеркнутым, курсивным шрифтом, и удаленные части из рабочего проекта VVC выделены заглавным шрифтом. Модификации основаны на последнем рабочем проекте VVC (JVET-M1007-v7) и новом принятии в JVET-N220-v3.

Различия между вариантами 2 и 1 осуществления перечислены ниже:

- Многочисленные соседние отсчеты яркости проверяются для получения коэффициента масштабирования остатка цветности.

- Когда соседние отсчеты яркости недоступны или когда соседняя яркость кодируется в режиме INTRA/CIIP/IBC, в то время как текущий отсчет кодируется в режиме INTER, #2 использует значение по умолчанию для получения коэффициента масштабирования остатка цветности.

8.7.5.4 Восстановление изображения с помощью процесса масштабирования остатка цветности в зависимости от яркости для отсчетов цветности

Входными данными в этом процессе являются:

- местоположение (xCurr, yCurr) левого верхнего отсчета текущего блока преобразования относительно левого верхнего отсчета текущего изображения,

- переменная nCurrSw, определяющая ширину блока преобразования,

- переменная nCurrSh, определяющая высоту блока преобразования,

- массив predSamples (nCurrSw) x (nCurrSh), определяющий отсчеты предсказания цветности текущего блока,

- массив resSamples (nCurrSw) x (nCurrSh), определяющий отсчеты цветности текущего блока.

Результатом этого процесса является восстановленный массив recSamples отсчетов цветного изображения.

Восстановленный отсчет recSamples изображения цветности получается следующим образом для i = 0..nCurrSw - 1, j = 0..nCurrSh - 1:

- Если tile_group_chroma_residual_scale_flag равен 0 или nCurrSw * nCurrSh меньше или равно 4, применяется следующее:

recSamples[xCurr + i][ yCurr + j] = Clip1C (predSampl es[recSamples[ xCurr + i ][ yCurr + j ] = Clip1_C ( predSamples[ i ][ j ] + resSamples[ i ][ j ] ) … (8-1063)

- В противном случае (tile_group_chroma_residual_scale_flag равен 1, и nCurrSw * nCurrSh больше 4) применяется следующее:

- Для получения переменной varScale применяются следующие упорядоченные этапы:

- Переменная invAvgLuma получается следующим образом:

INVAVGLUMA = CLIP1_Y( ( … (8-1064)

+ NCURRSW * NCURRSH *2 ) / ( NCURRSW * NCURRSH *4))

Переменная idxYInv получается путем вызова идентификации индекса кусочно-линейной функции, как указано в пункте 8.7.5.3.2, при использовании invAvgLuma в качестве входного параметра и idxYInv в выходного параметра.

Переменная varScale получается следующим образом:

varScale = ChromaScaleCoeff[ idxYInv ] … (8-1065)

- recSamples получается следующим образом:

- Если tu_cbf_cIdx[xCurr ][ yCurr ] равно 1, применяется следующее:

resSamples[ i ][ j ] = Clip3( - (1 << BitDepth_C), 1 << BitDepth_C - 1, resSamples[ i ][ j ] )

recSamples[ xCurr + i ][ yCurr + j ] = ClipCidx1( predSamples[ i ][ j ] + … (8-1066)

Sign( resSamples[ i ][ j ] ) * ( ( Abs( resSamples[ i ][ j ] ) * varScale + ( 1 << 10 ) ) >> 11 ))

- В противном случае (tu_cbf_cIdx[xCurr ][ yCurr ] равно 0) применяется следующее:

recSamples[ xCurr + i ][ yCurr + j ] = ClipCidx1(predSamples[ i ][ j ] ) … (8-1067)

6. Примеры реализаций раскрытой технологии.

На фиг. 10 показана блок-схема устройства 1000 обработки видео. Устройство 1000 может использоваться для реализации одного или нескольких способов, описанных в данном документе. Устройство 1000 может быть воплощено в смартфоне, планшете, компьютере, приемнике Интернета вещей (IoT) и т.д. Устройство 1000 может включать в себя один или несколько процессоров 1002, одно или несколько запоминающих устройств 1004 и аппаратные средства 1006 обработки видео. Процессор (ы) 1002 может быть выполнен с возможностью реализации одного или нескольких способов (включая, но не ограничиваясь ими, способы 800 и 900), описанными в данном документе. Память (блоки памяти) 1004 могут использоваться для хранения данных и кода, используемых для реализации способов и технологий, описанных в данном документе. Аппаратные средства 1006 обработки видео могут использоваться для реализации, в виде схем аппаратных средств, некоторых технологий, описанных в данном документе.

В некоторых вариантах осуществления способы кодирования видео могут быть реализованы с использованием устройства, которое реализовано на аппаратной платформе, как описано со ссылкой на фиг. 10.

На фиг. 11 показана блок-схема последовательности операций примерного способа 1100 получения линейной модели для межкомпонентного предсказания в соответствии с раскрытой технологией. Способ 1100 включает в себя на этапе 1110 выполнение преобразования между текущим видеоблоком и представлением битового потока текущего видеоблока, причем во время преобразования второй набор значений цветовых компонентов текущего видеоблока получается из первого набора значений цветовых компонентов, включенных в один или более опорных кадров, при этом первый набор значений цветовых компонентов может использоваться в линейной модели на этапе кодирования видео.

Некоторые варианты осуществления могут быть описаны с использованием следующего формата, основанного на следующих пунктах.

1. Способ обработки видео, содержащий:

выполнение преобразования между текущим видеоблоком и представлением битового потока текущего видеоблока, причем во время преобразования второй набор значений цветовых компонентов текущего видеоблока получается из первого набора значений цветовых компонентов, включенных в один или более опорных кадров, при этом первый набор значений цветовых компонентов может использоваться в линейной модели на этапе кодирования видео.

2. Способ по п. 1, в котором первый набор значений цветовых компонентов интерполируется перед использованием в линейной модели на этапе кодирования видео.

3. Способ по любому из пп. 1-2, в котором линейная комбинация первого набора значений цветовых компонентов может использоваться в качестве параметров в линейной модели.

4. Способ по п. 1, в котором местоположения первого набора значений цветовых компонентов, включенных в один или более опорных кадров, выбираются на основе, по меньшей мере частично, информации движения текущего видеоблока.

5. Способ по п. 4, в котором позиция значения компонента яркости в одном или более опорных кадрах вычисляется из позиции соответствующего значения компонента яркости в текущем видеоблоке и информации движения текущего видеоблока.

6. Способ по п. 5, в котором позиция соответствующего значения компонента яркости представляет собой верхний левый отсчет, центральный отсчет или нижний правый отсчет в текущем видеоблоке.

7. Способ по п. 6, в котором информация движения текущего видеоблока соответствует целочисленному вектору движения или дробному вектору движения.

8. Способ по п. 7, в котором дробный вектор движения получается с использованием дробного значения компонента яркости в одном или более опорных кадрах.

9. Способ по п. 7, в котором целочисленный вектор движения получается путем округления в сторону нуля или от нуля.

10. Способ по п. 1, в котором местоположения первого набора значений цветовых компонентов, включенных в один или более опорных кадров, являются заранее определенными позициями.

11. Способ по любому из пп. 1-10, в котором медианное или среднее значение первого набора значений цветовых компонентов используются для получения второго набора значений цветовых компонентов текущего видеоблока.

12. Способ по любому из пп. 1-11, в котором один или более опорных кадров являются заранее определенными опорными кадрами.

13. Способ по п. 12, в котором заранее определенные опорные кадры включают в себя кадр с опорным индексом списка опорных изображений.

14. Способ по п. 13, в котором опорный индекс равен нулю, и список опорных изображений равен нулю.

15. Способ по п. 13, в котором опорный индекс и/или список опорных изображений сигнализируется в представлении битового потока, ассоциированном с одним или несколькими из следующего: последовательность, изображение, мозаичный элемент, группа, слайс, группа мозаичных элементов, строка единицы дерева кодирования или видеоблок.

16. Способ по п. 1, в котором второй набор значений цветовых компонентов текущего видеоблока получают из математического среднего или средневзвешенного значения первого набора значений цветовых компонентов, включенных в один или более опорных кадров.

17. Способ по п. 1, в котором второй набор значений цветовых компонентов текущего видеоблока выборочно получается из первого набора значений цветовых компонентов, включенных в один или более опорных кадров, в зависимости от того, является ли текущий видеоблок кодированным блоком двунаправленного предсказания.

18. Способ по п. 17, в котором второй набор значений цветовых компонентов текущего видеоблока получается индивидуально для каждого направления предсказания первого набора значений цветовых компонентов.

19. Способ по п. 1, в котором второй набор значений цветовых компонентов текущего видеоблока выборочно получается из первого набора значений цветовых компонентов, включенных в один или более опорных кадров, в зависимости от того, ассоциирован ли текущий видеоблок с предсказанием на основе подблоков.

20. Способ по п. 1, в котором предсказание на основе подблоков соответствует аффинному предсказанию или предсказанию альтернативного временного вектора движения (ATMVP).

21. Способ по любому из пп. 19-20, в котором второй набор значений цветовых компонентов текущего видеоблока получается для отдельных подблоков.

22. Способ по любому из пп. 19-21, в котором второй набор значений цветовых компонентов текущего видеоблока получается для всего текущего видеоблока независимо от предсказания на основе подблоков.

23. Способ по любому из пп. 19-22, в котором первый набор значений цветовых компонентов, включенных в один или более опорных кадров, выбирается на основе, по меньшей мере частично, вектора движения подблока текущего видеоблока.

24. Способ по любому из пп. 1-23, в котором первый набор значений цветовых компонентов, включенных в один или более опорных кадров, имеет промежуточные значения цветовых компонентов.

25. Способ по любому из пп. 1-24, в котором этап кодирования видео предшествует другому этапу кодирования видео.

26. Способ по п. 25, в котором первый набор значений цветовых компонентов, включенных в один или более опорных кадров, выбирается на основе, по меньшей мере частично, промежуточного вектора движения текущего видеоблока или подблока текущего видеоблока, и в котором промежуточный вектор движения вычисляется перед другим этапом кодирования видео.

27. Способ по любому из пп. 24-26, в котором другой этап кодирования видео включает в себя один или комбинацию следующих этапов: этап двунаправленного оптического потока (BDOF), этап уточнения вектора движения на стороне декодера (DMVR), этап оптического потока уточнения предсказания (PROF).

28. Способ по любому из пп. 1-27, в котором первый набор значений цветовых компонентов, включенных в один или более опорных кадров, соответствует значениям компонентов яркости MxN, ассоциированным с соответствующим блоком яркости.

29. Способ по п. 28, в котором соответствующий блок яркости является совмещенным блоком яркости текущего видеоблока.

30. Способ по п. 29, в котором произведение M на N меньше, чем произведение ширины блока на высоту блока совмещенного блока яркости текущего видеоблока.

31. Способ по любому из пп. 27-30, в котором первый набор значений цветовых компонентов, включенных в один или более опорных кадров, соответствует по меньшей мере части опорных отсчетов, идентифицированных в позициях соседних отсчетов яркости совмещенного блока яркости.

32. Способ по любому из пп. 1-31, в котором первый набор значений цветовых компонентов подвергается понижающей дискретизации перед использованием в линейной модели на этапе кодирования видео.

33. Способ по п. 1, в котором второй набор значений цветовых компонентов текущего видеоблока выбирается на основе, по меньшей мере частично, одной или нескольких из следующей информации текущего видеоблока: параметр квантования, режим кодирования или счетчик очередности изображений (POC).

34. Способ по п. 31, в котором позиции соседних отсчетов яркости таковы, что покрывается верхний левый отсчет совмещенного блока яркости.

35. Способ по п. 28, в котором первый набор значений цветовых компонентов, включенных в один или более опорных кадров, соответствует по меньшей мере части опорных отсчетов, идентифицированных в позициях, внешних по отношению к соответствующему блоку яркости.

36. Способ по п. 28, в котором второй набор значений цветовых компонентов текущего видеоблока выборочно получается из первого набора значений цветовых компонентов, включенных в один или более опорных кадров, на основе доступности соседних отсчетов соответствующего блока яркости.

37. Способ по п. 28, в котором доступность соседних отсчетов соответствующего блока яркости основана на одном или нескольких из: использования режима кодирования текущего видеоблока, использования режима кодирования соседних отсчетов соответствующего блока яркости, использования режима кодирования соответствующего блока яркости, использования режима кодирования одного или нескольких соседних видеоблоков, использования типа фильтра, ассоциированного с соседними отсчетами соответствующего блока яркости или местоположения соседних отсчетов соответствующего блока яркости относительно текущих видеоблоков или их подблоков.

38. Способ по п. 28, дополнительно содержащий:

в ответ на отсутствие доступности соседних отсчетов соответствующего блока яркости, замену, заполнение или дополнение недоступных отсчетов другими отсчетами.

39. Способ по п. 28, дополнительно содержащий:

применение сглаживающего фильтра к отсчетам, соседним с соответствующим блоком яркости.

40. Способ обработки видео, содержащий:

выполнение преобразования между текущим видеоблоком и представлением битового потока текущего видеоблока, причем во время преобразования второй набор значений цветовых компонентов текущего видеоблока получается из первого набора значений цветовых компонентов, включенных в один или более опорных кадров, при этом первый набор значений цветовых компонентов может использоваться в линейной модели на этапе кодирования видео; и

в ответ на определение того, что первый набор значений цветовых компонентов, включенных в один или более опорных кадров, является совмещенным блоком яркости текущего видеоблока, выборочное включение или отключение получения второго набора значений цветовых компонентов текущего видеоблока на основе одного или нескольких условий, ассоциированных с совмещенным блоком яркости текущего видеоблока.

41. Способ по п. 40, в котором одно или несколько условий, ассоциированных с совмещенным блоком яркости текущего видеоблока, включают в себя: размер раздела совмещенного блока яркости, количество единиц кодирования совмещенного блока яркости, достигающее порогового числа, верхний левый отсчет яркости совмещенного блока яркости, достигающую порогового размера, глубину дерева разделения совмещенного блока яркости, соответствующий блок яркости, покрывающий верхний левый отсчет яркости совмещенного блока яркости, размер совмещенного блока яркости или текущего видеоблока или соответствующий блок яркости, покрывающий верхний левый отсчет яркости совмещенного блока яркости и дополнительно включенный в ограничительную рамку заранее определенного размера.

42. Способ по п. 40, в котором информация, указывающая выборочное включение или отключение получения, включена в представление битового потока.

43. Способ по п. 28, в котором доступность соседних отсчетов соответствующего блока яркости ассоциирована с проверкой соседних отсчетов в соответствии с заранее определенным порядком.

44. Способ по п. 41, в котором совмещенный блок яркости и текущий видеоблок ассоциированы с одной и той же единицей дерева кодирования или одной и той же строкой единиц дерева кодирования.

45. Способ обработки видео, содержащий:

выполнение преобразования между текущим видеоблоком и представлением битового потока текущего видеоблока, причем во время преобразования второй набор значений цветовых компонентов текущего видеоблока получается из первого набора значений цветовых компонентов, включенных в один или более опорных кадров, при этом первый набор значений цветовых компонентов может использоваться в линейной модели на этапе кодирования видео; и

в ответ на определение того, что удовлетворены одно или несколько свойств текущего видеоблока или соседних видеоблоков текущего видеоблока, выборочное включение или отключение получения второго набора значений цветовых компонентов текущего видеоблока.

46. Способ по п. 45, в котором одно или несколько свойств текущего видеоблока или соседних видеоблоков текущего видеоблока соответствуют соседнему блоку яркости, охватывающему пространственную позицию относительно пространственной позиции текущего видеоблока.

47. Способ по п. 45, в котором одно или несколько свойств текущего видеоблока или соседних видеоблоков текущего видеоблока соответствуют пространственным позициям соседних видеоблоков текущего видеоблока относительно пространственной позиции текущего видеоблока

48. Способ по п. 45, дополнительно содержащий:

в ответ на определение того, что восстановление соседних видеоблоков основано, по меньшей мере частично, на режиме кодирования текущего видеоблока, отключение получения второго набора значений цветовых компонентов текущего видеоблока.

49. Способ по п. 45, дополнительно содержащий:

в ответ на определение того, что текущий видеоблок является блоком с межкадровым кодированием, а не объединенным блоком с межкадровым и внутрикадровым предсказанием, и блок, соседний с соответствующим блоком яркости текущего видеоблока, является блоком с внутрикадровым кодированием, блоком объединенного межкадрового и внутрикадрового предсказания (CIIP) или кодированным блоком с копией внутрикадрового блока (IBC), отключение получения второго набора значений цветовых компонентов текущего видеоблока.

50. Способ по п. 45, дополнительно содержащий:

в ответ на определение того, что текущий видеоблок является блоком с межкадровым кодированием, а не объединенным блоком с межкадровым и внутрикадровым предсказанием, и блок, соседний с соответствующим блоком яркости текущего видеоблока, является блоком с внутрикадровым кодированием, блоком объединенного межкадрового и внутрикадрового предсказания (CIIP) или кодированным блоком с копией внутрикадрового блока (IBC), включение получения второго набора значений цветовых компонентов текущего видеоблока, при этом первый набор значений цветовых компонентов имеет фиксированные значения.

51. Способ по п. 45, в котором первый набор значений цветовых компонентов имеет фиксированные значения.

52. Способ по п. 51, в котором фиксированные значения соответствуют индекс кусочно-линейной линейной модели на этапе кодирования видео.

53. Способ по любому из пп. 1-52, в котором соседние отсчеты могут быть смежными или несмежными с текущим видеоблоком.

54. Способ по любому из пп. 1-52, в котором соседние отсчеты могут быть ассоциированы с блоками цветности, соседними с текущим видеоблоком, или блоками цветности, соседними с текущим видеоблоком.

55. Способ по любому из пп. 1-54, в котором текущий видеоблок соответствует блоку цветности, совмещенному блоку яркости или соответствующему блоку яркости, покрывающему верхний левый отсчет яркости совмещенного блока цветности.

56. Способ по любому одному или нескольким из пп. 1-54, в котором второй набор значений цветовых компонентов текущего видеоблока сохраняется для использования в связи с одним или несколькими другими видеоблоками.

57. Способ по любому из пп. 1-56, в котором линейная модель соответствует межкомпонентной линейной модели (CCLM), и этап кодирования видео соответствует отображению яркости в режиме масштабирования цветности (LMCS).

58. Способ по любому из пп. 1-57, в котором текущий видеоблок представляет собой блок с межкадровым кодированием, кодированный блок двунаправленного предсказания, блок объединенного межкадрового и внутрикадрового предсказания (CIIP) или блок, кодированный с копированием внутрикадрового блока (IBC).

59. Способ по любому из пп. 1-58, в котором второй набор значений цветовых компонентов текущего видеоблока сохраняется для использования, ассоциированного с другими видеоблоками в представлении битового потока.

60. Способ по п. 59, в котором второй набор значений цветовых компонентов текущего видеоблока сохраняется в строковом буфере для выборочной доступности или недоступности соседним видеоблоком, включенным в другие видеоблоки, причем текущий видеоблок и соседний видеоблок ассоциированы с разными слайсами, мозаичными элементами, группами мозаичных элементов, единицами дерева кодирования или строками единиц дерева кодирования.

61. Способ по п. 60, в котором второй набор значений цветовых компонентов текущего видеоблока имеет фиксированные значения.

62. Способ по п. 60, в котором предотвращается получение второго набора значений цветовых компонентов текущего видеоблока.

63. Способ по п. 59, в котором предотвращается получение второго набора значений цветовых компонентов текущего видеоблока.

64. Способ по п. 59, в котором второй набор значений цветовых компонентов текущего видеоблока сохраняется в таблице для выборочной доступности или недоступности соседним видеоблоком, включенным в другие видеоблоки.

65. Способ по п. 64, в котором динамически обновляется второй набор значений цветовых компонентов текущего видеоблока.

66. Способ по п. 65, в котором второй набор значений цветовых компонентов текущего видеоблока является таким же, как и предыдущий видеоблок в других видеоблоках.

67. Способ по п. 64, в котором второй набор значений цветовых компонентов текущего видеоблока динамически обновляется в режиме "первым пришел - первым вышел" (FIFO).

68. Способ по любому из пп. 1-67, в котором первый набор значений цветовых компонентов соответствует значениям отсчета яркости, и второй набор значений цветовых компонентов соответствует коэффициентам масштабирования цветности.

69. Устройство в видеосистеме, содержащей процессор и невременную память с инструкциями, хранящимися на ней, причем инструкции после исполнения процессором предписывают процессору реализовать способ по любому из пп. 1-68.

70. Компьютерный программный продукт, хранящийся на энергонезависимом машиночитаемом носителе информации, причем компьютерный программный продукт включает в себя программный код для выполнения способа по любому из пп. 1-68.

На фиг. 12 показана блок-схема, иллюстрирующая пример системы 1200 обработки видео, в которой могут быть реализованы различные технологии, раскрытые в данном документе. Различные реализации могут включать в себя некоторые или все компоненты системы 1200. Система 1200 может включать в себя вход 1202 для приема видеосодержания. Видеосодержание может приниматься в необработанном или несжатом формате, например, с 8- или 10-разрядными значениями многокомпонентных пикселей, или может быть в сжатом или кодированном формате. Вход 1202 может представлять сетевой интерфейс, интерфейс периферийной шины или интерфейс запоминающего устройства. Примеры сетевого интерфейса включают проводные интерфейсы, такие как Ethernet, пассивная оптическая сеть (PON) и т.д., и беспроводные интерфейсы, такие как Wi-Fi или сотовые интерфейсы.

Система 1200 может включать в себя компонент 1204 кодирования, который может реализовывать различные способы кодирования или шифрования, описанные в настоящем документе. Компонент 1204 кодирования позволяет уменьшить среднюю скорость передачи битов видео от входа 1202 до выхода компонента 1204 кодирования, чтобы создать кодированное представление видео. Поэтому технологии кодирования иногда называют технологиями сжатия видео или транскодирования видео. Выходной сигнал компонента 1204 кодирования может быть либо сохранен, либо передан через подключенную связь, как представлено компонентом 1206. Сохраненное или переданное битовое (или кодированное) представление видео, полученного на входе 1202, может использоваться компонентом 1208 для выработки пиксельных значений или отображаемого видео, которое отправляется в интерфейс 1210 дисплея. Процесс выработки доступного для просмотра пользователем видео из представления битового потока иногда называется распаковкой видео. Кроме того, хотя определенные операции обработки видео упоминаются как операции или инструменты "кодирования", следует понимать, что инструменты или операции кодирования используются в кодере, и соответствующие инструменты или операции декодирования, которые обращают результаты кодирования, будут выполняться посредством декодера.

Примеры интерфейса периферийной шины или интерфейса дисплея могут включать в себя универсальную последовательную шину (USB), мультимедийный интерфейс высокой четкости (HDMI) или порт дисплея (Displayport) и т.д. Примеры интерфейсов запоминающих устройств включают в себя SATA (последовательное подключение с использованием передовых технологий), PCI, интерфейс IDE и т.п. Технологии, описанные в настоящем документе, могут быть воплощены в различных электронных устройствах, таких как мобильные телефоны, ноутбуки, смартфоны или другие устройства, которые способны выполнять обработку цифровых данных и/или отображение видео.

На фиг. 13 показана блок-схема последовательности операций примерного способа обработки визуальных медиаданных. Этапы этой блок-схемы последовательности операций обсуждены в связи с примером 11b в разделе 4 данного документа. На этапе 1302 процесс вычисляет во время преобразования между текущим видеоблоком визуальных медиаданных и представлением битового потока текущего видеоблока межкомпонентную линейную модель (CCLM) и/или коэффициент масштабирования остатка цветности (CRS) для текущего видеоблока на основе, по меньшей мере частично, соседних отсчетов соответствующего блока яркости, который покрывает верхний левый отсчет совмещенного блока яркости, ассоциированного с текущим видеоблоком, при этом одна или несколько характеристик текущего видеоблока используются для идентификации соответствующего блока яркости.

На фиг. 14 показана блок-схема последовательности операций примерного способа обработки визуальных медиаданных. Этапы этой блок-схемы обсуждены в связи с примером 11e в разделе 4 данного документа. На этапе 1402 процесс использует правило для определения выборочного включения или отключения масштабирования остатка цветности (CRS) для цветовых компонентов текущего видеоблока визуальных медиаданных, при этом правило основано на информации о режиме кодирования текущего видеоблока и/или кодирования информации о режиме одного или более соседних видеоблоков. На этапе 1404 процесс выполняет преобразование между текущим видеоблоком и представлением битового потока на основе определения.

На фиг. 15 показана блок-схема примерного способа обработки визуальных медиаданных. Этапы этой блок-схемы, обсуждены в связи с примером 12 в разделе 4 данного документа. На этапе 1502, процесс использует один коэффициент масштабирования остатка цветности по меньшей мере для одного блока цветности, ассоциированного с видеоблоками в слайсе или группе мозаичных элементов, ассоциированной с текущим видеоблоком визуальных медиаданных. На этапе 1504, процесс выполняет преобразование между текущим видеоблоком и представлением битового потока текущего видеоблока.

На фиг. 16 показана блок-схема последовательности операций примерного способа обработки визуальных медиаданных. Этапы этой блок-схемы обсуждены в связи с примером 17f в разделе 4 данного документа. На этапе 1602 процесс получает коэффициент масштабирования остатка цветности во время преобразования между текущим видеоблоком визуальных медиаданных и представлением битового потока текущего видеоблока. На этапе 1604 процесс сохраняет коэффициент масштабирования остатка цветности для использования с другими видеоблоками визуальных медиаданных. На этапе 1606 процесс применяет коэффициент остатка цветности для преобразования текущего видеоблока и других видеоблоков в представление битового потока.

На фиг. 17 показана блок-схема последовательности операций примерного способа обработки визуальных медиаданных. Этапы этой блок-схемы, обсуждены в связи с примером 17g в разделе 4 данного документа. На этапе 1702, во время преобразования между текущим видеоблоком визуальных медиаданных и представлением битового потока визуальных медиаданных, процесс вычисляет коэффициент остатка цветности текущего видеоблока. На этапе 1704 процесс сохраняет в буфере коэффициент масштабирования остатка цветности для использования со вторым видеоблоком визуальных медиаданных. На этапе 1706 процесс удаляет коэффициент масштабирования остатка цветности из буфера после использования.

Некоторые варианты осуществления, обсуждаемые в данном документе, будут теперь представлены в формате, основанном на пунктах.

A1. Способ обработки видео, содержащий:

вычисление, во время преобразования между текущим видеоблоком визуальных медиаданных и представлением битового потока текущего видеоблока, межкомпонентной линейной модели (CCLM) и/или коэффициента масштабирования остатка цветности (CRS) для текущего видеоблока на основе, по меньшей мере частично, соседних отсчетов соответствующего блока яркости, который покрывает верхний левый отсчет совмещенного блока яркости, ассоциированного с текущим видеоблоком, причем одна или несколько характеристик текущего видеоблока используются для идентификации соответствующего блока яркости.

A2. Способ по п. A1, в котором одна или несколько характеристик текущего видеоблока включают в себя: размер, тип раздела, местоположение или координацию.

A3. Способ по любому из пп. A1-A2, в котором одна или несколько характеристик текущего видеоблока ассоциированы с цветовым компонентом текущего видеоблока.

A4. Способ по п. A3, в котором одна или несколько характеристик текущего видеоблока сохраняются в буфере для последующего использования.

A5. Способ по любому из пп. A1-A3, в котором текущий видеоблок и соответствующий блок яркости расположены внутри одной и той же единицы дерева кодирования (CTU) или одной и той же строки единиц дерева кодирования (CTU).

A6. Способ по п. A5, в котором, если текущий видеоблок и соответствующий блок яркости расположены внутри одной и той же единицы дерева кодирования (CTU) или одной и той же строки единиц дерева кодирования (CTU), то одна или несколько характеристик текущего видеоблока не сохраняются.

A7. Способ по п. A1, в котором соседние отсчеты соответствующего блока яркости являются доступными тогда, когда удовлетворяются одно или несколько условий, в противном случае соседние отсчеты являются недоступными.

A8. Способ по п. A7, в котором одно или несколько условий включают в себя: использование режима кодирования текущего видеоблока, использование режима кодирования соседних отсчетов соответствующего блока яркости, использование типа фильтра, ассоциированного с соседними отсчетами соответствующего блока яркости, местоположения соседних отсчетов соответствующего блока яркости относительно текущих видеоблоков или их подблоков, ширины текущего изображения/подизображения/слайса/группы мозаичных элементов/VPDU/слайса и/или высоты текущего изображения/подизображения/мозаичного элемента/группы мозаичных элементов/VPDU/слайса/строки единиц дерева кодирования (CTU).

A9. Способ по любому из пп. A7-A8, в котором, если соседний отсчет недоступен, то соседний отсчет заменяется первым доступным соседним отсчетом.

A10. Способ по п. A9, в котором первый доступный соседний отсчет идентифицируется в соответствии с порядком проверки.

A11. Способ по п. A10, в котором порядок проверки определяется заранее.

A12. Способ по п. A10, в котором порядок проверки сигнализируется в представлении битового потока.

A13. Способ по любому из пп. A8-A9, в котором, если соседний отсчет недоступен, то соседний отсчет заполняется заранее определенным или отображенным значением.

A14. В способе по п. A13, в котором заранее определенное или отображенное значение выражено в виде 1 << (bitDepth - 1), где bitDepth обозначает битовую глубину отсчетов в совмещенном блоке яркости.

A15. Способ по п. A13, в котором заранее определенное или отображенное значение основано на справочной таблице (LUT).

B1. Способ обработки визуальных медиаданных, содержащий:

использование правила для определения выборочного включения или отключения масштабирования остатка цветности (CRS) для цветовых компонентов текущего видеоблока визуальных медиаданных, причем правило основано на информации о режиме кодирования текущего видеоблока и/или информация о режиме кодирования одного или нескольких соседних видеоблоков; и

выполнение преобразования между текущим видеоблоком и представлением битового потока на основе определения.

B2. Способ по п. B1, в котором текущий видеоблок является совмещенным видеоблоком.

В3. Способ п B1, в котором текущий блок видео является текущим блоком цветности.

B4. Способ по п. B1, в котором текущий видеоблок является соответствующим блоком яркости, который покрывает по меньшей мере один отсчет совмещенного блока цветности.

В5. Способ по любому одному или нескольким из пп. В1-В4, в котором один или более соседних видеоблоков являются смежными видеоблоками.

B6. Способ по любому из пп. B1-B4, в котором один или несколько соседних видеоблоков не являются смежными видеоблоками.

B7. Способ по любому из пп. B1-B6, в котором один или несколько соседних видеоблоков представляют собой несколько соседних блоков, которые покрывают несколько отсчетов относительно текущего видеоблока.

B8. Способ по любому одному или нескольким из пп. B1-B6, в котором правило точно определяет отключение CRS в случае, если восстановление соседнего видеоблока использует отсчеты в группе слайсов/мозаичных элементов, ассоциированных с текущим видеоблоком.

B9. Способ по п. B8, в котором правило точно определяет отключение CRS в случае, если информация о режиме кодирования соседнего видеоблока представляет собой одно из следующего: внутрикадровый режим, режим объединенного межкадрового и внутрикадрового предсказания (CIIP) или режим копирования внутрикадрового блока (IBC).

В10. Способ по любому одному или более из пп. B8-B9, в котором значение по умолчанию коэффициента остатка цветности используется для применения CRS.

B11. Способ по п. В10, в котором значение по умолчанию выражено в виде 1 << (bitDepth - 1), где bitDepth обозначает битовую глубину яркости или цветности отсчетов в текущем видеоблоке.

В12. Способ по п. В10, в котором значение по умолчанию основано на справочной таблице (LUT).

B13. Способ по п. В10, в котором значение по умолчанию определено заранее.

C1. Способ обработки визуальных медиаданных:

использование единственного коэффициента масштабирования остатка цветности по меньшей мере для одного блока цветности, ассоциированного с видеоблоками в слайсе или группе мозаичных элементов, ассоциированной с текущим видеоблоком визуальных медиаданных; и

выполняет преобразование между текущим видеоблоком и представлением битового потока текущего видеоблока.

C2. Способ по п. C1, в котором один коэффициент масштабирования остатка цветности по меньшей мере для одного блока цветности имеет фиксированное значение.

C3. Способ по любому из пп. C1-C2, в котором один коэффициент масштабирования остатка цветности основан на индексе линейной модели, используемой при получении коэффициента масштабирования остатка цветности.

C4. Способ по п. C3, в котором линейная модель является кусочно-линейной.

С5. Способ п С1, в котором один коэффициент масштабирования остатка цветности по меньшей мере для одного блока цветности определяется заранее.

C6. Способ по п. C1, в котором один коэффициент масштабирования остатка цветности по меньшей мере для одного блока цветности основан на битовой глубине отсчетов яркости или цветности в текущем видеоблоке.

C7. Способ по п. C3, в котором индекс линейной модели получается на основе битовой глубины отсчетов яркости или цветности в текущем видеоблоке.

D1. Способ обработки визуальных медиаданных:

получение коэффициента масштабирования остатка цветности во время преобразования между текущим видеоблоком визуальных медиаданных и представлением битового потока текущего видеоблока;

сохранение коэффициента масштабирования остатка цветности для использования с другими видеоблоками визуальных медиаданных; и

применение коэффициента остатка цветности для преобразования текущего видеоблока и других видеоблоков в представление битового потока.

D2. Способ по п. D1, в котором коэффициент масштабирования остатка цветности сохраняется в строковом буфере.

D3. Способ обработки визуальных медиаданных, содержащий:

во время преобразования между текущим видеоблоком визуальных медиаданных и представлением битового потока визуальных медиаданных,

вычисление коэффициента остатка цветности текущего видеоблока;

сохранение в буфере коэффициента масштабирования остатка цветности для использования со вторым видеоблоком визуальных медиаданных; и

после использования, удаление коэффициента масштабирования остатка цветности из буфера.

D4. Способ по п. D3, в котором, если текущий видеоблок и второй видеоблок в визуальных медиаданных принадлежат к различным видеообластям, то коэффициент масштабирования остатка цветности второго видеоблока определяется таким образом, чтобы быть недоступным для использования в текущем видеоблоке.

D5. Способ по п. D4, в котором видеообласти включают в себя одно из: слайса, мозаичного элемента, группы мозаичных элементов, виртуального конвейерного блока данных (VPDU), единицы дерева кодирования (CTU) или строки CTU.

D6. Способ по п. D4, в котором второй видеоблок является соседним видеоблоком текущего видеоблока.

D7. Способ по п. D6, в котором соседний видеоблок является смежным с текущим видеоблоком.

D8. Способ по п. D6, в котором соседний видеоблок не является смежным с текущим видеоблоком.

D9. Способ по любому из пп. D1-D8, в котором коэффициент масштабирования остатка цветности динамически обновляется во время преобразования.

D10. Способ по п. D9, в котором коэффициент масштабирования остатка цветности хранится в таблице, и динамическое обновление коэффициента масштабирования остатка цветности, хранящегося в таблице, осуществляется в соответствии с порядком "первым пришел - первым обслужен" (FIFO).

D11. Способ по п. D10, в котором коэффициент масштабирования остатка цветности сохраняется в таблице после декодирования/кодирования блока цветности.

D12. Способ по п. D10, в котором, в определенный момент времени, таблица сохраняет самое большее значение коэффициента масштабирования остатка цветности.

D13. Способ по п. D10, в котором коэффициент масштабирования остатка цветности сохраняется в таблице перед декодированием/кодированием изображения, слайса, мозаичного изображения, группы мозаичных элементов, виртуального конвейерного блока данных (VPDU), CTU или стоки CTU.

D14. Способ по п. D13, в котором сохранение коэффициента масштабирования остатка цветности по умолчанию в таблице приводит к обновлению таблицы.

D15. Способ по п. D14, в котором коэффициент масштабирования остатка цветности по умолчанию приобретает нулевое значение при обновлении таблицы.

D16. Способ по любому из пп. A1-D15, в котором преобразование включает в себя выработку представления битового потока из текущего видеоблока.

D17. Способ по любому из пп. A1-D15, в котором преобразование включает в себя выработку пиксельных значений текущего видеоблока из представления битового потока.

D18. Устройство видеодекодера, содержащее процессор, выполненный с возможностью реализации способа по любому одному или нескольким из пп. A1-D15.

D19. Устройство видеодекодера, содержащее процессор, выполненный с возможностью реализации способа по любому одному или нескольким из пп. A1-D15.

D20. Машиночитаемый носитель информации, имеющий код, хранящийся на нем, причем код воплощает исполняемые процессором инструкции для реализации способа по любому одному или нескольким из пп. A1-D15.

В настоящем документе термин "обработка видео" или "обработка визуальных медиаданных" может относиться к кодированию видео, декодированию видео, сжатию видео или распаковке видео. Например, алгоритмы сжатия видео могут быть применены в процессе преобразования из пиксельного представления видео в соответствующее представление битового потока или наоборот. Представление битового потока текущего видеоблока может, например, соответствуют битам, которые либо совмещены или распространение в различных местах в пределах битового потока, как это определено в синтаксисе. Например, макроблок может быть закодирован с учетом преобразованных и кодированных значений остатка ошибок, а также с использованием битов в заголовках и других полях в битовом потоке. Кроме того, во время преобразования, декодер может выполнять синтаксический анализ битового потока при наличии знаний относительно того, что могут присутствовать или отсутствовать некоторые поля, на основе определения, которое описано в приведенных выше решениях. Аналогичным образом, кодер может определить то, что некоторые синтаксические поля включены или не включены и вырабатывают кодированное представление соответствующим образом путем включения или исключения синтаксического поля из кодированного представления.

Из вышеизложенного следует понимать, что конкретные варианты осуществления раскрытой в данном документе технологии были описаны здесь в целях иллюстрации, но различные модификации могут быть выполнены без отклонения от объема изобретения. Соответственно, раскрытая в данном документе технология не ограничивается кроме прилагаемой формулы изобретения.

Реализации предмета изобретения и функциональные операции, описанные в данном патентном документе, могут быть реализованы в виде различных систем, цифровых электронных схем или компьютерного программного обеспечения, программно-аппаратных средств или аппаратных средств, включая структуры, раскрытые в настоящем описании, а также их структурные эквиваленты, или в виде комбинаций одного или нескольких из них. Реализации предмета изобретения, описанные в настоящем описании, могут быть реализованы в виде одного или нескольких программных продуктов, компьютерных, то есть одного или нескольких модулей инструкций компьютерной программы, закодированных на материальном и невременном машиночитаемом носителе информации, для исполнения или для управления работой из устройства обработки данных. Машиночитаемый носитель информации может представлять собой машиночитаемое запоминающее устройство, машиночитаемый носитель информации, устройство памяти, состав вещества, обеспечивающий распространяемый сигнал, считываемый машиной, или комбинацию одного или нескольких из них. Термин "блок обработки данных" или "устройство обработки данных" включает в себя все аппаратные устройства, устройства и машины для обработки данных, включая в качестве примера программируемый процессор, компьютер, или несколько процессоров или компьютеров. Устройство может включать в себя, в дополнение к аппаратным средствам, код, который создает среду исполнения для рассматриваемой компьютерной программы, например, код, который составляет микропрограмму процессора, стек протоколов, систему управления базами данных, операционную систему или комбинацию одного или нескольких из них.

Компьютерная программа (также известная как программа, программное обеспечение, приложение, программа-скрипт или код) можно записать в любой форме языка программирования, включая скомпилированные или интерпретируемые языки, и она может быть развернута в любой форме, в том числе в виде автономной программы или модуля, компонента, подпрограммы или другого блока, пригодного для использования в вычислительной среде. Компьютерная программа не обязательно соответствует файлу в файловой системе. Программа может храниться в части файла, который содержит другие программы или данные (например, один или несколько сценариев, хранящихся на языке разметки документов), в одном файле, выделенном рассматриваемой программе, или в нескольких согласованных файлах (например, в файлах, которые хранят один или несколько модулей, вложенных программ или части кода). Компьютерная программа может быть развернута для исполнения на одном компьютере или на нескольких компьютерах, которые расположены в одном месте или распределены по нескольким сайтам и соединены между собой сетью связи.

Процессы и логические потоки, описанные в настоящем описании, могут выполняться одним или несколькими программируемыми процессорами, выполняющими одну или несколько компьютерных программ для выполнения функций, оперируя входными данными и вырабатывая выходные данные. Кроме того, могут также выполняться процессы и логические потоки, и устройство может быть также реализовано в виде логической схемы специального назначения, например FPGA (программируемая пользователем вентильная матрица) или ASIC (специализированная интегральная схема).

Процессоры, подходящие для исполнения компьютерной программы включают в себя, в качестве примера, микропроцессоры как общего, так и специального назначения, и любой один или более процессоров любого типа цифрового компьютера. Как правило, процессор принимает инструкции и данные только для считывания памяти или оперативной памяти или обоих. Основными элементами компьютера являются процессор для исполнения инструкций и одного или более устройств памяти для хранения инструкций и данных. В общем, компьютер будет также включать в себя или функционально соединен с возможностью приема данных из или передачи данных в или и то и другое, одно или более запоминающих устройства большой емкости для хранения данных, например, магнитных дисков, магнитооптических или оптических дисков. Однако компьютер необязательно должен иметь такие устройства. Считываемые компьютером носители информации, пригодные для хранения инструкций и данных компьютерной программы включают в себя все виды энергонезависимой памяти, устройства для хранения данных и запоминающие устройства, включая в качестве примера полупроводниковые запоминающих устройств, например, , например, EPROM, EEPROM и устройства флэш-памяти. Процессор и память могут быть дополнены специализированной логической схемой или включены в нее.

Предполагается, что описание, вместе с чертежами, должно рассматриваться только в качестве примера, где термин "примерный" означает пример. Используемый в данном документе термин "или" предназначен для включения "и/или", если в контекст явно не указано иное.

Хотя данный патентный документ содержит много специфичных подробностей, их не следует рассматривать как ограничение объема изобретения или любого из того, что может быть заявлено, а скорее их следует рассматривать как описание функций, которые могут быть специфичными для конкретных вариантов осуществления конкретных изобретений. Некоторые признаки, описанные в настоящем патентном документе в контексте отдельных вариантов осуществления также могут быть реализованы в комбинации в одном варианте осуществления. И наоборот, различные признаки, которые описаны в контексте одного варианта осуществления также могут быть реализованы в нескольких вариантах по отдельности или в любой подходящей подкомбинации. Более того, хотя признаки были описаны выше как действующие в определенных комбинациях и даже изначально заявлены как таковые, один или несколько признаков из заявленной комбинации в некоторых случаях может быть исключен из комбинации, и заявленная комбинация может быть направлена на подкомбинацию или вариацию из подкомбинации.

Аналогичным образом, хотя операции изображены на чертежах в определенном порядке, это не следует понимать как требование того, чтобы такие операции выполнялись в конкретном указанном порядке или в последовательном порядке, или чтобы все проиллюстрированные операции выполнялись для достижения желаемых результатов. Более того, разделение различных компонентов системы в вариантах осуществления, описанных в данном патентном документе, не следует понимать как требующее такого разделения во всех вариантах осуществления.

Выше было описано только несколько реализаций и примеров, и другие реализации, улучшения и изменения могут быть сделаны на основе того, что описано и проиллюстрировано в данном патентном документе.

Изобретение относится к кодированию и декодированию видео. Техническим результатом является повышение эффективности сжатия видео. Результат достигается тем, что вычисляют, во время преобразования между текущим видеоблоком визуальных медиаданных и представлением битового потока текущего видеоблока, межкомпонентную линейную модель (CCLM) и/или коэффициент масштабирования остатка цветности (CRS) для текущего видеоблока на основе, по меньшей мере частично, соседних отсчетов соответствующего блока яркости, который покрывает верхний левый отсчет совмещенного блока яркости, ассоциированного с текущим видеоблоком, причем для идентификации соответствующего блока яркости используется одна или более характеристик текущего видеоблока. 4 н. и 13 з.п. ф-лы, 17 ил.

1. Способ обработки видеоданных, содержащий этапы, на которых:

определяют, во время преобразования между текущим видеоблоком цветности видео и битовым потоком видео, что к отсчетам остатка цветности текущего видеоблока цветности применяется процесс масштабирования; и

выполняют преобразование путем применения процесса масштабирования к отсчетам остатка цветности,

при этом в процессе масштабирования отсчеты остатка цветности масштабируются на основе по меньшей мере одного коэффициента масштабирования перед их использованием для восстановления текущего видеоблока цветности, и

указанный по меньшей мере один коэффициент масштабирования получается на основе усредненной переменной яркости, вычисленной на основе по меньшей мере одного соседнего блока яркости видеоединицы видео, который покрывает отсчет яркости, соответствующий верхнему левому отсчету текущего видеоблока цветности,

причем в ответ на то, что первый соседний блок яркости из указанного по меньшей мере одного соседнего блока яркости и указанная видеоединица расположены в разных областях видео, первый соседний блок яркости воспринимается как недоступный, при этом область видео включает в себя единицу дерева кодирования и/или строку единиц дерева кодирования.

2. Способ по п. 1, в котором процесс масштабирования выполняется на основе кусочно-линейной модели, при этом отрезок, к которому принадлежит усредненная переменная яркости, идентифицируется индексом, и указанный по меньшей мере один коэффициент масштабирования выводится на основе указанного индекса.

3. Способ по п. 1 или 2, в котором в ответ на недоступность указанного по меньшей мере одного соседнего блока яркости усредненная переменная яркости устанавливается равной фиксированному значению по умолчанию.

4. Способ по п. 3, в котором фиксированное значение по умолчанию используется для нахождения индекса, идентифицирующего отрезок, к которому принадлежит фиксированное значение по умолчанию, и указанный по меньшей мере один коэффициент масштабирования вычисляется из полученного индекса.

5. Способ по п. 3 или 4, в котором фиксированное значение по умолчанию зависит от битовой глубины видео.

6. Способ по любому из пп. 3-5, в котором фиксированное значение по умолчанию выражается как 1 << (bitDepth - 1), где bitDepth обозначает битовую глубину видео.

7. Способ по любому из пп. 1-6, в котором указанный по меньшей мере один соседний блок яркости примыкает к указанной видеоединице.

8. Способ по любому из пп. 1-7, в котором местоположение видеоединицы выводится на основе одной или более характеристик текущего видеоблока цветности или видеоединицы.

9. Способ по п. 8, в котором указанная одна или более характеристик включают в себя по меньшей мере одно из размера блока и информации о местоположении.

10. Способ по п. 8 или 9, в котором указанная одна или более характеристик не сохраняются в строчном буфере.

11. Способ по любому из пп. 1-10, в котором текущий видеоблок цветности и видеоединица расположены в одной и той же единице дерева кодирования.

12. Способ по любому из пп. 1-10, в котором текущий видеоблок цветности и видеоединица расположены в одной строке единиц дерева кодирования.

13. Способ по любому из пп. 1-12, в котором на этапе преобразования кодируют текущий видеоблок цветности в битовый поток.

14. Способ по любому из пп. 1-12, в котором на этапе преобразования декодируют текущий видеоблок цветности из битового потока.

15. Устройство обработки видеоданных, содержащее процессор и энергонезависимую память с хранящимися в ней инструкциями, причем инструкции при исполнении процессором вызывают выполнение процессором:

определения, во время преобразования между текущим видеоблоком цветности видео и битовым потоком видео, что к отсчетам остатка цветности текущего видеоблока цветности применяется процесс масштабирования; и

выполнения преобразования путем применения процесса масштабирования к отсчетам остатка цветности,

при этом в процессе масштабирования отсчеты остатка цветности масштабируются на основе по меньшей мере одного коэффициента масштабирования перед их использованием для восстановления текущего видеоблока цветности, и

указанный по меньшей мере один коэффициент масштабирования получается на основе усредненной переменной яркости, вычисленной на основе по меньшей мере одного соседнего блока яркости видеоединицы видео, который покрывает отсчет яркости, соответствующий верхнему левому отсчету текущего видеоблока цветности,

причем в ответ на то, что первый соседний блок яркости из указанного по меньшей мере одного соседнего блока яркости и указанная видеоединица расположены в разных областях видео, первый соседний блок яркости воспринимается как недоступный, при этом область видео включает в себя единицу дерева кодирования и/или строку единиц дерева кодирования.

16. Энергонезависимый машиночитаемый носитель информации, на котором хранятся инструкции, которые вызывают выполнение процессором:

определения, во время преобразования между текущим видеоблоком цветности видео и битовым потоком видео, что к отсчетам остатка цветности текущего видеоблока цветности применяется процесс масштабирования; и

выполнения преобразования путем применения процесса масштабирования к отсчетам остатка цветности,

при этом в процессе масштабирования отсчеты остатка цветности масштабируются на основе по меньшей мере одного коэффициента масштабирования перед их использованием для восстановления текущего видеоблока цветности, и

указанный по меньшей мере один коэффициент масштабирования получается на основе усредненной переменной яркости, вычисленной на основе по меньшей мере одного соседнего блока яркости видеоединицы видео, который покрывает отсчет яркости, соответствующий верхнему левому отсчету текущего видеоблока цветности,

причем в ответ на то, что первый соседний блок яркости из указанного по меньшей мере одного соседнего блока яркости и указанная видеоединица расположены в разных областях видео, первый соседний блок яркости воспринимается как недоступный, при этом область видео включает в себя единицу дерева кодирования и/или строку единиц дерева кодирования.

17. Способ сохранения битового потока видео, содержащий этапы, на которых:

определяют, что к отсчетам остатка цветности текущего видеоблока цветности применяется процесс масштабирования;

вырабатывают битовый поток путем применения процесса масштабирования к отсчетам остатка цветности,

сохраняют битовый поток на энергонезависимом машиночитаемом носителе для записи информации;

при этом в процессе масштабирования отсчеты остатка цветности масштабируются на основе по меньшей мере одного коэффициента масштабирования перед их использованием для восстановления текущего видеоблока цветности, и

указанный по меньшей мере один коэффициент масштабирования получается на основе усредненной переменной яркости, вычисленной на основе по меньшей мере одного соседнего блока яркости видеоединицы видео, который покрывает отсчет яркости, соответствующий верхнему левому отсчету текущего видеоблока цветности,

причем в ответ на то, что первый соседний блок яркости из указанного по меньшей мере одного соседнего блока яркости и указанная видеоединица расположены в разных областях видео, первый соседний блок яркости воспринимается как недоступный, при этом область видео включает в себя единицу дерева кодирования и/или строку единиц дерева кодирования.