ВЗАИМОДЕЙСТВИЕ МЕЖДУ ВНУТРИКОНТУРНЫМ ПЕРЕФОРМИРОВАНИЕМ И ИНСТРУМЕНТАМИ ДЛЯ МЕЖКАДРОВОГО КОДИРОВАНИЯ Российский патент 2023 года по МПК H04N19/52 H04N19/105 H04N19/117 

Перекрестные ссылки на родственные заявки

Область техники, к которой относится изобретение

Настоящий патентный документ относится к технологиям, устройствам и системам для обработки видео.

Уровень техники

Несмотря на все достижения в области сжатия видео, цифровое видео по-прежнему занимает наибольшую долю полосы в сети Интернет и в других цифровых сетях связи. Поскольку число присоединенных пользовательских устройств, способных принимать и представлять видео, увеличивается, ожидается, что потребности в полосе для использования цифровым видео будут продолжать расти.

Раскрытие сущности изобретения

Описаны устройства, системы и способы, относящиеся к обработке цифрового видео и, в частности, к внутриконтурному переформированию (in-loop reshaping (ILR)) для обработки видео. Описываемые способы могут быть применены и к существующим стандартам обработки видео (например, к стандарту высокоэффективного видеокодирования (High Efficiency Video Coding (HEVC))), и к стандартам будущего для обработки видео или к процессорам видео, включая видеокодеки.

Согласно одному из репрезентативных аспектов, предлагаемая технология может быть использована для обеспечения способа обработки видео. Этот способ содержит выполнение, для преобразования между текущим видеоблоком видео и кодированным представлением видео, процедуры уточнения информации о движении на основе отсчетов в первой области или во второй области; и выполнение преобразования на основе результата процедуры уточнения информации о движении, причем при преобразовании получают отсчеты для текущего видеоблока из первого прогнозируемого блока в первой области с использованием неуточненной информации о движении, генерируют во второй области по меньшей мере второй прогнозируемый блок с использованием уточненной информации о движении для определения реконструированного блока и генерируют реконструированные отсчеты текущего видеоблока на основе по меньшей мере второго прогнозируемого блока.

Согласно другому репрезентативному аспекту, предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит выполнение преобразования между текущим видеоблоком видео и кодированным представлением видео, причем при преобразовании конструируют текущий видеоблок на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, при этом при преобразовании применяют инструмент кодирования с использованием параметров, получаемых по меньшей мере на основе первого набора отсчетов в видеообласти видео и второго набора отсчетов в опорного изображении текущего видеоблока, при этом область для первых отсчетов и область для вторых отсчетов совмещены.

Согласно другому репрезентативному аспекту, предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит определение, для текущего видеоблока текущей видеообласти видео, параметра для режима кодирования текущего видеоблока на основе одного или более параметров для режима кодирования предыдущей видеообласти; и выполнение кодирования для текущего видеоблока для генерирования кодированного представления видео на основе указанного определения, при этом указанный параметр для режима кодирования включен в набор параметров в кодированном представлении видео, и выполнение кодирования содержит трансформацию представления текущего видеоблока в первой области в представление текущего видеоблока во второй области, и при выполнении кодирования с использованием указанного режима кодирования конструируют текущий видеоблок на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Согласно другому репрезентативному аспекту, предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит прием кодированного представления видео, содержащего набор параметров, включающий в себя информацию о параметрах для режима кодирования; и выполнение декодирования кодированного представления с использованием указанной информации о параметрах для генерирования текущего видеоблока текущей видеообласти видео на основе кодированного представления, при этом информация о параметрах для режима кодирования основана на одном или более параметрах для режима кодирования предыдущей видеообласти, причем в указанном режиме кодирования конструируют текущий видеоблок на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Согласно другому репрезентативному аспекту, предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит выполнение преобразования между текущим видеоблоком видео и кодированным представлением видео, и преобразование содержит применение операции фильтрации к прогнозируемому блоку в первой области или во второй области, отличной от первой области.

Согласно другому репрезентативному аспекту, предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит выполнение преобразования между текущим видеоблоком видео и кодированным представлением видео, причем при преобразовании определяют конечный реконструированный блок для текущего видеоблока, генерируют временный реконструированный блок с использованием способа прогнозирования и представляют указанный блок во второй области.

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Этот способ содержит выполнения преобразования между текущим видеоблоком видеообласти видео и кодированным представлением видео, причем преобразование использует режим кодирования, в котором конструируют текущий видеоблок на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, при этом набор параметров в кодированном представлении содержит информацию о параметрах для указанного режима кодирования

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит осуществление преобразования между текущим видеоблоком, представляющим собой блок цветностной составляющей видео, и кодированным представлением видео, причем при преобразовании текущий видеоблок конструируют на основе первой области и второй области, при этом преобразование дополнительно содержит применение процедуры прямого переформирования и/или процедуры обратного переформирования к одной или более цветностным составляющим текущего видеоблока.

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит выполнение преобразования между текущим видеоблоком цветностной составляющей видео и кодированным представлением видео, причем выполнение преобразования содержит: определение, активизировано ли зависящее от яркостной составляющей масштабирование остатка цветностной составляющей (luma-dependent chroma residue scaling (LCRS)) на основе правила, и реконструкцию текущего видеоблока цветностной составляющей на основе указанного определения.

Согласно другому репрезентативному аспекту, предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит определение, для преобразования между текущим видеоблоком видео и кодированным представлением видео, следует ли отменить активизацию использования режима кодирования на основе одного или более значений коэффициентов для текущего видеоблока; и выполнение преобразования на основе указанного определения, при этом при преобразовании с использованием указанного режим кодирования конструируют текущий видеоблок на основе первого блока и второго блока и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит разбиение, для преобразования между текущим видеоблоком видео, превосходящим единицу данных виртуального конвейера (virtual pipeline data unit (VPDU)) видео, текущего видеоблока на области; и выполнение преобразования путем применения режима кодирования по отдельности к каждой области, причем при преобразовании с применением соответствующего режима кодирования конструируют текущий видеоблок на основе первого блока и второго блока и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Этот способ содержит определение, для преобразования между текущим видеоблоком и кодированным представлением видео, следует ли отменить активизацию использования режима кодирования на основе размера или цветового формата текущего видеоблока; и выполнение преобразования на основе указанного определения, причем при преобразовании с использованием указанного режима кодирования конструируют текущий видеоблок на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит выполнение преобразования между текущим видеоблоком видео и кодированным представлением видео, причем преобразование использует режим кодирования, в котором конструируют текущий видеоблок на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, при этом по меньшей мере один синтаксический элемент в кодированном представлении создает указание использования режима кодирования и указание модели устройства переформирования.

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит определение, что режим кодирования не активизирован для преобразования между текущим видеоблоком и кодированным представлением видео; и условный пропуск прямого переформирования и/или обратного переформирования на основе указанного определения причем в режиме кодирования конструируют текущий видеоблок на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит выполнение преобразования между текущим видеоблоком видео и кодированным представлением видео, причем преобразование использует режим кодирования, в котором конструируют текущий видеоблок на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, при этом применяют множество операций прямого переформирования и/или множество операций обратного переформирования в режиме переформирования для видеообласти.

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит выполнение определения, что режим кодирования активизирован для преобразования между текущим видеоблоком видео и кодированным представлением видео; и выполнение преобразования с использованием режим палитры, причем по меньшей мере палитра репрезентативных значений отсчетов используется для текущего видеоблока, при этом в указанном режиме кодирования конструируют текущий видеоблок на основе отсчетов в первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит определение, для преобразования между текущим видеоблоком видео и кодированным представлением видео, что текущий видеоблок кодирован в режиме палитры, причем по меньшей мере палитра репрезентативных величин отсчетов используется для кодирования текущего видеоблока; и выполнение, на основе указанного определения, преобразования посредством отмены активизации режима кодирования, при этом, когда режим кодирования применяют к видеоблоку, конструируют видеоблок на основе остатка цветностной составляющей, масштабированного способом, зависящим от яркостной составляющей.

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит выполнение преобразования между первым видеоблоком видео и кодированным представлением видео, причем преобразования использует первый режим кодирования и режим кодирования палитры, в котором по меньшей мере палитра репрезентативных значений пикселей используется для кодирования текущего видеоблока; и выполнение преобразования между вторым видеоблоком видео, который кодирован без использования режима кодирования палитры, и кодированным представлением видео, причем преобразование второго видеоблока использует первый режим кодирования, при этом, если к видеоблоку применяют первый режим кодирования, конструируют видеоблок на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, при этом указанный первый режим кодирования применяют различными способами к первому видеоблоку и ко второму видеоблоку.

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит определение, что режим кодирования активизирован для преобразования между текущим видеоблоком и кодированным представлением видео, и выполнение преобразования с использованием режима внутрикадрового копирования блоков, в котором генерируют прогнозируемый блок с использованием по меньшей мере вектора блока, указывающего на изображение, содержащее текущий видеоблок, при этом в указанном режиме кодирования конструируют текущий видеоблок на основе отсчетов в первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит определение, для выполнения преобразования между текущим видеоблоком и кодированным представлением видео, что текущий видеоблок кодирован в режиме внутрикадрового копирования блоков (intra block copy (IBC)), генерирующем прогнозируемый блок с использованием по меньшей мере вектора блока, указывающего на кадр видео, содержащий указанный текущий видеоблок, для кодирования текущего видеоблока; и осуществление, на основе указанного определения, преобразования посредством отмены активизации режима кодирования, при этом, если к видеоблоку применяется указанный режим кодирования, конструируют видеоблок на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит выполнение преобразования между первым видеоблоком видео и кодированным представлением видео, причем преобразование использует режим внутрикадрового копирования блоков, генерирующий прогнозируемый блок с использованием по меньшей мере вектора блока, указывающего на видеокадр, содержащий текущий видеоблок, и первый режим кодирования; и выполнение преобразования между вторым видеоблоком видео, кодируемым без использования режима внутрикадрового копирования блоков, и кодированным представлением видео, причем преобразование второго блока видео использует первый режим кодирования, при этом, если первый режим кодирования применяется к видеоблоку, конструируют видеоблок на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, причем первый режим кодирования применяют по-разному к первому видеоблоку и ко второму видеоблоку.

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит определение, что режим кодирования активизирован для преобразования между текущим видеоблоком видео и кодированным представлением видео; и выполнение преобразования с использованием режима дельта-импульсно-кодовой модуляции на блочной основе (block-based delta pulse code modulation (BDPCM)), причем в указанном режиме кодирования конструируют текущий видеоблок на основе отсчетов в первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит определение, для преобразования между текущим видеоблоком видео и кодированным представлением видео, что текущий видеоблок кодирован с использованием режима дельта-импульсно-кодовой модуляции на блочной основе (BDPCM); и выполнение, на основе указанного определения, преобразования посредством отмены активизации режима кодирования, причем, если указанный режим кодирования применяют к видеоблоку, конструируют видеоблок на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит выполнение преобразования между первым видеоблоком видео и кодированным представлением видео, причем преобразование первого видеоблока использует первый режим кодирования и режим дельта-импульсно-кодовой модуляции на блочной основе (BDPCM); и выполнение преобразования между вторым видеоблоком видео и кодированным представлением видео, причем второй видеоблок кодирован без использования режима модуляции BDPCM, и преобразования второго видеоблока использует первый режим кодирования, при этом, если к видеоблоку применяют первый режим кодирования, конструируют видеоблок на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, при этом первый режим кодирования применяют по-разному к первому видеоблоку и ко второму видеоблоку.

Согласно другому репрезентативному аспекту, предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит определение, что режим кодирования активизирован для преобразования между текущим видеоблоком видео и кодированным представлением видео; и выполнение преобразования с использованием режим пропуска трансформации, причем трансформацию остатка прогнозирования пропускают при кодировании текущего видеоблока, причем в указанном режиме кодирования конструируют текущий видеоблок на основе отсчетов в первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит выполнение определения, для осуществления преобразования между текущим видеоблоком и кодированным представлением видео, что текущий видеоблок кодирован в режиме пропуска трансформации, в котором трансформацию остатка прогнозирования пропускают при кодировании текущего видеоблока; и выполнение, на основе указанного определения, преобразования посредством отмены режима кодирования, причем, если указанные режим кодирования применяется к видеоблоку, конструируют видеоблок на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит выполнение преобразования между первым видеоблоком видео и кодированным представлением видео, причем преобразование первого видеоблока использует первый режим кодирования и режим пропуска трансформации, в котором трансформацию остатка прогнозирования пропускают при кодировании текущего видеоблока; и выполнение преобразования между вторым видеоблоком видео и кодированным представлением видео, причем второй видеоблок кодирован без использования режима пропуска трансформации, и преобразование второго видеоблока использует первый режим кодирования, при этом, если первый режим кодирования применяется к видеоблоку, конструируют видеоблок на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, при этом первый режим кодирования применяют по-разному к первому видеоблоку и ко второму видеоблоку.

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит определение, что режим кодирования активизирован для преобразования между текущим видеоблоком видео и кодированным представлением видео; и выполнение преобразования с использованием режима внутрикадрового прогнозирования с импульсно-кодовой модуляцией, при этом текущий видеоблок кодируют без применения трансформации и квантования в трансформированной области, причем в указанном режиме кодирования конструируют текущий видеоблок на основе отсчетов в первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Cпособ содержит определение, для преобразования между текущим видеоблоком видео и кодированным представлением видео, что текущий блок кодирован в режиме внутрикадрового прогнозирования с импульсно-кодовой модуляцией, в котором текущий видеоблок кодируют без применения трансформации и квантования в трансформированной области; и выполнение, на основе указанного определения, преобразования посредством отмены активизации режима кодирования, причем, если указанный режим кодирования применяется к видеоблоку, конструируют видеоблок на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Cпособ содержит выполнение преобразования между первым видеоблоком видео и кодированным представлением видео, причем преобразование первого видеоблока использует первый режим кодирования и режим внутрикадрового прогнозирования с импульсно-кодовой модуляцией, в котором текущий видеоблок кодируют без применения трансформации и квантования в трансформированной области; и выполнение преобразования между вторым видеоблоком видео и кодированным представление видео, причем второй видеоблок кодирован без использования режима внутрикадрового прогнозирования с импульсно-кодовой модуляцией, при этом преобразование второго видеоблока использует первый режим кодирования, причем, если первый режим кодирования применяют к видеоблоку, конструируют видеоблок на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, и первый режим кодирования применяют по-разному к первому видеоблоку и ко второму видеоблоку.

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит определение, что режим кодирования активизирован для осуществления преобразования между текущим видеоблоком и кодированным представлением видео; и выполнение преобразования с использованием модифицированного режима обхода трансформации и квантования, в котором текущий видеоблок кодируют без потерь и без применения трансформации и квантования, причем в указанном режиме кодирования конструируют текущий видеоблок на основе отсчетов в первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Cпособ содержит определение, для преобразования между текущим видеоблоком видео и кодированным представлением видео, что текущий видеоблок кодирован в режиме обхода трансформации и квантования, в котором текущий видеоблок кодируют без потерь и без применения трансформации и квантования; и выполнение, на основе указанного определения, преобразования путем отмены активизации режима кодирования, причем, если режим кодирования применяется к видеоблоку, конструируют видеоблок на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Согласно другому репрезентативному аспекту, предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит выполнение преобразования между первым видеоблоком видео и кодированным представлением видео, причем для преобразования первого видеоблока используется первый режим кодирования и режим обхода трансформации и квантования, в котором текущий видеоблок кодируют без потерь и без применения трансформации и квантования; и выполнение преобразования между вторым видеоблоком видео и кодированным представлением видео, причем второй видеоблок кодирован без использования режима обхода трансформации и квантования и для преобразования второго видеоблока используют первый режим кодирования, причем, если первый режим кодирования применяется к видеоблоку, конструируют видеоблок на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, при этом первый режим кодирования применяют различными способами к первому видеоблоку и ко второму видеоблоку.

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит выполнение преобразования между текущим видеоблоком видео и кодированным представлением видео, причем преобразование использует режим кодирования, в котором конструируют текущий видеоблок на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, причем информацию, используемую для режима кодирования, сообщают в виде сигнализации в наборе параметров, отличном от набора параметров последовательности (sequence parameter set (SPS)), набора параметров видео (video parameter set (VPS)), набора параметров изображения (picture parameter set (PPS)) или набора параметров адаптации (adaptation parameter set (APS)), используемых для передачи параметров адаптивной контурной фильтрации (adaptive loop filtering (ALF)).

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит выполнение преобразования между текущим видеоблоком видео и кодированным представлением видео, причем преобразование использует режим кодирования, в котором конструируют текущий видеоблок на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, причем информацию, используемую для режима кодирования, передают в виде сигнализации в наборе параметров адаптации (APS) вместе с информацией адаптивной контурной фильтрации (ALF), при этом указанная информация, используемая для режима кодирования, и информация фильтрация ALF включены в одну единицу уровня сетевой абстракции (network abstraction layer (NAL)).

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит выполнение преобразования между текущим видеоблоком видеообласти видео и кодированным представлением видео, причем преобразование использует режим кодирования, в котором конструируют текущий видеоблок на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, при этом информацию, используемую для режима кодирования, сообщают в виде сигнализации в наборе параметров адаптации (APS) первого типа, отличающемся от набора APS второго типа, используемого для передачи сигнализации с информацией адаптивной контурной фильтрации (ALF).

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит выполнение преобразования между текущим видеоблоком видеообласти видео и кодированным представлением видео, причем преобразование использует режим кодирования, в котором конструируют текущий видеоблок на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, при этом для указанной видеообласти не допускается обращение к набору параметров адаптации или к какому-либо набору параметров, сообщенному в виде сигнализации прежде структуры данных определенного типа, используемой для обработки видео, причем структуру данных определенного типа передают в виде сигнализации прежде указанной видеообласти.

Согласно другому репрезентативному аспекту предлагаемая технология может быть использована для обеспечения способа обработки видео. Способ содержит выполнение преобразования между текущим видеоблоком видео и кодированным представлением видео, причем преобразование использует режим кодирования, в котором конструируют текущий видеоблок на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, при этом синтаксический элемент набора параметров, содержащий параметры, используемые для обработки видео, имеет заданные значения в потоке битов данных соответствия.

Согласно другому репрезентативному аспекту описанный выше способ реализован в виде выполняемого процессором кода и сохранен на читаемом компьютером носителе программ.

Согласно другому репрезентативному аспекту предложено устройство, конфигурированное или оперируемое для осуществления описанного выше способа. Это устройство может содержать процессор, запрограммированный для осуществления этого способа.

Согласно другому репрезентативному аспекту, описываемый здесь способ может быть реализован в декодирующем устройстве для видео.

Приведенные выше и другие аспекты и признаки предлагаемой технологии рассмотрены более подробно на чертежах, в описании и в формуле изобретения.

Краткое описание чертежей

Фиг. 1 показывает пример построения списка объединяемых кандидатов.

Фиг. 2 показывает пример позиций пространственных кандидатов.

Фиг. 3 показывает пример пар кандидатов, подвергаемых контролю избыточности, из совокупности пространственных объединяемых кандидатов.

Фиг. 4A и 4B показывают примеры положения второй единицы прогнозирования (prediction unit (PU)) на основе размера и формы текущего блока.

Фиг. 5 показывает пример масштабирования векторов движения для временных объединяемых кандидатов.

Фиг. 6 показывает пример позиций кандидатов для временных объединяемых кандидатов.

Фиг. 7 показывает пример комбинированного двунаправленно интерполированного (прогнозируемого) объединяемого кандидата.

Фиг. 8 показывает пример построения кандидата с прогнозированием вектора движения.

Фиг. 9 показывает пример масштабирования векторов движения для пространственных объединяемых кандидатов.

Фиг. 10 показывает пример прогнозирования движения с использованием алгоритма прогнозирования альтернативного временного вектора движения (alternative temporal motion vector prediction (ATMVP)) для единиц кодирования (coding unit (CU)).

Фиг. 11 показывает пример единицы кодирования (CU) с суб-блоками и соседними блоками, используемыми алгоритмом прогнозирования пространственно-временного вектора движения (spatial-temporal motion vector prediction (STMVP)).

Фиг. 12 показывает пример соседних отсчетов для определения параметров компенсации освещенности (IC).

Фиг. 13A и 13B показывают примеры упрощенной 4-параметрической аффинной модели и упрощенной 6-параметрической аффинной модели, соответственно.

Фиг. 14 показывает пример аффинного поля вектора движения (motion vector field (MVF)) на один суб-блок.

Фиг. 15A и 15B показывают примеры 4-параметрической и 6-параметрической аффинных моделей, соответственно.

Фиг. 16 показывает пример прогнозирования вектора движения для режима AF_INTER для изначально аффинных кандидатов.

Фиг. 17 показывает пример прогнозирования вектора движения для режима AF_INTER для сконструированных аффинных кандидатов.

Фиг. 18A и 18B показывают примеры блоков-кандидатов и получения предикторов векторов движения контрольных точек (control-point motion vector (CPMV)), соответственно, для режима AF_MERGE.

Фиг. 19 показывает пример положений кандидатов для режима объединения аффинных объектов.

Фиг. 20 показывает пример процедуры поиска выражения окончательного вектора движения (ultimate motion vector expression (UMVE)).

Фиг. 21 показывает пример точки поиска выражения UMVE.

Фиг. 22 показывает пример уточнения вектора движения на стороне декодирующего устройства (decoder side motion vector refinement (DMVR)) на основе согласования двусторонних шаблонов.

Фиг. 23 показывает пример логической схемы процедуры декодирования с применением переформирования.

Фиг. 24 показывает пример соседних отсчетов, используемых в двустороннем фильтре.

Фиг. 25 показывает пример окон, покрывающих два отсчета, используемые при вычислениях весовых коэффициентов.

Фиг. 26 показывает пример схемы сканирования.

Фиг. 27 показывает пример процедуры декодирования с использованием режима межкадрового прогнозирования.

Фиг. 28 показывает другой пример процедуры декодирования с использованием режима межкадрового прогнозирования.

Фиг. 29 показывает пример процедуры декодирования с использованием режима межкадрового прогнозирования с фильтрами, применяемыми после реконструкции.

Фиг. 30 показывает другой пример процедуры декодирования с использованием режима межкадрового прогнозирования с фильтрами, применяемыми после реконструкции.

Фиг. 31A и 31B показывают логические схемы примеров способов обработки видео.

Фиг. 32A - 32D показывают логические схемы примеров способов обработки видео.

Фиг. 33 показывает логическую схему примера способов обработки видео.

Фиг. 34A и 34B показывают логические схемы примеров способов обработки видео.

Фиг. 35A - 35F показывают логические схемы примеров способов обработки видео.

Фиг. 36A - 36C показывают логические схемы примеров способов обработки видео.

Фиг. 37A - 37C показывают логические схемы примеров способов обработки видео.

Фиг. 38A - 38L показывают логические схемы примеров способов обработки видео.

Фиг. 39A - 39E показывают логические схемы примеров способов обработки видео.

Фиг. 40A и 40B показывают примеры аппаратных платформ для реализации способа декодирования визуальной информации или способа кодирования визуальной информации, описываемых в настоящем документе.

Осуществление изобретения

Вследствие растущей потребности в видеопрограммах с все более высоким разрешением повсеместное распространение в современной технике получили способы и технологии обработки видео. Видеокодеки обычно содержат электронную схему или программное обеспечение, которое сжимает или расширяет цифровое видео, и непрерывно совершенствуются для достижения все более высокой эффективности кодирования. Видеокодек преобразует несжатое видео в сжатый формат или наоборот. Качество видео, объем данных, используемый для представления видео (определяется скоростью передачи битов данных), сложность алгоритмов кодирования и декодирования, чувствительность к потерям данных и ошибкам, простота редактирования, произвольный доступ и сквозная задержка сигнала от одного конца линии до другого связаны сложными соотношениями. Сжатый формат обычно соответствует стандартным спецификациям сжатия видео, например, стандарту высокоэффективного видеокодирования (High Efficiency Video Coding (HEVC)) (также известному под названиями H.265 или MPEG-H Part 2), стандарту универсального видеокодирования (Versatile Video Coding (VVC)), который еще дорабатывается, или другим современным или будущим стандартам видеокодирования.

Варианты предлагаемой технологии могут быть применены к существующим стандартам видеокодирования (например, стандарту HEVC, H.265) и к будущим стандартам для улучшения характеристик сжатия. Заголовки разделов в настоящем документе используются для улучшения читаемости описания и никоим образом не ограничивают обсуждение или варианты (и/или варианты реализации) только соответствующими разделами.

1. Примеры межкадрового прогнозирования в стандарте кодирования HEVC/H.265

Стандарты видеокодирования в последние годы были значительно усовершенствованы и на сегодняшний день они обеспечивают, частично, высокую эффективность кодирования и поддерживают более высокие разрешения. Последние стандарты, такие как стандарты HEVC и H.265 основаны на гибридной структуре видеокодирования, где используется временное прогнозирование плюс трансформационное кодирование.

1.1. Примеры режимов прогнозирования

Каждая единица межкадрового прогнозирования PU (prediction unit (единица прогнозирования)) имеет параметры движения для одного или двух списков опорных изображений. В некоторых вариантах совокупность параметров движения содержит вектор движения и индекс опорного изображения. В других вариантах, об использовании одного или двух списков опорных изображений может быть также передано в виде сигнализации с применением параметра inter_pred_idc. Еще в одной группе других вариантов, векторы движения могут быть в явной форме закодированы в виде приращений относительно предикторов.

Когда единица CU кодирована в режиме пропуска, с этой единицей CU ассоциирована одна единица PU, и при этом нет ни значительных коэффициентов остатка, ни кодированного приращения вектора движения или индекса опорного изображения. Режим объединения специфицирован таким образом, что параметры движения для текущей единицы PU получают из соседних единиц PU, включая пространственные и временные кандидаты. Режим объединения может быть применен к любой единице PU межкадрового прогнозирования, не только в режиме пропуска. Альтернативой режима объединения является передача параметров движения в явном виде, где векторы движения (более точно, разницы векторов движения (motion vector difference (MVD)) относительно предиктора вектора движения), соответствующий индекс опорного изображения для каждого списка опорных изображений и показатель использования списка опорных изображений передают в виде сигнализации в явной форме для каждой единицы PU. Этот тип режима называется в этом документе усовершенствованным прогнозированием вектора движения (advanced motion vector prediction (AMVP)).

Когда сигнализация указывает, что следует использовать один из двух списков опорных изображений, единицу PU создают из одного блока отсчетов. Это называется «однонаправленным прогнозированием» (‘uni-prediction’). Однонаправленное прогнозирование доступно для срезов обоих видов - P-среза (P-slice) или среза со ссылкой на предыдущий срез (предсказанного среза) и B-среза (B-slice) или среза со ссылками на предыдущий и последующий срезы (или двунаправленно интерполированного среза).

Когда сигнализация указывает, что следует использовать оба списка опорных изображений, единицу PU создают из двух блоков отсчетов. Это называется «двунаправленной интерполяцией (прогнозированием)» (‘bi-prediction’). Двунаправленная интерполяция доступна только для B-срезов.

Список опорных изображений

В стандарте кодирования HEVC, термин «межкадровое прогнозирование» обозначает прогнозирование, выводимое из элементов данных (например, величин отсчетов или векторов движения) опорных изображений, отличных от декодируемого в текущий момент изображения (текущего изображения). Аналогично стандарту кодирования H.264/AVC, изображение можно прогнозировать из нескольких опорных изображений. Опорные изображения, используемые для межкадрового прогнозирования, организованы в одном или нескольких списках опорных изображений. Индекс опоры идентифицирует, какие из опорных изображений в списке следует использовать для создания прогнозируемого сигнала.

Один список опорных изображений, Список 0, используется для P-среза, и два списка опорных изображений, Список 0 и Список 1, используются для B-срезов. Следует отметить, что опорные изображения из Списка 0/1 могут быть из прошлых и будущих изображений с точки зрения захвата/представления на дисплее этих изображений.

1.1.1. Варианты построения кандидатов для режима объединения

Когда единицу PU прогнозируют с использованием режима объединения, индекс, указывающий на входную позицию в список объединяемых кандидатов, выделяют путем синтаксического анализа из потока битов данных и используют для извлечения информации о движении. Процедуру построения указанного списка можно суммировать в соответствии со следующей последовательностью этапов:

Этап 1: Получение первоначального списка кандидатов

Этап 1.1: Получение пространственных кандидатов

Этап 1.2: Контроль избыточности для пространственных кандидатов

Этап 1.3: Получение временных кандидатов

Этап 2: Вставка дополнительных кандидатов

Этап 2.1: Создание двунаправленно интерполированных кандидатов

Этап 2.2: Вставка кандидатов с нулевым движением

Фиг. 1 показывает пример построения списка объединяемых кандидатов на основе последовательности этапов, суммированной выше. Для получения пространственных объединяемых кандидатов, выбирают максимум четыре объединяемых кандидата из совокупности кандидатов, расположенных в пяти различных положениях. Для получения временных объединяемых кандидатов выбирают максимум одного объединяемого кандидата из двух кандидатов. Поскольку в декодирующем устройстве предполагается постоянное число кандидатов для каждой единицы PU, если число кандидатов не достигает максимального числа объединяемых кандидатов (MaxNumMergeCand), передаваемого в форме сигнализации в заголовке среза (кадра), генерируют дополнительных кандидатов. Поскольку число кандидатов является постоянным, индекс наилучшего объединяемого кандидата кодируют с использованием усеченной унарной бинаризации (truncated unary binarization (TU)). Если размер единицы CU равен 8, все единицы PU из текущей единицы CU совместно используют один список объединяемых кандидатов, который идентичен списку объединяемых кандидатов для единицы прогнозирования размером 2N×2N.

1.1.2. Построение пространственных объединяемых кандидатов

При получении пространственных объединяемых кандидатов выбирают максимум четырех объединяемых кандидатов из совокупности кандидатов, расположенных в позициях, показанных на фиг. 2. Кандидатов выбирают в следующем порядке A_1, B_1, B_0, A₀ и B₂. Позицию B₂ учитывают только тогда, когда какая-либо из единиц PU, которые должны быть в позициях A₁, B₁, B₀, A₀, недоступна (например, потому, что эта единица принадлежит другому срезу или плитке) или кодирована с применением внутрикадрового прогнозирования. После добавления кандидата в позиции A₁ добавление остальных кандидатов должно происходить с контролем избыточности, что обеспечивает исключение кандидатов с одинаковой информацией о движении из списка, так что эффективность кодирования улучшается.

Для уменьшения вычислительной сложности не все возможные пары кандидатов рассматривают в процессе упомянутого контроля избыточности. Напротив, учитывают только пары, связанные стрелкой на фиг. 3, и какого-либо кандидата добавляют в список только в том случае, если соответствующий кандидат, использованный для контроля избыточности, не имеет такую же самую информацию о движении. Другим источником дублированной информации о движении является “вторая единица PU”, ассоциированная с разбиениями, отличными от 2Nx2N. В качестве примера, фиг. 4A и 4B показывают вторую единицу PU для случаев N×2N и 2N×N, соответственно. Когда текущую единицу PU разбивают как N×2N, кандидат в позиции A₁ не учитывается при построении списка. В некоторых вариантах, добавление этого кандидата может привести к тому, что две единицы прогнозирования будут иметь одинаковую информацию о движении, что является избыточным с точки зрения требования иметь только одну единицу PU в единице кодирования. Аналогично, позицию B₁ не учитывают, когда текущую единицу PU разбивают как 2N×N.

1.1.3. Построение временных объединяемых кандидатов

На этом этапе в список добавляют только одного кандидата. В частности, при получении этого временного объединяемого кандидата, формируют масштабированный вектор движения на основе расположенной в этом же месте единицы PU, принадлежащей изображению, имеющему наименьшую разницу порядковых номеров картинки (Picture Order Count (POC)) относительно текущего изображения в рассматриваемом списке опорных изображений. О списке опорных изображений, который должен быть использован для получения расположенной в том же месте единицы PU, сигнализируют в явной форме в заголовке среза.

Фиг. 5 показывает пример получения масштабированного вектора движения для временного объединяемого кандидата (как показывает штриховая линия), который масштабируют из вектора движения для расположенной в том же месте единицы PU с использованием расстояний по порядковым номерам (POC-расстояний), tb и td, где расстояние tb определяют как разницу номеров POC между опорным изображением для текущего изображения и самим текущим изображением и расстояние td определяют как разницу номеров POC между опорным изображением для расположенного в том же месте изображения и самим расположенным в том же месте изображением. Индекс опорного изображения для временного объединяемого кандидата устанавливают равным нулю. Для B-среза получают два вектора движения, один для списка 0 опорных изображений и другой для списка 1 опорных изображений, и комбинируют эти векторы для получения двунаправленно интерполированного объединяемого кандидата.

В расположенной в том же месте единице PU (Y), принадлежащей опорному кадру, позицию для временного кандидата выбирают между кандидатами C₀ и C₁, как показано на фиг. 6. Если единица PU в позиции C₀ недоступна, кодирована с применением внутрикадрового прогнозирования или находится вне текущей единицы CTU, используют позицию C₁. В противном случае, для получения временного объединяемого кандидата используют позицию C₀.

1.1.4. Построение дополнительных типов объединяемых кандидатов

Помимо пространственно-временных объединяемых кандидатов имеются еще два дополнительных типа объединяемых кандидатов: комбинированный двунаправленно интерполированный объединяемый кандидат и нулевой объединяемый кандидат. Комбинированных двунаправленно интерполированных объединяемых кандидатов генерируют с использованием пространственно-временных объединяемых кандидатов. Комбинированный двунаправленно интерполированный объединяемый кандидат используется только для B-среза. Таких комбинированных двунаправленно интерполированных кандидатов генерируют путем комбинирования параметров движения из первого списка опорных изображений для первоначального кандидата с параметрами движения из второго списка опорных изображений для другого кандидата. Если эти две группы параметров формируют разные гипотезы движения, они создадут нового двунаправленно интерполированного кандидата.

На фиг. 7 показан пример этой процедуры, где двух кандидатов из исходного списка (710, слева), имеющих параметры mvL0 и refIdxL0 или mvL1 и refIdxL1, используют для создания комбинированного двунаправленно интерполированного объединяемого кандидата, добавляемого в конечный список (720, справа). Имеются многочисленные правила относительно построения таких комбинаций, учитываемые при генерации таких дополнительных объединяемых кандидатов.

Кандидатов с нулевым движением вставляют для заполнения оставшихся входных позиций в списке объединяемых кандидатов и тем самым достижения максимальной емкости MaxNumMergeCand списка. Эти кандидаты имеют нулевое пространственное смещение, а индекс опорного изображения начинается с нуля и увеличивается каждый раз, когда в список добавляют нового кандидата с нулевым движением. Число опорных кадров, используемых этими кандидатами, равно одному и двум для однонаправленного прогнозирования и двунаправленного прогнозирования, соответственно. В некоторых вариантах, для этих кандидатов контроль избыточности не осуществляется.

1.2. Варианты усовершенствованного прогнозирования вектора движения (AMVP)

Прогнозирование AMVP использует пространственно-временную корреляцию вектора движения с соседними единицами PU, что используется для передачи параметров движения в явной форме. При построении списка векторов-кандидатов движения сначала проверяют доступность временных соседних единиц PU в позициях слева сверху, исключают избыточных кандидатов и добавляют нулевой вектор, чтобы сделать список кандидатов постоянной длины. Тогда кодирующее устройство может выбрать наилучшего предиктора из списка кандидатов и передать соответствующий индекс, указывающий выбранного кандидата. Аналогично передаче индекса объединения посредством сигнализации, индекс наилучшего вектора движения кодируют с использованием усеченной унарной бинаризации. Максимальная величина, подлежащая кодированию, в этом случае равна 2 (см. фиг. 8). В последующих разделах приведены подробности процедуры получения кандидата при прогнозировании вектора движения.

1.2.1. Примеры получения кандидатов при прогнозировании AMVP

Фиг. 8 суммирует процедуру получения кандидата при прогнозировании вектора движения, так что эта процедура может быть реализована для каждого список опорных изображений с использованием параметра refidx в качестве входных данных.

При прогнозировании векторов движения рассматривают два типа векторов-кандидатов движения: пространственный вектор-кандидат движения и временной вектор-кандидат движения. Для формирования пространственного вектора-кандидата движения в конечном итоге получают два вектора-кандидата движения для каждой из единиц PU, расположенных в пяти разных позициях, как было ранее показано на фиг. 2.

Для формирования временного вектора-кандидата движения выбирают одного вектора-кандидата движения из двух кандидатов, получаемых на основе двух разных расположенных в одном месте позиций. После создания первого списка пространственно-временных кандидатов из этого списка исключают дублированные векторы-кандидаты движения. Если число потенциальных кандидатов больше двух, векторы-кандидаты движения, для которых индекс опорного изображения в ассоциированном списке опорных изображений больше 1, исключают из этого списка. Если это число пространственно-временных векторов движения кандидатов меньше двух, в список добавляют дополнительный нулевой вектор-кандидат движения.

1.2.2. Построение пространственных векторов-кандидатов движения

Для формирования пространственного вектора-кандидата движения, учитывают максимум двух потенциальных кандидатов из совокупности пяти потенциальных кандидатов, получаемых из единиц PU, расположенных в позициях, как это ранее показано на фиг. 2, эти позиции являются такими же, как при объединении движения. Порядок формирования для левой стороны от текущей единицы PU задан как кандидат A₀, кандидат A₁, и масштабированный кандидат A₀, масштабированный кандидат A₁. Порядок формирования для верхней стороны от текущей единицы PU задан как кандидат B₀, кандидат B₁, кандидат B₂, масштабированный кандидат B₀, масштабированный кандидат B₁, масштабированный кандидат B₂. Для каждой стороны, поэтому, имеются четыре случая, которые могут быть использованы в качестве вектора-кандидата движения, где в двух случаях не требуется использовать пространственное масштабирование, и в двух случаях пространственное масштабирование применяется. Эти четыре разных случая суммированы следующим образом:

- Нет пространственного масштабирования

(1) Одинаковый список опорных изображений и одинаковый индекс опорного изображения (одинаковый порядок POC)

(2) Разные списки опорных изображений, но одинаковое опорное изображение (одинаковый порядок POC)

- Пространственное масштабирование

(3) Одинаковый список опорных изображений, но разные опорные изображения (разный порядок POC)

(4) Разные списки опорных изображений и разные опорные изображения (разный порядок POC)

Случаи без пространственного масштабирования проверяют первыми, после чего проверяют случаи, позволяющие пространственное масштабирование. Пространственное масштабирование рассматривается, когда порядок POC различается между опорным изображением для соседней единицы PU и опорным изображением для текущей единицы PU независимо от списка опорных изображений. Если все единицы PU кандидатов слева недоступны или кодированы с применением внутрикадрового прогнозирования, допускается масштабирование вектора движения для единицы сверху, чтобы способствовать параллельному определению векторов-кандидатов MV слева и сверху. В противном случае для вектора движения единицы сверху пространственное масштабирование не допускается.

Как показано в примере, приведенном на фиг. 9, для случая пространственного масштабирования, вектор движения для соседней единицы PU масштабируют способом, аналогичным временному масштабированию. Одно различие состоит в том, в качестве входных данных используют список опорных изображений и индекс текущей единицы PU; фактическая процедура масштабирования является такой же, как в случае временного масштабирования.

1.2.3. Построение временных векторов-кандидатов движения

Помимо получения индекса опорного изображения, все процедуры для формирования временных объединяемых кандидатов являются такими же, как и для формирования пространственных векторов-кандидатов движения (как показано в примере на фиг. 6). В некоторых вариантах, индекс опорного изображения сообщают посредством сигнализации декодирующему устройству.

2. Пример способов межкадрового прогнозирования в рамках совместной исследовательской модели (Joint Exploration Model (JEM))

В некоторых вариантах, технологии будущего для видеокодирования исследованы с использованием совместной исследовательской модели (Joint Exploration Model (JEM)). В модели JEM, прогнозирование на основе суб-блоков принято в ряде инструментов кодирования, таких как аффинное прогнозирование, прогнозирование альтернативного временного вектора движения (ATMVP), прогнозирование пространственно-временного вектора движения (STMVP), двунаправленный оптический поток (bi-directional optical flow (BIO)), повышающее преобразование частоты кадров (Frame-Rate Up Conversion (FRUC)), локально адаптивное разрешение вектора движения (Locally Adaptive Motion vector Resolution (LAMVR)), компенсация движения накладывающихся блоков (Overlapped Block Motion Compensation (OBMC)), локальная компенсация освещенности (Local Illumination Compensation (LIC)) и уточнения векторов движения на стороне декодирующего устройства (Decoder-side Motion vector Refinement (DMVR)).

2.1. Примеры прогнозирования векторов движения на основе суб-единиц CU

В модели JEM с использованием деревьев квадратов плюс двоичные деревья (quadtrees plus binary trees (QTBT)), каждая единица CU может иметь самое большее один набор параметров движения на каждое направление прогнозирования. В некоторых вариантах, рассматриваются два способа прогнозирования векторов движения на уровне суб-единиц CU в кодирующем устройстве путем разделения большой единицы CU на суб-единицы CU и формирование информации движения для всех суб-единиц CU из большой единицы CU. Способ прогнозирования альтернативного временного вектора движения (ATMVP) позволяет каждой единице CU осуществлять выборку нескольких наборов информации движения из нескольких блоков меньше текущей единицы CU в расположенном в том же месте опорном изображении. При использовании способа прогнозирования пространственно-временного вектора движения (STMVP) векторы движения суб-единиц CU формируют с применением предиктора временного вектора движения и пространственного соседнего вектора движения. В некоторых вариантах, и для сохранения более точного поля движения для прогнозирования движения суб-единицы CU сжатие движения для опорных кадров может быть не активизировано.

2.1.1. Примеры прогнозирования альтернативного временного вектора движения (ATMVP)

Согласно способу прогнозирования ATMVP способ прогнозирования временного вектора движения (temporal motion vector prediction (TMVP)) модифицируют путем выборки нескольких наборов информации о движении (включая векторы движения и опорные индексы) из блоков меньше текущей единицы CU.

Фиг. 10 показывает пример процедуры ATMVP прогнозирования движения для единицы CU 1000. Способ прогнозирования ATMVP осуществляет прогнозирование векторов движения суб-единиц CU 1001 в пределах единицы U 1000 в два этапа. На первом этапе идентифицируют соответствующий блок 1051 в опорном изображении 1050 с временным вектором. Опорное изображение 1050 также называется изображением источника движения. На втором этапе разбивают единицу CU 1000 на суб-единицы CU 1001 и получают векторы движения, равно как опорные индексы каждой суб-единицы CU, из блока, соответствующего каждой суб-единицы CU.

На первом этапе, опорное изображение 1050 и соответствующий блок определяют посредством информации о движения пространственно соседних блоков для текущей единицы CU 1000. Чтобы избежать повторяющихся процедур сканирования соседних блоков, используют первого объединяемого кандидата из списка объединяемых кандидатов для текущей единицы CU 1000. Первый доступный вектор движения, равно как и ассоциированный опорный индекс устанавливают в качестве временного вектора и индекса для изображения источника движения. Таким способом соответствующий блок может быть более точно идентифицирован, по сравнению со способом прогнозирования TMVP, где соответствующий блок (иногда называемый расположенным в том же месте блоком) всегда находится в нижней правой или в центральной позиции относительно текущей единицы CU.

На втором этапе, соответствующий блок суб-единицы CU 1051 идентифицируют посредством временного вектора в изображении 1050 источника движения путем добавления временного вектора к координате текущей единице CU. Для каждой суб-единицы CU, информацию о движении ее соответствующего блока (например, наименьшую сетку движения, покрывающую центральный отсчет) используют для получения информации о движении для рассматриваемой суб-единицы CU. После идентификации информации о движении соответствующего блока размером N×N ее преобразуют в векторы движения и опорные индексы текущей суб-единицы CU, таким же образом как способ прогнозирования TMVP в стандарте кодирования HEVC, где применяются масштабирование движения и другие процедуры. Например, декодирующее устройство проверяет, удовлетворяется ли условие малой задержки, (например, порядковые номера POC для всех опорных изображений для текущего изображения меньше порядкового номера POC для текущего изображения) и возможно использует вектор MVx движения (например, вектор движения, соответствующий списку опорных изображений X) для прогнозирования вектора MVy движения (например, при X равном 0 или 1 и Y равным 1-X) для каждой суб-единицы CU.

2.1.2. Примеры прогнозирования пространственно-временного вектора движения (STMVP)

Согласно способу прогнозирования STMVP векторы движения суб-единиц CU формируют рекурсивным способом, следуя порядку сканирования растра. Фиг. 11 показывает пример одной единицы CU с четырьмя суб-блоками и соседними блоками. Рассмотрим единицу CU 1100 размером 8×8, содержащую четыре суб-единицы CU размером 4×4, а именно A (1101), B (1102), C (1103) и D (1104). Соседние блоки размером 4×4 в текущем кадре маркированы как a (1111), b (1112), c (1113) и d (1114).

Определение движения для суб-единицы CU A начинается посредством идентификации ее двух соседей в пространстве. Первый сосед представляет собой блок размером N×N, расположенный выше суб-единицы CU A 1101 (блок c 1113). Если этот блок c (1113) недоступен или кодирован с применением внутрикадрового прогнозирования, проверяют другие блоки размером N×N, находящиеся выше суб-единицы CU A (1101), (слева направо, начиная с блока c 1113). Второй сосед представляет собой блок слева от суб-единицы CU A 1101 (блок b 1112). Если блок b (1112) недоступен или кодирован с применением внутрикадрового прогнозирования, проверяют другие блоки, находящиеся выше суб-единицы CU A 1101, (сверху вниз, начиная с блока b 1112). Информацию о движении, получаемую от соседних блоков для каждого списка, масштабируют к первому опорному кадру для конкретного рассматриваемого списка. Далее, формируют предиктор временного вектора движения (TMVP) для суб-блока A 1101 с применением такой же процедуры формирования предиктора TMVP, как это специфицировано в стандарте кодирования HEVC. Информацию о блоке, расположенном в одном месте с блоком D 1104, выбирают и масштабируют соответственно. В конечном итоге, после вызова и масштабирования информации о движения все доступные векторы движения усредняют по отдельности для каждого опорного списка. Усредненный вектор движения назначают в качестве вектора движения для текущей суб-единицы CU.

2.1.3. Примеры сигнализации о режиме прогнозирования движения для суб-единицы CU

В некоторых вариантах, режимы суб-единицы CU активизированы в качестве дополнительных объединяемых кандидатов, так что для сигнализации об этих режимах не требуется никакой дополнительный синтаксический элемент. В список объединяемых кандидатов для каждой единицы CU добавляют двух дополнительных объединяемых кандидатов для представления режима прогнозирования ATMVP и режима прогнозирования STMVP. В других вариантах могут быть использованы вплоть до семи объединяемых кандидатов, если набор параметров последовательности указывает, что активизированы режим прогнозирования ATMVP и режим прогнозирования STMVP. Логика кодирования дополнительных объединяемых кандидатов является такой же, как для объединяемых кандидатов в основной модели HM, что означает, для каждой единицы CU в P-срезе или в B-срезе, что могут потребоваться две дополнительные проверки избыточности (RD) для двух дополнительных объединяемых кандидатов. В некоторых вариантах, например, в модели JEM, все секции с индексом объединения кодированы с применением контекстно-зависимого двоичного арифметического кодирования (CABAC (Context-based Adaptive Binary Arithmetic Coding)). В других вариантах, например, при кодировании HEVC, только первую секцию подвергают контекстно-зависимому кодированию, а остальные секции кодируют независимо от контекста.

2.2. Пример локальной компенсации освещенности (LIC) в модели JEM

Локальная компенсация освещенности (Local Illumination Compensation (LIC)) основана на линейной модели изменений освещенности, использующей масштабный коэффициент a и сдвиг b. Причем эту компенсацию активизируют и отменяют активизацию адаптивно для единицы кодирования (CU), кодированной с применением межкадрового прогнозирования.

Когда компенсация LIC применяется для единицы CU, применяют метод наименьших квадратов для получения параметров a и b с использованием соседних отсчетов относительно текущей единицы CU и соответствующих им опорных отсчетов. Более конкретно, как иллюстрирует фиг. 12, используются субдискретизированные (субдискретизация в соотношении 2:1) соседние отсчеты относительно единицы CU и соответствующие отсчеты (идентифицированные информацией о движении текущей единицы CU или суб-единицы CU) из опорного изображения.

2.2.1. Получение прогнозируемых блоков

Параметры компенсации IC получают и применяют для каждого направления прогнозирования по отдельности. Для каждого направления генерируют первый прогнозируемый блок с использованием декодированной информации о движении, а затем получают временный прогнозируемый блок путем применения модели компенсации LIC. После этого, указанные два временных прогнозируемых блока используют для получения конечного прогнозируемого блока.

Когда единицу CU кодируют с применением режима объединения, копируют флаг компенсации LIC из соседних блоков способом, аналогичным кодированию информации о движении в режиме объединения; в противном случае флаг компенсации LIC передают в виде сигнализации для единицы CU, чтобы указать, применяется компенсация LIC или нет.

Когда для некоторого изображения активизирована компенсация LIC, необходимо осуществить дополнительную проверку избыточности (RD) на уровне единиц CU, чтобы определить, применяется ли компенсация LIC для какой-либо единицы CU. Если для какой-то единицы CU активизирована компенсация LIC, используют сумму абсолютных разностей с исключением среднего (mean-removed sum of absolute difference (MR-SAD)) и трансформированную по преобразованию Адамара сумму абсолютных разностей с исключением среднего (mean-removed sum of absolute Hadamard-transformed difference (MR-SATD)) вместо суммы абсолютных разностей (SAD) и трансформированной по преобразованию Адамара суммы абсолютных разностей (SATD), для поиска целочисленного движения элементов изображения и поиска дробного движения элементов изображения, соответственно.

Для уменьшения сложности кодирования, в модели JEM применяется следующая схема кодирования: компенсацию LIC не активизируют для всего изображения, когда нет заметных изменений освещенности между текущим изображением и соответствующими ему опорными изображениями. Для идентификации этой ситуации, в кодирующем устройстве вычисляют гистограммы для текущего изображения и для каждого опорного изображения, соответствующего этому текущему изображения. Если разница гистограмм между текущим изображением и каждым из опорных изображений для этого текущего изображения меньше конкретной пороговой величины, компенсацию LIC для текущего изображения не активизируют; в противном случае активизируют эту компенсацию LIC для текущего изображения.

2.3. Примеры способов межкадрового прогнозирования при кодировании VVC

Имеется ряд новых инструментов кодирования для усовершенствования межкадрового прогнозирования, таких как адаптивное разрешение разницы векторов движения (Adaptive motion vector difference resolution (AMVR)) для передачи сигнализации о разнице MVD, аффинный режим прогнозирования, треугольный режим прогнозирования (Triangular prediction mode (TPM)), режим прогнозирования ATMVP, обобщенное двунаправленное прогнозирование (Generalized Bi-Prediction (GBI)), двунаправленный оптический поток (Bi-directional Optical flow (BIO)).

2.3.1. Примеры структуры блоков кодирования в стандарте кодирования VV

В стандарте кодирования VVC, принята структура Дерево квадратов/Двоичное дерево/Множественное дерево (QuadTree/BinaryTree/MulitpleTree (QT/BT/TT)) для разбиения изображения на квадратные или прямоугольные блоки. Помимо структуры QT/BT/TT, в стандарте кодирования VVC также принято раздельное дерево (известное как двойное дерево кодирования) для I-кадров (кадров с внутрикадровым прогнозированием). В случае раздельного дерева сигнализацию о структуре блоков кодирования передают по отдельности для яркостной и цветностной составляющих.

2.3.2. Примеры адаптивного разрешения разницы векторов движения

В некоторых вариантах, разницы векторов движения (motion vector difference (MVD)) (между вектором движения и прогнозируемым вектором движения для единицы PU) сообщают в виде сигнализации в единицах четвертей яркостных отсчетов, когда флаг use_integer_mv_flag равен 0 в заголовке среза. В модель JEM, введено локально адаптивное разрешение векторов движения (locally adaptive motion vector resolution (LAMVR)). В модели JEM, разность MVD может быть кодирована в единицах четвертей яркостных отсчетов, целых яркостных отсчетов или четверок яркостных отсчетов. Разрешением разностей MVD управляют на уровне единиц кодирования (CU), а флаги разрешения разностей MVD условно передают в виде сигнализации для каждой единицы CU, имеющей по меньшей мере одну ненулевую составляющую разности MVD.

Для единицы CU, имеющей по меньшей мере одну ненулевую составляющую разности MVD, передают в виде сигнализации первый флаг для указания, используется ли точность в одну четверть единицы измерения яркостного отсчета для вектора MV в этой единице CU. Когда первый флаг (равный 1) указывает, что точность в четверть единицы измерения яркостного отсчета не используется для вектора MV, передают в виде сигнализации другой флаг для указания, что используется точность в одну целую единицу измерения яркостного отчета или в четыре единицы измерения яркостных отсчета для вектора MV.

Когда первый флаг разрешения разности MVD для единицы CU равен нулю, или не кодирован для единицы CU (это означает, что все разности MVD для этой единицы CU являются нулевыми), для этой единицы CU используется точность в четверть единицы измерения яркостного отсчета для вектора MV. Когда единица CU использует точность в одну единицу измерения яркостного отсчета или в четыре единицы измерения яркостных отсчетов для вектора M, прогнозы MVP в списке кандидатов прогнозирования AMVP для этой единицы CU округляют до соответствующей точности.

2.3.3. Примеры аффинного прогнозирования с компенсацией движения

В стандарте кодирования HEVC, для прогнозирования с компенсацией движения (motion compensation prediction (MCP)) применяется только модель поступательного движения. Однако видеокамеры и объекты могут совершать движения многих типов, например, приближение/удаление, вращение, перспективные движения и/или другие нерегулярные движения. В стандарте кодирования VVC, применяется упрощенное аффинное прогнозирование с компенсацией движения с 4-параметрической аффинной моделью и 6-параметрической аффинной моделью. Как показано на фиг. 13A и 13B, поле аффинного движения блока описывается двумя (в 4-параметрической аффинной модели, использующей переменные a, b, e и f) или тремя (в 4-параметрической аффинной модели, использующей переменные a, b, c, d, e и f) векторами движения контрольной точки, соответственно.

Поле вектора движения (motion vector field (MVF)) для блока описывается следующим уравнением в соответствии с 4-параметрической аффинной моделью и 6-параметрической аффинной моделью, соответственно:

$$\{\begin{array}{c}m{v}^h(x,y)=ax-by+e=\frac{(m{v}_1^h-m{v}_0^h)}{w}x-\frac{(m{v}_1^v-m{v}_0^v)}{w}y+m{v}_0^h\\ m{v}^v(x,y)=bx+ay+f=\frac{(m{v}_1^v-m{v}_0^v)}{w}x+\frac{(m{v}_1^h-m{v}_0^h)}{w}y+m{v}_0^v\end{array}$$ …Ур. (1)

$$\{\begin{array}{c}m{v}^h(x,y)=ax+cy+e=\frac{(m{v}_1^h-m{v}_0^h)}{w}x+\frac{(m{v}_2^h-m{v}_0^h)}{h}y+m{v}_0^h\\ m{v}^v(x,y)=bx+dy+f=\frac{(m{v}_1^v-m{v}_0^v)}{w}x+\frac{(m{v}_2^v-m{v}_0^v)}{h}y+m{v}_0^v\end{array}$$ …Ур. (2)

Здесь, (mv^h₀, mv^h₀) обозначает вектор движения motion контрольной точки (CP) в верхнем левом углу, и (mv^h₁, mv^h₁) обозначает вектор движения контрольной точки в верхнем правом углу и (mv^h₂, mv^h₂) обозначает вектор движения контрольной точки в нижнем левом углу, (x, y) представляет координаты репрезентативной точки относительно верхнего левого отсчета в текущем блоке. Векторы движения точек CP можно передать в виде сигнализации (как в аффинном режиме прогнозирования AMVP) или получить в реальном времени (как в аффинном режиме объединения). Параметры w и h представляют ширину и высоту текущего блока. На практике разбиение осуществляется посредством операции сдвига вправо и округления. В документе VTM, репрезентативная точка определена как центральная позиция суб-блока, например, когда координаты левого верхнего угла суб-блока относительно верхнего левого отсчета в текущем блоке обозначены (xs, ys), координаты репрезентативной точки определены как (xs+2, ys+2). Для каждого суб-блока (например, размером 4×4 в документе VTM), репрезентативную точку используют для определения вектора движения для всего суб-блока в целом.

Фиг. 14 показывает пример аффинного поля MVF на суб-блок применительно к блоку 1300, где с целью дальнейшего упрощения прогнозирования с компенсацией движения применяется прогнозирование с аффинным преобразованием. Для получения вектора движения для каждого суб-блока размером M×N можно вычислить вектор движения центрального отсчета соответствующего суб-блока согласно Уравнениям (1) и (2) и округлить его в соответствии с дробной точностью вектора движения (например, 1/16 в модели JEM). Затем могут быть применены интерполяционные фильтры для компенсации движения с целью генерации прогноза для каждого суб-блока с полученным вектором движения. Аффинный режим вводит интерполяционные фильтры для 1/16-элемента изображения. После прогнозирования MCP, высокоточный вектор движения для каждого суб-блока округляют и сохраняют с той же точностью, как и обычный вектор движения.

2.3.3.1. Примеры передачи сигнализации об аффинном прогнозировании

Аналогично модели поступательного движения здесь также имеются два режима передачи сигнализации дополнительной информации вследствие аффинного прогнозирования. Это режимы AFFINE_INTER и AFFINE_Merge.

2.3.3.2. Примеры режима AF_INTER

Для единиц CU, у которых и ширина, и высота больше 8, может быть применен режим AF_INTER. Сигнализацию флага аффинности на уровне единиц CU передают в потоке битов данных для индикации, используется ли режим AF_INTER.

В этом режиме, для каждого списка опорных изображений (Список 0 или Список 1), конструируют список кандидатов аффинного прогнозирования AMVP с тремя типами аффинных предикторов движения в следующем порядке, где каждый кандидат содержит оценку векторов CPMV для текущего блока. В виде сигнализации передают разности между наилучшими векторами CPMV, найденными на стороне кодирующего устройства, (такими как на фиг. 17) и оценками этих векторов CPMV. В дополнение к этому, получают индекс кандидата аффинного прогнозирования AMVP, от которого определяют оценки векторов CPMV, и далее передают в виде сигнализации.

Первоначальные аффинные предикторы движения

Порядок проверки аналогичен случаю пространственного прогнозирования MVP при построении списка прогнозирования AMVP в стандарте кодирования HEVC. Во-первых, получают левый первоначальный аффинный предиктор движения от первого блока в группе {A1, A0}, кодированной в аффинном режиме и имеющей то же самой опорное изображение, как и текущий блок. Во-вторых, указанный выше первоначальный аффинный предиктор движения получают из первого блока в группе {B1, B0, B2}, кодированной в аффинном режиме и имеющей то же самой опорное изображение, как и текущий блок. На фиг. 16 показаны пять блоков A1, A0, B1, B0, B2.

Когда найден соседний блок для кодирования в аффинном режиме, векторы CPMV для единицы кодирования, покрывающей этот соседний блок, используются для получения предикторов векторов CPMV для текущего блока. Например, если блок A1 кодирован в неаффинном режиме и блок A0 кодирован в 4-параметрическом аффинном режиме, из блока A0 будет получен левый первоначальный аффинный предиктор вектора MV. В таком случае, векторы CPMV для единицы CU, покрывающей блок A0, обозначенные как для верхнего левого вектора CPMV и для верхнего правого вектора CPMV на фиг. 18B, используются для получения оценок векторов CPMV для текущего блока, обозначенных как , для верхней левой (с координатами (x0, y0)), верхней правой (с координатами (x1, y1)) и нижней правой позиций (с координатами (x2, y2)) текущего блока.

Построение аффинных предикторов движения

Построенный активный предиктор движения состоит из векторов движения контрольных точек (CPMV) полученных из соседних блоков, кодированных с применением межкадрового прогнозирования, как показано на фиг. 17, так что эти блоки имеют одно и то же опорное изображение. Если текущая аффинная модель движения является 4-параметрической аффинной моделью, число векторов CPMV равно 2, в противном случае, если текущая аффинная модель движения является 6-параметрической аффинной моделью, число векторов CPMV равно 3. Верхний левый вектор CPMV получают посредством вектора MV в первом блоке из группы {A, B, C}, кодированном с применением межкадрового прогнозирования и имеющем то же самое опорное изображение, как текущий блок. Верхний правый вектор CPMV получают посредством вектора MV в первом блоке из группы {D, E}, кодированном с применением межкадрового прогнозирования и имеющем то же самое опорное изображение, как текущий блок. Нижний левый вектор CPMV получают посредством вектора MV в первом блоке из группы {F, G}, кодированном с применением межкадрового прогнозирования и имеющем то же самое опорное изображение, как текущий блок.

Если текущая аффинная модель движения является 4-параметрической аффинной моделью, тогда сконструированный аффинный предиктор движения вставляют в список кандидатов, только если найдены оба вектора и , иными словами, векторы и используются в качестве оценок векторов CPMV для верхней левой (с координатами (x0, y0)), и верхней правой (с координатами (x1, y1)) позиций текущего блока.

Если текущая аффинная модель движения является 4-параметрической аффинной моделью, тогда сконструированный аффинный предиктор движения вставляют в список кандидатов, только если найдены все три вектора , и , иными словами, векторы , и используются в качестве оценок векторов CPMV для верхней левой (с координатами (x0, y0)), верхней правой (с координатами (x1, y1)) и нижней правой (с координатами (x2, y2)) позиций текущего блока.

При вставке сконструированного аффинного предиктора движения в список кандидатов никакая процедура усечения не применяется.

Обычные предикторы движения AMVP

Последующее применяется до тех пор, пока число аффинных предикторов движения не достигнет максимума.

Формирование аффинного предиктора движения путем установления всех векторов CPMV равными вектору , если имеется.

Формирование аффинного предиктора движения путем установления всех векторов CPMV равными вектору , если имеется.

Формирование аффинного предиктора движения путем установления всех векторов CPMV равными вектору , если имеется.

Формирование аффинного предиктора движения путем установления всех векторов CPMV равными прогнозу HEVC TMVP, если имеется.

Формирование аффинного предиктора движения путем установления всех векторов CPMV равными нулевому вектору MV.

Отметим, что вектор уже сформированного при построении аффинного предиктора движения.

В режиме AF_INTER, если используется аффинный режим с 4/6 параметрами, требуются 2/3 контрольные точки, и поэтому необходимо кодировать 2/3 разности MVD для этих контрольных точек, как показано на фиг. 15A и 15B. В существующем варианте реализации вектор MV может быть сформирован следующим образом, например, он прогнозирует разности mvd₁ и mvd₂ из разности mvd₀.

Здесь параметры , mvd_i и mv₁ представляют собой прогнозируемый вектор движения, разницу векторов движения и вектор движения верхнего левого пикселя (i = 0), верхнего правого пикселя (i = 1) или левого нижнего пикселя (i = 2) соответственно, как показано на фиг. 15B. В некоторых вариантах, добавление двух векторов движения (например, mvA(xA, yA) т mvB(xB, yB)) эквивалентно суммированию двух компонентов по отдельности. Например, формула newMV = mvA + mvB неявно предполагает, что два компонента вектора newMV установлены равными (xA + xB) и (yA + yB), соответственно.

2.3.3.3. Примеры режима AF_Merge

Когда единицу CU применяют в режиме AF_Merge, она получает первый блок, кодированный в аффинном режиме от действительных соседних реконструированных блоков. При этом блок-кандидат выбирают в следующем порядке - от левого и далее верхний, сверху справа, слева снизу и к верхнему левому, как показано на фиг. 18A (обозначены по порядку как A, B, C, D, E). Например, если соседний слева снизу блок кодируют в аффинном режиме, как обозначено символом A0 на фиг. 18B, осуществляют выборку векторов mv₀^N, mv₁^N и mv₂^N движения контрольных точек (CP) в верхнем левом углу, верхнем правом углу и левом нижнем углу соседней единицы CU/PU, которая содержит блок A. И далее вектор движения mv₀^C, mv₁^C и mv₂^C (который используется только для 6-параметрической аффинной модели) для верхнего левого угла/верхнего правого, нижнего левого угла для текущей единицы CU/PU вычисляют на основе указанных векторов mv₀^N, mv₁^N и mv₂^N. Следует отметить, что в документе VTM-2.0, суб-блок (например, блок размером 4×4 в документе VTM), расположенный в верхнем левом углу, сохраняет вектор mv0, суб-блок, расположенный в верхнем правом углу, сохраняет вектор mv1, если текущий блок кодирован в аффинном режиме. Если текущий блок кодирован в соответствии с 6-параметрической аффинной моделью, тогда суб-блок, расположенный в нижнем левом углу, сохраняет вектор mv2; в противном случае (при 4-параметрической аффинной модули), левый нижний блок (LB) сохраняет вектор mv2’. Другие суб-блоки сохраняют векторы MV, используемые для компенсации MC.

После вычисления векторов CPMV для текущей единицы CU v0 и v1 в соответствии с аффинной моделью движения по Уравнениям (1) и (2), может быть сформировано поле MVF для текущей единицы CU. Для идентификации, кодирована ли текущая единица CU в режиме AF_Merge, может быть в виде сигнализации передан в потоке битов данных флаг аффинности, если по меньшей мере один соседний блок кодирован в аффинном режиме.

В некоторых вариантах (например, JVET-L0142 и JVET-L0632), список аффинных объединяемых кандидатов может быть построен в соответствии со следующими этапами:

1) Вставка первоначальных аффинных кандидатов

Термин «первоначальный аффинный кандидат» означает, что кандидат получен из аффинной модели движения соседнего с ним действительного блока, кодированного в аффинном режиме. Из аффинной модели движения соседних блоков получают максимум двух первоначальных аффинных кандидатов и вставляют их в список кандидатов. Для левого предиктора сканирование производится в порядке {A0, A1}; для верхнего предиктора сканирование производится в порядке {B0, B1, B2}.

2) Вставка сконструированных аффинных кандидатов

Если число кандидатов в списке аффинных объединяемых кандидатов меньше параметра MaxNumAffineCand (здесь установлен равным 5), в список кандидатов вставляют сконструированных аффинных кандидатов. Термин «сконструированный аффинный кандидат» означает, что кандидат сконструирован путем комбинирования информации о движении соседей в каждой контрольной точке.

a) Информацию о движении для контрольных точек выводят в первую очередь из специфицированных пространственных соседей и временного соседа, показанных на фиг. 19. Символ CPk (k=1, 2, 3, 4) представляет k-ую контрольную точку. Символы A0, A1, A2, B0, B1, B2 и B3 показывают пространственные позиции для прогнозирования CPk (k=1, 2, 3); T показывает временную позицию для прогнозирования CP4.

Точки CP1, CP2, CP3 и CP4 имеют координаты (0, 0), (W, 0), (H, 0) и (W, H), соответственно, где W и H обозначают ширину и высоту текущего блока.

Информацию о движении для каждой контрольной точки получают в соответствии со следующим порядком приоритетности:

Для точки CP1, приоритетность проверки имеет вид B2 → B3 → A2. Блок B2 используется, если он доступен. В противном случае, если блок B2 недоступен, используется блок B3. Если оба блока B2 и B3 недоступны, используется блок A2. Если все три кандидата недоступны, информация о движении для точки CP1 получена быть не может.

Для точки CP2, приоритетность проверки имеет вид B1 → B0.

Для точки CP3, приоритетность проверки имеет вид A1 → A0.

Для точки CP4, использует блок T.

b) Во-вторых, для конструирования аффинного объединяемого кандидата используется комбинация контрольных точек.

I. Для конструирования 6-параметрического аффинного кандидата необходимо информация о движении для трех контрольных точек. Эти три контрольные точки можно выбрать из одной из следующих четырех комбинаций ({CP1, CP2, CP4}, {CP1, CP2, CP3}, {CP2, CP3, CP4}, {CP1, CP3, CP4}). Комбинации {CP1, CP2, CP3}, {CP2, CP3, CP4}, {CP1, CP3, CP4} будут преобразованы в 6-параметрическую модель движения, представленную верхней левой, верхней правой и нижней левой контрольными точками.

II. Для построения 4-параметрического аффинного кандидата необходима информация о движении двух контрольных точек. Эти две контрольные точки можно выбрать из одной из следующих шести комбинаций ({CP1, CP4}, {CP2, CP3}, {CP1, CP2}, {CP2, CP4}, {CP1, CP3}, {CP3, CP4}). Комбинации {CP1, CP4}, {CP2, CP3}, {CP2, CP4}, {CP1, CP3}, {CP3, CP4} будут преобразованы в 4-параметрическую модель движения, представленную верхней левой и верхней правой контрольными точками.

III. Комбинации сконструированных аффинных кандидатов вставляют в список кандидатов в следующем порядке:

{CP1, CP2, CP3}, {CP1, CP2, CP4}, {CP1, CP3, CP4}, {CP2, CP3, CP4}, {CP1, CP2}, {CP1, CP3}, {CP2, CP3}, {CP1, CP4}, {CP2, CP4}, {CP3, CP4}

i. Для опорного списка X (X равно 0 или 1) комбинаций, в качестве опорного индекса этого списка X выбирают опорный индекс с наивысшей долей использования в контрольных точках, и векторы движения, указывающие на разностное опорное изображение, будут масштабированы.

После формирования кандидата выполняют полную процедуру усечения, чтобы проверить, был ли такой же кандидат уже включен в список. Если такой же кандидат существует, вновь сформированного кандидата отбрасывают.

3) Заполнение нулевыми векторами движения

Если число кандидатов в списке аффинных объединяемых кандидатов меньше 5, в список кандидатов вставляют нулевые векторы движения до тех пор, пока список не станет полным.

Более конкретно, для списка объединяемых кандидатов суб-блоков, 4-параметрический объединяемый кандидат имеет векторы MV, установленные на (0, 0), а направление прогнозирования установлено в одну сторону от списка 0 (для P-среза) и в обе стороны (для B-среза).

2.3.4. Примеры объединения с разностями векторов движения (Merge with Motion vector Difference (MMVD))

В документе JVET-L0054, представлено предельное выражение вектора движения (ultimate motion vector expression) (UMVE, также известное как MMVD). Параметр UMVE используется вместе с режимом пропуска или режимом объединения с предлагаемым способом выражения вектора движения.

Параметр UMVE повторно использует объединяемого кандидата, такого же, как те, что входят в обычный список объединяемых кандидатов в стандарте кодирования VVC. Из совокупности объединяемых кандидатов может быть выбран базовый кандидат и далее расширен посредством предлагаемого способа выражения вектора движения.

Параметр UMVE предлагает новый способ представления разности векторов движения (MVD), согласно которому для представления такой разности MVD используются начальная точка, величина движения и направление движения.

Этот предлагаемый способ использует список объединяемых кандидатов, как он есть. Но для расширения UMVE рассматриваются кандидаты, имеющие тип слияния по умолчанию (MRG_TYPE_DEFAULT_N).

Индекс базового кандидата определяет начальную точку. Этот индекс базового кандидата обозначает наилучшего кандидата из совокупности кандидатов, входящих в список, следующим образом.

Таблица 1: Индекс (IDX) базового кандидата Индекс (IDX) базового кандидата 0 1 2 3 N^-ый MVP 1^-ый MVP 2^-ой MVP 3^-ий MVP 4^ый MVP

Если номер базового кандидата равен 1, сигнализацию об этом индексе IDX не передают.

Индекс расстояния представляет собой информацию о величине движения. Индекс расстояния обозначает предварительно заданное расстояние от информации о начальной точке. Это предварительно заданное расстояние определено следующим образом:

Таблица 2. Индекс (IDX) расстояния Индекс (IDX) расстояния 0 1 2 3 4 5 6 7 Расстояние в пикселях (pel) 1/4-pel 1/2-pel 1-pel 2-pel 4-pel 8-pel 16-pel 32-pel

Индекс направления представляет направление разности MVD относительно начальной точки. Индекс направления может представлять четыре направления, как показано ниже.

Таблица 3. Индекс (IDX) направления Индекс (IDX) направления 00 01 10 11 x-ось + - Не применимо Не применимо y-ось Не применимо Не применимо + -

В некоторых вариантах, флаг расширения UMVE передают виде сигнализации сразу после передачи флага пропуска или флага объединения. Если флаг пропуска или объединения является истинным, выполняют синтаксический анализ флага UMVE. Если флаг UMVE равен 1, выполняют синтаксический анализ синтаксиса расширения UMVE. Но если этот флаг не равен 1, выполняют синтаксический анализ Флага аффинности. Если Флаг аффинности равен 1, это означает аффинный (AFFINE) режим. Но если этот флаг не равен 1, выполняют синтаксический анализ индекса пропуска/объединения для режима пропуска/объединения в документе VTM.

Дополнительный буфер строк из-за появления кандидатов UMVE не требуется, поскольку кандидат пропуска/объединяемый кандидат из программного обеспечения непосредственно используется в качестве базового кандидата. Используя входной индекс UMVE, определяют дополнение вектора MV непосредственно перед компенсацией движения. Нет необходимости держать буфер длинной строки для этого.

В текущем состоянии общего текста либо первый, либо второй объединяемый кандидат из списка объединяемых кандидатов может быть выбран в качестве базового кандидата.

2.3.5. Примеры уточнения вектора движения на стороне декодирующего устройства (Decoder-side Motion vector Refinement (DMVR))

При двунаправленном прогнозировании, для прогнозирования области одного блока, комбинируют два прогнозируемых блока, сформированных с использованием вектора движения (MV) из списка0 и вектора MV из списка1, соответственно, для образования одного прогнозируемого сигнала. Согласно способу уточнения вектора движения на стороне декодирующего устройства (DMVR) дополнительно уточняют два вектора движения, используемые при двунаправленном прогнозировании.

В модели JEM векторы движения уточняют посредством процедуры согласования двусторонних шаблонов. Такое согласование двусторонних шаблонов применяют в декодирующем устройстве для осуществления поиска на основе искажений между двусторонним шаблоном и реконструированными отсчетами в опорных изображениях с целью получения уточненного вектора MV без передачи дополнительной информации о движении. Пример изображен на фиг. 22. Двусторонний шаблон генерируют в виде взвешенной (т.е. усредненной) комбинации двух прогнозируемых блоков от первоначальных вектора MV0 из списка0 и вектора MV1 из списка1, соответственно, как показано на фиг. 22. Операция согласования шаблонов содержит вычисление стоимостных оценок между генерируемым шаблоном и областью отсчетов (вокруг первоначального прогнозируемого блока) в опорном изображении. Для каждого из двух опорных изображений вектор MV, который дает минимальную стоимость шаблонов, рассматривают в качестве обновленного вектора MV из соответствующего списка для замены исходного вектора. В модели JEM, осуществляют поиск среди девяти векторов MV кандидатов для каждого списка. Эта совокупность девяти векторов MV кандидатов содержит исходный вектор MV и 8 окружающих векторов MV со сдвигом на один яркостной отсчет от исходного вектора MV в каком-либо - в горизонтальном направлении или вертикальном направлении, или в обоих направлениях. Наконец, два новых вектора MV, т.е. векторы MV0′ и MV1′, как показано на фиг. 22, используются для генерации результатов двунаправленного прогнозирования. В качестве меры стоимости используется сумма абсолютных разностей (sum of absolute differences (SAD)). Пожалуйста, заметьте, что при вычислении стоимости прогнозируемого блока, генерируемого одним из окружающих векторов MV, для получения прогнозируемого блока используется округленный (до целых элементов изображения (пикселей)) вектор MV вместо фактического вектора MV.

Для дальнейшего упрощения процедуры уточнения DMVR, документ JVET-M0147 предлагает ряд изменений в структуру модели JEM. Более конкретно, принятая процедура уточнения DMVR в документе VTM-4.0 (должен выйти в свет вскоре) имеет следующие основные признаки:

ο Раннее завершение с (0,0) позиции в сумме SAD между списком0 и списком1

ο Размер блока для процедуры уточнения DMVR W*H>=64 && H>=8

ο Разбиение единицы CU на несколько суб-блоков размером 16x16 для процедуры уточнения DMVR при размере единицы CU > 16*16

ο Размер опорного блока (W+7)*(H+7) (для яркостной составляющей)

ο Поиск по 25 точкам на основе суммы SAD по целым пикселям (т.е. диапазон уточняющего поиска (+-) 2, один этап)

ο Процедура уточнения DMVR на основе билинейной интерполяции

ο Зеркальное отображение разности MVD между списком0 и списком1, чтобы позволить двустороннее согласование

ο “Уравнение параметрической погрешности поверхности” на основе уточнения на уровне долей пикселя

ο Компенсация MC яркостной/цветностной составляющей с заполнением опорного блока (если нужно)

ο Уточненные векторы MV используются только для компенсации MC и прогнозирования TMVP

2.3.6. Примеры комбинированного внутрикадрового и межкадрового прогнозирования (combined intra and inter prediction (CIIR))

В документе JVET-L0100, предлагается прогнозирование с использованием нескольких гипотез, где комбинирование внутрикадрового и межкадрового прогнозирования является одним из способов генерации нескольких гипотез.

Когда прогнозирование с использованием нескольких гипотез применяется для усовершенствования режима внутрикадрового прогнозирования, прогнозирование с использованием нескольких гипотез комбинирует одно внутрикадровое прогнозирование и одно индексированное объединяемое прогнозирование. В объединяемой единице CU, передают один флаг в виде сигнализации для режима объединения, чтобы выбрать режим внутрикадрового прогнозирования из списка кандидатов для внутрикадрового прогнозирования, когда этот флаг является истинным. Для яркостной составляющей список кандидатов для внутрикадрового прогнозирования формируют из четырех режимов внутрикадрового прогнозирования, включая DC-режим, планарный режим, горизонтальный режим и вертикальный режим, а размер списка кандидатов для внутрикадрового прогнозирования может быть равен 3 или 4 в зависимости от формы блока. Когда ширина единицы CU больше удвоенной высоты этой единицы CU, горизонтальный режим исключают из списка для внутрикадрового прогнозирования, а когда высота единицы CU больше удвоенной ширины этой единицы CU, вертикальный режим исключают из этого списка режимов для внутрикадрового прогнозирования. Один режим внутрикадрового прогнозирования, выбранный по индексу режима внутрикадрового прогнозирования, и один объединяемый индексированный режим прогнозирования, выбранный по индексу объединения, комбинируют с использованием взвешенного усреднения. Для цветностной составляющей DM-режим всегда применяется без дополнительной сигнализации. Весовые коэффициенты для комбинирования прогнозов описываются следующим образом. Когда выбран DC-режим или планарный режим, либо ширина или высота блока CB меньше 4, применяются одинаковые весовые коэффициенты. Для блоков CB с шириной и высотой не меньше 4, когда выбран горизонтальный/вертикальный режим, один блок CB сначала разбивают вертикально/горизонтально на четыре области равной площади. Каждый набор весовых коэффициентов, обозначенный как (w_intra_i, w_inter_i), где i составляет от 1 до 4 и (w_intra₁, w_inter₁) = (6, 2), (w_intra₂, w_inter₂) = (5, 3), (w_intra₃, w_inter₃) = (3, 5) и (w_intra₄, w_inter₄) = (2, 6), будет применен к соответствующей области. Коэффициенты (w_intra₁, w_inter₁) предназначены для области, ближайшей к опорным отсчетам, и коэффициенты (w_intra₄, w_inter₄) предназначены для области, наиболее удаленной от опорных отсчетов. Тогда комбинированное прогнозирование может быть вычислено путем суммирования двух взвешенных результатов прогнозирования и сдвига на 3 бита вправо. Более того, режим внутрикадрового прогнозирования для гипотез предикторов внутрикадрового прогнозирования может быть сохранен в качестве опоры для следующих соседних единиц CU.

2.4. Внутриконтурное переформирование (ILR) в документе JVET-M0427

Основная идея внутриконтурного переформирования (ILR) состоит в преобразовании исходного (в первой области) сигнала (прогнозируемого/реконструированного сигнала) во вторую область (переформированную область).

Внутриконтурное устройство для переформирования яркостной составляющей реализовано в виде пары преобразовательных таблиц (look-up table (LUT)), но только об одной из этих двух таблиц LUT необходимо сообщить посредством сигнализации, тогда как другая таблица может быть вычислена на основе сообщенной таблицы LUT. Каждая таблица LUT является одномерной, 10-битовой, таблицей отображения с 1024 входными позициями (1D-LUT). Одна таблица LUT является таблицей LUT для прямого преобразования (прямая таблица LUT), FwdLUT, которая преобразует величины входного цветностного кода в измененные величины : . Другая таблица LUT является таблицей LUT для обратного преобразования (обратная таблица LUT), InvLUT, которая преобразует измененные кодовые величины до : . ( представляет реконструированные величины .).

2.4.1. Кусочно-линейная модель (Piece-wise linear (PWL))

В некоторых вариантах, кусочно-линейная (PWL) модель реализуется следующим образом:

Пусть x1, x2 являются двумя входными опорными точками, а y1, y2 являются соответствующими выходными опорными точками для одного отрезка. Выходная величина y для какой-либо входной величины x между величинами x1 и x2 может быть интерполирована посредством следующего уравнения:

y = ((y2-y1)/(x2-x1)) * (x-x1) + y1

В варианте реализации с фиксированной точкой это уравнение может быть переписано как:

y = ((m * x + 2FP_PREC-1) >> FP_PREC) + c

где m обозначает скаляр, c обозначает сдвиг и FP_PREC представляет собой константу для специфицирования точности.

Отметим, что в программном обеспечении CE-12 модель PWL используется для предварительного вычисления имеющих по 1024 входных позиций каждая таблиц прямого FwdLUT и обратного InvLUT отображения; но модель PWL также позволяет создать реализации для вычисления идентичных отображаемых величин в реальном времени без предварительного вычисления таблиц LUT.

2.4.2. Тест CE12-2

2.4.2.1. Переформирование яркостной составляющей

Тест 2 для внутриконтурного переформирования яркостной составляющей (т.е. CE12-2 в предложении) создает конвейер меньшей сложности, который также исключает задержку декодирования для поблочного внутрикадрового прогнозирования при реконструкции среза при межкадровом прогнозировании. Внутрикадровое прогнозирование осуществляется в переформированной области для обоих срезов - с внутрикадровым и с межкадровым прогнозированием.

Внутрикадровое прогнозирование всегда осуществляется в переформированной области независимо от типа среза. В такой конфигурации процесс внутрикадрового прогнозирования может начинаться сразу же после завершения реконструкции предыдущей единицы TU. Такая конфигурация может также предложить унифицированную процедуру для внутрикадрового прогнозирования вместо процедуры, зависимой от конкретного среза. На фиг. 23 показана блок-схема процедуры CE12-2 декодирования на основе режима.

Система CE12-2 также тестирует 16-элементные кусочно-линейные (PWL) модели для масштабирования остатков яркостной и цветностной составляющих вместо 32-элементных PWL моделей в системе CE12-1.

Реконструкция среза при внутрикадровом прогнозировании с применением устройства внутриконтурного переформирования яркостной составляющей в системе CE12-2 (заштрихованные светло-зеленым блоки обозначают сигнал в переформированной области: остаток яркостной составляющей; яркостную составляющую при внутрикадровом прогнозировании; реконструированную яркостную составляющую при внутрикадровом прогнозировании).

2.4.2.2. Зависящее от яркостной составляющей масштабирование остатка цветностной составляющей (Luma-dependent chroma residue scaling (LCRS))

Зависящее от яркостной составляющей масштабирование остатка цветностной составляющей является мультипликативным процессом, реализуемым целочисленной операцией с фиксированной запятой. Масштабирование остатка цветностной составляющей компенсирует взаимодействие яркостного сигнала с цветностным сигналом. Масштабирование остатка цветностной составляющей применяется на уровне единиц TU. Более конкретно, применяется следующее:

ο Для внутрикадрового прогнозирования, усредняют реконструированную яркостную составляющую.

ο Для межкадрового прогнозирования, усредняют прогнозируемую яркостную составляющую.

Усреднение используется для идентификации индекса в модели PWL. Этот индекс идентифицирует масштабный коэффициент cScaleInv. Остаток цветностной составляющей умножают на этот коэффициент.

Отметим, что масштабный коэффициент для цветностной составляющей вычисляют на основе отображенных в прямом направлении величин яркостной составляющей вместо реконструированных величин яркостной составляющей.

2.4.2.3. Передача сигнализации дополнительной информации о переформировании ILR

Эти параметры передают (в настоящий момент) в заголовке группы плиток (аналогично фильтрации ALF). Эти сообщения занимают 40 - 100 бит. Группа плиток может быть другим способом представления изображения. Следующая таблица основана на версии 9 документа JVET-L1001. Добавленный синтаксис выделен курсивом.

В 7.3.2.1. Синтаксис набора параметров последовательности RBSP

В 7.3.3.1. Синтаксис общего заголовка группы плиток

Добавление новой модели устройства переформирования группы плиток в синтаксической таблице:

В общую семантику набора параметров последовательности RBSP добавление следующей семантики:

Флаг sps_reshaper_enabled_flag, равный 1, специфицирует, что устройство переформирования используется в кодированной видеопоследовательности (coded video sequence (CVS)). Флаг sps_reshaper_enabled_flag, равный 0, специфицирует, что устройство переформирования не используется в последовательности CVS.

В синтаксисе заголовка группы плиток, добавление следующей семантики

Флаг tile_group_reshaper_model_present_flag, равный 1, специфицирует, что параметр tile_group_reshaper_model() присутствует в заголовке группы плиток. Флаг tile_group_reshaper_model_present_flag, равный 0, специфицирует, что параметр tile_group_reshaper_model() не присутствует в заголовке группы плиток. Когда флаг tile_group_reshaper_model_present_flag не присутствует, его считают равным 0.

Флаг tile_group_reshaper_enabled_flag, равный 1, специфицирует, что устройство переформирования активизировано для текущей группы плиток. Флаг tile_group_reshaper_enabled_flag, равный 0, специфицирует, что устройство переформирования не активизировано для текущей группы плиток. Когда флаг tile_group_reshaper_enable_flag не присутствует, его считают равным 0.

Флаг tile_group_reshaper_chroma_residual_scale_flag, равный 1, специфицирует, что масштабирование остатка цветностной составляющей активизировано для текущей группы плиток. Флаг tile_group_reshaper_chroma_residual_scale_flag, равный 0, специфицирует, что масштабирование остатка цветностной составляющей не активизировано для текущей группы плиток. Когда флаг tile_group_reshaper_chroma_residual_scale_flag не присутствует, его считают равным 0.

Добавление синтаксиса tile_group_reshaper_model( )

Индекс reshape_model_min_bin_idx специфицирует индекс минимального фрагмента (или отрезка) для использования в процессе конструирования устройства для переформирования. Величина этого индекса reshape_model_min_bin_idx должна быть в диапазоне от 0 до параметра MaxBinIdx, включительно. Величина параметра MaxBinIdx должна быть равна 15.

Индекс reshape_model_delta_max_bin_idx специфицирует индекс максимального допустимого фрагмента (или отрезка) MaxBinIdx минус максимальный индекс фрагмента для использования в процессе конструирования устройства для переформирования. Величину индекса reshape_model_max_bin_idx устанавливают равным MaxBinIdx - reshape_model_delta_max_bin_idx.

Параметр reshaper_model_bin_delta_abs_cw_prec_minus1 плюс 1 специфицирует число битов, используемое для представления синтаксиса reshape_model_bin_delta_abs_CW[ i ].

Параметр reshape_model_bin_delta_abs_CW[ i ] специфицирует абсолютную величину кодового слова приращения (дельта) для i-го фрагмента.

Параметр reshaper_model_bin_delta_sign_CW_flag[ i ] специфицирует знак параметра reshape_model_bin_delta_abs_CW[ i ] следующим образом:

- Если флаг reshape_model_bin_delta_sign_CW_flag[ i ] равен 0, соответствующая переменная RspDeltaCW[ i ] имеет положительную величину.

- В противном случае ( reshape_model_bin_delta_sign_CW_flag[ i ] не равно 0 ), соответствующая переменная RspDeltaCW[ i ] имеет отрицательную величину.

Когда флаг reshape_model_bin_delta_sign_CW_flag[ i ] не присутствуют, его считают равным 0.

Переменная RspDeltaCW[ i ] = (1 2*reshape_model_bin_delta_sign_CW [ i ]) * reshape_model_bin_delta_abs_CW [ i ];

Переменную RspCW[ i ] определяют посредством следующих этапов:

Переменную OrgCW устанавливают равной (1 << BitDepth_Y ) / ( MaxBinIdx + 1).

- Если reshaper_model_min_bin_idx < = i <= reshaper_model_max_bin_idx

RspCW[ i ] = OrgCW + RspDeltaCW[ i ].

- В противном случае, RspCW[ i ] = 0.

Величина RspCW [ i ] должна быть в диапазоне от 32 до 2 * OrgCW - 1, если величина BitDepth_Y равна 10.

Переменные InputPivot[ i ] с i в диапазоне от 0 до MaxBinIdx + 1, включительно, формируют следующим образом

InputPivot[ i ] = i * OrgCW

Переменную ReshapePivot[ i ] для i в диапазоне от 0 до MaxBinIdx + 1, включительно, переменную ScaleCoef[ i ] и переменную InvScaleCoeff[ i ] при i в диапазоне от 0 до MaxBinIdx , включительно, определяют следующим образом:

shiftY = 14

ReshapePivot[ 0 ] = 0;

for( i = 0; i <= MaxBinIdx ; i++) {

ReshapePivot[ i + 1 ] = ReshapePivot[ i ] + RspCW[ i ]

ScaleCoef[ i ] = ( RspCW[ i ] * (1 << shiftY) + (1 << (Log2(OrgCW) - 1))) >> (Log2(OrgCW))
if ( RspCW[ i ] == 0 )

InvScaleCoeff[ i ] = 0

else
InvScaleCoeff[ i ] = OrgCW * (1 << shiftY) / RspCW[ i ]

}

Переменную ChromaScaleCoef[i] при i в диапазоне от 0 до MaxBinIdx, включительно, определяют следующим образом:

ChromaResidualScaleLut[64] = {16384, 16384, 16384, 16384, 16384, 16384, 16384, 8192, 8192, 8192, 8192, 5461, 5461, 5461, 5461, 4096, 4096, 4096, 4096, 3277, 3277, 3277, 3277, 2731, 2731, 2731, 2731, 2341, 2341, 2341, 2048, 2048, 2048, 1820, 1820, 1820, 1638, 1638, 1638, 1638, 1489, 1489, 1489, 1489, 1365, 1365, 1365, 1365, 1260, 1260, 1260, 1260, 1170, 1170, 1170, 1170, 1092, 1092, 1092, 1092, 1024, 1024, 1024, 1024};

shiftC = 11

- if ( RspCW[ i ] == 0 )

ChromaScaleCoef [ i ] = (1 << shiftC)

- В противном случае (RspCW[ i ] != 0), ChromaScaleCoef[ i ] = ChromaResidualScaleLut[RspCW[ i ] >> 1]

2.4.2.4. Использование переформирования ILR

На стороне кодирующего устройства каждое изображение (или группу плиток) сначала преобразуют в переформированную область. И всю процедуру кодирования осуществляют в переформированной области. Для внутрикадрового прогнозирования соседний блок находится в переформированной области; для межкадрового прогнозирования опорные блоки (генерируемые из исходной области из буфера декодированного изображения) сначала преобразуют в переформированную область. Затем остаток генерируют и кодируют в потоке битов данных.

После завершения кодирования/декодирования полного изображения (или группы плиток) отсчеты в переформированной области преобразуют в исходную область и затем применяют деблокирующий фильтр и другие фильтры.

Процедура прямого переформирования в прогнозируемый сигнал не активизирована в следующих случаях:

○ Текущий блок кодирован с применением внутрикадрового прогнозирования

○ Текущий блок кодирован с применением ссылки на текущее изображение в качестве опоры (CPR (current picture referencing)), также называется внутрикадровым копированием блоков, IBC

○ Текущий блок кодирован с применением комбинированного режима с внутрикадровым и межкадровым прогнозированием (combined inter-intra mode (CIIP)), а процедура прямого переформирования не активизирована для блоков с внутрикадровым прогнозированием

JVET-N0805

Чтобы избежать передачи сигнализации дополнительной информации о переформировании ILR в заголовке группы плиток, в документе JVET-N0805, предложено передавать эту сигнализацию в наборе APS. Это содержит следующие основные идеи:

- В качестве опции передают параметры LMCS в наборе SPS. Здесь LMCS обозначает способ «отображения яркостной составляющей с масштабированием цветностной составляющей» (luma mapping with chroma scaling (LMCS)), как это определено в соответствующих стандартах видеокодирования.

- Определение типов наборов APS для параметров фильтрации ALF и параметров LMCS. Каждый набор APS имеет только один тип.

- Передача параметров LMCS в наборе APS

- Если инструмент LMCS активизирован, он имеет флаг в заголовке группы плиток TGH для индикации, что идентификатор LMCS aps_id присутствует или нет. Если сигнализации об этом нет, используют набор SPS параметров.

*Необходимо добавить семантические ограничения, чтобы всегда иметь что-нибудь действительное, относящееся к случаю, когда этот инструмент активизирован.

2.5.2.5.1. Реализация предлагаемой структуры поверх документа JVET-M1001 (кодирование VVC, рабочий проект 4)

Ниже предлагаемые изменения показаны курсивом.

…

Флаг sps_lmcs_enabled_flag, равный 1, специфицирует, что в кодированной видеопоследовательности(CVS) используется отображение яркостной составляющей с масштабированием цветностной составляющей. Флаг sps_lmcs_enabled_flag, равный 0, специфицирует, что отображение яркостной составляющей с масштабированием цветностной составляющей не используется в последовательности CVS.

Флаг sps_lmcs_default_model_present_flag, равный 1, специфицирует, что данные lmcs по умолчанию присутствуют в этом наборе SPS. Флаг sps_lmcs_default_model_flag, равный 0, специфицирует, что данные lmcs по умолчанию не присутствуют в этом наборе SPS. Когда это флаг sps_lmcs_default_model_present_flag не присутствует, его считают равным 0.

…

Параметр aps_params_type специфицирует тип параметров набора APS, передаваемых в наборе APS, как это приведено в следующей таблице:

Таблица 7 - x -Коды типов набора параметров APS и типы параметров набора APS

Добавление следующих определений к ст. 3:

ALF APS: Набор APS, который имеет параметр aps_params_type, равный ALF_APS.

LMCS APS: Набор APS, который имеет параметр aps_params_type, равный LMCS_APS.

Внесены следующие семантические изменения:

…

Параметр tile_group_alf_aps_id специфицирует параметр adaptation_parameter_set_id набора ALF APS, к которому относится группа плиток. Параметр TemporalId единицы ALF APS NAL, имеющий параметр adaptation_parameter_set_id, равный параметру tile_group_alf_aps_id, должен быть не больше параметра TemporalId единицы NAL кодированной группы плиток.

Когда несколько наборов ALF APS с одинаковой величиной параметра adaptation_parameter_set_id относятся к двум или более группам плиток в одном и том же изображении, эти несколько наборов ALF APS с одинаковой величиной параметра adaptation_parameter_set_id должны иметь одинаковое содержание.

…

Флаг tile_group_lmcs_enabled_flag, равный 1, специфицирует, что отображение яркостной составляющей с масштабированием цветностной составляющей активизировано для текущей группы плиток. Флаг tile_group_lmcs_enabled_flag, равный 0, специфицирует, что отображение яркостной составляющей с масштабированием цветностной составляющей не активизировано для текущей группы плиток. Когда флаг tile_group_lmcs_enable_flag не присутствует, его считают равным 0.

Флаг tile_group_lmcs_use_default_model_flag, равный 1, специфицирует, что операция отображения яркостной составляющей с масштабированием цветностной составляющей для группы плиток использует модель lmcs по умолчанию. Флаг tile_group_lmcs_use_default_model_flag, равный 0, специфицирует, что операция отображения яркостной составляющей с масштабированием цветностной составляющей для группы плиток использует модель lmcs в наборе LMCS APS, относящемся к параметру tile_group_lmcs_aps_id. Когда флаг tile_group_reshaper_use_default_model_flag не присутствует, его считают равным 0.

Параметр tile_group_lmcs_aps_id специфицирует параметр adaptation_parameter_set_id набора LMCS APS, на который ссылается группа плиток. Параметр TemporalId единицы LMCS APS NAL, имеющей параметр adaptation_parameter_set_id, равный параметру tile_group_lmcs_aps_id, должен быть не больше параметра TemporalId для единицы NAL кодированной группы плиток.

Когда несколько наборов LMCS APS с одинаковой величиной параметра adaptation_parameter_set_id относятся к двум или более группам плиток в одном и том же изображении, эти несколько наборов LMCS APS с одинаковой величиной параметра adaptation_parameter_set_id должны иметь одинаковое содержание.

Флаг tile_group_chroma_residual_scale_flag, равный 1, специфицирует, что масштабирование остатка цветностной составляющей активизировано для текущей группы плиток. Флаг tile_group_chroma_residual_scale_flag, равный 0, специфицирует, что масштабирование остатка цветностной составляющей активизировано для текущей группы плиток. Когда флаг tile_group_chroma_residual_scale_flag не присутствует, его считают равным 0.

…

…

2.4.2.6. JVET-N0138

Настоящий раздел предлагает расширенное использование набора параметров адаптации (APS) для передачи параметров модели устройства для переформирования, равно как параметров фильтрации ALF. На последнем совещании было решено, чтобы параметры фильтрации ALF были переданы в наборе APS вместо заголовка группы плиток с целью повышения эффективности кодирования путем избегания не являющейся необходимой избыточной сигнализации параметров в нескольких группах плиток. По той же самой причине, предложено передавать параметры модели устройства переформирования в модели APS вместо заголовка группы плиток. Для идентификации типа параметров в наборе APS (будь то по меньшей мере параметры фильтрации ALF или модели устройства переформирования), информация о типе набора APS требуется в синтаксисе набора APS, равно как и в идентификаторе APS ID.

Синтаксис и семантика набора параметров адаптации

Ниже предлагаемые изменения показаны курсивом.

Параметр adaptation_parameter_set_type идентифицирует тип параметров в наборе APS. Величина параметра adaptation_parameter_set_type должна быть в диапазоне от 0 до 1 включительно. Если параметр adaptation_parameter_set_type равен 0, передают параметры фильтрации ALF в виде сигнализации. В противном случае, передают в виде сигнализации параметры модели устройства для переформирования.

Обобщенные синтаксис и семантика заголовка группы плиток

2.5. Единицы данных виртуального конвейера (Virtual Pipelining Data Units (VPDU))

Единицы данных виртуального конвейера (VPDU) определены как не накладывающиеся одна на другую единицы MxM-luma(L)/NxN-chroma(C) данных в изображении. В аппаратных декодирующих устройствах последовательные единицы VPDU обрабатывают в нескольких ступенях конвейера одновременно; разные ступени обрабатывают различные единицы VPDU одновременно. Размер единицы VPDU грубо пропорционален размеру буфера в большинстве ступеней конвейера, так что можно сказать, что очень важно сохранять небольшой размер единиц VPDU. В аппаратных декодирующих устройства для стандарта кодирования HEVC размеры единицы VPDU устанавливают равными максимальному размеру блока преобразования (transform block (TB)). Увеличение максимального размера блока TB от 32x32-L/16x16-C (как в стандарте кодирования HEVC) до 64x64-L/32x32-C (как в сегодняшнем стандарте кодирования VVC) может принести выигрыш при кодировании, результатом чего является ожидаемое 4-кратное увеличение размера единицы VPDU (64x64-L/32x32-C) по сравнению со стандартом кодирования HEVC. Однако, в дополнение к разбиению единицы кодирования (CU) в соответствии с деревом квадратов (quadtree (QT)) в стандарте кодирования VVC приняты также троичное дерево единиц (ternary tree (TT)) и двоичной дерево (binary tree (BT)) для достижения дополнительного выигрыша при кодировании, а разбиение в соответствии с деревьями TT и BT может быть применено к единицам дерева кодирования (CTU) размером 128x128-L/64x64-C рекурсивно, что ведет к 16-кратному увеличению размера единицы VPDU (128x128-L/64x64-C) по сравнению со стандартом кодирования HEVC.

В современной конфигурации кодирования VVC, размер единицы VPDU определен как 64x64-L/32x32-C.

2.6. Набор параметров адаптации

В стандарте кодирования VVC, набор параметров адаптации (APS) принят для передачи параметров фильтрации ALF. Заголовок группы плиток содержит параметр aps_id, который условно присутствует, когда фильтрация ALF активизирована. Набор APS содержит параметр aps_id и параметры фильтрации ALF. Для набора APS назначено новое значение типа NUT (тип единицы NAL (NAL unit type), как в стандартах кодирования AVC и HEVC) (из документа JVET-M0132). Для общих тестовых условий в документе VTM-4.0 (должен быть выпущен), предлагается просто использовать aps_id = 0 и передавать набор APS с каждым изображением. На сегодня, идентификатор APS ID будет иметь диапазон значений 0..31 и наборы APS могут совместно использоваться несколькими изображениями (и могут различаться в разных группах в одном изображении). Значения идентификатора ID должны быть, если они присутствуют, закодированы в коде фиксированной длины. Значения идентификатора ID не могут быть повторно использованы с другим контентом в одном и том же изображении.

2.7. Используемые инструменты

2.7.1. Рассеивающий фильтр (Diffusion filter (DF))

В документе JVET-L0157, предложен рассеивающий фильтр, где сигнал внутрикадрового/межкадрового прогнозирования из единицы CU может быть дополнительно модифицирован рассеивающими фильтрами.

Однородный рассеивающий фильтр. Однородный рассеивающий фильтр (Uniform Diffusion Filter) реализуется посредством свертки прогнозируемого сигнала с фиксированной маской, задаваемой как или как , что определено ниже.

В качестве входа для фильтрованного сигнала помимо самого прогнозируемого сигнала используют одну линию реконструированных отсчетов слева и сверху от рассматриваемого блока, где использования этих реконструированных отсчетов можно избежать для блоков с межкадровым прогнозированием.

Пусть обозначает прогнозируемый сигнал для некоего рассматриваемого блока, получаемый посредством внутрикадрового прогнозирования или прогнозирования с компенсацией движения. Для обработки граничных точек для фильтров, прогнозируемый сигнал необходимо расширить до прогнозируемого сигнала . Этот расширенный прогнозируемый сигнал может быть сформирован двумя способами:

Либо, в качестве промежуточного этапа, добавляют одну линию реконструированных отсчетов слева и сверху к прогнозируемому сигналу и затем зеркально отражают результирующий сигнал во всех направлениях. Либо только сам прогнозируемый сигнал зеркально отражают во всех направлениях. Последнее расширение используется для блоков с межкадровым прогнозированием. В этом случае, только сам прогнозируемый сигнал содержит входные данные для расширенного прогнозируемого сигнала .

Если должен быть использован фильтр , предлагается заменить прогнозируемый сигнал сигналом

используя упомянутое выше граничное расширение. Здесь фильтрующая маска имеет вид

Если следует использовать фильтр , предлагается заменить прогнозируемый сигнал сигналом

Здесь фильтр задан как

Направленный рассеивающий фильтр. Вместо использования адаптивных к сигналу рассеивающих фильтров используются направленные, а именно - горизонтальный фильтр и вертикальный фильтр , которые по-прежнему имеют фиксированную маску. Более точно, однородную рассеивающую фильтрацию, соответствующую маске из предыдущего раздела, просто ограничивают применением только вдоль вертикального или вдоль горизонтального направления. Вертикальный фильтр реализуют с применением фиксированной фильтрующей маски

к прогнозируемому сигналу и горизонтальный фильтр реализуют с использованием транспонированной маски

2.7.2. Двусторонний фильтр (Bilateral Filter (BF))

Двусторонний фильтр предложен в документе JVET-L0406, и всегда применяется к блокам яркостной составляющей с ненулевыми коэффициентами преобразованиями и параметров квантования среза больше 17. Поэтому нет необходимости сигнализировать о двустороннем фильтре. Двусторонний фильтр, если он применяется, воздействует на декодированные отсчеты сразу после обратной трансформации. В дополнение к этому, параметры фильтра, т.е. весовые коэффициенты в явном виде выводят из кодированной информации.

Процедура фильтрации определена как:

…(1)

Здесь, обозначает интенсивность текущего отсчета, и обозначает модифицированную интенсивность текущего отсчета, и обозначают интенсивность и весовой параметр для k-го соседнего отсчета, соответственно. Пример одного текущего отсчета и соседних с ним четырех отсчетов (т.е., K=4) показан на фиг. 24.

Более конкретно, весовой коэффициент , ассоциированный с k-ым соседним отсчетом, определен следующим образом:

. …(2)

Здесь,

и _.

Здесь, параметр зависит от режима кодирования и размера блока кодирования. Описываемая процедура фильтрации применяется к блокам, кодированным с применением внутрикадрового прогнозирования, и к блокам, кодированным с применением межкадрового прогнозирования, когда единицу TU далее разбивают, чтобы позволить параллельную обработку.

Для лучшего захвата статистических свойств видеосигнала и улучшения функционирования фильтра весовую функцию, полученную из Уравнения (2), корректируют с использованием параметра , приведенного в таблице 4 в зависимости от режима кодирования и параметров разбиения блоков (минимальный размер).

Таблица 4. Значения параметра для разных размеров блоков и режим кодирования Мин (ширина блока, высота блока) Режим внутрикадрового прогнозирования Режим межкадрового прогнозирования 4 82 62 8 72 52 Прочее 52 32

Для дальнейшего улучшения характеристик кодирования, для блоков, кодированных с применением межкадрового прогнозирования, когда единица TU не разделена, разность интенсивностей между текущим отсчетом и одним из соседних с ним отсчетов заменяют репрезентативной разностью интенсивностей между двумя окнами, покрывающими текущий отсчет и указанный соседний отсчет. Поэтому уравнение для процесса фильтрации оказывается пересмотрено и приведено к виду:

…(4)

Здесь, и представляют величину m-го отсчета в окнах, центрированных в точках и , соответственно. В этом предложении размер окна устанавливают равным 3×3. Пример двух окон, покрывающих отсчеты и показан на фиг. 25.

2.7.3. Фильтр в области преобразования Адамара (Hadamard transform domain filter (HF))

В документе JVET-K0068, предложен внутриконтурный фильтр в области одномерного (1D) преобразования Адамара, применяемый на уровне единиц CU после реконструкции и реализованный без применения умножения. Предлагаемый фильтр применяется ко всем блокам единиц CU, удовлетворяющим заданному условию, а параметры фильтра получают из кодированной информации.

Предлагаемая фильтрация всегда применяется к реконструированным блокам яркостной составляющей с ненулевыми коэффициентами преобразования, исключая блоки размером 4x4 и случай, когда параметр квантования среза больше 17. Параметры фильтра выводят в явном виде из кодированной информации. Предлагаемый фильтр, если применяется, обрабатывает декодированные отсчеты сразу после обратного преобразования.

Для каждого пикселя из реконструированного блока обработка содержит следующие этапы:

○ Сканирование 4 соседних пикселей вокруг обрабатываемого пикселя, включая текущий пиксель, согласно схеме сканирования

○ 4-точечное преобразование Адамара прочитанных пикселей

○ Спектральная фильтрация на основе следующей формулы:

Здесь, (i) обозначает индекс спектральной составляющей в спектре Адамара, R(i) обозначает спектральную составляющую реконструированного пикселя, соответствующую индексу, σ обозначает параметр фильтрации, полученный из параметра квантования (quantization parameter (QP)) кодека с использованием следующего уравнения:

.

Пример схемы сканирования показан на фиг. 26, где A обозначает текущий пиксель, а {B,C,D} - окружающие пиксели.

Для пикселей, лежащих на границе единицы CU, схему сканирования корректируют, обеспечивая, чтобы все требуемые пиксели находились внутри текущей единицы CU.

3. Недостатки существующих вариантов реализации

В существующих вариантах реализации переформирования ILR могут иметь место следующие недостатки:

1) Передача сигнализации о дополнительной информации для переформирования ILR в заголовке группы плиток не подходит, поскольку для этого требуется слишком много битов. Кроме того, прогнозирование между разными изображениями/группами плиток невозможно. Поэтому, нужно передавать дополнительную информацию о переформировании ILR для каждой группы плиток, что может вызвать потери при кодировании при небольших скоростях передачи битов данных, особенно при низком разрешении.

2) Взаимодействие между переформированием ILR и уточнением DMVR (или другими вновь вводимыми инструментами кодирования) остается неясным. Например, переформирование ILR применяется к сигналу с межкадровым прогнозированием для преобразования исходного сигнала в переформированную область, и декодированные остатки находятся в переформированной области. Тогда как уточнение DMVR также использует прогнозируемый сигнал для уточнения векторов движения для одного блока. Применять ли уточнение DMVR в исходной области или в переформированной области - неясно.

3) Взаимодействие между переформированием ILR инструментами кодирования контента экрана, например, палитрой, модуляцией B-DPCM, копированием IBC, пропуском трансформации, обходом трансформации и квантования, режимами модуляции I-PCM, не ясно.

4) При переформировании ILR используется зависящее от яркостной составляющей масштабирование остатка цветностной составляющей. Поэтому здесь вносится дополнительная задержка (из-за зависимости между яркостной составляющей и цветностной составляющей), что не является благоприятным фактором для проектирования аппаратуры.

5) Целью введения единиц VPDU является гарантировать завершение обработки одной квадратной области размером 64x64 прежде начала обработки других квадратных областей размером 64x64. Однако согласно конфигурации переформирования ILR нет никаких ограничений на использование переформирования ILR, что может вызвать нарушение единиц VPDU, поскольку цветностная составляющая опирается на прогнозируемый сигнал яркостной составляющей.

6) Если все коэффициенты для одной единицы CU оказались нулевыми, прогнозируемый блок и реконструированный блок все равно проходят через процедуры прямого и обратного переформирования, что ведет к непроизводительным потерям вычислительной сложности.

7) В документе JVET-N0138, предложено передавать сигнализацию с информацией о переформировании ILR в наборе APS. Это техническое решение может породить ряд новых проблем. Например, разработаны два вида наборов APS. Однако идентификатор adaptation_parameter_set_id, передаваемый в виде сигнализации для переформирования ILR, может относиться к набору APS, который не содержит информацию о переформировании ILR. Аналогично, идентификатор adaptation_parameter_set_id, сигнализируемый для адаптивной контурной фильтрации (ALF), может ссылаться на набор APS, который не содержит информацию о фильтрации ALF.

4. Примеры способов внутриконтурного переформирования для видеокодирования

Варианты предлагаемой настоящим изобретением технологии преодолевают недостатки существующих реализаций, создавая тем самым систему видеокодирования с более высокой эффективностью кодирования. Способы внутриконтурного переформирования, на основе предлагаемой технологии, которые могут усилить существующие и будущие стандарты видеокодирования, освещены в последующих примерах, описываемых для возможных вариантов реализации. Примеры предлагаемой технологии, приведенные ниже, поясняют общие концепции и не должны интерпретироваться как ограничения. В одном примере, если в явной форме не указано противное, могут быть соединены разнообразные признаки, описываемые в нескольких примерах. Следует отметить, что некоторые из предлагаемых технологий могут быть применены к существующей процедуре построения списка кандидатов.

В настоящем документе, способ получения вектора движения на стороне декодирующего устройства (decoder side motion vector derivation (DMVD)) содержит методы, подобные уточнению DMVR и преобразованию FRUC, осуществляющие оценку движения для получения или уточнения информации о движении блока/суб-блока, и потока BIO, осуществляющего уточнение движения по отсчетам. Ниже приведен нумерованный список различных примеров (Примеры 1 - 42).

1. Процедура уточнения информации о движении в технологиях формирования DMVD, таких как уточнение DMVR, может зависеть от информации в переформированной области.

a. В одном из примеров, прогнозируемые блоки, генерируемые из опорных изображений в исходной области, могут быть сначала преобразованы в переформированную область прежде, чем они будут использованы для уточнения информации о движении.

i. В качестве альтернативы, более того, стоимостные вычисления (например, разности SAD, разности MR-SAD)/вычисления градиентов осуществляются в переформированной области.

В качестве альтернативы, после уточнения информации о движения, процедура переформирования не активизирована для прогнозируемых блоков, генерируемых с использованием уточненной информации о движении

b. В качестве альтернативы, процедура уточнения информации о движении в технологиях формирования DMVD, таких как уточнение DMVR, может зависеть от информации в исходной области.

i. Процедуры формирования DMVD могут быть привлечены с прогнозируемыми блоками в исходной области.

ii. В одном из примеров, после уточнения информации о движении, получают прогнозируемые блоки с уточненной информации о движении или конечный прогнозируем блок (например, взвешенное среднее двух прогнозируемых блоков) может быть далее преобразован в переформированную область для генерации конечного реконструированного блока.

iii. В качестве альтернативы, более того, после уточнения информации о движении, процедуру переформирования не активизируют для прогнозируемых блоков, генерируемых с уточненной информацией о движении.

2. Предлагается совместить область для отсчетов в текущей плитке/группе плиток/изображении и отсчетов, полученных из опорных изображений (либо и то, и другое в исходной области или в переформированной области), используемых для определения параметров локальной компенсации освещенности (LIC).

a. В одном из примеров, переформированная область используется для получения параметров компенсации LIC.

В качестве альтернативы, кроме того, отсчеты (например, опорные отсчеты опорных изображениях (посредством интерполяции или нет), равно как соседние/несмежные отсчеты относительно опорных отсчетов (посредством интерполяции или нет)) могут быть сначала преобразованы в переформированную область прежде использования для получения параметров компенсации LIC.

b. В одном из примеров, исходная область используется для получения параметров компенсации LIC.

В качестве альтернативы, кроме того, пространственно соседние/несмежные отсчеты текущего блока (например, в текущей группе плиток/изображении/плитке) могут быть сначала преобразованы в исходную область прежде использования для получения параметров компенсации LIC.

c. Предполагается, что когда параметры компенсации LIC получают в одной области, ту же самую область прогнозируемых блоков следует использовать при применении параметров компенсации LIC к прогнозируемым блокам.

В одном из примеров, когда привлекается пункт a., опорные блоки могут быть преобразованы в переформированную область, и модель компенсации LIC применяется к переформированным опорным блокам.

В одном из примеров, когда привлекается пункт b., опорные блоки сохраняют в исходной области, и модель компенсации LIC применяется к опорным блокам в исходной области.

d. В одном из примеров, модель компенсации LIC применяется к прогнозируемым блокам в переформированной области (например, прогнозируемый блок сначала преобразуют в переформированную область посредством прямого переформирования).

e. В одном из примеров, модель компенсации LIC сначала применяется к прогнозируемым блокам в исходной области, после чего конечный прогнозируемый блок в зависимости от прогнозируемых блоков, к которым применена компенсация LIC, может быть преобразован в переформированную область (например, посредством прямого переформирования) и использован для получения реконструированного блока.

f. Приведенные выше способы могут быть расширены на другие инструменты кодирования, которые опираются и на пространственно соседние/несмежные отсчеты, и на опорные отсчеты в опорных изображениях.

3. Для фильтров, применяемых к прогнозируемому сигналу (таких как рассеивающий фильтр (DF)), такой фильтр применяют к прогнозируемому блоку в исходной области.

a. В качестве альтернативы, кроме того, после этого, применяют переформирование к фильтрованному прогнозируемому сигналу для генерации реконструированного блока.

b. Пример процедуры кодирования с применением межкадрового прогнозирования показан на фиг. 27.

c. В качестве альтернативы, фильтры применяют к прогнозируемому сигналу в переформированной области.

В качестве альтернативы, кроме того, переформирование сначала применяется к прогнозируемому блоку; после чего способы фильтрации могут быть далее применены к переформированному прогнозируемому блоку для генерации реконструированного блока.

ii. Пример процедуры кодирования с применением межкадрового прогнозирования показан на фиг. 28.

d. Параметры фильтрации могут зависеть от того, активизировано переформирование ILR или нет.

4. Для фильтров, применяемых к реконструированным блокам (например, двусторонний фильтр (BF), фильтр в области преобразования Адамара (HF)), эти фильтры применяют к реконструированным блокам в исходной области вместо переформированной области.

a. В качестве альтернативы, кроме того, реконструированный блок в переформированной области сначала преобразуют в исходную область, после чего фильтры могут быть применены и использованы для генерации реконструированного блока.

b. Пример процедуры кодирования с применением межкадрового прогнозирования показан на фиг. 29.

c. В качестве альтернативы, фильтры могут быть применены к реконструированному блоку в переформированной области.

В качестве альтернативы, кроме того, прежде применения обратного переформирования, сначала могут быть применены фильтры. После этого, фильтрованный реконструированный блок может быть преобразован в исходную область.

ii. Пример процедуры кодирования с применением межкадрового прогнозирования показан на фиг. 30.

d. Параметры фильтрации могут зависеть от того, активизировано ли переформирование ILR или нет.

5. Предлагается применить процедуру фильтрации, которая может быть применена к реконструированным блокам (например, после внутрикадрового/межкадрового или других видов прогнозирования) в переформированной области.

a. В одном из примеров, процедура деблокирующей фильтрации (DBF) осуществляется в переформированной области. В этом случае, обратное переформирование не применяется прежде фильтрации DBF.

В этом случае, параметры фильтра DBF могут быть различными в зависимости от того, применяется ли переформирование или нет.

ii. В одном из примеров, процедура фильтрации DBF может зависеть от того, применяется ли переформирование или нет.

1. В одном из примеров, этот способ применяется, когда фильтрация DBF привлекается в исходной области.

2. В качестве альтернативы, этот способ применяется, когда фильтр DBF привлекается в переформированной области.

b. В одном из примеров, процедура нелинейной фильтрацией с адаптивным смещением (sample adaptive offset (SAO)) осуществляется в переформированной области. В этом случае, обратное переформирование не применяется прежде фильтрации SAO.

c. В одном из примеров, процедура адаптивной контурной фильтрации (ALF) осуществляется в переформированной области. В этом случае, обратное переформирование не применяется прежде фильтрации ALF.

d. В качестве альтернативы, кроме того, обратное переформирование может быть применено к блокам после фильтрации DBF.

e. В качестве альтернативы, кроме того, обратное переформирование может быть применено к блокам после фильтрации SAO.

f. В качестве альтернативы, кроме того, обратное переформирование может быть применено к блокам после фильтрации ALF.

g. Упомянутый выше способ фильтрации может быть заменен другими способами фильтрации.

6. Предлагается передавать в форме сигнализации параметры переформирования ILR в новом наборе параметров (таком как набор ILR APS) вместо заголовков групп плиток.

a. В одном из примеров, заголовок группы плиток может содержать параметр aps_id. В качестве альтернативы, кроме того, параметр aps_id условно присутствует, когда активизировано переформирование ILR.

b. В одном из примеров, набор ILR APS содержит параметр aps_id и параметры переформирования ILR.

c. В одном из примеров, новое значение типа NUT (тип единицы NAL, как в стандартах кодирования AVC и HEVC) назначают для набора ILR APS.

d. В одном из примеров, значения идентификаторов ILR APS ID будут в пределах 0…M (например, M = 2K-1).

e. В одном из примеров, наборы ILR APS могут использоваться совместно между изображениями (и могут быть различными в разных группах в пределах одного изображения).

f. В одном из примеров, величина идентификатора ID может быть, когда она присутствует, кодирована в коде фиксированной длины. В качестве альтернативы, она может быть кодирована способом экспоненциального кодирования-Голомба (exponential-Golomb (EG)), усеченной унарной или иной бинаризации.

g. В одном из примеров, значения идентификаторов ID не могут быть использованы повторно с другим контентом в пределах того же самого изображения.

h. В одном из примеров, набор ILR APS и набор APS для параметров фильтрации ALF могут совместно использовать один и тот же тип NUT.

i. В качестве альтернативы, параметры переформирования ILR могут быть переданы в текущем наборе APS для параметров фильтрации ALF. В этом случае, в приведенных выше способах, упоминающих набор ILR APS, он может быть заменен текущим набором APS.

j. В качестве альтернативы, параметры переформирования ILR могут быть переданы в наборе SPS/наборе VPS/наборе PPS/заголовке последовательности/заголовке изображения.

k. В одном из примеров, совокупность параметров переформирования ILR может содержать информацию о модели устройства переформирования, использовании способа переформирования ILR, коэффициентах масштабирования остатках цветностной составляющей.

l. В качестве альтернативы, кроме того, параметры переформирования ILR могут быть переданы в виде сигнализации на одном уровне (таком как в наборе APS), и/или об использовании переформирования ILR может быть дополнительно сообщено в виде сигнализации на втором уровне (таком как в заголовке группы плиток).

m. В качестве альтернативы, кроме того, прогнозирующее кодирование может быть применено к кодированию параметров переформирования ILR с разными индексами наборов APS.

7. Вместо применения зависимого от яркостной составляющей масштабирования остатка цветностной составляющей (LCRS) с преобразованием в блоки цветностной составляющей предлагается применять процедуры прямого/обратного переформирования в блоки цветностной составляющей для устранения зависимости между яркостной и цветностной составляющей.

a. В одном из примеров, одна M-сегментная кусочно-линейная модель (PWL) и/или преобразовательная таблица прямого/обратного преобразования может быть использована для одной цветностной составляющей. В качестве альтернативы, две модели PWL и/или преобразовательные таблицы прямого/обратного преобразования могут быть использованы для кодирования двух цветностных составляющих соответственно.

b. В одном из примеров, модель PWL для цветностной составляющей и/или преобразовательная таблица прямого/обратного преобразования может быть получена из модели PWL или преобразовательных таблиц прямого/обратного преобразования для яркостной составляющей.

В одном из примеров, нет необходимости в дополнительной передаче в виде сигнализации моделей PWL/преобразовательных таблиц для цветностной составляющей.

c. В одном из примеров, указание модели PWL и/или преобразовательной таблицы прямого/обратного преобразования может быть передано в виде сигнализации в наборе SPS/наборе VPS/наборе APS/наборе PPS/заголовке последовательности/заголовке изображения/заголовке группы плиток/заголовке единицы/ряду единиц CTU/группе единиц CTU/областей.

8. В одном из примеров, способ, как передать сигнализацию параметров переформирования ILR в одном изображении/группе плиток, может зависеть от параметров переформирования ILR ранее кодированных изображений/групп плиток.

a. Например, параметры переформирования ILR одного изображения/группы плиток можно прогнозировать посредством параметров переформирования ILR одного или нескольких ранее кодированных изображений/групп плиток.

9. Предлагается отменить активизацию зависимого от яркостной составляющей масштабирования остатка цветностной составляющей (LCRS) для определенных размеров блоков/временных слоев/типов групп плиток/типов изображений/режимов кодирования/информацию об определенных типов движения.

a. В одном из примеров, даже если процедура прямого/обратного переформирования применяется к блокам яркостной составляющей, процедура масштабирования LCRS может не применяться к соответствующим блокам цветностной составляющей.

b. В качестве альтернативы, даже если процедура прямого/обратного переформирования не применяется к блокам яркостной составляющей, процедура масштабирования LCRS может по-прежнему применяться к соответствующим блокам цветностной составляющей.

c. В одном из примеров, масштабирование LCRS не используется, когда применяются режимы кросс-компонентной линейной модели (cross-component linear model (CCLM)). Совокупность режимов CCLM содержит LM, LM-A и LM-L.

d. В одном из примеров, масштабирование LCRS не используется, когда режимы кросс-компонентной линейной модели (CCLM) не применяются. Совокупность режимов CCLM содержит LM, LM-A и LM-L.

e. В одном из примеров, когда кодированный блок яркостной составляющей превышает одну единицу VPDU (например, 64x64).

В одном из примеров, когда размер блока яркостной составляющей меньше M*H отсчетов, например, 16 или 32 или 64 яркостных отсчетов, масштабирование LCRS не допускается.

ii. В качестве альтернативы, когда минимальный размер - ширина и/или высота, блока яркостной составляющей меньше или не больше X, масштабирование LCRS не допускается. В одном из примеров, X устанавливают равным 8.

iii. В качестве альтернативы, когда минимальный размер - ширина и/или высота, блока яркостной составляющей не меньше X, масштабирование LCRS не допускается. В одном из примеров, X устанавливают равным 8.

iv. В качестве альтернативы, когда ширина блока > th1 или >=th1 и/или высота блока яркостной составляющей > th2 или >=th2, масштабирование LCRS не допускается. В одном из примеров, th1 и/или th2 устанавливают равным 8.

1. В одном из примеров, th1 и/или th2 устанавливают равным 128.

2. В одном из примеров, th1 и/или th2 устанавливают равным 64.

v. В качестве альтернативы, когда ширина блока яркостной составляющей < th1 или <=th1 и/или высота блока яркостной составляющей < th2 или <a=th2, масштабирование LCRS не допускается. В одном из примеров, th1 и/или th2 устанавливают равным 8.

10. Следует ли отменить активизацию переформирования ILR (процедуры прямого переформирования и/или процедуры обратного переформирования) может зависеть от коэффициентов.

a. В одном из примеров, когда один блок кодирован со всеми нулевыми коэффициентами, процедуру прямого переформирования применительно к прогнозируемому блоку пропускают.

b, В одном из примеров, когда один блок кодирован со всеми нулевыми коэффициентами, процедуру обратного переформирования применительно к реконструированному блоку пропускают.

c. В одном из примеров, когда один блок кодируют только с одним ненулевым коэффициентом, расположенным в определенных позициях, (например, DC-коэффициент, расположенный в верхней левой позиции одного блока, коэффициент, расположенный в верхней левой кодовой группе в одном блоке) процедуру прямого переформирования применительно к прогнозируемому блоку и/или процедуру обратного переформирования применительно к реконструированному блоку пропускают.

d. В одном из примеров, когда один блок кодирован так, что он имеет только M (например, M=1) ненулевых коэффициентов, процедуру прямого переформирования применительно к прогнозируемому блоку и/или процедуру обратного переформирования применительно к реконструированному блоку пропускают.

11. Предлагается разбивать область применения переформирования ILR на единицы данных виртуального конвейера (VPDU), если кодированный блок превосходит одну единицу VPDU. Каждая применяемая область (например, с максимальным размером 64x64) рассматривается как индивидуальная единица CU для операции переформирования ILR.

a. В одном из примеров, когда ширина блока > th1 или >=th1 и/или высота блока > th2 или >=th2, этот блок может быть разбит на суб-блоки с шириной < th1 или <= th1 и/или высотой < th2 или <= th2, и переформирование ILR может быть осуществлено для каждого суб-блока.

В одном из примеров, суб-блоки могут иметь одинаковую ширину и/или высоту.

ii. В одном из примеров, суб-блоки, за исключением тех, что расположены на правой границе и/или на нижней границе, могут иметь одинаковую ширину и/или высоту.

iii. В одном из примеров, суб-блоки, за исключением тех, что расположены на левой границе и/или на верхней границе, могут иметь одинаковую ширину и/или высоту.

b. В одном из примеров, когда размер блока (т.е. ширина * высота) > th3 или >= th3, его можно разбить на суб-блоки размером < th3 или <= th3, и переформирование ILR может быть выполнено для каждого суб0блока.

В одном из примеров, суб-блоки могут быть одинакового размера.

ii. В одном из примеров, суб-блоки за исключением тех, что расположены на правой границе и/или на нижней границе, могут иметь одинаковый размер.

iii. В одном из примеров, суб-блоки за исключением тех, что расположены на левой границе и/или на верхней границе, могут иметь одинаковый размер.

c. В качестве альтернативы, использование переформирования ILR ограничено только размерами определенного блока.

В одном из примеров, когда кодированный блок превосходит одну единицу VPDU (например, 64x64), переформирование ILR не допускается.

ii. В одном из примеров, когда блок содержит меньше M*H отсчетов, например, 16 или 32 или 64 яркостных отсчетов, переформирование ILR не допускается.

iii. В качестве альтернативы, когда минимальный размер ширины и/или высоты блока меньше или не больше X, переформирование ILR не допускается. В одном из примеров, X устанавливают равным 8.

iv В качестве альтернативы, когда минимальный размер ширины и/или высоты блока не меньше X, переформирование ILR не допускается. В одном из примеров, X устанавливают равным 8.

v. В качестве альтернативы, когда ширина блока > th1 или >=th1 и/или высота блока > th2 или >=th2, переформирование ILR не допускается. В одном из примеров, величину th1 и/или th2 устанавливают равной 8.

l. В одном из примеров, величину th1 и/или th2 устанавливают равной 128.

2. В одном из примеров, величину th1 и/или th2 устанавливают равной 64.

vi. В качестве альтернативы, когда ширина блока < th1 или <=th1 и/или высота блока < th2 или <a=th2, переформирование ILR не допускается. В одном из примеров, величину th1 и/или th2 устанавливают равной 8.

12. Приведенные выше способы (например, следует ли отменить активизацию переформирования ILR, и/или следует ли отменить активизацию масштабирования LCRS, и/или следует ли передать в виде сигнализации модель PWL/преобразовательные таблицы для кодирования цветностной составляющей) могут зависеть от цветового формата, такого как 4:4:4/4:2:0.

13. Индикация активизации переформирования ILR (например, флаг tile_group_reshaper_enable_flag) может быть кодирована при условии индикации представленной модели устройства переформирования (например, флага tile_group_reshaper_model_present_flag).

a. В качестве альтернативы, флаг tile_group_reshaper_model_present_flag может быть кодирован при условии флага tile_group_reshaper_enable_flag.

b. В качестве альтернативы, может быть кодирован только один из двух синтаксических элементов, включая флаг tile_group_reshaper_model_present_flag и флаг tile_group_reshaper_enable_flag. Величину другого элемента устанавливают равной величине элемента, который может быть передан в виде сигнализации.

14. Различные способы усечения могут быть применены к прогнозируемому сигналу и к процедуре реконструкции.

a. В одном из примеров, может быть применен способ адаптивного усечения, и максимальная и минимальная величины, подлежащие усечению, могут быть определены переформированной области.

b. В одном из примеров, адаптивное усечение может быть применено к прогнозируемому сигналу в переформированной области.

c. В качестве альтернативы, кроме того, к реконструированному блоку может быть применено фиксированное усечение (например, в соответствии с битовой глубиной).

15. Параметры фильтров (такие, как используются в фильтрах DF, BF, HF) могут зависеть от того, применяется ли переформирование ILR или нет.

16. Предполагается, что для блоков, кодированных в режиме палитры, переформирование ILR не активизировано вовсе или применяется по-разному.

a. В одном из примеров, когда блок кодирован в режиме палитры, процедуры переформирования и обратного переформирования пропускают.

b. В качестве альтернативы, когда блок кодирован в режиме палитры, могут быть применены различные функции переформирования и обратного переформирования.

17. В качестве альтернативы, когда переформирование ILR применяется, режим палитры может быть кодирован по-разному.

a. В одном из примеров, когда применяется переформирование ILR, режим палитры может быть кодирован в исходной области.

b. В качестве альтернативы, когда применяется переформирование ILR, режим палитры может быть кодирован в переформированной области.

c. В одном из примеров, когда применяется переформирование ILR, сигнализация о предикторах палитры может быть передана в исходной области.

d. В качестве альтернативы, когда применяется переформирование ILR, сигнализация о предикторах палитры может быть передана в переформированной области.

18. Предлагается, что для блоков, кодированных в режиме копирования IBC, активизацию переформирования ILR отменяют или применяют это переформирование по-разному.

a. В одном из примеров, когда блок кодируют в режиме копирования IBC, операции переформирования и обратного переформирования пропускают.

b. В качестве альтернативы, когда блок кодируют в режиме копирования IBC, применяют разные операции переформирования и обратного переформирования.

19. В качестве альтернативы, когда применяется переформирование ILR, кодирование в режиме копирования IBC может быть выполнено по-разному.

a. В одном из примеров, когда применяется переформирование ILR, кодирование в режиме копирования IBC может быть выполнено в исходной области.

b. В качестве альтернативы, когда применяется переформирование ILR, кодирование в режиме копирования IBC может быть выполнено в переформированной области.

20. Предлагается, чтобы для блоков, кодированных в режиме модуляции B-DPCM, переформирование ILR не было активизировано или применялось по-разному.

a. В одном из примеров, когда блок кодирован в режиме модуляции B-DPCM, операции переформирования и обратного переформирования пропускают.

b. В качестве альтернативы, когда блок кодирован в режиме модуляции B-DPCM, применяют разные операции переформирования и обратного переформирования.

21. В качестве альтернативы, когда применяется переформирование ILR, кодирование в режиме с модуляцией B-DPCM может быть выполнено по-разному.

a. В одном из примеров, когда применяется переформирование ILR, кодирование в режиме с модуляцией B-DPCM может быть выполнено в исходной области.

b. В качестве альтернативы, когда применяется переформирование ILR, кодирование в режиме с модуляцией B-DPCM может быть выполнено в переформированной области.

22. Предлагается, чтобы для блоков, кодированных в режиме пропуска трансформации, переформирование ILR не было активизировано или применялось по-разному.

a. В одном из примеров, когда блок кодирован в режиме пропуска трансформации, операции переформирования и обратного переформирования пропускают.

b. В качестве альтернативы, когда блок кодирован в режиме пропуска трансформации, могут быть применены разные операции переформирования и обратного переформирования.

23. В качестве альтернативы, когда применяется переформирование ILR, режим пропуска трансформации может быть кодирован по-разному.

a. В одном из примеров, когда применяется переформирование ILR, пропуск трансформации может быть выполнен в исходной области.

b. В качестве альтернативы, когда применяется переформирование ILR, пропуск трансформации может быть выполнен в переформированной области.

24. Предлагается, чтобы для блоков, кодированных в режиме модуляции I-PCM, переформирование ILR не было активизировано или применялось по-разному.

a. В одном из примеров, когда блок кодирован в режиме палитры, операции переформирования и обратного переформирования пропускают.

b. В качестве альтернативы, когда блок кодирован в режиме палитры, могут быть применены разные функции переформирования и обратного переформирования.

25. В качестве альтернативы, когда применяется переформирование ILR, кодирование в режиме модуляции I-PCM может быть выполнено по-разному.

a. В одном из примеров, когда применяется переформирование ILR, кодирование в режиме модуляции I-PCM может быть выполнено в исходной области.

b. В качестве альтернативы, когда применяется переформирование ILR, кодирование в режиме модуляции I-PCM может быть выполнено в переформированной области.

26. Предлагается, чтобы для блоков, кодированных в режиме обхода трансформации и квантования, переформирование ILR не было активизировано или применялось по-разному.

a. В одном из примеров, когда блок кодирован в режиме обхода трансформации и квантования, операции переформирования обратного переформирования пропускают.

27. В качестве альтернативы, когда блок кодирован в режиме обхода трансформации и квантования, могут быть применены разные функции переформирования и обратного переформирования.

28. В приведенных выше позициях, когда переформирование ILR не активизировано, процедуры прямого переформирования и/или обратного переформирования могут быть пропущены.

a. В качестве альтернативы, прогнозируемый сигнал и/или реконструированный сигнал и/или сигнал остатка находятся в исходной области.

b. В качестве альтернативы, прогнозируемый сигнал и/или реконструированный сигнал и/или сигнал остатка находятся в переформированной области.

29. Несколько функций переформирования/обратного переформирования (таких как несколько моделей PWL) могут быть допустимыми для кодирования одного изображения/одной группы плиток/одной единицы VPDU/одной области/одного ряда единиц CTU/нескольких единиц CU.

a. Как именно выбрать из нескольких функций может зависеть от размеров блока/режима кодирования/типа изображения/флага контроля малой задержки/информации о движении/опорных изображений/контента видео и т.д.

b. В одном из примеров, о нескольких наборах дополнительной информации о переформировании ILR (например, о функциях переформирования /обратного переформирования) может быть сообщено в виде сигнализации в наборе SPS/наборе VPS/наборе PPS/заголовке последовательности/заголовке изображения/заголовке группы плиток/областях/единицах VPDU/и т.д.

В качестве альтернативы, кроме того, может быть использовано кодирование с прогнозированием применительно к дополнительной информации о переформировании ILR.

c. В одном из примеров, более одного идентификатора aps_idx могут быть переданы в виде сигнализации в наборе PPS/заголовке изображения/заголовке группы плиток/заголовке плитки/областях/единицах VPDU/и т.д.

30. В одном из примеров, информацию о переформировании сообщают в виде сигнализации в новом синтаксическом наборе, отличном от набора VPS, набора SPS, набора PPS или набора APS. Например, информацию о переформировании сообщают в виде сигнализации в наборе, обозначенном как inloop_reshaping_parameter_set() (IRPS, или под другим названием).

a. Пример структуры синтаксиса показан ниже. Добавленный синтаксис выделен курсивом.

Параметр inloop_reshaping_parameter_set_id является идентификатором для набора IRPS параметров для ссылок со стороны других синтаксических элементов.

Примечание - Наборы IRPS могут быть использованы несколькими изображениями и могут различаться в разных группах плиток в одном изображении.

Флаг irps_extension_flag, равный 0, специфицирует, что синтаксические элементы с флагом irps_extension_data_flag не присутствуют в синтаксической структуре IRPS RBSP. Флаг irps_extension_flag, равный 1, специфицирует, что синтаксические элементы с флагом irps_extension_data_flag присутствуют в синтаксической структуре IRPS RBSP.

Флаг irps_extension_data_flag может иметь любое значение. Его присутствие и значение не влияет на соответствие декодирующего устройства профилям, специфицированным в этой версии настоящего Описания. Декодирующие устройства, соответствующие этой версии настоящего Описания должны игнорировать все синтаксические элементы с флагом irps_extension_data_flag.

b. Пример структуры синтаксиса показан ниже. Добавленный синтаксис выделен курсивом.

Общий синтаксис и семантика заголовка группы плиток

Параметр tile_group_irps_id специфицирует идентификатор inloop_reshaping_parameter_set_id набора IRPS, к которому относится рассматриваемая группа плиток. Параметр TemporalId единицы IRPS NAL, имеющей идентификатор inloop_reshaping_parameter_set_id, равный идентификатору tile_group_irps_id, должен быть не больше параметра TemporalId единицы NAL кодированной группы плиток.

31. В одном из примеров, информацию о переформировании IRL сообщают в виде сигнализации вместе с информацией о фильтрации ALF в наборе APS.

a. Пример структуры синтаксиса показан ниже. Добавленный синтаксис выделен курсивом.

Синтаксис и семантика набора параметров адаптации

В одном из примеров, один идентификатор tile_group_aps_id передают в виде сигнализации в заголовке группы плиток для спецификации идентификатора adaptation_parameter_set_id набора APS, к которому относится рассматриваемая группа плиток. В этом специфицированном наборе APS передают в виде сигнализации информацию о фильтрации ALF и информацию о переформировании ILR для текущей группы плиток.

i. Пример структуры синтаксиса показан ниже. Добавленный синтаксис выделен курсивом.

32. В одном из примеров, информацию о переформировании ILR и информацию о фильтрации ALF передают в разных наборах APS.

a. Первый идентификатор ID (может называться tile_group_aps_id_alf) передают в виде сигнализации в заголовке группы плиток, чтобы специфицировать первый идентификатор adaptation_parameter_set_id первого набора APS, к которому относится рассматриваемая группа плиток. Информацию о фильтрации ALF для текущей группы плиток передают в виде сигнализации в специфицированном первом наборе APS.

b. Второй идентификатор ID (может называться tile_group_aps_id_irps) передают в виде сигнализации в заголовке группы плиток, чтобы специфицировать второй идентификатор adaptation_parameter_set_id второго набора APS, к которому относится рассматриваемая группа плиток. Информацию о переформировании ILR для текущей группы плиток передают в виде сигнализации в специфицированном втором наборе APS.

c. В одном из примеров, первый набор APS должен содержать информацию о фильтрации ALF в потоке битов данных соответствия;

d. В одном из примеров, второй набор APS должен содержать информацию о переформировании ILR в потоке битов данных соответствия;

e. Пример структуры синтаксиса показан ниже. Добавленный синтаксис выделен курсивом.

33. В одном из примеров, некоторые наборы APS со специфицированным идентификатором adaptation_parameter_set_id должны иметь информацию о фильтрации ALF. В качестве другого примера некоторые наборы APS со специфицированным идентификатором adaptation_parameter_set_id должны иметь информацию о переформировании ILR.

a. Например, наборы APS с идентификатором adaptation_parameter_set_id, равным 2N должны иметь информацию о фильтрации ALF. Здесь N является целым числом;

b. Например, наборы APS с идентификатором adaptation_parameter_set_id, равным 2N+1, должны иметь информацию о переформировании ILR. Здесь N является целым числом;

c. Пример структуры синтаксиса показан ниже. Добавленный синтаксис выделен курсивом.

Например, параметр 2* tile_group_aps_id_alf специфицирует первый идентификатор adaptation_parameter_set_id первого набора APS, к которому относится рассматриваемая группа плиток. Информацию о фильтрации ALF для текущей группы плиток передают в виде сигнализации в специфицированном первом наборе APS.

ii. Например, параметр 2* tile_group_aps_id_irps+1 специфицирует второй идентификатор adaptation_parameter_set_id второго набора APS, к которому относится рассматриваемая группа плиток. Информацию о переформировании ILR для текущей группы плиток передают в виде сигнализации в специфицированном втором наборе APS.

34. В одном из примеров, группа плиток не может относиться к набору APS (или набору IRPS), сообщенному в виде сигнализации прежде единицы уровня сетевой абстракции (NAL) специфицированного типа, которую передают в виде сигнализации прежде текущей группы плиток.

a. В одном из примеров, группа плиток не может относиться к набору APS (или набору IRPS), сообщенному в виде сигнализации прежде специфицированного типа группы плиток, который передают в виде сигнализации прежде текущей группы плиток.

b. Например, группа плиток не может относиться к набору APS (или набору IRPS), сообщенному в виде сигнализации прежде набора SPS, который передают в виде сигнализации прежде текущей группы плиток.

c. Например, группа плиток не может относиться к набору APS (или набору IRPS), сообщенному в виде сигнализации прежде набора PPS, который передают в виде сигнализации прежде текущей группы плиток.

d. Например, группа плиток не может относиться к набору APS (или набору IRPS), сообщенному в виде сигнализации прежде ограничителя единицы доступа (Access unit delimiter NAL(AUD)), который передают в виде сигнализации прежде текущей группы плиток.

e. Например, группа плиток не может относиться к набору APS (или набору IRPS), сообщенному в виде сигнализации прежде единицы конца потока битов данных (End of bitstream NAL(EoB)), которую передают в виде сигнализации прежде текущей группы плиток.

f. Например, группа плиток не может относиться к набору APS (или набору IRPS), сообщенному в виде сигнализации прежде единицы конца последовательности (End of sequence NAL(EoS)), которую передают в виде сигнализации прежде текущей группы плиток.

g. Например, группа плиток не может относиться к набору APS (или набору IRPS), сообщенному в виде сигнализации прежде единицы мгновенного обновления декодирования (instantaneous decoding refresh (IDR) NAL), которую передают в виде сигнализации прежде текущей группы плиток.

h. Например, группа плиток не может относиться к набору APS (или набору IRPS), сообщенному в виде сигнализации прежде единицы чистого произвольного доступа (clean random access (CRA) NAL), которую передают в виде сигнализации прежде текущей группы плиток.

i. Например, группа плиток не может относиться к набору APS (или набору IRPS), сообщенному в виде сигнализации прежде единицы с точкой произвольного доступа при внутрикадровом прогнозировании (intra random access point (IRAP)), который передают в виде сигнализации прежде текущей группы плиток.

j. Например, группа плиток не может относиться к набору APS (или набору IRPS), сообщенному в виде сигнализации прежде группы плиток (или изображения, или среза) I-типа, которую передают в виде сигнализации прежде текущей группы плиток.

k. Способы, описываемые в документах IDF-P1903237401H и IDF-P1903234501H, могут также быть применены, когда информацию о переформировании ILR передают в наборе APS или в наборе IRPS.

35. Поток битов данных соответствия должен удовлетворять условию, что когда способ внутриконтурного переформирования активизирован для одной единицы видеоданных (такой как последовательность) должны быть определены параметры переформирования ILR по умолчанию, такие как модель по умолчанию.

a. Флаг sps_lmcs_default_model_present_flag должен быть установлен равным 1, когда флаг sps_lmcs_enabled_flag установлен равным 1.

b. Параметры по умолчанию могут быть переданы в виде сигнализации при условии наличия флага активизации переформирования ILR вместо флага присутствия модели по умолчанию (такого как флаг sps_lmcs_default_model_present_flag).

c. Для каждой группы плиток флаг использования модели по умолчанию (такой как tile_group_lmcs_use_default_model_flag) может быть передан в виде сигнализации без ссылки на флаг использования модели по умолчанию из набора SPS.

d. Поток битов данных соответствия должен удовлетворять условию, что когда нет информации о переформировании ILR среди соответствующих типов в наборе APS для переформирования ILR, и одна единица видеоданных (такая как группа плиток) принудительно использует технологию переформирования ILR, должна быть использована модель по умолчанию.

e. В качестве альтернативы, поток битов данных соответствия должен удовлетворять условию, что когда нет информации о переформировании ILR среди соответствующих типов в наборе APS для переформирования ILR, и одна единица видеоданных (такая как группа плиток) принудительно использует технологию переформирования ILR (такую как равный 1 флаг tile_group_lmcs_enable_flag), индикация использования модели по умолчанию должна быть истинной, например, флаг tile_group_lmcs_use_default_model_flag должен быть равен 1.

f. Ограничено, что параметры переформирования ILR по умолчанию (такие, как модель по умолчанию) должен быть переданы в единице видеоданных (такой как набор SPS).

i. В качестве альтернативы, кроме того, параметры переформирования ILR должны быть переданы, когда флаг набора SPS, указывающий использование переформирования ILR, является истинным.

g. Ограничено, что по меньшей мере один набор ILR APS передают в единице видеоданных (такой как набор SPS).

i. В одном из примеров, по меньшей мере один набор ILR APS содержит параметры переформирования ILR по умолчанию (такие как модель по умолчанию).

36. Параметры переформирования ILR по умолчанию могут быть обозначены одним флагом. Когда этот флаг указывает, что используются параметры переформирования ILR по умолчанию, нет необходимости дополнительно сигнализировать данные переформирования ILR.

37. Параметры переформирования ILR по умолчанию могут быть заданы предварительно, когда их не передают в виде сигнализации. Например, параметры переформирования ILR по умолчанию могут соответствовать отображению идентичности.

38. Информация временного уровня может быть передана в виде сигнализации вместе с параметрами переформирования ILR, такими как набор ILR APS.

a. В одном из примеров, индекс временного слоя может быть передан в виде сигнализации в параметре lmcs_data().

b. В одном из примеров, в параметре lmcs_data() может быть передан в виде сигнализации индекс временного слоя минус 1.

c. В качестве альтернативы, кроме того, при кодировании/декодировании одной группы плиток/одной плитки, ситуация ограничивается ссылками на те наборы ILR APS, которые ассоциированы с меньшим или равным индексом временного слоя.

d. В качестве альтернативы, при кодировании/декодировании одной группы плиток/одной плитки, ситуация ограничивается ссылками на те наборы ILR APS, которые ассоциированы с меньшим индексом временного слоя.

e. В качестве альтернативы, при кодировании/декодировании одной группы плиток/одной плитки, ситуация ограничивается ссылками на те наборы ILR APS, которые ассоциированы с большим индексом временного слоя.

f. В качестве альтернативы, при кодировании/декодировании одной группы плиток/одной плитки, ситуация ограничивается ссылками на те наборы ILR APS, которые ассоциированы с большим или равным индексом временного слоя.

g. В качестве альтернативы, при кодировании/декодировании одной группы плиток/одной плитки, ситуация ограничивается ссылками на те наборы ILR APS, которые ассоциированы с равным индексом временного слоя.

h. В одном из примеров, применять ли приведенные выше ограничения может зависеть от сегмента информации, который может быть передан в виде сигнализации декодирующему устройству или сформирован самим декодирующим устройством.

39. Информацию временного слоя можно передавать в виде сигнализации вместе с параметрами фильтрации ALF, как в наборе ALF APS.

a. В одном из примеров, индекс временного слоя может быть передан в виде сигнализации в параметре alf_data().

b. В одном из примеров, в параметре alf_data() может быть передан в виде сигнализации индекс временного слоя минус 1.

c. В качестве альтернативы, кроме того, при кодировании/декодировании одной группы плиток/одной плитки или одной единицы CTU в одной плитке/группе плиток ситуация ограничивается ссылками на те наборы ALF APS, которые ассоциированы с меньшим или равным индексом временного слоя.

d. В качестве альтернативы, кроме того, при кодировании/декодировании одной группы плиток/одной плитки, ситуация ограничивается ссылками на те наборы ALF APS, которые ассоциированы с меньшим индексом временного слоя.

e. В качестве альтернативы, кроме того, при кодировании/декодировании одной группы плиток/одной плитки, ситуация ограничивается ссылками на те наборы ALF APS, которые ассоциированы с большим индексом временного слоя.

f. В качестве альтернативы, кроме того, при кодировании/декодировании одной группы плиток/одной плитки, ситуация ограничивается ссылками на те наборы ALF APS, которые ассоциированы с большим или равным индексом временного слоя.

g. В качестве альтернативы, кроме того, при кодировании/декодировании одной группы плиток/одной плитки, ситуация ограничивается ссылками на те наборы ALF APS, которые ассоциированы с равным индексом временного слоя.

h. В одном из примеров, применять ли приведенные выше ограничения может зависеть от сегмента информации, который может быть передан в виде сигнализации декодирующему устройству или сформирован самим декодирующим устройством.

40. В одном из примеров, отображение переформирования между исходными отсчетами и переформированными отсчетами не может быть позитивным соотношением, иными словами, не допускается отображение одной большей величины в меньшую величину.

a. Например, отображение переформирования между исходными отсчетами и переформированными отсчетами может быть негативным соотношением, где из двух величин большая величина из исходной области может быть отображена в меньшую величину в переформированной области.

41. В потоке битов данных соответствия, синтаксический элемент aps_params_type может принимать только ряд заданных значений, таких как 0 и 1.

a. В другом примере, этот элемент может принимать только значения 0 и 7.

42. В одном из примеров, информация о переформировании ILR по умолчанию обязательно должна быть передана, если переформирование ILR может быть применено (например, флаг sps_lmcs_enabled_flag является истинным).

5. Примеры реализации предлагаемой технологии

В некоторых вариантах, флаг tile_group_reshaper_enable_flag условно присутствует, когда активизирован флаг tile_group_reshaper_model_present_flag. Добавленный синтаксис выделен курсивом.

В 7.3.3.1 Общий синтаксис заголовка группы плиток

В качестве альтернативы, флаг tile_group_reshaper_model_present_flag условно присутствует, когда флаг tile_group_reshaper_enable_flag активизирован.

В качестве альтернативы, только один из двух синтаксических элементов может быть передан в виде сигнализации - tile_group_reshaper_model_present_flag или tile_group_reshaper_enable_flag. Элемент, который не передан, может быть выведен равным тому элементу, который передан. В этом случае, указанный один синтаксический элемент управляет использованием переформирования ILR.

В качестве альтернативы, поток битов данных соответствия требует, чтобы флаг tile_group_reshaper_model_present_flag был равен флагу tile_group_reshaper_enable_flag.

В качестве альтернативы, флаг tile_group_reshaper_model_present_flag и/или флаг tile_group_reshaper_enable_flag и/или параметр tile_group_reshaper_model ( ), и/или флаг tile_group_reshaper_chroma_residual_scale_flag может быть передан в виде сигнализации в наборе APS вместо заголовка группы плиток.

Вариант #2 поверх документа JVET-N0805. Добавленный синтаксис выделен курсивом.

…

Флаг sps_lmcs_enabled_flag, равный 1, специфицирует отображение яркостной составляющей с масштабированием цветностной составляющей, используемое в кодированной видеопоследовательности(CVS). Флаг sps_lmcs_enabled_flag, равный 0, специфицирует, что отображение яркостной составляющей с масштабированием цветностной составляющей не используется в последовательности CVS.

Флаг sps_lmcs_default_model_present_flag, равный 1, специфицирует, что данные режима lmcs по умолчанию присутствуют в наборе SPS. Флаг sps_lmcs_default_model_flag, равный 0, специфицирует, что данные режима lmcs по умолчанию не присутствуют в наборе SPS. Когда этот флаг sps_lmcs_default_model_present_flag отсутствует, его считают равным 0.

…

Параметр aps_params_type специфицирует тип параметров набора APS, передаваемых в этом наборе APS, как это специфицировано в следующей таблице:

Таблица 7-x - Коды типов параметров набора APS и типы параметров набора APS aps_params_type Название aps_params_type Типы параметров набора APS 0 ALF_APS Параметры фильтрации ALF 1 LMCS_APS Параметры режима LMCS 2..7 Зарезервировано Зарезервировано

ALF APS: Набор APS, имеющий параметр aps_params_type, равный ALF_APS.

LMCS APS: Набор APS, имеющий параметр aps_params_type, равный LMCS_APS.

Внесение следующих изменений семантики:

...

Параметр tile_group_alf_aps_id специфицирует идентификатор adaptation_parameter_set_id набора ALF APS, к которому относится группа плиток. Параметр TemporalId единицы ALF APS NAL, имеющий параметр adaptation_parameter_set_id, равный идентификатору tile_group_alf_aps_id, должен быть не больше параметра TemporalId единицы NAL кодированной группы плиток.

Когда несколько наборов ALF APS с одинаковой величиной идентификатора adaptation_parameter_set_id относятся к двум или более группам плиток из одного и того же изображения, эти несколько наборов ALF APS с одним и тем же значением идентификатора adaptation_parameter_set_id должны иметь одинаковый контент.

...

Флаг tile_group_lmcs_enabled_flag, равный 1, специфицирует, что режим отображения яркостной составляющей с масштабированием цветностной составляющей активизирован для текущей группы плиток. Флаг tile_group_lmcs_enabled_flag, равный 0, специфицирует, что режим отображения яркостной составляющей с масштабированием цветностной составляющей не активизирован для текущей группы плиток. Когда флаг tile_group_lmcs_enable_flag не присутствует, его считают равным 0.

Флаг tile_group_lmcs_use_default_model_flag, равный 1, специфицирует, что операция отображения яркостной составляющей с масштабированием цветностной составляющей для группы плиток использует модель lmcs по умолчанию. Флаг tile_group_lmcs_use_default_model_flag, равный 0, специфицирует, что операция отображения яркостной составляющей с масштабированием цветностной составляющей для группы плиток использует модель lmcs из набора LMCS APS, относящегося к идентификатору tile_group_lmcs_aps_id. Когда флаг tile_group_reshaper_use_default_model_flag не присутствует, его принимают равным 0.

Параметр tile_group_lmcs_aps_id специфицирует идентификатор adaptation_parameter_set_id из набора LMCS APS, к которому относится группа плиток. Параметр TemporalId из единицы LMCS APS NAL, имеющей идентификатор adaptation_parameter_set_id, равный tile_group_lmcs_aps_id, должен быть не меньше параметра TemporalId единицы NAL для кодированной группы плиток.

Когда несколько наборов LMCS APS с одинаковым значением идентификатора adaptation_parameter_set_id относятся к двум или более группам плиток в одном и том же изображении, эти несколько наборов LMCS APS с одинаковым значением идентификатора adaptation_parameter_set_id должны иметь одинаковый контент.

Флаг tile_group_chroma_residual_scale_flag, равный 1, специфицирует, что масштабирование остатка цветностной составляющей активизировано для текущей группы плиток. Флаг tile_group_chroma_residual_scale_flag, равный 0, специфицирует, что масштабирование остатка цветностной составляющей не активизировано для текущей группы плиток. Когда флаг tile_group_chroma_residual_scale_flag не присутствует, его считают равным 0.

…

…

Синтаксис данных режима отображения яркостной составляющей с масштабированием цветностной составляющей

Примеры, описанные выше, могут быть включены в контекст способа, описываемого ниже, например, способы, как показано на фиг. 31A - 39E, которые могут быть реализованы в устройстве для девидеокодирования или в устройстве для видеокодирования.

Фиг. 31A показывает логическую схему примера способа обработки видео. Способ 3100 содержит, на этапе 3110, выполнение, для осуществления преобразования между текущим видеоблоком и кодированным представлением видео, процедуры уточнения информации о движении на основе отсчетов в первой области или во второй области. Этот способ 3100 содержит на этапе 3120, осуществление преобразования на основе результата процедуры уточнения информации о движении. В некоторых вариантах реализации, в процессе преобразования получают отсчеты для текущего видеоблока из первого прогнозируемого блока в первой области с использованием неуточненной информации о движении, по меньшей мере второй прогнозируемой блок генерируют во второй области с применением уточненной информации о движении, используемой для определения реконструированного блока, и генерируют реконструированные отсчеты текущего блока видео по меньшей мере на основе второго прогнозируемого блока

Фиг. 31B показывает логическую схему примера способа обработки видео. Способ 3120 содержит, на этапе 3122, реконструкцию, на основе по меньшей мере одного прогнозируемого блока во второй области, текущего видеоблока. В некоторых вариантах реализации, в процессе преобразования, текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей. В некоторых вариантах реализации, в процессе преобразования применяют инструмент кодирования, полученный на основе по меньшей мере множества первых отсчетов в видеообласти видео и множества вторых отсчетов в опорном изображении для текущего видеоблока. В некоторых вариантах реализации, область для первых отсчетов и область для вторых отсчетов совмещены.

Фиг. 32A показывает логическую схему примера способа обработки видео. Способ 3210 содержит, на этапе 3212, определение, для текущего видеоблока текущей видеообласти видео, параметра для режима кодирования текущего видеоблока на основе одного или нескольких параметров режима кодирования предыдущей видеообласти. Способ 3210 дополнительно содержит, на этапе 3214, осуществление кодирования для текущего видеоблока с целью генерации кодированного представления видео на основе этого определения. В некоторых вариантах реализации, указанный параметр режима кодирования входит в набор параметров в кодированном представлении видео. В некоторых вариантах реализации, процедура кодирования содержит трансформацию представления текущего видеоблока в первой области в представление этого текущего видеоблока во второй области. В некоторых вариантах реализации, в процессе кодирования с использованием режима кодирования, текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Фиг. 32B показывает логическую схему примера способа обработки видео. Этот способ 3220 содержит, на этапе 3222, прием кодированного представления видео, содержащего набор параметров и в том числе информацию о параметрах для режима кодирования. Способ 3220 далее содержит, на этапе 3224, осуществление декодирования кодированного представления с использованием информации о параметрах для генерации текущего видеоблока в текущей видеообласти видео на основе кодированного представления. В некоторых вариантах реализации, информация о параметрах для режима кодирования основана на одном или нескольких параметрах режима кодирования предыдущей видеообласти. В некоторых вариантах реализации, в режиме кодирования, текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Фиг. 32C показывает логическую схему примера способа обработки видео. Способ 3230 содержит, на этапе 3232, осуществление преобразования между текущим видеоблоком видео и кодированным представлением видео. В некоторых вариантах реализации, процедура преобразования содержит применение операции фильтрации к прогнозируемому блоку в первой области или во второй области, отличной от первой области.

Фиг. 32D показывает логическую схему примера способа обработки видео. Способ 3240 содержит, на этапе 3242, осуществление преобразования между текущим видеоблоком видео и кодированным представлением видео. В некоторых вариантах реализации, в процессе преобразования, определяют конечный реконструированный блок для текущего видеоблока. В некоторых вариантах реализации, временный реконструированный блок генерируют с использованием способа прогнозирования и представляют во второй области.

Фиг. 33 показывает логическую схему примера способа обработки видео. Способ 3300 содержит, на этапе 3302, осуществление преобразования между текущим видеоблоком текущей видеообласти видео и кодированным представлением видео, где процедура преобразования использует режим кодирования, в котором текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, и где набор параметров в кодированном представлении содержит информацию о параметрах для режима кодирования.

Фиг. 34A показывает логическую схему примера способа обработки видео. Способ 3410 содержит, на этапе 3412, осуществление преобразования между текущим видеоблоком видео, представляющим собой блок цветностной составляющей, и кодированным представлением видео, где, в процессе преобразования, текущий видеоблок конструируют на основе первой области и второй области, и где процедура преобразования далее содержит применение процедуры прямого переформирования и/или процедуры обратного переформирования к одной или нескольким цветностным составляющим текущего видеоблока.

Фиг. 34B показывает логическую схему примера способа обработки видео. Способ 3420 содержит, на этапе 3422, осуществление преобразования между текущим видеоблоком цветностной составляющей видео и кодированным представлением видео, где процедура преобразования содержит: определение, активизировано ли зависящее от яркостной составляющей масштабирование остатка цветностной составляющей (LCRS) или не активизировано, на основе некоторого правила и реконструкцию текущего видеоблока цветностной составляющей на основе результата определения.

Фиг. 35A показывает логическую схему примера способа обработки видео. Способ 3510 содержит, на этапе 3512, определение, для осуществления преобразования между текущим видеоблоком и кодированным представлением видео, следует ли отменить активизацию некоторого режима кодирования на основе значений одного или нескольких коэффициентов для текущего видеоблока. Этот способ 3510 далее содержит, на этапе 3514, осуществление преобразования на основе указанного определения. В некоторых вариантах реализации, в процессе преобразования с использованием указанного режима кодирования, текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Фиг. 35B показывает логическую схему примера способа обработки видео. Способ 3520 содержит, на этапе 3522, разбиение, для преобразования между текущим видеоблоком видео, превосходящим единицу данных виртуального конвейера (VPDU) для видео, текущего видеоблока на области. Этот способ 3520 далее содержит, на этапе 3524, осуществление преобразования путем применения режима кодирования по отдельности к каждой области. В некоторых вариантах реализации, в процессе преобразования с применением режима кодирования, текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Фиг. 35C показывает логическую схему примера способа обработки видео. Способ 3530 содержит, на этапе 3532, определение, для осуществления преобразования между текущим видеоблоком и кодированным представлением видео, следует ли отменить активизацию использования режима кодирования на основе размера или цветового формата текущего видеоблока. Этот способ 3530 далее содержит, на этапе 3534, осуществление преобразования на основе указанного определения. В некоторых вариантах реализации, в процессе преобразования с использованием указанного режима кодирования, текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Фиг. 35D показывает логическую схему примера способа обработки видео. Способ 3540 содержит, на этапе 3542, осуществление преобразования между текущим видеоблоком видео и кодированным представлением видео, где это преобразование использует режим кодирования, в котором текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, и где по меньшей мере один синтаксический элемент в указанном кодированном представлении создает индикацию использования указанного режима кодирования и индикацию модели устройства переформирования.

Фиг. 35E показывает логическую схему примера способа обработки видео. Способ 3550 содержит, на этапе 3552, определение, что режим кодирования не активизирован для осуществления преобразования между текущим видеоблоком и кодированным представлением видео. Этот способ 3550 далее содержит, на этапе 3554, условный пропуск прямого переформирования и/или обратного переформирования на основе результата указанного определения. В некоторых вариантах реализации, в указанном режиме кодирования, текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Фиг. 35F показывает логическую схему примера способа обработки видео. Способ 3560 содержит, на этапе 3562, осуществление преобразования между текущим видеоблоком видеообласти видео и кодированным представлением видео, где процедура преобразования использует режим кодирования, в котором текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, и где несколько операций прямого переформирования и/или несколько операций обратного переформирования применяют в режиме переформирования для видеообласти.

Фиг. 36A показывает логическую схему примера способа обработки видео. Способ 3610 содержит, на этапе 3612, выполнение определения, что некий режим кодирования активизирован для осуществления преобразования между текущим видеоблоком и кодированным представлением видео. Этот способ 3610 далее содержит, на этапе 3614, осуществление преобразования с использованием режима палитры, где по меньшей мере палитра репрезентативных величин отсчетов используется для текущего видеоблока. В некоторых вариантах реализации, в режиме кодирования, текущий видеоблок конструируют на основе отсчетов в первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Фиг. 36B показывает логическую схему примера способа обработки видео. Способ 3620 содержит, на этапе 3622, выполнение определения, для осуществления преобразования между текущим видеоблоком и кодированным представлением видео, что текущий видеоблок кодируют в режиме палитры, в котором по меньшей мере палитра репрезентативных величин отсчетов используется для кодирования текущего видеоблока. Этот способ 3620 далее содержит, на этапе 2624, осуществление, по результатам указанного определения, преобразования путем отмены активизации режима кодирования. В некоторых вариантах реализации, когда к видеоблоку применяется режим кодирования, этот видеоблок конструируют на основе остатка цветностной составляющей, масштабированного способом, зависящим от яркостной составляющей

Фиг. 36C показывает логическую схему примера способа обработки видео. Способ 3630 содержит, на этапе 3632, осуществление преобразования между первым видеоблоком видео и кодированное представление видео, где процедура преобразования использует первый режим кодирования и режим кодирования палитры, в котором по меньшей мере палитра репрезентативных величин пикселей используется для кодирования текущего видеоблока. Этот способ 3630 далее содержит, на этапе 3634, осуществление преобразования между вторым видеоблоком видео, кодируемым без использования режима кодирования палитры, и кодированным представлением видео, где процедура преобразования второго видеоблока использует первый режим кодирования. Когда к видеоблоку применяется первый режим кодирования, этот видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей. В некоторых вариантах реализации, первый режим кодирования применяют различными способами к первому видеоблоку и ко второму видеоблоку.

Фиг. 37A показывает логическую схему примера способа обработки видео. Способ 3710 содержит, на этапе 3712, выполнение определения, что режим кодирования активизирован для осуществления преобразования между текущим видеоблоком и кодированным представлением видео. Этот способ 3710 далее содержит, на этапе 3714, осуществление преобразования с использованием режима внутрикадрового копирования блоков, генерирующего прогнозируемый блок с использованием по меньшей мере вектора блока, указывающего на изображение, содержащее текущий видеоблок. В указанном режиме кодирования, текущий видеоблок конструируют на основе отсчетов в первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Фиг. 37B показывает логическую схему примера способа обработки видео. Способ 3720 содержит, на этапе 3722, выполнение определения, для осуществления преобразования между текущим видеоблоком и кодированным представлением видео, что текущий видеоблок кодируют в режиме внутрикадрового копирования блоков (IBC), в котором генерируют прогнозируемый блок с использованием по меньшей мере вектора блока, указывающего на видеокадр, содержащий текущий видеоблок, для кодирования этого текущего видеоблока. Этот способ 3720 далее содержит, на этапе 3724, осуществление, по результатам указанного определения, преобразования посредством отмены активизации режима кодирования. Когда этот режим кодирования применяют к видеоблоку, этот видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Фиг. 37C показывает логическую схему примера способа обработки видео. Способ 3730 содержит, на этапе 3732, осуществление преобразования между первым видеоблоком видео и кодированным представлением видео, где процедура преобразования использует режим внутрикадрового копирования блоков, который генерирует прогнозируемый блок с использованием по меньшей мере вектора блока, указывающего на видеокадр, содержащий текущий видеоблок, и первого режима кодирования. Этот способ 3730 далее содержит, на этапе 3734, осуществление преобразования между вторым видеоблоком видео, кодируемым без использования режима внутрикадрового копирования блоков, и кодированным представлением видео, где процедура преобразования второго видеоблока использует первый режим кодирования. Когда к видеоблоку применяется первый режим кодирования, этот видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, и первый режим кодирования применяется разными способами к первому видеоблоку и ко второму видеоблоку.

Фиг. 38A показывает логическую схему примера способа обработки видео. Способ 3810 содержит, на этапе 3812, выполнение определения, что режим кодирования активизирован для осуществления преобразования между текущим видеоблоком и кодированным представлением видео. Этот способ 3810 далее содержит, на этапе 3814, осуществление преобразования с использованием режима дельта-импульсно-кодовой модуляции на блочной основе (BDPCM). В этом режиме кодирования, текущий видеоблок конструируют на основе отсчетов в первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей

Фиг. 38B показывает логическую схему примера способа обработки видео. Способ 3820 содержит, на этапе 3822, выполнение определения, для осуществления преобразования между текущим видеоблоком и кодированным представлением видео, что текущий видеоблок кодируют с использованием режима дельта-импульсно-кодовой модуляции на блочной основе (BDPCM). Этот способ 3820 далее содержит, на этапе 3824, осуществление, по результатам указанного определения, преобразования посредством отмены активизации. Когда к видеоблоку применяется режим кодирования, этот видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Фиг. 38C показывает логическую схему примера способа обработки видео. Способ 3830 includes, на этапе 3832, осуществление преобразования между первым видеоблоком видео и кодированным представлением видео, где процедура преобразования первого видеоблока использует первый режим кодирования и режим дельта-импульсно-кодовой модуляции на блочной основе (BDPCM). Этот способ 3830 далее содержит, на этапе 3834, осуществление преобразования между вторым видеоблоком видео и кодированным представлением видео, где второй видеоблок кодируют без использования режима модуляции BDPCM, и процедура преобразования второго видеоблока использует первый режим кодирования. Когда к видеоблоку применяется первый режим кодирования, этот видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, и первый режим кодирования применяют различными способами к первому видеоблоку и ко второму видеоблоку.

Фиг. 38D показывает логическую схему примера способа обработки видео. Способ 3840 содержит, на этапе 3842, выполнение определения, что режим кодирования активизирован для осуществления преобразования между текущим видеоблоком и кодированным представлением видео. Этот способ далее содержит, на этапе 3844, осуществление преобразования с использованием режима пропуска трансформации, в котором трансформацию остатка прогнозирования пропускают при кодировании текущего видеоблока. В этом режиме кодирования, текущий видеоблок конструируют на основе отсчетов в первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Фиг. 38E показывает логическую схему примера способа обработки видео. Способ 3850 содержит, на этапе 3852, выполнение определения, для осуществления преобразования между текущим видеоблоком и кодированным представлением видео, что текущий видеоблок кодируют в режиме пропуска трансформации, в котором трансформацию остатка прогнозирования пропускают при кодировании текущего видеоблока. Этот способ 3850 далее содержит, на этапе 3854, осуществление, по результатам указанного определения, преобразования посредством отмены активизации режим кодирования. Когда к видеоблоку применяется режим кодирования, этот видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Фиг. 38F показывает логическую схему примера способа обработки видео. Способ 3860 содержит, на этапе 3862, осуществление преобразования между первым видеоблоком видео и кодированным представлением видео, где процедура преобразования первого видеоблока использует первый режим кодирования и режим пропуска трансформации, в котором трансформацию остатка прогнозирования пропускают при кодировании текущего видеоблока. Этот способ 3860 далее содержит, на этапе 3864, осуществление преобразования между вторым видеоблоком видео и кодированным представлением видео, где второй видеоблок кодируют без использования режима пропуска трансформации, а процедура преобразования второго видеоблока использует первый режим кодирования. Когда к видеоблоку применяется первый режим кодирования, этот видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, и первый режим кодирования применяют различными способами к первому видеоблоку и ко второму видеоблоку

Фиг. 38G показывает логическую схему примера способа обработки видео. Способ 3870 содержит, на этапе 3872, выполнение определения, что режим кодирования активизирован для осуществления преобразования между текущим видеоблоком и кодированным представлением видео. Этот способ 3870 далее содержит, на этапе 3874, осуществление преобразования с использованием режима внутрикадрового прогнозирования с импульсно-кодовой модуляцией, в котором текущий видеоблок без применения трансформации и квантования в трансформированной области. В этом режиме кодирования, текущий видеоблок конструируют на основе отсчетов в первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Фиг. 38H показывает логическую схему примера способа обработки видео. Способ 3880 содержит, на этапе 3882, выполнение определения, для осуществления преобразования между текущим видеоблоком и кодированным представлением видео, что текущий видеоблок кодируют в режиме внутрикадрового прогнозирования с импульсно-кодовой модуляцией, в котором этот текущий видеоблок кодируют без применения трансформации и квантования в трансформированной области. Этот способ 3880 далее содержит, на этапе 3884, осуществление, по результатам указанного определения, преобразования посредством отмены активизации режима кодирования. Когда к видеоблоку применяется режим кодирования, этот видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Фиг. 38I показывает логическую схему примера способа обработки видео. Способ 3890 содержит, на этапе 3892, осуществление преобразования между первым видеоблоком видео и кодированным представлением видео, где процедура преобразования первого видеоблока использует первый режим кодирования и режим внутрикадрового прогнозирования с импульсно-кодовой модуляцией, в котором текущий видеоблок кодируют без применения трансформации и квантования в трансформированной области. Этот способ 3890 далее содержит, на этапе 3894, осуществление преобразования между вторым видеоблоком видео и кодированным представлением видео, где второй видеоблок кодируют без использования режима внутрикадрового прогнозирования с импульсно-кодовой модуляцией, и процедура преобразования второго видеоблока использует первый режим кодирования. Когда к видеоблоку применяется первый режим кодирования, этот видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, и первый режим кодирования применяют различными способами к первому видеоблоку и ко второму видеоблоку.

Фиг. 38J показывает логическую схему примера способа обработки видео. Способ 3910 содержит, на этапе 3912, выполнение определения, что режим кодирования активизирован для осуществления преобразования между текущим видеоблоком и кодированным представлением видео. Этот способ 3910 далее содержит, на этапе 3914, осуществление преобразования с использованием модифицированного режима обхода трансформации и квантования, в котором текущий видеоблок кодируют без потерь, а также без трансформации и квантования. В этом режиме кодирования, текущий видеоблок конструируют на основе отсчетов в первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Фиг. 38K показывает логическую схему примера способа обработки видео. Способ 3920 содержит, на этапе 3922, выполнение определения, для осуществления преобразования между текущим видеоблоком и кодированным представлением видео, что текущий видеоблок кодируют в режиме обхода трансформации и квантования, в котором текущий видеоблок кодируют без потерь, а также без трансформации и квантования. Этот способ 3920 далее содержит, на этапе 3924, осуществление, по результатам определения, преобразования посредством отмены активизации режима кодирования. Когда к видеоблоку применяется режим кодирования, этот видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

Фиг. 38L показывает логическую схему примера способа обработки видео. Способ 3930 содержит, на этапе 3932, осуществление преобразования между первым видеоблоком видео и кодированным представлением видео, где процедура преобразования первого видеоблока использует первый режим кодирования и режим обхода трансформации и квантования, котором текущий блок видео кодируют без потерь, а также без трансформации и квантования. Этот способ 3930 далее содержит, на этапе 3934, осуществление преобразования между вторым видеоблоком видео и кодированным представлением видео, где второй видеоблок кодируют без использования режима обхода трансформации и квантования и процедура преобразования второго видеоблока использует первый режим кодирования. Когда к видеоблоку применяется первый режим кодирования, этот видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, и первый режим кодирования применяют различными способами к первому видеоблоку и ко второму видеоблоку.

Фиг. 39A показывает логическую схему примера способа обработки видео. Способ 3940 содержит, на этапе 3942, осуществление преобразования между текущим видеоблоком видео и кодированным представлением видео, где процедура преобразования использует режим кодирования, в котором текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, и где информацию, используемую для режима кодирования, передают в виде сигнализации в наборе параметров, который отличается от набора параметров последовательности (SPS), набора видеопараметров (VPS), набора параметров изображения (PPS) или набора параметров адаптации (APS), используемого для передачи параметров адаптивной контурной фильтрации (ALF).

Фиг. 39B показывает логическую схему примера способа обработки видео. Способ 3950 содержит, на этапе 3952, осуществление преобразования между текущим видеоблоком видео и кодированным представлением видео, где процедура преобразования использует режим кодирования, в котором текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, и где информацию, используемую для режима кодирования, передают в виде сигнализации в виде набора параметров адаптации (APS) вместе с информацией об адаптивной контурной фильтрации (ALF), где информация, используемая для режима кодирования, и информация о фильтрации ALF включены в одну единицу уровня NAL.

Фиг. 39C показывает логическую схему примера способа обработки видео. Способ 3960 содержит, на этапе 3962, осуществление преобразования между текущим видеоблоком видеообласти видео и кодированным представлением видео, где процедура преобразования использует режим кодирования, в котором текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, и где информацию, используемую для режима кодирования, сообщают в виде сигнализации в наборе параметров адаптации (APS) первого типа, отличающегося от второго типа набора APS, используемого для передачи информации об адаптивной контурной фильтрации (ALF) в виде сигнализации.

Фиг. 39D показывает логическую схему примера способа обработки видео. Способ 3970 содержит, на этапе 3972, осуществление преобразования между текущим видеоблоком видеообласти видео и кодированным представлением видео, где процедура преобразования использует режим кодирования, в котором текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, и где не допускается обращение видеообласти к набору параметров адаптации или к набору параметров, сообщаемому в виде сигнализации прежде структуры данных специфицированного типа, используемой для обработки видео, и где сигнализацию о структуре данных специфицированного типа передают прежде видеообласти.

Фиг. 39E показывает логическую схему примера способа обработки видео. Способ 3980 содержит, на этапе 3982, осуществление преобразования между текущим блоком видео и кодированным представлением видео, где процедура преобразования использует режим кодирования, в котором текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, и где синтаксический элемент для набора параметров, содержащего параметры, используемые для обработки видео, имеет заданную величину в потоке битов данных соответствия.

На фиг. 40A представлена блок-схема аппаратуры 4000 для обработки видео. Эта аппаратура 4000 может быть использована для реализации одного или нескольких описываемых здесь способов. Эта аппаратура 4000 может представлять собой смартфон, планшетный компьютер, обычный компьютер, приемник Интернет вещей (Internet of Things (IoT)) и т.д. Аппаратура 4000 может содержать один или несколько процессоров 4002, одно или несколько запоминающих устройств 4004 и оборудование 4006 для обработки видео. Процессор (ы) может быть конфигурирован для осуществления одного или нескольких способов (включая, не ограничиваясь, способы, показанные на фиг. 31A - 39E), описываемых в настоящем документе. Запоминающее устройство (а) 4004 может быть использовано для сохранения данных и кода, применяемых для реализации описываемых здесь способов и технологии. Оборудование 4006 для обработки видео может быть использовано для осуществления, в аппаратной схеме, некоторых способов и технологий, описываемых в настоящем документе.

На фиг. 40B представлен другой пример блок-схемы системы обработки видео, в которой может быть реализована предлагаемая технология. На фиг. 40B представлена блок-схема, показывающая пример системы 4100 обработки видео, где могут быть реализованы разнообразные способы, описываемые здесь. Различные варианты реализации могут содержать некоторые или все компоненты системы 4100. Система 4100 может иметь вход 4102 для приема контента видео. Этот контент видео может быть принят в исходном или в несжатом формате, например, 8 или 10-битовые многокомпонентные величины пикселей, либо может быть в сжатом или кодированном формате. Вход 4102 может представлять сетевой интерфейс, интерфейс шины периферийных устройств или интерфейс запоминающего устройства. К примерам сетевых интерфейсов относятся проводные интерфейсы, такие как Этернет, пассивная оптическая сеть (passive optical network (PON)) и т.д., и беспроводные интерфейсы, такие Wi-Fi или сотовые интерфейсы.

Система 4100 может содержать кодирующий компонент 4104, которые может осуществлять разнообразные способы кодирования, описываемые в настоящем документе. Кодирующий компонент 4104 может уменьшить среднюю частоту передачи битов видеоданных, поступающего от входа 4102 к выходу кодирующего компонента 4104 для получения кодированного представления видео. Поэтому такие способы кодирования иногда называют способами сжатия (компрессии) видео или способами трансвидеокодирования. Выходной сигнал кодирующего компонента 4104 может быть либо сохранен, либо передан по присоединенной линии связи, как это представлено компонентом 4106. Представление видео, принятого на вход 4102, или сохраненного в запоминающем устройстве, в форме потока битов данных (или в кодированной форме) может быть использовано компонентом 4106. Это сохраненное или переданное в потоке битов данных (или кодированное) представление видео, принятого на вход 4102, может быть использовано компонентом 4108 для генерации величин пикселей или представляемого на дисплее видео, которое передают интерфейсу 4110 дисплея. Процесс генерации наблюдаемого пользователем видео из представления в форме потока битов данных иногда называется расширением (или декомпрессией) видео. Кроме того, хотя определенные операции обработки видео называются операциями или инструментами «кодирования», должно быть понятно, что инструменты или операции кодирования используются в кодирующем устройстве, а соответствующие инструменты или операции декодирования, обращающие результаты кодирования будут производиться в декодирующем устройстве.

К примерам интерфейса шины периферийных устройств или интерфейса дисплея относятся универсальная последовательная шина (universal serial bus (USB)) или мультимедийный интерфейс высокой четкости (high definition multimedia interface (HDMI)) или Displayport, и т.д. К примерам интерфейса запоминающих устройств относятся интерфейс усовершенствованного последовательного соединения (SATA (serial advanced technology attachment)), интерфейс периферийных устройств (PCI), интерфейс IDE и другие подобные интерфейсы. Способы, описываемые в настоящем документе, могут быть реализованы в разнообразных электронных устройствах, таких как мобильные телефоны, портативные компьютеры, смартфоны или другие устройства, способные осуществлять цифровую обработку данных и/или представлять видео на дисплее.

В некоторых вариантах, способы видеокодирования могут быть осуществлены с использованием устройств, реализованных на аппаратной платформе, как это описано со ссылками на фиг. 40A или 40B.

Разнообразные способы и варианты могут быть описаны с использованием следующего постатейного формата.

Первая группа статей описывает определенные признаки и аспекты рассматриваемых здесь способов, перечисленных в предыдущем разделе, включая, например, Примеры 1 и 2.

1. Способ обработки видео, содержащий: осуществление, для выполнения преобразования между текущим видеоблоком и кодированным представлением видео, процедуры уточнения информации о движении на основе отсчетов в первой области или во второй области; и осуществление преобразования на основе результата процедуры уточнения информации о движении, где, в процессе преобразования, получают отсчеты для текущего видеоблока из первого прогнозируемого блока в первой области с использованием неуточненной информации о движении, по меньшей мере второй прогнозируемый блок генерируют во второй области с использованием уточненной информации о движении, примененной для определения реконструированного блока, и генерируют реконструированные отсчеты текущего видеоблока на основе по меньшей мере второго прогнозируемого блока.

2. Способ по статье 1, отличающийся тем, что по меньшей мере второй прогнозируемый блок генерируют из отсчетов в опорных изображениях в первой области с использованием уточненной информации о движении, и далее применяют процедуру переформирования для преобразования первой области во вторую область по меньшей мере ко второму прогнозируемому блоку.

3. Способ по статье 2, отличающийся тем, что после процедуры переформирования, второй прогнозируемый блок преобразуют в представление во второй области прежде использования для генерации реконструированных отсчетов текущего видеоблока.

4. Способ по статье 1, отличающийся тем, что осуществление процедуры уточнения информации о движении основано на способе получения вектора движения на стороне декодирующего устройства (DMVD).

5. Способ по статье 4, отличающийся тем, что способ получения DMVD содержит уточнение вектора движения на стороне декодирующего устройства (DMVR) или повышающее преобразование частоты кадров (FRUC) или использование двунаправленного оптического потока (BIO).

6. Способ по статье 4, отличающийся тем, что вычисление стоимости или вычисление градиента в ходе процедуры DMVD осуществляется на основе отсчетов в первой области.

7. Способ по статье 6, отличающийся тем, что процедура вычисления стоимости содержит определение суммы абсолютных разностей (SAD) или суммы абсолютных разностей с исключением среднего (MR-SAD).

8. Способ по статье 1, отличающийся тем, что процедуру уточнения информации о движении осуществляют на основе отсчетов, преобразованных из отсчетов по меньшей мере из первого прогнозируемого блока в первой области во вторую область, и отличающийся тем, что, после получения уточненной информации о движении, отменяют активизацию режима кодирования, в котором текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, по меньшей мере для второго прогнозируемого блока.

9. Способ по статье 4, отличающийся тем, что процедуру уточнения информации о движении осуществляют на основе по меньшей мере первого прогнозируемого блока в первой области, и отличающийся тем, что процедуру уточнения информации о движении привлекают с первым прогнозируемым блоком первой области.

10. Способ по статье 1, отличающийся тем, что конечный прогнозируемый блок генерируют как взвешенное среднее двух вторых прогнозируемых блоков, а реконструированные отсчеты текущего видеоблока генерируют на основе этого конечного прогнозируемого блока.

11. Способ по статье 1, отличающийся тем, что процедуру уточнения информации о движении осуществляют на основе прогнозируемого блока в первой области, и отличающийся тем, что, после осуществления процедуры уточнения информации о движении, отменяют активизацию режима кодирования, в котором текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, по меньшей мере для вторых прогнозируемых блоков.

12. Способ обработки видео, содержащий: осуществление преобразования между текущим видеоблоком видео и кодированным представлением видео, где, в процессе преобразования, текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, где инструмент кодирования применяют в процессе преобразования с использованием параметров, полученных по меньшей мере на основе множества первых отсчетов в видеообласти видео и множества вторых отсчетов в опорном изображении для текущего видеоблока, и где область для первых отсчетов и область для вторых отсчетов совмещены одна с другой.

13. Способ по статье 12, отличающийся тем, что указанный инструмент кодирования содержит модель локальной компенсации освещенности (LIC), которая использует линейную модель изменений освещенности в текущем видеоблоке в процессе преобразования, и применяют модель компенсации LIC на основе этих параметров.

14. Способ по статье 12, отличающийся тем, что видеообласть содержит текущую плитку, группу плиток или изображение.

15. Способ по статье 13, отличающийся тем, что модель компенсации LIC применяется к прогнозируемому блоку во второй области, и отличающийся тем, что указанные множество первых отсчетов и множество вторых отсчетов находятся во второй области.

16. Способ по статье 13, отличающийся тем, что опорный блок преобразуют во вторую область и модель компенсации LIC применяют к прогнозируемому блоку во второй области.

17. Способ по статье 15, отличающийся тем, что указанные множество первых отсчетов и множество вторых отсчетов преобразуют во вторую область прежде использования для получения параметров.

18. Способ по статье 17, отличающийся тем, что указанное множество вторых отсчетов содержит опорные отсчеты в опорных изображениях и соседние и/или несмежные отсчеты с этими опорными отсчетами.

19. Способ по статье 13, отличающийся тем, что модель компенсации LIC применяется к прогнозируемому блоку в первой области, и отличающийся тем, что указанные множество первых отсчетов и множество вторых отсчетов находятся в первой области.

20. Способ по статье 13, отличающийся тем, что опорный блок поддерживают в первой области, и применяют модель компенсации LIC к прогнозируемому блоку в первой области.

21. Способ по статье 19, отличающийся тем, что множество первых отсчетов преобразуют в первую область прежде их использования для получения параметров.

22. Способ по статье 21, отличающийся тем, что множество первых отсчетов содержит пространственно соседние и/или несмежные отсчеты относительно текущего видеоблока.

23. Способ по статье 12, отличающийся тем, что область, используемая для получения параметров, используется также для применения параметров к прогнозируемому блоку.

24. Способ по статье 13, отличающийся тем, что модель компенсации LIC применяют к прогнозируемому блоку во второй области.

25. Способ по статье 20 или 21, отличающийся тем, что после применения модели компенсации LIC к прогнозируемому блоку в первой области, конечный прогнозируемый блок, зависящий от указанного прогнозируемого блока, преобразуют во вторую область.

26. Способ по какой-либо из статей 1 - 25, отличающийся тем, что первая область представляет собой исходную область, а вторая область представляет собой переформированную область, использующую способ отображения яркостной составляющей с масштабированием цветностной составляющей (LMCS), который отображает отсчеты яркостной составляющей в конкретные значения.

27. Способ по статье 26, отличающийся тем, что способ LMCS использует кусочно-линейную модель для отображения отсчетов яркостной составляющей в конкретные значения.

28. Способ по какой-либо из статей 1 - 27, отличающийся тем, что осуществление преобразования содержит генерацию кодированного представления из текущего блока.

29. Способ по какой-либо из статей 1 - 27, отличающийся тем, что процедура преобразования содержит генерацию текущего блока из кодированного представления.

30. Устройство в видеосистеме, содержащее процессор и энергонезависимое запоминающее устройство с записанными в нем командами, отличающееся тем, что при выполнении этих команд процессор осуществляет способ согласно какой-либо одной из статей 1 - 29.

31. Компьютерный программный продукт, сохраняемый на энергонезависимом читаемом компьютером носителе информации, этот компьютерный программный продукт содержит программный код для осуществления способа согласно какой-либо одной из статей 1 - 29.

Вторая группа статей описывает определенные признаки и аспекты предлагаемых способов, перечисленных в предыдущем разделе, включая, например, Примеры 3 - 5, 8 и 15.

1. Способ обработки видео, содержащий: определение, для текущего видеоблока текущей видеообласти видео, параметра для режима кодирования этого текущего видеоблока на основе одного или нескольких параметров для режима кодирования предыдущей видеообласти; и осуществление кодирования для текущего видеоблока с целью генерации кодированного представления видео на основе результата определения, где указанный параметр для режима кодирования входит в набор параметров кодированного представления видео, и где осуществление процедуры кодирования содержит трансформацию представления текущего видеоблока в первой области в представление этого текущего видеоблока во второй области, и где в процессе осуществления кодирования с использованием указанного режима кодирования, текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

2. Способ обработки видео, содержащий: прием кодированного представления видео, содержащего набор параметров, куда входит информация о параметрах для режима кодирования; и осуществление декодирования принятого кодированного представления с использованием указанной информации о параметрах для генерации текущего видеоблока текущей видеообласти видео из кодированного представления, и где информация о параметрах для режима кодирования на основе одного или нескольких параметров для режима кодирования предыдущей видеообласти, где в указанном режиме кодирования, текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

3. Способ по статье 1 или 2, отличающийся тем, что указанный набор параметров отличается от заголовка группы плиток.

4. Способ по статье 1 или 2, отличающийся тем, что указанный набор параметров представляет собой набор параметров адаптации (APS).

5. Способ по статье 1 или 2, отличающийся тем, что текущая видеообласть содержит одну плитку видеоизображения видео или видео изображение видео;

6. Способ по статье 1 или 2, отличающийся тем, что предыдущая видеообласть содержит одну или несколько плиток изображения.

7. Способ по статье 1 или 2, отличающийся тем, что предыдущая видеообласть содержит одно или несколько видеоизображений видео.

8. Способ обработки видео, содержащий: осуществление преобразования между текущим видеоблоком видео и кодированным представлением видео, и отличающийся тем, что процедура преобразования содержит применение операции фильтрации к прогнозируемому блоку в первой области или во второй области, отличной от первой области.

9. Способ по статье 8, отличающийся тем, что выполняют операцию фильтрации применительно к прогнозируемому блоку в первой области с целью генерации фильтрованного прогнозируемого сигнала, применяют режим кодирования к этому фильтрованному прогнозируемому сигналу для генерации переформированного прогнозируемого сигнала, находящегося во второй области, и конструируют текущий видеоблок с использованием переформированного прогнозируемого сигнала.

10. Способ по статье 8, отличающийся тем, что режим кодирования применяется к прогнозируемому блоку прежде применения операции фильтрации с целью генерации переформированного прогнозируемого сигнала, находящегося во второй области, и указанную операцию фильтрации осуществляют с использованием переформированного прогнозируемого сигнала для генерации фильтрованного прогнозируемого сигнала, и конструируют текущий видеоблок с использованием переформированного прогнозируемого сигнала.

11. Способ по статье 9 или 10, отличающийся тем, что, в режиме кодирования, текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

12. Способ по какой-либо из статей 8 - 11, отличающийся тем, что операция фильтрации содержит использование рассеивающего фильтра.

13. Способ по какой-либо из статей 8 - 11, отличающийся тем, что параметры, ассоциированные с операцией фильтрации, зависит от того, применяется ли эта операция фильтрации к блоку в первой области или во второй области.

14. Способ по статье 8, отличающийся тем, что процедура преобразования далее содержит: применение, прежде выполнения операции фильтрации, прогнозирования с компенсацией движения к текущему видеоблоку для получения прогнозируемого сигнала; применение, после выполнения операции фильтрации, режима кодирования к фильтрованному прогнозируемому сигналу для генерации переформированного прогнозируемого сигнала, фильтрованный прогнозируемый сигнал сформирован посредством применения операции фильтрации к прогнозируемому сигналу; и конструирование текущего видеоблока с использованием переформированного прогнозируемого сигнала.

15. Способ по статье 8, отличающийся тем, что процедура преобразования далее содержит: применение, прежде выполнения операции фильтрации, прогнозирования с компенсацией движения для текущего видеоблока с целью получения прогнозируемого сигнала; применение режима кодирования к прогнозируемому сигналу с целью генерации переформированного прогнозируемого сигнала; и конструирование, после применения операции фильтрации, текущего видеоблока с использованием фильтрованного переформированного прогнозируемого сигнала, и отличающийся тем, что the фильтрованный переформированный прогнозируемый сигнал генерируют путем применения операции фильтрации к переформированному прогнозируемому сигналу.

16. Способ обработки видео, содержащий: осуществление преобразования между текущим видеоблоком видео и кодированным представлением видео, где, в процессе преобразования, определяют конечный реконструированный блок для текущего видеоблока, и где временный реконструированный блок, сформирован с использованием способа прогнозирования и представлен во второй области.

17. Способ по статье 16, отличающийся тем, что процедура преобразования далее содержит: применение прогнозирования с компенсацией движения к текущему видеоблоку с целью получения прогнозируемого сигнала; применение прямого переформирования к прогнозируемому сигналу с целью генерации переформированного прогнозируемого сигнала, используемого для формирования временного реконструированного блока; и применение обратного переформирования к временному реконструированному блоку с целью получения обратно реконструированного блока, и отличающийся тем, что применяют фильтрацию к обратно реконструированному блоку для генерации конечного реконструированного блока.

18. Способ по статье 16, отличающийся тем, что процедура преобразования далее содержит: применение прогнозирования к компенсации движения к текущему видеоблоку для получения прогнозируемого сигнала; применение прямого переформирования к прогнозируемому сигналу с целью генерации переформированного прогнозируемого сигнала, используемого для генерации временного реконструированного блока; применение обратного переформирования к фильтрованному реконструированному блоку с целью получения конечного реконструированного блока, и отличающийся тем, что фильтрованный реконструированный блок генерируют посредством применения фильтрации к временному реконструированному блоку.

19. Способ по какой-либо из статей 16 - 18, отличающийся тем, что процедура преобразования далее содержит применение процедуры отображения яркостной составляющей с масштабированием остатка цветностной составляющей (LMCS), которая отображает отсчеты яркостной составляющей на конкретные значения.

20. Способ по статье 16, отличающийся тем, что к временному реконструированному блоку в первой области применяют фильтр, сначала временный реконструированный блок во второй области преобразуют в первую область с использованием процедуры обратного переформирования прежде применения фильтра, и конечный реконструированный блок зависит от фильтрованного временного реконструированного блока.

21. Способ по статье 16, отличающийся тем, что фильтр применяют непосредственно к временному реконструированному блоку во второй области, и после этого применяют операцию обратного переформирования для генерации конечного реконструированного блока.

22. Способ по статье 16, отличающийся тем, что фильтр содержит двусторонний фильтр (BF) или фильтр в области преобразования Адамара (HF).

23. Способ по статье 16, отличающийся тем, что фильтр использует операцию деблокирующей фильтрации (DBF), операцию нелинейной фильтрации с адаптивным смещением (SAO) или операцию адаптивной контурной фильтрации (ALF).

24. Способ по какой-либо одной из статей 1 - 23, отличающийся тем, что параметры фильтра, используемого для операции фильтрации, зависят от того, активизирован ли или нет режим кодирования для текущего видеоблока, где, в режиме кодирования, текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

25. Способ по какой-либо из статей 1 - 25, отличающийся тем, что первая область является исходной областью и вторая область является переформированной областью с использованием способа отображения яркостной составляющей с масштабированием цветностной составляющей (LMCS), который отображает отсчеты яркостной составляющей на конкретные величины.

26. Способ по статье 25, отличающийся тем, что способ LMCS использует кусочно-линейную модель для отображения отсчетов яркостной составляющей на конкретные величины.

27. Способ по какой-либо из статей 8 - 26, отличающийся тем, что осуществление преобразования содержит генерацию кодированного представления из текущего блока.

28. Способ по какой-либо из статей 8 - 26, отличающийся тем, что осуществление преобразования содержит генерацию текущего блока из кодированного представления.

29. Устройство в видеосистеме, содержащее процессор и энергонезависимое запоминающее устройство с записанными в нем командами, где при выполнении этих команд процессор реализует способ согласно какой-либо одной из статей 1 - 28.

30. Компьютерный программный продукт, сохраняемый на энергонезависимом читаемом компьютером носителе информации, этот компьютерный программный продукт содержит программный код для осуществления способа согласно какой-либо одной из статей 1 - 28.

Третья группа статей описывает определенные признаки и аспекты предлагаемых способов, перечисленных в предыдущем разделе, включая, например, Пример 6.

1. Способ обработки видео, содержащий: осуществление преобразования между текущим видеоблоком видеообласти видео и кодированным представлением видео, где процедура преобразования использует режим кодирования, в котором текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, и где набор параметров в кодированном представлении содержит информацию о параметрах для режима кодирования.

2. Способ по статье 1, отличающийся тем, что указанный набор параметров отличается от заголовка группы плиток.

3. Способ по статье 2, отличающийся тем, что указанный набор параметров представляет собой набор параметров адаптации (APS).

4. Способ по статье 3, отличающийся тем, что набор APS для информации о режиме кодирования называется набором параметров для отображения яркостной составляющей с масштабированием цветностной составляющей (LMCS) APS.

5. Способ по статье 3, отличающийся тем, что идентификатор для набора APS, который должен быть использован для текущего видеоблока, входит в кодированное представление видео.

6. Способ по статье 5, отличающийся тем, что присутствует ли указанный идентификатор в кодированном представлении видео, зависит от того, активизирован ли режим кодирования для видеообласти.

7. Способ по статье 3, отличающийся тем, что указанный набор параметров содержит идентификатор набора APS.

8. Способ по статье 1, отличающийся тем, что для набора параметров назначают значение типа единицы NAL.

9. Способ по статье 1, отличающийся тем, что значение идентификатора набора параметров находится в диапазоне между 0 и M, где M равно 2^K-1.

10. Способ по статье 1, отличающийся тем, что указанный набор параметров совместно используется изображениями из видео.

11. Способ по статье 1, отличающийся тем, что идентификатор набора параметров имеет величину, кодированную в коде фиксированной длины.

12. Способ по статье 1, отличающийся тем, что идентификатор набор параметров кодирован посредством экспоненциального кодирования-Голомба (exponential-Golomb (EG)), усеченного унарного кода или кода бинаризации.

13. Способ по статье 1, отличающийся тем, что, для двух подобластей в одном и том же изображении указанный набор параметров содержит идентификаторы, имеющие две разные величины.

14. Способ по статье 3, отличающийся тем, что указанный набор параметров и набор APS для информации об адаптивной контурной фильтрации (ALF) совместно используют один и тот же тип (NUT) единицы уровня сетевой абстракции (NAL).

15. Способ по статье 1, отличающийся тем, что информацию о параметрах передают с текущим набором APS для информации об адаптивном контурном фильтре (ALF).

16. Способ по статье 1, отличающийся тем, что информацию о параметрах передают в наборе параметров последовательности (SPS), в наборе параметров видео (VPS), в наборе параметров изображения (PPS), в последовательности, в заголовке или в заголовке изображении.

17. Способ по статье 1, отличающийся тем, что информация о параметрах содержит по меньшей мере одно из - информацию о модели устройства переформирования, информацию об использовании режима кодирования, или масштабные коэффициенты для остатка цветностной составляющей.

18. Способ по статье 1, отличающийся тем, что информацию о параметрах передают в виде сигнализации на одном уровне.

19. Способ по статье 1, отличающийся тем, что информацию о параметрах содержит информацию об использовании режима кодирования, о котором сообщают в виде сигнализации на втором уровне.

20. Способ по статье 18 and 19, отличающийся тем, что информацию о параметрах передают в виде сигнализации в наборе APS и информацию об использовании режима кодирования передают виде сигнализации на уровне видеообласти.

21. Способ по статье 1, отличающийся тем, что выполняют синтаксический анализ информации о параметрах на одном уровне.

22. Способ по статье 1, отличающийся тем, что информация о параметрах содержит информацию об использовании режима кодирования, подвергнутую синтаксическому анализу на втором уровне.

23. Способ по статье 21 или 22, отличающийся тем, что информацию о параметрах подвергают синтаксическому анализу в наборе APS и информацию об использовании режима кодирования подвергают синтаксическому анализу на уровне видеообласти.

24. Способ по статье 1, отличающийся тем, что для кодирования информации о параметрах с разными индексами набора APS применяют кодирование с прогнозированием.

25. Способ по какой-либо из статей 1 - 24, отличающийся тем, что первая область представляет собой исходную область и вторая область представляет собой переформированную область с использованием способа отображения яркостной составляющей с масштабированием цветностной составляющей (LMCS), который отображает отсчеты яркостной составляющей на конкретные значения.

26. Способ по статье 25, отличающийся тем, что способ LMCS использует кусочно-линейную модель для отображения отсчетов.

27. Способ по какой-либо из статей 1 - 26, отличающийся тем, что видеообласть является изображением или группой плиток.

28. Способ по какой-либо из статей 1 - 26, отличающийся тем, что уровень видеообласти представляет собой заголовок изображения или заголовок группы плиток.

29. Способ по какой-либо из статей 1 - 28, отличающийся тем, что первая область является исходной областью и вторая область является переформированной областью с использованием способа отображения яркостной составляющей с масштабированием цветностной составляющей (LMCS), который отображает отсчеты яркостной составляющей на конкретные значения в соответствии с моделями переформирования.

30. Способ по статье 29, отличающийся тем, что способ LMCS использует кусочно-линейную модель для отображения отсчетов яркостной составляющей на конкретные значения.

31. Способ по какой-либо из статей 1 - 30, отличающийся тем, что процедура преобразования содержит генерацию кодированного представления из текущего блока.

32. Способ по какой-либо из статей 1 - 30, отличающийся тем, что процедура преобразования содержит генерацию текущего блока из кодированного представления.

33. Устройство в видеосистеме, содержащее процессор и энергонезависимое запоминающее устройство с записанными в нем командами, где при выполнении этих команд процессор реализует способ согласно какой-либо одной из статей 1 - 32.

34. Компьютерный программный продукт, сохраняемый на энергонезависимом читаемом компьютером носителе информации, этот компьютерный программный продукт содержит программный код для осуществления способа согласно какой-либо одной из статей 1 - 32.

Четвертая группа статей описывает определенные признаки и аспекты предлагаемых способов, перечисленных в предыдущем разделе, включая, например, Примеры 7 и 19.

1. Способ обработки видео, содержащий: преобразование между текущим видеоблоком видео, который является блоком цветностной составляющей, и кодированным представлением видео, где, в процессе преобразования, текущий видеоблок конструируют на основе первой области и второй области, и где процедура преобразования далее содержит применение процедуры прямого переформирования и/или процедуры обратного переформирования к одной или нескольким цветностным составляющим текущего видеоблока.

2. Способ по статье 1, отличающийся тем, что этот способ далее предлагает воздерживаться от применения зависящего от яркостной составляющей масштабирования остатка цветностной составляющей (LCRS) к одной или нескольким цветностным составляющим текущего видеоблока.

3. Способ по статье 1, отличающийся тем, что для цветностной составляющей используется по меньшей мере одно из следующего - кусочно-линейная модель (PWL), преобразовательная таблица для прямого преобразования или преобразовательная таблица для обратного преобразования.

4. Способ по статье 3, отличающийся тем, что указанные модель PWL, преобразовательную таблицу для прямого преобразования и преобразовательную таблицу для обратного преобразования для цветностной составляющей выводят, соответственно, из модели PWL, преобразовательной таблицы для прямого преобразования и преобразовательной таблицы для обратного преобразования для соответствующей яркостной составляющей.

5. Способ по статье 3, отличающийся тем, что модель PWL сообщают в виде сигнализации в наборе параметров последовательности (SPS), наборе параметров видео (VPS), наборе параметров адаптации (APS), наборе параметров изображения (PPS), заголовке последовательности, заголовке изображения, заголовке группы плиток, заголовке плитки, в ряду единиц дерева кодирования (CTU), группе единиц CTU или в областях.

6. Способ по статье 3, отличающийся тем, что преобразовательную таблицу для прямого преобразования и преобразовательную таблицу для обратного преобразования сообщают в виде сигнализации в наборе параметров последовательности (SPS), наборе параметров видео (VPS), наборе параметров адаптации (APS), наборе параметров изображения (PPS), заголовке последовательности, заголовке изображения, заголовке группы плиток, заголовке плитки, ряду единиц дерева кодирования (CTU), группе единиц CTU или в областях.

7. Способ обработки видео, содержащий: осуществление преобразование между текущим видеоблоком цветностной составляющей видео и кодированным представлением видео, где осуществление преобразования содержит: определение, активизировано ли зависящее от яркостной составляющей масштабирование остатка цветностной составляющей (LCRS) или нет, на основе некоторого правила и реконструкцию текущего видеоблока цветностной составляющей на основе результата этого определения.

8. Способ по статье 7, отличающийся тем, что указанное правило специфицирует, что режим LCRS не активизирован для определенных размеров блоков, временных уровней, типов групп плиток, типов изображений, режимов кодирования, некоторых типов информации о движении.

9. Способ по статье 7, отличающийся тем, что указанное правило специфицирует, что режим LCRS не активизирован для блоков цветностной составляющей и процедура прямого и/или обратного переформирования применяется к соответствующим блокам яркостной составляющей.

10. Способ по статье 7, отличающийся тем, что указанное правило специфицирует, что режим LCRS применяется к блокам цветностной составляющей и процедура прямого и/или обратного переформирования не применяется к соответствующим блокам яркостной составляющей.

11. Способ по статье 7, отличающийся тем, что указанное правило специфицирует, что режим LCRS не активизирован для текущего видеоблока цветностной составляющей, кодируемого с использованием модели кросс-компонентного линейного прогнозирования (cross component linear model (CCLM)).

12. Способ по статье 7, отличающийся тем, что указанное правило специфицирует, что режим LCRS не активизирован для текущего видеоблока цветностной составляющей, не кодируемого с использованием модели кросс-компонентного линейного прогнозирования (CCLM).

13. Способ по статье 7, отличающийся тем, что указанное правило специфицирует, что отмена активизации режима LCRS основана на том, что размер видеоблока превосходит единицу данных виртуального конвейера (VPDU).

14. Способ по статье 13, отличающийся тем, что режим LCRS не допускается в случае, когда число видеоотсчетов в видеоблоке меньше M*H.

15. Способ по статье 13, отличающийся тем, что режим LCRS не допускается в случае, когда минимальный размер - ширина и/или высота, видеоблока меньше или равен определенной величине.

16. Способ по статье 13, отличающийся тем, что режим LCRS не допускается в случае, когда минимальный размер - ширина и/или высота, видеоблока не меньше определенной величины.

17. Способ по статье 15 или 16, отличающийся тем, что указанная определенная величина равна 8.

18. Способ по статье 13, отличающийся тем, что режим LCRS не допускается в случае, когда ширина видеоблока равна или больше первой величины, и/или когда высота видеоблока равна или больше второй величины.

19. Способ по статье 13, отличающийся тем, что режим LCRS не допускается в случае, когда ширина видеоблока равна или меньше первой величины, и/или когда высота видеоблока равна или меньше второй величины.

20. Способ по статье 18 или 19, отличающийся тем, что по меньшей мере одна из величин - первая величина и/или вторая величина, равна 8, 64 или 128.

21. Способ по какой-либо из статей 13 - 20, отличающийся тем, что указанный видеоблок представляет собой блок яркостной составляющей или блок цветностной составляющей.

22. Способ по какой-либо из статей 1 - 21, отличающийся тем, что первая область является исходной областью, а вторая область является переформированной областью с использованием способа отображения яркостной составляющей с масштабированием цветностной составляющей (LMCS), который отображает отсчеты яркостной составляющей в конкретные величины в соответствии с моделями переформирования.

23. Способ по статье 22, отличающийся тем, что способ LMCS использует кусочно-линейную модель для отображения отсчетов яркостной составляющей в конкретные величины.

24. Способ по какой-либо из статей 1 - 23, отличающийся тем, что остаток цветностной составляющей масштабируют зависящим от яркостной составляющей способом путем выполнения операции зависящего от яркостной составляющей масштабирования остатка цветностной составляющей, которая предусматривает масштабирование остатков цветностной составляющей прежде их использования для формирования реконструкции видеоблока цветностной составляющей, а параметры масштабирования получают из отсчетов яркостной составляющей.

25. Способ по какой-либо из статей 1 - 24, отличающийся тем, что осуществление преобразования содержит генерацию кодированного представления из текущего блока.

26. Способ по какой-либо из статей 1 - 24, отличающийся тем, что осуществление преобразования содержит генерацию текущего блока из кодированного представления е.

27. Устройство в видеосистеме, содержащее процессор и энергонезависимое запоминающее устройство с записанными в нем командами, где при выполнении этих команд процессор реализует способ согласно какой-либо одной из статей 1 - 26.

28. Компьютерный программный продукт, сохраняемый на энергонезависимом читаемом компьютером носителе информации, этот компьютерный программный продукт содержит программный код для осуществления способа согласно какой-либо одной из статей 1 - 26.

Пятая группа статей описывает определенные признаки и аспекты предлагаемых способов, перечисленных в предыдущем разделе, включая, например, Примеры 10 - 14, 28, 29 и 40.

1. Способ обработки видео, содержащий: определение, для осуществления преобразования между текущим видеоблоком и кодированным представлением видео, следует ли отменить активизацию использования режима кодирования на основе одного или нескольких значений коэффициентов текущего видеоблока; и осуществление преобразования на основе результата этого определения, где, в процессе преобразования с использованием режима кодирования, текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

2. Способ по статье 1, отличающийся тем, что процедура переформирования содержит: избирательное применение процедуры прямого переформирования к отсчетам в первой области, которые затем преобразуют в отсчеты во второй области; и избирательное применение процедуры обратного переформирования к отсчетам во второй области, которые затем преобразуют в представление в первой области.

3. Способ по статье 1 или 2, отличающийся тем, что процедура переформирования далее содержит: избирательное применение процедуры зависящего от яркостной составляющей масштабирования остатка цветностной составляющей.

4. Способ по какой-либо из статей 1 - 3, отличающийся тем, что указанное определение осуществляется на основе того, кодирован ли текущий видеоблок со всеми нулевыми коэффициенты.

5. Способ по статье 2, отличающийся тем, что процедуру прямого переформирования пропускают на основе того, кодирован ли текущий видеоблок со всеми нулевыми коэффициенты.

6. Способ по статье 2, отличающийся тем, что текущий видеоблок кодируют со всеми нулевыми коэффициентами, и отличающийся тем, что процедуру обратного переформирования пропускают.

7. Способ по статье 2, отличающийся тем, что текущий видеоблок кодируют со всеми нулевыми коэффициентами, и отличающийся тем, что процедуру зависящего от яркостной составляющей масштабирования остатка цветностной составляющей пропускают.

8. Способ по статье 2, отличающийся тем, что указанное определение основано на том, кодирован ли текущий видеоблок только с одним ненулевым коэффициентом, расположенным в определенном положении.

9. Способ по статье 2, отличающийся тем, что текущий видеоблок кодируют только с одним ненулевым коэффициентом, расположенным в определенном положении, и пропускают по меньшей мере одну из следующих процедур - процедуру прямого переформирования, процедуру обратного переформирования и/или процедуру зависящего от яркостной составляющей масштабирование остатка цветностной составляющей.

10. Способ по статье 2, отличающийся тем, что указанное определение основано на том, кодирован ли текущий видеоблок с M ненулевыми коэффициентами.

11. Способ по статье 2, отличающийся тем, что текущий видеоблок кодируют с M ненулевыми коэффициентами, и пропускают по меньшей мере одну из следующих процедур - процедуру прямого переформирования, процедуру обратного переформирования и/или процедуру зависящего от яркостной составляющей масштабирование остатка цветностной составляющей.

12. Способ по статье 11, отличающийся тем, что M равно 1.

13. Способ обработки видео, содержащий: разбиение, для преобразования между текущим видеоблоком видео, превосходящим единицу данных виртуального конвейера (VPDU) видео, этого текущего видеоблока на области; и осуществление преобразования путем применения режима кодирования по отдельности к каждой области, отличающийся тем, что, в процессе преобразования путем применения режим кодирования, текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

14. Способ по статье 13, отличающийся тем, что каждая область соответствует индивидуальной единице кодирования (CU) для режима кодирования.

15. Способ по статье 13, отличающийся тем, что ширина текущего видеоблока равна или больше первой величины, текущий видеоблок разбивают на суб-блоки, так что ширина одного или нескольких из этих суб-блоков равна или меньше первой величины, и режим кодирования активизирован для каждого суб-блока.

16. Способ по статье 13, отличающийся тем, что высота текущего видеоблока равна или больше второй величины, текущий видеоблок разбивают на суб-блоки, имеющие одну или несколько высот, которые равны или меньше указанной второй величины, и режим кодирования активизируют для каждого суб-блока.

17. Способ по статье 13, отличающийся тем, что размер текущего видеоблока равен или больше третьей величины, текущий видеоблок разбивают на суб-блоки, имеющие один или несколько размеров равных или меньше указанной третьей величины, и режим кодирования активизируют для каждого суб-блока.

18. Способ по какой-либо одной из статей 15 - 17, отличающийся тем, что указанные суб-блоки имеют одинаковую ширину или одинаковую высоту.

19. Способ обработки видео, содержащий: определение, для осуществления преобразования между текущим видеоблоком и кодированным представлением видео, следует ли отменить активизацию использования режима кодирования на основе размера или цветового формата текущего видеоблока; и осуществление преобразования на основе результата указанного определения, где, в процессе преобразования с использованием режима кодирования, текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

20. Способ по статье 19, отличающийся тем, что на этапе указанного определения решают, что следует отменить активизацию режима кодирования для текущего видеоблока, превосходящего единицу данных виртуального конвейера (VPDU).

21. Способ по статье 19, отличающийся тем, что на этапе указанного определения решают, что следует отменить активизацию режима кодирования для текущего видеоблока, имеющего размер, содержащий отсчеты, число которых меньше M*H.

22. Способ по статье 19, отличающийся тем, что на этапе указанного определения решают, что следует отменить активизацию режима кодирования для текущего видеоблока в случае, когда минимальный размер ширины и/или высоты текущего видеоблока равен или меньше величины X, являющейся целым числом.

23. Способ по статье 19, отличающийся тем, что на этапе указанного определения решают, что следует отменить активизацию режима кодирования для текущего видеоблока в случае, когда минимальный размер ширины и/или высоты текущего видеоблока не меньше величины X, являющейся целым числом.

24. Способ по статье 22 или 23, отличающийся тем, что X равно 8.

25. Способ по статье 19, отличающийся тем, что на этапе указанного определения решают, что следует отменить активизацию режима кодирования для текущего видеоблока в случае, когда текущий видеоблок имеет высоту и/или ширину, где эта ширина равна или больше первой величины и эта высота равна или больше второй величины.

26. Способ по статье 19, отличающийся тем, что на этапе указанного определения решают, что следует отменить активизацию режима кодирования для текущего видеоблока в случае, когда текущий видеоблок имеет высоту и/или ширину, где эта ширина равна или меньше первой величины и эта высота равна или меньше второй величины.

27. Способ по статье 25 или 26, отличающийся тем, что по меньшей мере одна из величин - первая величина и/или вторая величина равна 8

28. Способ по какой-либо из статей 19 - 27, отличающийся тем, что процедура отмены активизации режима кодирования содержит отмену активизации по меньшей мере одного из: 1) прямого переформирования для преобразования отсчетов в первой области во вторую область; 2) обратного переформирования для преобразования отсчетов во второй области в первую область; 3) зависящего от яркостной составляющей масштабирования цветностной составляющей.

29. Способ обработки видео, содержащий: осуществление преобразования между текущим видеоблоком видео и кодированным представлением видео, где процедура преобразования использует режим кодирования, в котором текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, и где по меньшей мере один синтаксический элемент в кодированном представлении создает индикацию использования режима кодирования и индикацию модели устройства переформирования.

30. Способ по статье 29, отличающийся тем, что индикацию использования режима кодирования кодируют на основе индикации модели устройства переформирования.

31. Способ по статье 29, отличающийся тем, что индикацию модели устройства переформирования кодируют на основе индикации режима кодирования.

32. Способ по статье 29, отличающийся тем, что только один из синтаксических элементов кодируют.

33. Способ по какой-либо из статей 1 - 32, отличающийся тем, что различные способы усечения применяются к прогнозируемому сигналу и к реконструируемому сигналу.

34. Способ по статье 33, отличающийся тем, что к прогнозируемому сигналу применяют процедуру адаптивного усечения, позволяющую использовать различные параметры усечения в пределах видео.

35. Способ по статье 34, отличающийся тем, что во второй области определяют максимальную величину и минимальную величину для адаптивного усечения.

36. Способ по статье 33, отличающийся тем, что к реконструированному сигналу применяют фиксированное усечение.

37. Способ обработки видео, содержащий: определение, что режим кодирования не активизирован для осуществления преобразования между текущим видеоблоком и кодированным представлением видео; и условный пропуск прямого переформирования и/или обратного переформирования на основе результата указанного определения, отличающийся тем, что, в режиме кодирования, текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

38. Способ по статье 37, отличающийся тем, что по меньшей мере один из сигналов - прогнозируемый сигнал, реконструированный сигнал и/или сигнал остатка, находится в первой области.

39. Способ по статье 37, отличающийся тем, что по меньшей мере один из сигналов - прогнозируемый сигнал, реконструированный сигнал и/или сигнал остатка, находится во второй области.

40. Способ обработки видео, содержащий: осуществление преобразования между текущим видеоблоком видеообласти видео и кодированным представлением видео, где процедура преобразования использует режим кодирования, в котором текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, и где несколько операций прямого переформирования и/или несколько операций обратного переформирования применяют в режиме переформирования для видеообласти.

41. Способ по статье 40, отличающийся тем, что указанная видеообласть содержит изображение, группу плиток, единицу данных виртуального конвейера (VPDU), ряд единиц дерева кодирования (CTU), или несколько единиц кодирования.

42. Способ по статье 40 или 41, отличающийся тем, что то, как выбрать несколько операций прямого переформирования и/или несколько операций обратного переформирования, зависит по меньшей мере от одного из следующих факторов i) размер блока или размер видеоблока, ii) режим кодирования текущего видеоблока или видеообласти, iii) тип изображения текущего видеоблока или видеообласти, iv) флаг проверки малой задержки текущего видеоблока или видеообласти, v) информация о движении текущего видеоблока или видеообласти, vi) опорные изображения для текущего видеоблока или видеообласти, или vii) видеоконтент текущего видеоблока или видеообласти.

43. Способ по какой-либо из статей 1 - 42, отличающийся тем, что, в процессе преобразования, отсчет в первой области отображают на отсчет во второй области, имеющий величину меньше величины отсчета в первой области.

44. Способ по какой-либо из статей 1 - 43, отличающийся тем, что первая область является исходной областью, а вторая область является переформированной областью, использующей способ отображения яркостной составляющей с масштабированием цветностной составляющей (LMCS) для отображения отсчетов цветностной составляющей на конкретные величины.

45. Способ по статье 44, отличающийся тем, что способ LMCS использует кусочно-линейную модель для отображения отсчетов цветностной составляющей на конкретные величины.

46. Способ по какой-либо из статей 1 - 45, отличающийся тем, что осуществление преобразования содержит генерацию кодированного представления из текущего блока.

47. Способ по какой-либо из статей 1 - 45, отличающийся тем, что осуществление преобразования содержит генерацию текущего блока из кодированного представления.

48. Устройство в видеосистеме, содержащее процессор и энергонезависимое запоминающее устройство с записанными в нем командами, где при выполнении этих команд процессор реализует способ согласно какой-либо одной из статей 1 - 47.

49. Компьютерный программный продукт, сохраняемый на энергонезависимом читаемом компьютером носителе информации, этот компьютерный программный продукт содержит программный код для осуществления способа согласно какой-либо одной из статей 1 - 47.

Шестая группа статей описывает определенные признаки и аспекты предлагаемых способов, перечисленных в предыдущем разделе, включая, например, Примеры 16 и 17.

1. Способ обработки видео, содержащий: выполнение определения, что режим кодирования активизирован для осуществления преобразования между текущим видеоблоком и кодированным представлением видео; и осуществление преобразования с использованием режима палитры, где по меньшей мере палитра репрезентативных величин отсчетов используется для текущего видеоблока, и где, в режиме кодирования, текущий видеоблок конструируют на основе отсчетов в первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

2. Способ по статье 1, отличающийся тем, что палитра репрезентативных величин отсчетов содержит по меньшей мере одно из 1) предикторы палитры или 2) выбивающиеся отсчеты.

3. Способ по статье 1, отличающийся тем, что репрезентативные величины отсчетов представляют величины в первой области.

4. Способ по статье 1, отличающийся тем, что репрезентативные величины отсчетов представляют величины во второй области.

5. Способ по статье 1 или 2, отличающийся тем, что предикторы палитры, используемые в режиме палитры и включенные в кодированное представление, находятся в первой области или во второй области.

6. Способ по статье 1 или 2, отличающийся тем, что выбивающиеся отсчеты, используемые в режиме палитры и включенные в кодированное представление, находятся в первой области или во второй области.

7. Способ по статье 1 или 2, отличающийся тем, что когда предикторы палитры и/или выбивающиеся отсчеты, используемые в режиме палитры и включенные в кодированное представление, находятся во второй области, сначала генерируют первый реконструированный блок во второй области и затем используют его для кодирования последующих блоков.

8. Способ по статье 7, отличающийся тем, что когда предикторы палитры и/или выбивающиеся отсчеты, используемые в модифицированном режиме палитры и включенные в кодированное представление, находятся во второй области, генерируют конечный реконструированный блок в первой области с использованием первого реконструированного блока и процедуры обратного переформирования.

9. Способ по статье 8, отличающийся тем, что процедуру обратного переформирования привлекают непосредственно перед деблокирующей фильтрацией.

10. Способ по какой-либо из статей 1 - 9, отличающийся тем, что преобразование осуществляется на основе цветовой составляющей текущего видеоблока.

11. Способ по статье 10, отличающийся тем, что цветная составляющая является яркостной составляющей.

12. Способ обработки видео, содержащий: выполнение определения, для осуществления преобразования между текущим видеоблоком и кодированным представлением видео, что текущий видеоблок кодирован в режиме палитры, в котором по меньшей мере палитра репрезентативных величин отсчетов используется для кодирования текущего видеоблока; и осуществление, согласно результатам указанного определения, преобразования путем отмены активизации режима кодирования, где, когда режим кодирования применяется к видеоблоку, этот видеоблок конструируют на основе остатка цветностной составляющей, масштабированного способом, зависящим от яркостной составляющей.

13. Способ по статье 12, отличающийся тем, что когда текущий видеоблок кодируют в режиме палитры, режим кодирования не активизирован.

14. Способ обработки видео, содержащий: осуществление преобразования между первым видеоблоком видео и кодированным представлением видео, где процедура преобразования использует первый режим кодирования и режим кодирования палитры, в котором по меньшей мере палитра репрезентативных величин пикселей используется для кодирования текущего видеоблока; и осуществление преобразования между вторым видеоблоком указанного видео, кодированным без использования режима кодирования палитры и кодированным представлением видео, и где процедура преобразования второго видеоблока использует первый режим кодирования, где первый режим кодирования применен к видеоблоку, этот видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, и где первый режим кодирования применяют разными способами для первого видеоблока и второго видеоблока.

15. Способ по статье 14, отличающийся тем, что, первый режим кодирования, применяемый к первому видеоблоку, отличается от первого режима кодирования, применяемого ко второму видеоблоку, из-за отмены активизации использования прямого переформирования и обратного переформирования, что используется для преобразования отсчетов между первой областью и второй областью.

16. Способ по статье 14, отличающийся тем, что первый режим кодирования, применяемый к первому видеоблоку, отличается от первого режима кодирования, применяемого ко второму видеоблоку, из-за использования другой функции переформирования и/или другой функции обратного переформирования, применяемой для преобразования отсчетов между первой областью и второй областью.

17. Способ по какой-либо из статей 1 - 11 и 14 - 16, отличающийся тем, что первая область является исходной областью, и вторая область является переформированной областью с использованием способа отображения яркостной составляющей с масштабированием цветностной составляющей (LMCS), осуществляющего отображение отсчетов яркостной составляющей на конкретные величины.

18. Способ по статье 17, отличающийся тем, что режим LMCS использует кусочно-линейную модель для отображения отсчетов яркостной составляющей на конкретные величины.

19. Способ по какой-либо из статей 1 - 18, отличающийся тем, что процедура преобразования содержит генерацию кодированного представления из текущего блока.

20. Способ по какой-либо из статей 1 - 18, отличающийся тем, что процедура преобразования содержит генерацию текущего блока из кодированного представления.

21. Устройство в видеосистеме, содержащее процессор и энергонезависимое запоминающее устройство с записанными в нем командами, где при выполнении этих команд процессор реализует способ согласно какой-либо одной из статей 1 - 21.

22. Компьютерный программный продукт, сохраняемый на энергонезависимом читаемом компьютером носителе информации, этот компьютерный программный продукт содержит программный код для осуществления способа согласно какой-либо одной из статей 1 - 21.

Седьмая группа статей описывает определенные признаки и аспекты предлагаемых способов, перечисленных в предыдущем разделе, включая, например, Примеры 18 и 19.

1. Способ обработки видео, содержащий: выполнение определения, что режим кодирования активизирован для осуществления преобразования между текущим видеоблоком и кодированным представлением видео; и осуществление преобразования с использованием режима внутрикадрового копирования блоков, который генерирует прогнозируемый блок с использованием по меньшей мере вектора блока, указывающего на изображение, содержащее кодированный видеоблок, и где, в режиме кодирования, текущий видеоблок конструируют на основе отсчетов в первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

2. Способ по статье 1, отличающийся тем, что прогнозируемый блок генерируют в первой области.

3. Способ по статье 1, отличающийся тем, что блок остатка представлен в виде кодированного представления в первой области.

4. Способ по статье 1, отличающийся тем, что прогнозируемый блок генерируют во второй области.

5. Способ по статье 1, отличающийся тем, что блок остатка представлен в виде кодированного представления во второй области.

6. Способ по статье 4 или 5, отличающийся тем, что первый строительный блок для текущего видеоблока получают на основе суммы блока остатка и прогнозируемого блока во второй области, и этот первый строительный блок используют для преобразований между последующим видеоблоком и кодированным представлением видео.

7. Способ по статье 4 или 5, отличающийся тем, что конечный строительный блок для текущего видеоблока получают на основе обратного переформирования, применяемого к первому строительному блоку для преобразования этого первого строительного блока из второй области в первую область.

8. Способ по какой-либо одной из статей 1 - 7, отличающийся тем, что преобразование осуществляется на основе цветовой составляющей текущего видеоблока.

9. Способ по статье 8, отличающийся тем, что указанная цветовая составляющая является яркостной составляющей.

10. Способ обработки видео, содержащий: выполнение определения, для осуществления преобразования между текущим видеоблоком и кодированным представлением видео, что текущий видеоблок кодируют в режиме внутрикадрового копирования блоков (IBC), который генерирует прогнозируемый блок с использованием по меньшей мере вектора блока, указывающего видеокадр, содержащий текущий видеоблок, для кодирования текущего видеоблока; и осуществление, по результатам указанного определения, преобразования путем отмены активизации режима кодирования, где, когда режим кодирования применяют к видеоблоку, этот видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

11. Способ по статье 10, отличающийся тем, что когда текущий видеоблок кодируют в режиме копирования IBC, активизацию режима кодирования отменяют.

12. Способ обработки видео, содержащий: осуществление преобразования между первым видеоблоком видео и кодированным представлением видео, где процедура преобразования использует режим внутрикадрового копирования блоков, который генерирует прогнозируемый блок с использованием по меньшей мере вектора блока, указывающего на видеокадр, содержащий текущий видеоблок, и первый режим кодирования; и осуществление преобразования между вторым видеоблоком этого же видео, кодированным без использования режима внутрикадрового копирования блоков, и кодированным представлением видео, где процедура преобразования второго видеоблока использует первый режим кодирования, где, когда первый режим кодирования применяется к видеоблоку, этот видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, и где первый режим кодирования применяют разными способами к первому видеоблоку и ко второму видеоблоку.

13. Способ по статье 12, отличающийся тем, что, первый режим кодирования, применяемый к первому видеоблоку, отличается от первого режима кодирования, применяемого ко второму видеоблоку, поскольку отменена активизация использования прямого переформирования и обратного переформирования, применяемых для преобразования отсчетов между первой областью и второй областью.

14. Способ по статье 12, отличающийся тем, что первый режим кодирования, применяемый к первому видеоблоку, отличается от первого режима кодирования, применяемого ко второму видеоблоку, благодаря использованию различных функций прямого переформирования и/или различных функций обратного переформирования, применяемых для преобразования отсчетов между первой областью и второй областью.

15. Способ по какой-либо из статей 1 - 14, отличающийся тем, что первая область является исходной областью, и вторая область является переформированной областью с использованием способа отображения яркостной составляющей с масштабированием цветностной составляющей (LMCS), осуществляющего отображение отсчетов яркостной составляющей на конкретные величины.

16. Способ по статье 15, отличающийся тем, что режим LMCS использует кусочно-линейную модель для отображения отсчетов.

17. Способ по какой-либо из статей 1 - 16, отличающийся тем, что процедура преобразования содержит генерацию кодированного представления из текущего блока.

18. Способ по какой-либо из статей 1 - 16, отличающийся тем, что процедура преобразования содержит генерацию текущего блока из кодированного представления.

19. Устройство в видеосистеме, содержащее процессор и энергонезависимое запоминающее устройство с записанными в нем командами, где при выполнении этих команд процессор реализует способ согласно какой-либо одной из статей 1 - 18.

20. Компьютерный программный продукт, сохраняемый на энергонезависимом читаемом компьютером носителе информации, этот компьютерный программный продукт содержит программный код для осуществления способа согласно какой-либо одной из статей 1 - 18.

Восьмая группа статей описывает определенные признаки и аспекты предлагаемых способов, перечисленных в предыдущем разделе, включая, например, Примеры 20 - 27.

1. Способ обработки видео, содержащий: выполнение определения, что режим кодирования активизирован для осуществления преобразования между текущим видеоблоком и кодированным представлением видео; и осуществления преобразования с использованием режима дельта-импульсно-кодовой модуляции на блочной основе (BDPCM), где, в указанном режиме кодирования, текущий видеоблок конструируют на основе отсчетов в первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

2. Способ по статье 1, отличающийся тем, что прогнозируемый блок для текущего видеоблока генерируют в первой области.

3. Способ по статье 1, отличающийся тем, что блок остатка для текущего видеоблока представлен в кодированном представлении в первой области.

4. Способ по статье 1, отличающийся тем, что прогнозируемый блок для текущего видеоблока генерируют во второй области.

5. Способ по статье 1, отличающийся тем, что блок остатка для текущего видеоблока представлен в кодированном представлении во второй области.

6. Способ по статье 4 или 5, отличающийся тем, что первый строительный блок для текущего видеоблока получают на основе суммы блока остатка и прогнозируемого блока во второй области и используют этот первый строительный блок для преобразований между последующим видеоблоком и кодированным представлением видео.

7. Способ по статье 4 или 5, отличающийся тем, что конечный строительный блок для текущего видеоблока получают на основе обратного переформирования, применяемого к первому строительному блоку, с целью преобразования первого строительного блока из второй области в первую область.

8. Способ обработки видео, содержащий: выполнение определения, для осуществления преобразования между текущим видеоблоком и кодированным представлением видео, что текущий видеоблок кодируют с использованием режима дельта-импульсно-кодовой модуляции на блочной основе (BDPCM); и осуществления, по результатам указанного определения, преобразования путем отмены активизации режима кодирования, где, когда указанный режим кодирования применяется к видеоблоку, этот видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

9. Способ по статье 8, отличающийся тем, что когда текущий видеоблок кодируют в режиме модуляции BDPCM, режим кодирования не активизируют.

10. Способ обработки видео, содержащий: осуществление преобразования между первым видеоблоком видео и кодированным представлением видео, где процедура преобразования первого видеоблока использует первый режим кодирования и режим дельта-импульсно-кодовой модуляции на блочной основе (BDPCM); и осуществление преобразования между вторым видеоблоком указанного видео и кодированным представлением видео, где второй видеоблок кодируют без использования режима модуляции BDPCM, и процедура преобразования второго видеоблока использует первый режим кодирования, где, когда первый режим кодирования применяется к видеоблоку, этот видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, и где первый режим кодирования применяют различными способами к первому видеоблоку и ко второму видеоблоку.

11. Способ по статье 10, отличающийся тем, что, первый режим кодировании, применяемый к первому видеоблоку, отличается от первого режима кодирования, применяемого ко второму видеоблоку, из-за отмены активизации использования прямого переформирования и обратного переформирования, применяемых для преобразования отсчетов между первой областью и второй областью.

12. Способ по статье 10, отличающийся тем, что первый режим кодирования, применяемый к первому видеоблоку, отличается от первого режима кодирования, применяемого ко второму видеоблоку, из-за использования другого прямого переформирования и/или другого обратного переформирования, относительно применяемых для преобразования отсчетов между первой областью и второй областью.

13. Способ обработки видео, содержащий: выполнение определения, что режим кодирования активизирован для осуществления преобразования между текущим видеоблоком и кодированным представлением видео; и осуществление преобразования с использованием режима пропуска трансформации, в котором трансформацию остатка прогнозирования пропускают при кодировании текущего видеоблока, где, в режиме кодирования, текущий видеоблок конструируют на основе отсчетов в первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

14. Способ по статье 13, отличающийся тем, что прогнозируемый блок для текущего видеоблока, генерируют в первой области.

15. Способ по статье 13, отличающийся тем, что блок остатка относительно текущего видеоблока представлен в кодированном представлении в первой области.

16. Способ по статье 13, отличающийся тем, что прогнозируемый блок для текущего видеоблока генерируют во второй области.

17. Способ по статье 13, отличающийся тем, что блок остатка представлен в кодированном представлении во второй области.

18. Способ по статье 16 или 17, отличающийся тем, что первый строительный блок для текущего видеоблока получен на основе суммы блока остатка и прогнозируемого блока во второй области, и этот первый строительный блок используется для преобразований между последующим видеоблок и кодированном представлением видео.

19. Способ по статье 16 или 17, отличающийся тем, что конечный строительный блок для текущего видеоблока получают на основе обратного переформирования, применяемого к первому строительному блоку с целью преобразования этого первого строительного блока из второй области в первую область.

20. Способ обработки видео, содержащий: выполнение определения, для осуществления преобразования между текущим видеоблоком и кодированным представлением видео, что текущий видеоблок кодируют в режиме пропуска трансформации, в котором трансформацию остатка прогнозирования пропускают при кодировании текущего видеоблока; и осуществление, по результатам указанного определения, преобразования путем отмены активизации режима кодирования, где, когда режим кодирования применяют к видеоблоку, этот видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

21. Способ по статье 20, отличающийся тем, что когда текущий видеоблок кодируют в режиме пропуска трансформации, режим кодирования не активизирован.

22. Способ обработки видео, содержащий: осуществление преобразования между первым видеоблоком видео и кодированным представлением видео, где процедура преобразования первого видеоблока использует первый режим кодирования и режим пропуска трансформации, в котором трансформацию остатка прогнозирования пропускают при кодировании текущего видеоблока; и осуществление преобразования между вторым видеоблоком и кодированным представлением видео, где второй видеоблок кодируют без использования режима пропуска трансформации, и процедура преобразования второго видеоблока использует первый режим кодирования, где, когда первый режим кодирования применяют к видеоблоку, этот видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, и где первый режим кодирования применяют различными способами к первому видеоблоку и ко второму видеоблоку.

23. Способ по статье 22, отличающийся тем, что, первый режим кодирования, применяемый к первому видеоблоку, отличается от первого режима кодирования, применяемого ко второму видеоблоку из-за отмены активизации использования прямого переформирования и обратного переформирования, применяемых для преобразования отсчетов между первой областью и второй областью.

24. Способ по статье 22, отличающийся тем, что первый режим кодирования, применяемый к первому видеоблоку, отличается от первого режима кодирования, применяемого ко второму видеоблоку, из-за использования другого способа прямого переформирования и/или другого способа обратного переформирования, относительно применяемых для преобразования отсчетов между первой областью и второй областью.

25. Способ обработки видео, содержащий: выполнение определения, что режим кодирования активизирован для осуществления преобразования между текущим видеоблоком и кодированным представлением видео; и осуществление преобразования с использованием режима внутрикадрового прогнозирования с импульсно-кодовой модуляцией, в котором текущий видеоблок кодируют без применения трансформации и квантования в трансформированной области, где, в режиме кодирования, текущий видеоблок конструируют на основе отсчетов в первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

26. Способ по статье 25, отличающийся тем, что прогнозируемый блок для текущего видеоблока генерируют в первой области.

27. Способ по статье 25, отличающийся тем, что блок остатка для текущего видеоблока представлен в кодированном представлении в первой области.

28. Способ по статье 25, отличающийся тем, что прогнозируемый блок для текущего видеоблока генерируют во второй области.

29. Способ по статье 25, отличающийся тем, что блок остатка для текущего видеоблока представлен в кодированном представлении во второй области.

30. Способ по статье 28 или 29, отличающийся тем, что первый строительный блок для текущего видеоблока получают на основе суммы блока остатка и прогнозируемого блока во второй области, и этот первый строительный блок используется для преобразования между последующим видеоблоком и кодированным представлением видео.

31. Способ по статье 28 или 29, отличающийся тем, что конечный строительный блок для текущего видеоблока получают на основе обратного переформирования, применяемого к первому строительному блоку с целью преобразования первого строительного блока из второй области в первую область.

32. Способ обработки видео, содержащий: выполнение определения, для осуществления преобразования между текущим видеоблоком и кодированным представлением видео, что текущий видеоблок, кодируют в режиме внутрикадрового прогнозирования с импульсно-кодовой модуляцией, в котором текущий видеоблок кодируют без применения трансформации и квантования в трансформированной области; и осуществление, по результатам указанного определения, преобразования путем отмены активизации режима кодирования, где, когда режим кодирования применяют к видеоблоку, этот видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

33. Способ по статье 32, отличающийся тем, что когда текущий видеоблок кодируют в режиме внутрикадрового прогнозирования с импульсно-кодовой модуляцией, режим кодирования не активизирован.

34. Способ обработки видео, содержащий: осуществление преобразования между первым видеоблоком видео и кодированным представлением видео, где процедура преобразования первого видеоблока использует первый режим кодирования и режим внутрикадрового прогнозирования с импульсно-кодовой модуляцией, котором текущий видеоблок кодируют без применения трансформации и квантования в трансформированной области; и осуществление преобразования между вторым видеоблоком видео и кодированным представлением видео, где второй видеоблок кодируют без использования режима внутрикадрового прогнозирования с импульсно-кодовой модуляцией, и процедура преобразования второго видеоблока использует первый режим кодирования, где, когда этот первый режим кодирования применяют к видеоблоку, этот видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, и где первый режим кодирования применяют различными способами к первому видеоблоку и ко второму видеоблоку.

35. Способ по статье 34, отличающийся тем, что, первый режим кодирования, применяемый к первому видеоблоку, отличается от первого режима кодирования, применяемому ко второму видеоблоку, из-за отмены активизации использования прямого переформирования и обратного переформирования, применяемых для преобразования отсчетов между первой областью и второй областью.

36. Способ по статье 34, отличающийся тем, что первый режим кодирования, применяемый к первому видеоблоку, отличается от первого режима кодирования, применяемого ко второму видеоблоку, из-за использования другого режима прямого переформирования и/или другого режима обратного переформирования, применяемого для преобразования отсчетов между первой областью и второй областью.

37. Способ обработки видео, содержащий: выполнение определения, что режим кодирования активизирован для осуществления преобразования между текущим видеоблоком и кодированным представлением видео; и осуществление преобразования с использованием модифицированного режима обхода трансформации и квантования, в котором текущий видеоблок кодируют без потерь и без трансформации и квантования, где, в режиме кодирования, текущий видеоблок конструируют на основе отсчетов в первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

38. Способ по статье 37, отличающийся тем, что прогнозируемый блок для текущего видеоблока генерируют в первой области.

39. Способ по статье 37, отличающийся тем, что блок остатка для текущего видеоблока представляют в кодированном представлении в первой области.

40. Способ по статье 37, отличающийся тем, что прогнозируемый блок для текущего видеоблока генерируют во второй области.

41. Способ по статье 37, отличающийся тем, что блок остатка для текущего видеоблока представляют в кодированном представлении во второй области.

42. Способ по статье 40 или 41, отличающийся тем, что первый строительный блок для текущего видеоблока получают на основе суммы блока остатка и прогнозируемого блока во второй области, и используют этот первый строительный блок для преобразования между последующим видеоблоком и кодированным представлением видео.

43. Способ по статье 40 или 41, отличающийся тем, что конечный строительный блок для текущего видеоблока получают на основе обратного переформирования, применяемому к первому строительному блоку для преобразования этого первого строительного блока из второй области в первую область.

44. Способ обработки видео, содержащий: выполнение определения, для осуществления преобразования между текущим видеоблоком и кодированным представлением видео, что текущий видеоблоком кодируют в режиме обхода трансформации и квантования, в котором текущий видеоблок кодируют без потерь и без применения трансформации и квантования; и осуществление, по результатам указанного определения, преобразования посредством отмены активизации режима кодирования, где, когда режим кодирования применяют к видеоблоку, этот видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей.

45. Способ по статье 44, отличающийся тем, что когда текущий видеоблок кодируют в режиме внутрикадрового прогнозирования с импульсно-кодовой модуляцией, этот режим кодирования не активизирован.

46. Способ обработки видео, содержащий: осуществление преобразования между первым видеоблоком видео и кодированным представлением видео, где процедура преобразования первого видеоблока использует первый режим кодирования и режим обхода трансформации и квантования, в котором текущий видеоблок кодируют без потерь и без трансформации и квантования; и осуществление преобразования между вторым видеоблоком указанного видео и кодированным представлением видео, где второй видеоблок кодируют без использования режима обхода трансформации и квантования, и процедура преобразования второго видеоблока использует первый режим кодирования, где, когда первый режим кодирования применяют к видеоблоку, этот видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, и где первый режим кодирования применяют различными способами к первому видеоблоку и ко второму видеоблоку.

47. Способ по статье 46, отличающийся тем, что, первый режим кодирования, применяемый к первому видеоблоку, отличается от первого режима кодирования, применяемого ко второму видеоблоку, из-за отмены активизации использования прямого переформирования и обратного переформирования, применяемых для преобразования отсчетов между первой областью и второй областью.

48. Способ по статье 46, отличающийся тем, что первый режим кодирования, применяемый к первому видеоблоку, отличается от первого режима кодирования, применяемого ко второму видеоблоку, из-за использования другого прямого переформирования и/или другого обратного переформирования, применяемого для преобразования отсчетов между первой областью и второй областью.

49. Способ по какой-либо одной из статей 1 - 48, отличающийся тем, что преобразование осуществляется на основе цветовой составляющей текущего видеоблока.

50. Способ по статье 49, отличающийся тем, что указанная цветовая составляющая является цветностной составляющей.

51. Способ по какой-либо из статей 1 - 50, отличающийся тем, что первая область является исходной областью и вторая область является переформированной областью, использующей способ отображения яркостной составляющей с масштабированием цветностной составляющей (LMCS), который отображает отсчеты яркостной составляющей на конкретные величины.

52. Способ по статье 51, отличающийся тем, что режим LMCS использует кусочно-линейную модель для отображения отсчетов яркостной составляющей на конкретные величины.

53. Способ по какой-либо из статей 1 - 52, отличающийся тем, что процедура преобразования содержит генерацию кодированного представления из текущего блока.

54. Способ по какой-либо из статей 1 - 52, отличающийся тем, что процедура преобразования содержит генерацию текущего блока из кодированного представления.

55. Устройство в видеосистеме, содержащее процессор и энергонезависимое запоминающее устройство с записанными в нем командами, где при выполнении этих команд процессор реализует способ согласно какой-либо одной из статей 1 - 54.

56. Компьютерный программный продукт, сохраняемый на энергонезависимом читаемом компьютером носителе информации, этот компьютерный программный продукт содержит программный код для осуществления способа согласно какой-либо одной из статей 1 - 54.

Девятая группа статей описывает определенные признаки и аспекты предлагаемых способов, перечисленных в предыдущем разделе, включая, например, Примеры 30 - 34 и 41.

1. Способ обработки видео, содержащий: осуществление преобразования между текущим видеоблоком видео и кодированным представлением видео, где процедура преобразования использует режим кодирования, в котором текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, и где информацию, используемую для режима кодирования, сообщают в виде сигнализации в наборе параметров, отличном от набора параметров последовательности (SPS), набора параметров видео (VPS), набора параметров изображения (PPS) или набора параметров адаптации (APS), используемого для передачи параметров адаптивной контурной фильтрации (ALF).

2. Способ по статье 1, отличающийся тем, что указанный набор параметров совместно используется несколькими изображениями.

3. Способ по статье 1, отличающийся тем, что указанный набор параметров содержит один или несколько синтаксических элементов, включая по меньшей мере один из идентификаторов этого набора параметров или флаг, указывающий присутствие данных расширения этого набора параметров.

4. Способ по статье 1, отличающийся тем, что указанный набор параметров является специфичным для группы плиток в изображении.

5. Способ обработки видео, содержащий: осуществление преобразования между текущим видеоблоком видео и кодированным представлением видео, где операция преобразования использует режим кодирования, в котором текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, и где информацию, используемую для режима кодирования, сообщают в виде сигнализации в наборе параметров адаптации (APS) вместе с информацией об адаптивной контурной фильтрации (ALF), где информация, используемая для режима кодирования, и информация о фильтрации ALF включены в одну единицу уровня NAL.

6. Способ по статье 5, отличающийся тем, что идентификатор набора APS сообщают в виде сигнализации в заголовке группы плиток.

7. Способ обработки видео, содержащий: осуществление преобразования между текущим видеоблоком видеообласти видео и кодированным представлением видео, где процедура преобразования использует режим кодирования, в котором текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, и где информацию, используемую для режима кодирования, передают в виде сигнализации в наборе параметров адаптации (APS) первого типа, отличном от набора APS второго типа, применяемом для передачи информации об адаптивной контурной фильтрации (ALF) в виде сигнализации.

8. Способ по статье 7, отличающийся тем, что идентификатор набора APS второго типа сообщают в виде сигнализации на уровне видеообласти.

9. Способ по статье 7, отличающийся тем, что идентификатор набора APS первого типа сообщают в виде сигнализации на уровне видеообласти.

10. Способ по статье 7, отличающийся тем, что набор APS первого типа, входящий в кодированное представление, содержит набор APS второго типа, в который входит информация о фильтрации ALF в потоке битов данных соответствия.

11. Способ по статье 7, отличающийся тем, что набор APS второго типа, входящий в кодированное представление, содержит набор APS первого типа, в который входит информация, используемая для режима кодирования, в потоке битов данных соответствия.

12. Способ по статье 7, отличающийся тем, что набор APS первого типа и набор APS второго типа ассоциированы с разными идентификаторами.

13. Способ по статье 12, отличающийся тем, что набор APS второго типа имеет идентификатор, равный 2N, где N является целым числом.

14. Способ по статье 13, отличающийся тем, что набор APS первого типа имеет идентификатор, равный 2N+1, где N является целым числом.

15. Способ обработки видео, содержащий: осуществление преобразования между текущим видеоблоком видеообласти видео и кодированным представлением видео, где процедура преобразования использует режим кодирования, в котором текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, и где для указанной видеообласти недопустимо обращаться к набору параметров адаптации или набору параметров, передаваемому в виде сигнализации прежде структуры данных специфицированного типа, используемой для обработки видео, и где эту структуру данных специфицированного типа передают в виде сигнализации прежде видеообласти.

16. Способ по статье 15, отличающийся тем, что указанная структура данных содержит по меньшей мере одно из следующего - единицу уровню сетевой абстракции (NAL), группу плиток, набор параметров последовательности (SPS), набор параметров изображения (PPS), ограничитель единицы доступа уровня NAL (AUD), единицу конца потока битов данных NAL (EoB), единицу конца последовательности NAL (NAL), единицу мгновенного обновления декодирования (IDR) NAL, единицу чистого произвольного доступа (CRA) NAL, единицу с точкой произвольного доступа при внутрикадровом прогнозировании (IRAP), группу плиток I-типа, изображение или срез.

17. Способ обработки видео, содержащий: осуществление преобразования между текущим видеоблоком и кодированным представлением видео, где процедура преобразования использует режим кодирования, в котором текущий видеоблок конструируют на основе первой области и второй области и/или масштабируют остаток цветностной составляющей способом, зависящим от яркостной составляющей, и где синтаксический элемент набора параметров, содержащего параметры, используемые для обработки видео, имеет заданные значения в потоке битов данных соответствия.

18. Способ по статье 17, отличающийся тем, что указанные заданные величины равны 0 и 1.

19. Способ по статье 17, отличающийся тем, что указанные заданные величины равны 0 и 7.

20. Способ по какой-либо из статей 1 - 19, отличающийся тем, что указанная видеообласть содержит по меньшей мере одно - группу плиток, изображение, срез и/или плитку.

21. Способ по какой-либо из статей 1 - 20, отличающийся тем, что первая область является исходной областью и вторая область является переформированной областью, использующей способ отображения яркостной составляющей с масштабированием цветностной составляющей (LMCS), который отображает отсчеты яркостной составляющей на конкретные величины.

22. Способ по статье 21, отличающийся тем, что способ LMCS использует кусочно-линейную модель для отображения отсчетов яркостной составляющей на конкретные величины.

23. Способ по какой-либо из статей 1 - 22, отличающийся тем, что процедура преобразования содержит генерацию кодированного представления из текущего блока.

24. Способ по какой-либо из статей 1 - 22, отличающийся тем, что процедура преобразования содержит генерацию текущего блока из кодированного представления.

25. Устройство в видеосистеме, содержащее процессор и энергонезависимое запоминающее устройство с записанными в нем командами, где при выполнении этих команд процессор реализует способ согласно какой-либо одной из статей 1 - 24.

26. Компьютерный программный продукт, сохраняемый на энергонезависимом читаемом компьютером носителе информации, этот компьютерный программный продукт содержит программный код для осуществления способа согласно какой-либо одной из статей 1 - 24.

Из изложенного выше должно быть понятно, что конкретные варианты предлагаемой настоящим технологии были описаны здесь в целях иллюстрации, но при этом могут быть сделаны разнообразные модификации, не отклоняясь от объема изобретения. Соответственно, представленная настоящим технология ничем не ограничивается кроме прилагаемой Формулы изобретения.

Варианты реализации предмета настоящего изобретения и функциональные операции, описываемые в этом документе, могут быть осуществлены в разнообразные системах, цифровых электронных схемах или компьютерном загружаемом программном обеспечении, встроенном программном обеспечении или аппаратуре, включая структуры, рассмотренные в настоящем описании, и их структурные эквиваленты, либо в комбинации одного или нескольких перечисленных компонентов. Варианты реализации предмета настоящего изобретения, рассмотренные в настоящем описании, могут быть осуществлены в виде одного или нескольких компьютерных программных продуктов, т.е. одного или нескольких модулей компьютерных программных команд, закодированных на материальном и энергонезависимом читаемом компьютером носителе информации, для выполнения устройством обработки данных или для управления работой этого устройства. Такой читаемый компьютером носитель информации может представлять собой машиночитаемое устройство для хранения информации, машиночитаемую плату для хранения информации, запоминающее устройство, композицию объектов, реализующих машиночитаемый распространяющийся сигнал или комбинацию одного или нескольких из этих компонентов. Термин «модуль обработки данных» или «устройство обработки данных» охватывает все - аппаратуру, устройства и машины для обработки данных, включая в качестве примеров, программируемый процессор, компьютер, либо несколько процессоров или компьютеров. Аппаратура может содержать, в дополнение к оборудованию, код, составляющий среду для выполнения рассматриваемой компьютерной программы, например, код, составляющий встроенное программное обеспечение процессора, стек протоколов, систему управления базой данных, операционную систему или комбинацию одного или нескольких перечисленных компонентов.

Компьютерная программа (также известная под названиями «программа», «программное обеспечение», «программное приложение», «макрос» или «код») может быть записана на каком-либо языке программирования, включая компилируемые или интерпретируемые языки, и может быть развернута в любой форме, включая автономную программу, программный модуль, компонент, подпрограмму или другой подобный объект, подходящий для использования в компьютерной среде. Компьютерная программа не обязательно соответствует одному файлу в компьютерной системе. Программа может быть сохранена в части файла, который сохраняет другие программы или данные, (например, один или несколько макросов, сохраненным в документе на языке разметки) в одном файле, выделенном для рассматриваемой программы, или в нескольких скоординированных файлах (например, в файлах, сохраняющих один или несколько модулей, подпрограмм или частей кода). Компьютерная программа может быть развернута для выполнения на одном компьютере или на нескольких компьютерах, расположенных в одном месте или распределенных по нескольким пунктам и соединенных сетью связи.

Процедуры и логические схемы, рассматриваемые в настоящем описании, могут быть реализованы одним или несколькими программируемыми процессорами, выполняющими одну или несколько программ для осуществления функции посредством оперирования над входными данными и генерации выходных данных. Эти процедуры и логические схемы могут также быть осуществлены посредством и устройства могут быть реализованы в виде логических схем специального назначения, например, программируемой пользователем вентильной матрицы (FPGA (field programmable gate array)) или специализированных интегральных схем (ASIC (application specific integrated circuit)).

Процессоры, подходящие для выполнения компьютерной программы, могут представлять собой, например, микропроцессоры, как общего, так и специального назначения, и один или несколько процессоров цифрового компьютера какого-либо типа. В общем случае, процессор будет принимать команды и данные из постоянного запоминающего устройства или запоминающего устройства с произвольной выборкой, либо из запоминающих устройств обоих типов. Существенными элементами компьютера являются процессор для выполнения команд и одно или несколько запоминающих устройств для сохранения команд и данных. В общем случае, компьютер будет также содержать или быть оперативно соединен для приема и/или передача данных с запоминающими устройствами большой емкости для хранения данных, например, магнитными дисками, магнитооптическими дисками или оптическими дисками. Однако компьютеру нет необходимости иметь такие устройства. К читаемым компьютером носителям информации для сохранения команд и данных относятся все формы энергонезависимой памяти, носителей информации и запоминающих устройств, включая в качестве примеров, полупроводниковые запоминающие устройства, например, стираемое программируемое постоянное запоминающее устройство (СППЗУ (EPROM)), электрически стираемое и программируемое постоянное запоминающее устройство (ЭСППЗУ (EEPROM)) и устройства флэш-памяти. Процессор и запоминающее устройство могут быть дополнены или включены в логическую схему специального назначения.

Настоящее описание вместе с прилагаемыми чертежами следует рассматривать только в качестве примеров. Как используется здесь, применение союза «или» должно также охватывать «и/или», если только контекст ясно не указывает иное.

Хотя настоящий патентный документ содержит много специфических деталей, их не следует толковать в качестве каких-либо ограничений объема какого-либо нововведения или того, что может быть заявлено в качестве изобретения, а просто как описания признаков, которые могут быть специфичными для конкретных вариантов конкретных нововведений. Некоторые признаки, описываемые в настоящем патентном документе в контексте раздельных вариантов, могут быть также реализованы в виде комбинации в одном варианте. Напротив, различные признаки, описываемые в контексте одного варианта, могут быть также реализованы в нескольких вариантах по отдельности или в какой-либо подходящей субкомбинации. Более конкретно, хотя признаки могут быть описаны выше как действующие в определенных комбинациях и даже первоначально заявлены как таковые, один или несколько признаков из заявляемой комбинации могут быть в некоторых случаях исключены из этой заявляемой комбинации, так что эта заявляемая комбинация может быть превращена в субкомбинацию или вариации такой субкомбинации.

Аналогично, тогда как операции изображены на чертежах в конкретном порядке, это не следует понимать как требование, что такие операции должны выполняться в показанном конкретном порядке или в последовательном порядке или что все показанные иллюстрации должны быть выполнены для достижения желаемых результатов. Более того, разделение различенных системных компонентов, описываемых в настоящем патентном документе, не следует понимать как требование такого разделения во всех вариантах.

Здесь описаны только несколько вариантов и примеров, однако и другие варианты реализации, усовершенствования и вариации могут быть созданы на основе того, что описано и иллюстрировано в настоящем документе.

Изобретение относится к средствам для кодирования и декодирования изображений. Технический результат заключается в повышении эффективности кодирования изображений. Определяют первый прогнозируемый блок в первой области по меньшей мере из одного опорного изображения с использованием неуточненной информации о движении. Текущий видеоблок представляет собой блок яркостной составляющей. Применяют процедуру уточнения информации о движении для получения информации о смещении движения. Генерируют второй прогнозируемый блок из отсчетов на указанном по меньшей мере одном опорном изображении с использованием информации о смещении движения. Преобразуют, на основе процедуры прямого отображения, второй прогнозируемый блок из первой области во вторую область. Генерируют реконструированные отсчеты текущего видеоблока на основе второго прогнозируемого блока во второй области. Для отображения отсчетов второго прогнозируемого блока используется кусочно-линейная модель, коэффициенты масштабирования которой определяются на основе первых переменных, которые определяются на основе синтаксических элементов, входящих в набор параметров адаптации, и вторых переменных, определяемых на основе битовой глубины. 4 н. и 10 з.п. ф-лы, 74 ил.

1. Способ обработки данных видео, содержащий этапы, на которых:

определяют, для преобразования между текущим видеоблоком видео и потоком битов данных видео, первый прогнозируемый блок в первой области по меньшей мере из одного опорного изображения с использованием неуточненной информации о движении, причем текущий видеоблок представляет собой блок яркостной составляющей;

применяют, по меньшей мере на основе первого прогнозируемого блока, процедуру уточнения информации о движении к неуточненной информации о движении для получения информации о смещении движения;

генерируют второй прогнозируемый блок из отсчетов на указанном по меньшей мере одном опорном изображении с использованием информации о смещении движения;

преобразуют, на основе процедуры прямого отображения, второй прогнозируемый блок из первой области во вторую область, причем отсчеты второго прогнозируемого блока отображаются на конкретные значения; и

генерируют реконструированные отсчеты текущего видеоблока на основе второго прогнозируемого блока во второй области,

при этом для отображения отсчетов второго прогнозируемого блока на конкретные значения в ходе процедуры прямого отображения используется кусочно-линейная модель,

причем коэффициенты масштабирования кусочно-линейной модели определяются на основе первых переменных, которые определяются на основе синтаксических элементов, входящих в набор параметров адаптации, и вторых переменных, определяемых на основе битовой глубины.

2. Способ по п. 1, в котором в ходе процедуры уточнения информации о движении информация о смещении движения генерируется на основе процедуры билинейной интерполяции и вычисления стоимости, при этом информация о смещении движения дополнительно используется для прогнозирования временного вектора движения для последующих блоков.

3. Способ по п. 2, в котором вычисление стоимости содержит сумму абсолютных разностей (SAD) или сумму абсолютных разностей с исключением среднего (MR-SAD).

4. Способ по п. 1, в котором в ходе процедуры уточнения информации о движении информация о смещении движения генерируется на основе вычислений градиента в разных направлениях на основе отсчетов в первой области.

5. Способ по п. 1, в котором реконструированные отсчеты текущего видеоблока преобразуются в первую область на основе процедуры обратного отображения.

6. Способ по п. 5, в котором к преобразованным реконструированным отсчетам в первой области применяется процедура фильтрации.

7. Способ по п. 1, в котором отсчеты остатка блока цветностной составляющей, соответствующего текущему видеоблоку, определяются путем применения процедуры масштабирования на основе реконструированных отсчетов во второй области, относящихся к яркостной составляющей изображения, к которому принадлежит текущий видеоблок.

8. Способ по п. 1, в котором процедура уточнения информации о движении содержит по меньшей мере одно из процедуры уточнения вектора движения на стороне декодирующего устройства, повышающего преобразования частоты кадров или процедуры двунаправленного оптического потока.

9. Способ по п. 1, в котором на этапе применения процедуры уточнения информации о движении к неуточненной информации о движении для получения информации о смещении движения:

проверяют множество векторов движения, определенных на основе неуточненной информации о движении, и выбирают один вектор с наименьшей стоимостью для определения информации о смещении движения.

10. Способ по п. 1, в котором на этапе преобразования кодируют текущий видеоблок в поток битов данных.

11. Способ по п. 1, в котором на этапе преобразования декодируют текущий видеоблок из потока битов данных.

12. Устройство обработки данных видео, содержащее процессор и энергонезависимое запоминающее устройство с записанными в нем командами, причем команды при исполнении процессором вызывают выполнение процессором:

определения, для преобразования между текущим видеоблоком видео и потоком битов данных видео, первого прогнозируемого блока в первой области по меньшей мере из одного опорного изображения с использованием неуточненной информации о движении, причем текущий видеоблок представляет собой блок яркостной составляющей;

применения, по меньшей мере на основе первого прогнозируемого блока, процедуры уточнения информации о движении к неуточненной информации о движении для получения информации о смещении движения;

генерирования второго прогнозируемого блока из отсчетов на указанном по меньшей мере одном опорном изображении с использованием информации о смещении движения;

преобразования, на основе процедуры прямого отображения, второго прогнозируемого блока из первой области во вторую область, причем отсчеты второго прогнозируемого блока отображаются на конкретные значения; и

генерирования реконструированных отсчетов текущего видеоблока на основе второго прогнозируемого блока во второй области,

при этом для отображения отсчетов второго прогнозируемого блока в конкретные значения в ходе процедуры прямого отображения используется кусочно-линейная модель,

причем коэффициенты масштабирования кусочно-линейной модели определяются на основе первых переменных, которые определяются на основе синтаксических элементов, входящих в набор параметров адаптации, и вторых переменных, определяемых на основе битовой глубины.

13. Энергонезависимый читаемый компьютером носитель информации, хранящий команды, которые вызывают выполнение процессором:

определения, для преобразования между текущим видеоблоком видео и потоком битов данных видео, первого прогнозируемого блока в первой области по меньшей мере из одного опорного изображения с использованием неуточненной информации о движении, причем текущий видеоблок представляет собой блок яркостной составляющей;

применения, по меньшей мере на основе первого прогнозируемого блока, процедуры уточнения информации о движении к неуточненной информации о движении для получения информации о смещении движения;

генерирования второго прогнозируемого блока из отсчетов на указанном по меньшей мере одном опорном изображении с использованием информации о смещении движения;

преобразования, на основе процедуры прямого отображения, второго прогнозируемого блока из первой области во вторую область, причем отсчеты второго прогнозируемого блока отображаются на конкретные значения; и

генерирования реконструированных отсчетов текущего видеоблока на основе второго прогнозируемого блока во второй области,

при этом для отображения отсчетов второго прогнозируемого блока в конкретные значения в ходе процедуры прямого отображения используется кусочно-линейная модель,

причем коэффициенты масштабирования кусочно-линейной модели определяются на основе первых переменных, которые определяются на основе синтаксических элементов, входящих в набор параметров адаптации, и вторых переменных, определяемых на основе битовой глубины.

14. Способ сохранения потока битов данных видео, содержащий этапы, на которых:

определяют, для текущего видеоблока видео, первый прогнозируемый блок в первой области по меньшей мере из одного опорного изображения с использованием неуточненной информации о движении, причем текущий видеоблок представляет собой блок яркостной составляющей;

применяют, по меньшей мере на основе первого прогнозируемого блока, процедуру уточнения информации о движении к неуточненной информации о движении для получения информации о смещении движения;

генерируют второй прогнозируемый блок из отсчетов на указанном по меньшей мере одном опорном изображении с использованием информации о смещении движения;

преобразуют, на основе процедуры прямого отображения, второй прогнозируемый блок из первой области во вторую область, причем отсчеты второго прогнозируемого блока отображаются на конкретные значения; и

генерируют поток битов данных на основе второго прогнозируемого блока во второй области; и

сохраняют поток битов данных в энергонезависимом читаемом компьютером носителе информации;

причем реконструированные отсчеты текущего видеоблока генерируются на основе второго прогнозируемого блока во второй области,

при этом для отображения отсчетов второго прогнозируемого блока в конкретные значения в ходе процедуры прямого отображения используется кусочно-линейная модель,

причем коэффициенты масштабирования кусочно-линейной модели определяются на основе первых переменных, которые определяются на основе синтаксических элементов, входящих в набор параметров адаптации, и вторых переменных, определяемых на основе битовой глубины.