ОГРАНИЧЕНИЯ ПРИМЕНИМОСТИ КРОСС-КОМПОНЕНТНОГО РЕЖИМА Российский патент 2024 года по МПК H04N19/103 H04N19/186 

Область техники, к которой относится изобретение

Настоящий документ относится к технологиям, системам и устройствам для кодирования и декодирования видео.

Уровень техники изобретения

Несмотря на достижения в области сжатия видео, цифровое видео по-прежнему занимает наибольшую долю полосы частот в сети Интернет и в других цифровых сетях связи. Поскольку число присоединенных пользовательских устройств, способных принимать и представлять видео на дисплее, увеличивается, ожидается, что потребности в полосе для использования цифровым видео будут продолжать расти.

Раскрытие сущности изобретения

Предложены устройства, системы и способы относительно кодирования/декодирования цифрового видео и, в частности, относительно получения упрощенной линейной модели для режима прогнозирования на основе кросс-компонентной линейной модели (cross-component linear model (CCLM)) в области кодирования/декодирования видео. Описываемые способы могут быть применены и к существующим стандартам кодирования видео (например, к стандарту высокоэффективного видео кодирования (High Efficiency Video Coding (HEVC))), и к стандартам будущего для кодирования видео (например, к стандарту универсального видео кодирования (Versatile Video Coding (VVC))) или к соответствующим кодекам.

Согласно одному репрезентативному аспекту предложен способ обработки визуальных медиаданных. Способ содержит этап, на котором выполняют преобразование между текущим видеоблоком цветностной составляющей визуальных медиаданных и представлением текущего видеоблока цветностной составляющей в виде потока битов данных, причем в процессе преобразования остаток цветностной составляющей для текущего видеоблока цветностной составляющей масштабируется на основе коэффициента масштабирования, при этом коэффициент масштабирования получается по меньшей мере на основе отсчетов яркостной составляющей, расположенных в заданных позициях.

Согласно одному репрезентативному аспекту предложен способ обработки сигналов визуальных медиаданных. Способ содержит этап, на котором выполняют преобразование между текущим видеоблоком визуальных медиаданных и представлением текущего видеоблока в виде потока битов данных, причем в процессе преобразования определяют второй набор значений цветовых составляющих для текущего видеоблока с использованием кросс-компонентной линейной модели (CCLM) и/или этапа обработки в режиме отображения яркостной составляющей с масштабированием цветностной составляющей (luma mapping with chroma scaling (LMCS)) из первого набора значений цветовых составляющих визуальных медиа данных.

Согласно другому репрезентативному аспекту предложен способ обработки визуальных медиаданных. Способ содержит этапы, на которых выполняют преобразование между текущим видеоблоком визуальных медиаданных и представлением текущего видеоблока в виде потока битов данных, причем в процессе преобразования один или более реконструированных отсчетов, ассоциированных с текущим кадром визуальных медиаданных, используются для получения коэффициента масштабирования остатка цветностной составляющей на этапе обработки в режиме отображения яркостной составляющей с масштабированием цветностной составляющей (LMCS).

Согласно другому репрезентативному аспекту предложен способ обработки визуальных медиаданных. Способ содержит этапы, на которых проверяют, в процессе преобразования между текущим видеоблоком цветностной составляющей и представлением текущего видеоблока цветностной составляющей в виде потока битов данных, доступность одного или более соседних блоков яркостной составляющей относительно соответствующего блока яркостной составляющей, который покрывает верхний левый отсчет расположенного в том же месте блока яркостной составляющей; определяют, на основе доступности одного или более соседних блоков яркостной составляющей, следует ли извлечь соседние отсчеты яркостной составляющей из указанного соответствующего блока яркостной составляющей; получают, на основе указанного определения, коэффициент масштабирования; масштабируют, на основе указанного коэффициента масштабирования, остаток цветностной составляющей текущего видеоблока цветностной составляющей для генерирования масштабированного остатка цветностной составляющей; и выполняют преобразование на основе масштабированного остатка цветностной составляющей.

Согласно другому репрезентативному аспекту предложен способ обработки визуальных медиаданных. Способ содержит этап, на котором получают, в процессе преобразования между текущим видеоблоком визуальных медиаданных и представлением текущего видеоблока в виде потока битов данных, второй набор значений цветовых составляющих для текущего видеоблока из первого набора значений цветовых составляющих визуальных медиаданных с использованием модели, ассоциированной с этапом обработки данных, причем первый набор значений цветовых составляющих представляет собой соседние отсчеты относительно соответствующего блока яркостной составляющей, покрывающего верхний левый отсчет расположенного в том же месте блока яркостной составляющей.

Согласно другому репрезентативному аспекту предложен способ обработки визуальных медиаданных. Способ содержит в процессе преобразования между текущим видеоблоком цветностной составляющей визуальных медиаданных и представлением текущего видеоблока цветностной составляющей в виде потока битов данных этап, на котором выполняют определение относительно избирательной активизации или деактивизации применения кросс-компонентной линейной модели (CCLM) и/или масштабирования остатка цветностной составляющей (chroma residual scaling (CRS)) к текущему видеоблоку цветностной составляющей на основе, по меньшей мере частично, одного или более условий, ассоциированных с расположенным в том же месте блоком яркостной составляющей текущего видеоблока цветностной составляющей.

Согласно другому репрезентативному аспекту предложен способ обработки визуальных медиаданных. Способ содержит этапы, на которых избирательно активирую или деактивируют применение зависимого от яркостной составляющей масштабирования остатка цветностной составляющей (CRS) к цветностным составляющим текущего видеоблока визуальных медиаданных для кодирования текущего видеоблока в видеообласти визуальных медиаданных в представление визуальных медиаданных в виде потока битов данных; и выполняют определение относительно включения и исключения поля в представлении визуальных медиаданных в виде потока битов данных, причем поле указывает избирательную активизацию или деактивизации, и, если поле включено, передается в виде сигнализации на уровне, отличном от первого синтаксического уровня, ассоциированного с текущим видеоблоком.

Согласно другому репрезентативному аспекту предложен способ обработки визуальных медиаданных. Способ содержит этапы, на которых выполняют синтаксический анализ поля в представлении визуальных медиаданных в виде потока битов данных, причем поле включено на уровне, отличном от первого синтаксического уровня, ассоциированного с текущим видеоблоком; и избирательно активируют или деактивируют, на основе указанного поля, применение зависимого от яркостной составляющей масштабирования остатка цветностной составляющей (CRS) к цветовым составляющим текущего видеоблока визуальных медиаданных для генерирования декодированной видеообласти на основе представления в виде потока битов данных.

Согласно другому репрезентативному аспекту предложен способ обработки визуальных медиаданных. Способ содержит этапы, на которых избирательно активируют или деактивируют применение кросс-компонентной линейной модели (CCLM) к текущему видеоблоку визуальных медиаданных для кодирования текущего видеоблока в представление визуальных медиаданных в виде потока битов данных; и выполняют определение относительно включения или исключения поля в представление визуальных медиаданных в виде потока битов данных, причем поле указывает избирательную активизацию или деактивизацию и, если поле включено, передается в виде сигнализации на уровне, отличном от первого синтаксического уровня, ассоциированного с текущим видеоблоком.

Согласно другому репрезентативному аспекту предложен способ обработки визуальных медиаданных. Способ содержит этапы, на которых выполняют синтаксический анализ поля в указанном представлении визуальных медиаданных в виде потока битов данных, причем поле включено на уровне, отличном от первого синтаксического уровня, ассоциированного с текущим видеоблоком; и избирательно активируют или деактивируют, на основе указанного поля, применение кросс-компонентной линейной модели (CCLM) к текущему видеоблоку визуальных медиаданных для генерирования декодированной видеообласти на основе представления в виде потока битов данных.

Согласно еще одному другому примерному аспекту предложено кодирующее или декодирующее устройство для видео, содержащее процессор, выполненный с возможностью реализации описанного выше способа.

Согласно другому примерному аспекту предложен читаемый компьютером носитель программ. Носитель хранит код, содержащий исполняемые процессором команды для выполнения одного из раскрытых способов.

Согласно еще одному репрезентативному аспекту описанный выше способ реализован в виде исполняемого процессором кода и сохранен на читаемом компьютером носителе программ.

Согласно еще одному репрезентативному аспекту предложено устройство, выполненное с возможностью выполнения указанного способа. Устройство может содержать процессор, запрограммированный для выполнения способа.

Приведенные выше и другие аспекты и признаки предлагаемой технологии описаны более подробно на чертежах, в описании и формуле изобретения.

Краткая описание чертежей

Фиг. 1 показывает пример угловых режимов внутрикадрового прогнозирования в стандарте кодирования HEVC.

Фиг. 2 показывает пример направленных режимов не в стандарте кодирования HEVC.

Фиг. 3 показывает пример в соединении с режимом на основе модели CCLM.

Фиг. 4 показывает пример архитектуры отображения яркостной составляющей с масштабированием цветностной составляющей.

Фиг. 5 показывает пример блока яркостной составляющей и блока цветностной составляющей в разных цветовых форматах.

Фиг. 6 показывает пример блока яркостной составляющей и блока цветностной составляющей в одном и том же цветовом формате.

Фиг. 7 показывает пример расположенного в том же месте блока яркостной составляющей, покрывающего несколько форматов.

Фиг. 8 показывает пример блока яркостной составляющей в пределах большего блока яркостной составляющей.

Фиг. 9 показывает пример блока яркостной составляющей в пределах большего блока яркостной составляющей и в пределах ограничивающей рамки.

Фиг. 10 представляет блок-схему примера аппаратной платформы для осуществления способов декодирования данных визуальных медиаданных или кодирования визуальных медиаданных, описываемых в настоящем документе.

Фиг. 11 показывает логическую схему примера способа формирования линейной модели для кросс-компонентного прогнозирования в соответствии с предлагаемой технологией.

Фиг. 12 представляет блок-схему примера системы обработки видео, в которой может быть реализована предлагаемая технология.

Фиг. 13 показывает логическую схему примера способа обработки визуальных медиа данных.

Фиг. 14 показывает логическую схему примера способа обработки визуальных медиаданных.

Фиг. 15 показывает логическую схему примера способа обработки визуальных медиаданных.

Фиг. 16 показывает логическую схему примера способа обработки визуальных медиаданных.

Фиг. 17 показывает логическую схему примера способа обработки визуальных медиаданных.

Фиг. 18 показывает логическую схему примера способа обработки визуальных медиаданных.

Фиг. 19 показывает логическую схему примера способа обработки визуальных медиаданных.

Фиг. 20 показывает логическую схему примера способа обработки визуальных медиаданных.

Фиг. 21 показывает логическую схему примера способа обработки визуальных медиаданных.

Фиг. 22 показывает логическую схему примера способа обработки визуальных медиаданных.

Фиг. 23 показывает логическую схему примера способа обработки визуальных медиаданных.

Осуществление изобретения

2.1 Краткий обзор стандарта кодирования HEVC

2.1.1. Режим внутрикадрового прогнозирования в стандарте HEVC/H.265

При внутрикадровом прогнозировании привлекают генерацию отсчетов для конкретного рассматриваемого блока преобразования (TB (transform block)) с использованием отсчетов, ранее реконструированных в рассматриваемом цветовом канале. Сигнализацию о режиме внутрикадрового прогнозирования передают по отдельности для яркостного и цветностных каналов, так что режим внутрикадрового прогнозирования для цветностного канала может в качестве опции зависеть от режима внутрикадрового прогнозирования для яркостного канала через режим ‘DM_CHROMA’. Хотя сигнализацию о режиме внутрикадрового прогнозирования передают на уровне блока прогнозирования (PB (prediction block)), процедуру внутрикадрового прогнозирования применяют на уровне блока TB, в соответствии с иерархией дерева квадратов для остатка для рассматриваемой единицы CU, позволяя тем самым, чтобы кодирование одного блока TB влияло на кодирование следующего блока TB в той же рассматриваемой единице CU, и поэтому уменьшая расстояние до отсчетов, используемых в качестве опорных значений.

Кодирование HEVC использует 35 режимов внутрикадрового прогнозирования – DC-режим, планарный режим и 33 направленных или «угловых» режима внутрикадрового прогнозирования. Эти 33 угловых режима внутрикадрового прогнозирования иллюстрированы на Фиг. 1.

Для блоков PB, ассоциированных с цветовыми каналами цветностной составляющей, режим внутрикадрового прогнозирования специфицирован как либо планарный режим, DC-режим, горизонтальный режим, вертикальный режим, режим ‘DM_CHROMA’, либо иногда диагональный режим ‘34’.

Отметим, что для цветностных форматов 4:2:2 и 4:2:0, блок PB цветностной составляющей может накладываться на два или четыре (соответственно) блока PB; в этом случае направление яркостной составляющей для режима DM_CHROMA принимают от верхней левой части этих блоков PB яркостной составляющей.

Режим DM_CHROMA обозначает, что режим внутрикадрового прогнозирования для блока PB цветового канала яркостной составляющей применяется к блокам PB цветовых каналов цветностных составляющих. Поскольку это является относительно общим, схема кодирования наиболее вероятных режимов для режима intra_chroma_pred_mode смещена в пользу этого выбранного режима.

2.2 Описание алгоритма универсального видео кодирования (VVC)

- Архитектура кодирования VVC

Для исследований в области технологий кодирования видео будущего, которые будут разработаны после технологии кодирования HEVC, группа экспертов по кодированию видео (VCEG) (Q6/16) и отдел ISO/IEC JTC1 SC29/WG11 (MPEG) в 2015 г. совместно основали Объединенную группу исследований в области видео (Joint Video Exploration Team (JVET)). Совещания группы JVET проходят по согласованию раз в квартал, а новый стандарт кодирования имеет целью добиться снижения требуемой скорости передачи битов данных на 50% по сравнению с кодированием HEVC. Новый стандарт кодирования видео был официально назван Универсальное видео кодирование (Versatile Video Coding (VVC)) на совещании группы JVET в апреле 2018 г., и в это время была выпущена первая версия тестовой модели для кодирования VVC (модели VTM). Поскольку работы по стандартизации кодирования VVC продолжаются непрерывно, на каждом совещании группы JVET в стандарт кодирования VVC вносят все новые и новые способы кодирования. Тогда рабочий проект стандарта кодирования VVC и тестовую модель VTM обновляют после каждого совещания. В настоящее время проект кодирования VVC нацелен на техническое завершение (FDIS) на совещании в июле 2020.

Как и большинство предыдущих стандартов, стандарт кодирования VVC имеет гибридную архитектуру кодирования на блочной основе, комбинирующую кодирование с межкадровым и внутрикадровым прогнозированием и кодирование с преобразованием с энтропийным кодированием. Структура разбиения изображения разбивает входное видео на блоки, называемые единицами дерева кодирования (coding tree unit (CTU)). Единицу CTU разбивают с использованием дерева квадратов со структурой дерева с вложенными несколькими типами на единицы кодирования (coding unit (CU)), где концевая («лист» дерева) единица кодирования (CU) определяет область, совместно использующую один и тот же режим прогнозирования (например, внутрикадровое или межкадровое прогнозирование). В настоящем документе термин «единица» (‘unit’) определяет область изображения, покрывающую все цветовые составляющие; термин «блок» (‘block’) используется для определения области, покрывающей конкретную цветовую составляющую (например, яркостную составляющую), и может отличаться по пространственному расположению, когда учитывается формат отсчетов цветностной составляющей, такой как формат 4:2:0.

2.2.2 Разбиение по схеме двойного/раздельного дерева в стандарте кодирования VVC

Яркостная составляющая и цветностная составляющая могут иметь раздельные деревья разбиения для I-срезов. Разбиение по структуре раздельных деревьев осуществляется на уровне блока размером 64x64 вместо уровня единицы CTU. В программном обеспечении модели VTM имеется флаг набора SPS для управления включением и выключением структуры двойного дерева.

2.2.3 Внутрикадровое прогнозирование в стандарте кодирования VVC

2.2.3.1 67 режимов внутрикадрового прогнозирования

Для захвата произвольных направлений края, представленных в естественном видео, число направленных режимов внутрикадрового прогнозирования в модели VTM4 расширено с 33, как это используется в стандарте кодирования HEVC, до 65. Новые направленные режимы, отсутствующие в стандарте кодирования HEVC, изображены красными пунктирными стрелками на Фиг. 2, а планарный режим и DC-режим остаются теми же самыми. Эти распределенные более плотно направленные режимы внутрикадрового прогнозирования применимы к внутрикадровому прогнозированию для всех размеров блоков и обеим составляющим – яркостной составляющей и цветностной составляющей.

2.2.3.2 Прогнозирование с использованием кросс-компонентной линейной модели (CCLM)

Для уменьшения кросс-компонентной избыточности, в модели VTM4 применяется режим прогнозирования с использованием кросс-компонентной линейной модели (CCLM), в котором отсчеты цветностной составляющей прогнозируют на основе реконструированных отсчетов яркостной составляющей из той же самой единицы CU с использованием линейной модели следующим образом:

где представляет прогнозируемые отсчеты цветностной составляющей в некоторой единице CU и представляет субдискретизированные реконструированные отсчеты яркостной составляющей из той же самой единицы CU. Параметры и линейной модели определяют из соотношения между яркостными значениями и цветностными значениями из двух отсчетов, представляющих собой отсчеты яркостной составляющей с минимальным значением отсчета и максимальным значением отсчета яркостной составляющей внутри множества соседних отсчетов субдискретизированной яркостной составляющей, и соответствующих им отсчетов цветностной составляющей. Параметры и линейной модели получают в соответствии со следующими уравнениями.

где Y_a и X_a представляют яркостное значение и цветностное значение, соответствующие отсчету яркостной составляющей с максимальным значением отсчета яркостной составляющей. И X_b и Y_b представляют яркостное значение и цветностное значение, соответствующие отсчету яркостной составляющей с минимальным значением отсчета яркостной составляющей. Фиг. 3 показывает пример позиций отсчетов слева и сверху и отсчета текущего блока, используемого в режиме на основе модели CCLM.

Операция разбиения для вычисления параметра α реализуется с использованием преобразовательной таблицы. Для уменьшения объема памяти, необходимого для сохранения таблицы, значение параметра diff (разность между максимальным и минимальным значениями) и параметр α выражают в экспоненциальной форме. Например, параметр diff аппроксимируют посредством 4-битовой значимой части и экспоненциальной части. Следовательно, таблица для значения 1/diff уменьшается до 16 элементов для 16 значений мантиссы следующим образом:

DivTable [ ] = {0, 7, 6, 5, 5, 4, 4, 3, 3, 2, 2, 1, 1, 1, 1, 0}

Это должно дать выигрыш, как в уменьшении сложности вычислений, так и в уменьшении объема памяти, требуемого для сохранения необходимых таблиц.

Помимо совместного использования шаблона сверху и шаблона слева для вычисления коэффициентов линейной модели, они могут быть использованы в качестве альтернативы в двух других LM-режимах, называемых режимами LM_A и LM_L.

В режиме LM_A только шаблон сверху используется для вычисления коэффициентов линейной модели. Для получения большего числа отсчетов шаблон сверху расширяют до (W+H). В режиме LM_L только шаблон слева используется для вычисления коэффициентов линейной модели. Для получения большего числа отсчетов шаблон слева расширяют до (H+W).

Для неквадратного блока шаблон сверху расширяют до W+W, а шаблон слева расширяют до H+H.

Для согласования позиций отсчетов цветностной составляющей для видео последовательностей в формате 4:2:0, к отсчетам яркостной составляющей применяют субдискретизирующие фильтры двух типов для достижения отношения субдискретизации (понижения разрешения) 2 к 1 в обоих – горизонтальном и вертикальном, направлениях. Выбор субдискретизирующего фильтра специфицирован флагом на уровне набора SPS. Указанные два субдискретизирующих фильтра описаны следующими соотношениями, которые соответствуют контенту «тип-0» и «тип-2».

Отметим, что только одна строка яркостной составляющей (обобщенный буфер строк для внутрикадрового прогнозирования) используется для создания субдискретизированных отсчетов яркостной составляющей, когда верхняя опорная строка располагается на границе единицы CTU.

Такое вычисление параметров осуществляется как часть процедуры декодирования, и не является просто операцией поиска в кодирующем устройстве. В результате, никакой синтаксис не используется для передачи значений параметров α и β декодирующему устройству.

Для кодирования цветностной составляющей посредством внутрикадрового прогнозирования допускается использование в целом 8 режимов внутрикадрового прогнозирования. Совокупность этих восьми режимов содержит пять традиционных режимов внутрикадрового прогнозирования и три режима с применением кросс-компонентной линейной модели (CCLM, LM_A и LM_L). Режим кодирования цветностной составляющей прямо зависит от режима внутрикадрового прогнозирования соответствующего блока яркостной составляющей. Поскольку в I-срезах возможно применение раздельной структуры секционирования блоков для яркостной и цветностной составляющих, один блок цветностной составляющей может соответствовать нескольким блокам яркостной составляющей. Поэтому, для DM-режима кодирования цветностной составляющей (режим Chroma DM) непосредственно «наследуется» режим внутрикадрового прогнозирования для соответствующего блока яркостной составляющей, покрывающего центральную позицию текущего блока цветностной составляющей. 2.2.3.2.1 Соответствующий модифицированный рабочий проект (JVET-N0271)

Последующее описание основано на модифицированном рабочем проекте в документе JVET-M1001 и его применении в документе JVET-N0271. Модификация принятого документа JVET-N0220 показана жирным шрифтом с подчеркиванием.

Таблица синтаксиса

Синтаксис набора параметров последовательности RBSP

Флаг , равный 0 специфицирует, что внутрикадровое прогнозирование с использованием кросс-компонентной линейной модели от яркостной составляющей к цветностной составляющей не активизировано. Флаг sps_cclm_enabled_flag равный 1 специфицирует, что внутрикадровое прогнозирование с использованием кросс-компонентной линейной модели от яркостной составляющей к цветностной составляющей активизировано.

Прогнозируемсые отсчеты predSamples[ x ][ y ] при x = 0..nTbW − 1, y = 0..nTbH − 1 определяют следующим образом:

- Если оба числа numSampL и numSampT равны 0, применяется следующее:

predSamples[ x ][ y ] = 1 << ( BitDepth_C − 1 ) (8-162)

- В противном случае, применяются следующие упорядоченные этапы:

1. Расположенные в том же месте pY[ x ][ y ] отсчеты яркостной составляющей при x = 0..nTbW * 2 − 1, y= 0..nTbH * 2 – 1 устанавливают равными реконструированным отсчетам яркостной составляющей прежде процедуры деблокирующей фильтрации в позициях ( xTbY + x, yTbY + y ).

2. Соседние отсчеты pY[ x ][ y ] яркостной составляющей определяют следующим образом:

- Когда число numSampL больше 0, соседние слева отсчеты pY[ x ][ y ] яркостной составляющей при x = −1..−3, y = 0..2 * numSampL − 1, устанавливают равными реконструированным отсчетам яркостной составляющей прежде процедуры деблокирующей фильтрации в позициях ( xTbY + x , yTbY +y ).

- Когда число numSampT больше 0, соседние сверху отсчеты pY[ x ][ y ] яркостной составляющей при x = 0..2 * numSampT − 1, y = −1, −2, устанавливают равными реконструированным отсчетам яркостной составляющей прежде процедуры деблокирующей фильтрации в позициях ( xTbY+ x, yTbY + y ).

- Когда переменная availTL равна «Истинно» (TRUE), соседние сверху слева отсчеты pY[ x ][ y ] яркостной составляющей при x = −1, y = −1, −2, устанавливают равными реконструированным отсчетам яркостной составляющей прежде процедуры деблокирующей фильтрации в позициях ( xTbY+ x, yTbY + y ).

3. Субдискретизированные расположенные в том же месте отсчеты pDsY[ x ][ y ] яркостной составляющей при x = 0..nTbW − 1, y = 0..nTbH − 1 определяют следующим образом:

- Если флаг sps_cclm_colocated_chroma_flag равен 1, применяется следующее:

- pDsY[ x ][ y ] при x = 1..nTbW − 1, y = 1..nTbH − 1 определяют следующим образом:

pDsY[ x ][ y ] = ( pY[ 2 * x ][ 2 * y − 1] +  pY[ 2 * x − 1 ][ 2 * y ] + 4 * pY[ 2 * x ][ 2 * y ] + pY[ 2 * x + 1 ][ 2 * y ] + pY[ 2 * x ][ 2 * y + 1 ] + 4 ) >> 3 (8-163)

- Если переменная availL равна «Истинно» (TRUE), pDsY[ 0 ][ y ] при y = 1..nTbH − 1 определяют следующим образом:

pDsY[ 0 ][ y ] = ( pY[ 0 ][ 2 * y − 1 ] + pY[ −1 ][ 2 * y ] + 4 * pY[ 0 ][ 2 * y ] + pY[ 1 ][ 2 * y ] + pY[ 0 ][ 2 * y + 1 ] + 4 ) >> 3 (8-164)

- В противном случае, pDsY[ 0 ][ y ] при y = 1..nTbH − 1 определяют следующим образом:

pDsY[0][y] = (pY[0][2* y − 1] + 2* pY 0][2* y] + pY[0][ 2 * y + 1] + 2) >> 2 (8-165)

- Если переменная availT равна «Истинно» (TRUE), pDsY[ x ][ 0 ] при x = 1..nTbW − 1 определяют следующим образом:

pDsY[ x ][ 0 ] = ( pY[ 2 * x ][ −1 ] + pY[ 2 * x − 1 ][ 0 ] + 4 * pY[ 2 * x ][ 0 ] + pY[ 2 * x + 1 ][ 0 ] + pY[ 2 * x ][ 1 ] + 4 ) >> 3 (8-166)

- В противном случае, pDsY[ x ][ 0 ] при x = 1..nTbW − 1 определяют следующим образом:

pDsY[ x ][ 0 ] = ( pY[ 2 * x − 1 ][ 0 ] + 2 * pY[ 2 * x ][0] + pY[ 2 * x + 1 ][0] + 2 ) >> 2 (8-167)

- Если переменная availL равна «Истинно» (TRUE) и переменная availT равна «Истинно» (TRUE), pDsY[ 0 ][ 0 ] определяют следующим образом:

pDsY[0][0] =(pY[ 0 ][−1] + pY[−1 ][0] + 4 * pY[ 0 ][ 0 ] + pY[ 1 ][ 0 ] + pY[ 0 ][ 1 ] + 4 ) >> 3 (8-168)

- В противном случае, если переменная availL равна «Истинно» (TRUE) и переменная availT равна «ЛОЖНО» (FALSE), pDsY[ 0 ][ 0 ] определяют следующим образом:

pDsY[ 0 ][ 0 ] = ( pY[ −1 ][ 0 ] + 2 * pY[ 0 ][ 0 ] + pY[ 1 ][ 0 ] + 2 ) >> 2 (8-169)

- В противном случае, если переменная availL равна «ЛОЖНО» (FALSE) и переменная availT равна «Истинно» (TRUE), pDsY[ 0 ][ 0 ] определяют следующим образом:

pDsY[ 0 ][ 0 ] = ( pY[ 0 ][ −1 ] + 2 * pY[ 0 ][ 0 ] + pY[ 0 ][ 1 ] + 2 ) >> 2 (8-170)

- В противном случае (переменная availL равна «ЛОЖНО» (FALSE) и переменная availT равна «ЛОЖНО» (FALSE)), pDsY[ 0 ][ 0 ] определяют следующим образом:

pDsY[ 0 ][ 0 ] = pY[ 0 ][ 0 ] (8-171)

- В противном случае, применяется следующее:

- pDsY[ x ][ y ] при x = 1..nTbW − 1, y = 0..nTbH − 1 определяют следующим образом:

pDsY[ x ][ y ] = ( pY[ 2 * x − 1 ][ 2 * y ] + pY[ 2 * x − 1 ][ 2 * y + 1 ] + 
2* pY[ 2 * x ][ 2 * y ] + 2*pY[ 2 * x ][ 2 * y + 1 ] + 
pY[ 2 * x + 1 ][ 2 * y ] + 
pY[ 2 * x + 1 ][ 2 * y + 1 ] + 4 ) >> 3 (8-172)

- Если переменная availL равна «Истинно» (TRUE), pDsY[ 0 ][ y ] при y = 0..nTbH − 1 определяют следующим образом:

pDsY[ 0 ][ y ] = ( pY[ −1 ][ 2 * y ] + pY[ −1 ][ 2 * y + 1 ] + 
2* pY[ 0 ][ 2 * y ] + 2*pY[ 0 ][ 2*y + 1 ] + 
pY[ 1 ][ 2 * y ] + pY[ 1 ][ 2 * y + 1 ] + 4 ) >> 3 (8-173)

- В противном случае, pDsY[ 0 ][ y ] при y = 0..nTbH − 1 определяют следующим образом:

 = ( pY[ −3 ][ 0 ] + 2 * pY[ −2 ][ 0 ] + pY[ −1 ][ 0 ] + 2 ) >> 2 (8-177)

- В противном случае, применяется следующее:

 = ( pY[ −1 ][ 2 * y ] + pY[ −1 ][ 2 * y + 1 ] + 
2* pY[ −2 ][ 2 * y ] + 2*pY[ −2 ][ 2 * y + 1 ] + pY[ −3 ][ 2 * y ] + pY[ −3]
[ 2 * y + 1 ] + 4 ) >> 3 (8-178)

- Если bCTUboundary равна «ЛОЖНО» (FALSE), применяется следующее:

 = ( pY[2 * x ][−3] +pY[ 2 * x − 1 ][ −2 ] + 4 * pY[ 2 * x ][ −2 ] + pY[ 2 * x + 1 ][ −2 ] +pY[ 2 * x ][ −1 ] + 4 ) >> 3 (8-179)

- В противном случае (bCTUboundary равен «Истинно» (TRUE)), применяется следующее:

 = ( pY[ 2 * x − 1][ −1] + 2* pY[ 2 * x ][ −1 ] + pY[ 2 * x + 1 ][ −1 ] + 2 ) >> 2 (8-180)

- В противном случае:

- Если переменная availTL равна «Истинно» (TRUE) и параметр bCTUboundary равен «ЛОЖНО» (FALSE), применяется следующее:

 = ( pY[ 0 ][ −3 ] +pY[ −1 ][ −2 ] + 4 * pY[ 0 ][ −2 ] + pY[ 1 ][ −2 ] + pY[ 0 ][ −1 ] + 4 ) >> 3 (8-181)

- В противном случае, если переменная availTL равна «Истинно» (TRUE) и параметр bCTUboundary равен «Истинно» (TRUE), применяется следующее:

 = ( pY[ −1 ][ −1 ] + 2* pY[ 0 ][ −1 ] + pY[ 1 ][−1] + 2 ) >> 2 (8-182)

- В противном случае, если переменнавя availTL равна «ЛОЖНО» (FALSE) и параметр bCTUboundary равен «ЛОЖНО» (FALSE), применяется следующее:

 = (pY[ 0 ][ −3 ] + 2 * pY[ 0 ][ −2 ] + pY[ 0 ][ −1 ] + 2 ) >> 2 (8-183)

- В противном случае (переменная availTL равна «ЛОЖНО» (FALSE) и параметр bCTUboundary равен «Истинно» (TRUE)), применяется следующее:

 = pY[ 0 ][ −1 ] (8-184)

− В противном случае, применяется следующее:

- Если параметр bCTUboundary равен «ЛОЖНО» (FALSE), применяется следующее:

 = (pY[2 * x − 1][−2] + pY[ 2 * x − 1][ −1 ] +2* pY[ 2 * x][−2 ] + 2*pY[ 2 * x ][ −1] + pY[ 2 * x + 1 ][ −2 ] + pY[ 2 * x + 1 ][ −1 ] + 4 ) >> 3 (8-185)

− В противном случае парамсетр (bCTUboundary равен «Истинно» (TRUE)), применяется следующее:

 = ( pY[ 2 * x − 1 ][ −1 ] + 2* pY[ 2 * x ][ −1 ] + pY[ 2 * x + 1 ][ −1 ] + 2 ) >> 2 (8-186)

- В противном случае:

- Если переменная availTL равна «Истинно» (TRUE) и параметр bCTUboundary равен «ЛОЖНО» (FALSE), применяется следующее:

 =( pY[− 1][−2] + pY[− 1][−1] + 2* pY[0][−2] + 2*pY[0][ −1] + pY[ 1 ][ −2 ] + pY[ 1 ][ −1 ] + 4 ) >> 3 (8-187)

- В противном случае, если переменная availTL равна «Истинно» (TRUE) и параметр bCTUboundary равен «Истинно» (TRUE), применяется следующее:

 = ( pY[ −1][−1] + 2* pY[0][ −1] + pY[1][ −1 ] + 2 ) >> 2 (8-188)

- В противном случае, если переменная availTL равна «ЛОЖНО» (FALSE) и параметр bCTUboundary равен «ЛОЖНО» (FALSE), применяется следующее:

 = ( pY[ 0 ][ −2 ] + pY[ 0 ][ −1 ] + 1 ) >> 1 (8-189)

- В противном случае (переменная availTL равна «ЛОЖНО» (FALSE) и параметр bCTUboundary равен «Истинно» (TRUE)), применяется следующее:

 = pY[ 0 ][ −1 ] (8-190)

7. Переменные a, b и k определяют следующим образом:

- Если число numSampL равно 0, и число numSampT равно 0, применяется следующее:

k = 0 (8-208) a = 0 (8-209) b = 1 << ( BitDepth_C − 1) (8-210)

- В противном случае, применяется следующее:

diff = maxY − minY (8-211)

- Если diff не равно 0, применяется следующее:

diffC = maxC − minC (8-212) x = Floor( Log2( diff ) ) (8-213) normDiff = ( ( diff << 4 ) >> x ) & 15 (8-214) x += ( normDiff  !=  0 ) ? 1 : 0 (8-215) y = Floor( Log2( Abs ( diffC ) ) ) + 1 (8-216) a = ( diffC * ( divSigTable[ normDiff ] | 8 ) + 2^y − 1 ) >> y (8-217) k = ( ( 3 + x − y ) < 1 ) ? 1 : 3 + x − y (8-218) a = ( ( 3 + x − y ) < 1 ) ? Sign( a ) * 15 : a (8-219) b = minC − ( ( a * minY ) >> k ) (8-220)

где параметр divSigTable[ ] специфицирован следующим образом:

divSigTable[ ] = { 0, 7, 6, 5, 5, 4, 4, 3, 3, 2, 2, 1, 1, 1, 1, 0 } (8-221)

- В противном случае (diff равно 0), применяется следующее:

k = 0 (8-222) a = 0 (8-223) b = minC (8-224)

8. Прогнозируемые отсчеты predSamples[ x ][ y ] при x = 0..nTbW − 1, y = 0.. nTbH − 1 определяют следующим образом:

predSamples[ x ][ y ] = Clip1C( ( ( pDsY[ x ][ y ] * a ) >> k ) + b ) (8-225)

2.2.3.3 Разнообразные аспекты внутрикадрового прогнозирования

Документ VTM4 содержит много инструментов внутрикадрового кодирования, отличных от стандарта кодирования HEVC, например, следующие признаки были включены в тестовую модель 3 стандарта кодирования VVC поверх структуры дерева блоков.

- 67 режимов внутрикадрового прогнозирования с расширением на широкоугольные режимы

- Зависимый от размеров блока и режима интерполяционный фильтр с 4 отводами

- Зависимая от позиции комбинация внутрикадрового прогнозирования (position dependent intra prediction combination (PDPC))

- Внутрикадровое прогнозирование с использованием кросс-компонентной линейной модели

- Внутрикадровое прогнозирование с использованием нескольких опорных строк

- Внутрикадровое разбиение на субблоки

2.2.4 Режим внутрикадрового прогнозирования в стандарте кодирования VVC

2.2.4.1 Комбинированный режим с внутрикадровым и межкадровым прогнозированием (CIIP)

В документе VTM4, когда единицу CU кодируют в режиме объединения, и если эта единица CU содержит по меньшей мере 64 отсчета яркостной составляющей (иными словами, произведение ширины единицы CU на высоту единицы CU не меньше 64), передают в виде сигнализации дополнительный флаг для индикации, применяется ли комбинированный режим с внутрикадровым и межкадровым прогнозированием (combined inter/intra prediction (CIIP)) к текущей единице CU.

Для формирования прогнозирования в комбинированном режиме CIIP сначала определяют режим внутрикадрового прогнозирования на основе двух дополнительных синтаксических элементов. Могут быть использованы вплоть до четырех возможных режимов внутрикадрового прогнозирования: DC-режим, планарный режим, горизонтальный режим или вертикальный режим. Затем формируют сигналы межкадрового и внутрикадрового прогнозирования с использованием регулярных процедур внутрикадрового и межкадрового прогнозирования. Наконец, осуществляют взвешенное усреднение этих сигналов межкадрового и внутрикадрового прогнозирования для получения прогнозирования в комбинированном режиме CIIP.

2.2.4.2 Разнообразные аспекты внутрикадрового прогнозирования

Документ VTM4 содержит много инструментов кодирования с использованием межкадрового прогнозирования, отличающихся от стандарта кодирования HEVC, например, следующие признаки были включены в тестовую модель 3 стандарта кодирования VVC поверх структуры дерева блоков.

- Аффинное межкадровое прогнозирование движения

- Временное прогнозирование векторов движения на основе субблоков

- Адаптивное разрешение вектора движения

- Сжатие движения на основе блоков 8x8 для временного прогнозирования движения

- Сохранение векторов движения с высокой точностью (1/16 pel) и компенсация движения с использованием 8-отводного интерполяционного фильтра для яркостной составляющей и 4-отводного интерполяционного фильтра для цветностной составляющей

- Треугольное разбиение

- Комбинированный режим с внутрикадровым и межкадровым прогнозированием

- Режим объединения с разностями MVD (MMVD)

- Симметричное кодирование разностей MVD

- Двунаправленный оптический поток

- Уточнение вектора движения на стороне декодирующего устройства

- Взвешенное усреднение с двунаправленным прогнозированием

2.2.5 Внутриконтурные фильтры

В документе VTM4 имеются всего три внутриконтурных фильтра. Помимо деблокирующего фильтра и нелинейного фильтра с адаптивным смещением (sample adaptive offset filter (SAO)), двух типов фильтров, используемых в стандарте кодирования HEVC, в документе VTM4 применяется адаптивный контурный фильтр (adaptive loop filter (ALF)). Фильтрация в документе VTM4 осуществляется в порядке – деблокирующий фильтр, фильтр SAO и фильтр ALF.

В документе VTM4, процедуры фильтрации в фильтре SAO и деблокирующей фильтрации являются почти такими же, как в стандарте кодирования HEVC.

В документе VTM4, была добавлена новая процедура, называемая режимом отображения яркостной составляющей с масштабированием цветностной составляющей (эта процедура была ранее известна под названием адаптивного внутриконтурного переформирования (adaptive in-loop reshaper)). Эта новая процедура осуществляется прежде деблокирования.

2.2.6 Режим отображения яркостной составляющей с масштабированием цветностной составляющей (LMCS, также называется внутриконтурным переформированием)

В документе VTM4, инструмент кодирования, называемый отображением яркостной составляющей с масштабированием цветностной составляющей (luma mapping with chroma scaling (LMCS)), добавлен в качестве нового процессорного блока прежде контурной фильтрации. Режим LMCS имеет два главных компонента: 1) внутриконтурное отображение яркостной составляющей на основе адаптивных кусочно-линейных моделей; 2) применение зависящего от яркостной составляющей масштабирования остатка цветностной составляющей к цветностным составляющим. Фиг. 4 показывает архитектуру осуществления режима LMCS с точки зрения декодирующего устройства. Заштрихованные светло-синим блоки на Фиг. 4 указывают, что обработка применяется в отображенной области; сюда входит обратное квантование, обратная трансформация, внутрикадровое прогнозирование яркостной составляющей и суммирование прогнозирования яркостной составляющей с остатком яркостной составляющей. Незаштрихованные блоки на Фиг. 4 указывают, где обработка применяется в исходной (т.е. неотображенной) области; и сюда входят контурные фильтры, такие как деблокирующие фильтры, фильтры ALF и фильтры SAO, прогнозирование с компенсацией движения, внутрикадровое прогнозирование цветностной составляющей, суммирование результата прогнозирования цветностной составляющей с остатком цветностной составляющей, и сохранение декодированных изображений в качестве опорных изображений. Блоки, заштрихованные светло-желтым, на Фиг. 4 представляют собой новые функциональные блоки для режима LMCS, включая прямое и обратное отображение сигнала яркостной составляющей и процедуру зависящего от яркостной составляющей масштабирования цветностной составляющей. Как и большинство других инструментов в стандарте кодирования VVC, режим масштабирования LMCS может быть активизирован/активизация отменена на уровне последовательности с использованием флага набора SPS.

2.2.6.1 Отображение яркостной составляющей с использованием кусочно-линейной модели

Внутриконтурное отображение яркостной составляющей подстраивает динамический диапазон входного сигнала путем перераспределения кодовых слов по динамическому диапазону с целью повышения эффективности сжатия. Процедура отображения яркостной составляющей использует функцию прямого отображения, FwdMap, и соответствующую функцию обратного отображения, InvMap. Функцию FwdMap передают в виде сигнализации с использованием кусочно-линейной модели из 16 равных отрезков. Функцию InvMap нет необходимости передавать в виде сигнализации, вместо этого ее выводят из функции FwdMap.

Модель отображения яркостной составляющей передают в виде сигнализации на уровне группы плиток. Сначала передают в виде сигнализации флаг присутствия. Если модель отображения яркостной составляющей присутствует в текущей группе плиток, передают в виде сигнализации параметры соответствующей кусочно-линейной модели. Кусочно-линейная модель разбивает динамический диапазон входного сигнала на 16 равных отрезков, и для каждого отрезка, его параметры линейного отображения выражают с использованием ряда кодовых слов, назначенных этому отрезку. Возьмем в качестве примера 10-битовые входные данные. Каждый из 16 отрезков будет иметь 64 кодовых слова, назначенных ему по умолчанию. Сообщаемый в виде сигнализации ряд кодовых слов используют для вычисления коэффициента масштабирования и подстройки функции отображения для соответствующего отрезка согласно этому коэффициенту. На уровне группы плиток сообщают в виде сигнализации другой флаг активизации масштабирования LMCS с целью обозначения, применяется ли процедура отображения LMCS, показанная на Фиг. 4, к текущей группе плиток.

Каждый i-ый отрезок, i = 0 … 15, кусочно-линейной модели функции FwdMap определен двумя входными конечными точками (точками излома) InputPivot[] и двумя выходными (отображенными) конечными точками MappedPivot[].

Точки InputPivot[] и MappedPivot[] вычисляют следующим образом (предполагая 10-битовые данные видео):

1) OrgCW = 64

2) Для i = 0:16, InputPivot[ i ] = i * OrgCW

3) Для i=0:16, MappedPivot[i] вычисляют следующим образом:

MappedPivot[0]=0;

для(i=0;i <16;i++)

MappedPivot[i + 1] = MappedPivot[i] + SignalledCW[i],

где значения SignalledCW[i] представляют собой сообщаемый в виде сигнализации ряд кодовых слов для i-го отрезка.

Как показано на Фиг. 4, для блока, кодированного в режиме межкадрового прогнозирования, прогнозирование с компенсацией движения осуществляется в отображенной области. Другими словами, после вычисления прогнозируемого блока с компенсацией движения на основе опорных сигналов в буфере DPB, применяют функцию FwdMap для отображения прогнозируемого блока яркостной составляющей из исходной области в отображенную область, . Для блока, кодируемого в режиме внутрикадрового прогнозирования, функцию FwdMap не применяют, поскольку внутрикадровое прогнозирование осуществляется в отображенной области. После вычисления реконструированного блока применяют функцию InvMap для преобразования реконструированных значений яркостной составляющей из отображенной области назад к реконструированным значениям яркостной составляющей в исходной области, (). Функцию InvMap применяют к обоим блокам яркостной составляющей – кодированным с применением внутрикадрового и межкадрового прогнозирования.

Процедура отображения яркостной составляющей (прямое и/или обратное отображение) может быть осуществлена либо с использованием преобразовательных (просмотровых) таблиц (look-up-table (LUT)), либо с использованием вычислений в реальном времени («на лету»). Если применяется таблица LUT, тогда таблицы и могут быть предварительно вычислены и предварительно сохранены для использования на уровне группы плиток, так что прямое и обратное отображение могут быть просто реализованы в виде и , соответственно. В альтернативном варианте могут быть использованы вычисления в реальном времени («на лету»). Возьмем в качестве примера функцию FwdMap прямого отображения. С целью определения отрезка, которому принадлежит некий отсчет яркостной составляющей, значение этого отсчета сдвигают вправо на 6 бит (что соответствует 16 равным отрезкам). Затем извлекают параметры линейной модели для этого отрезка и применяют вычисления «на лету» для определения отображенного значения яркостной составляющей. Пусть i обозначает индекс отрезка, a1, a2 обозначают точки InputPivot[i] и InputPivot[i+1], соответственно, и b1, b2 обозначают точки MappedPivot[i] и MappedPivot[i+1], соответственно. Функцию FwdMap вычисляют следующим образом:

Функция InvMap может быть вычислена «на лету» аналогичным образом за исключением того, что необходимо применить условные проверки вместо простого сдвига битов вправо при определении отрезка, которому принадлежит рассматриваемое значение отсчета, поскольку отрезки в отображенной области не имеют равные размеры.

2.2.6.2 Зависимое от яркостной составляющей масштабирование остатка цветностной составляющей

Масштабирование остатка цветностной составляющей предназначено для компенсации взаимодействия между сигналом яркостной составляющей и соответствующими ему сигналами цветностной составляющей. Активизировано ли масштабирование остатка цветностной составляющей или нет, также сообщают в виде сигнализации на уровне группы плиток. Если отображение яркостной составляющей активизировано и если разбиение по схеме двойного дерева (также известное как раздельное дерево разбиения цветностной составляющей) не применяется к текущей группе плиток, передают в виде сигнализации дополнительный флаг для индикации, активизировано ли зависимое от яркостной составляющей масштабирование остатка цветностной составляющей или нет. Когда отображение яркостной составляющей не используется, или когда разбиение по схеме двойного дерева используется в текущей группе плиток, зависимое от яркостной составляющей масштабирование остатка цветностной составляющей не активизируют. Далее, зависимое от яркостной составляющей масштабирование остатка цветностной составляющей всегда не активизировано для блоков цветностной составляющей, площади которых не больше 4.

Масштабирование остатка цветностной составляющей зависит от среднего значения соответствующего прогнозируемого блока яркостной составляющей (для блоков обоих типов – с внутрикадровым и с межкадровым прогнозированием). Обозначим как среднее значение прогнозируемого блока яркостной составляющей. Значение вычисляют следующим образом:

1) Нахождение индекса кусочно-линейной модели, которому принадлежит значение на основе функции InvMap.

2) = cScaleInv[], где cScaleInv[] обозначает предварительно вычисленную таблицу LUT для 16 отрезков.

Если текущий блок кодируют с применением режима внутрикадрового прогнозирования, комбинированного режима прогнозирования CIIP или режима внутрикадрового копирования блоков (intra block copy) (IBC, иначе называется режимом использованием текущего изображения в качестве опоры (current picture referencing (CPR))), значение вычисляют как среднюю из значений яркостных составляющих, прогнозируемых в режиме внутрикадрового прогнозирования, комбинированном режиме CIIP или в режиме с копированием IBC; в противном случае, значение вычисляют как среднее значение из отображенных в прямом направлении значений яркостной составляющей при межкадровом прогнозировании ( на Фиг. 4). В отличие от отображения яркостной составляющей, осуществляемого на основе отсчетов, параметр имеет постоянное значение для всего блока цветностной составляющей. Имея , масштабирование остатка цветностной составляющей применяют следующим образом:

Сторона кодирующего устройства:

Сторона декодирующего устройства:

2.2.6.3 Соответствующий рабочий проект в документе JVET-M1001_v7 с применением в документе JVET-N0220

Следующее описание основано на модифицированном рабочем проекте из документа JVET-M1001 and the adoption in JVET-N0220. Модификация в принятом документе JVET-N0220 показана жирным шрифтом с подчеркиванием.

Синтаксические таблицы

Семантика

В 7.4.3.1 Семантика набора параметров последовательности RBSP

Флаг равный 1 специфицирует, что режим отображения яркостной составляющей с масштабированием цветностной составляющей используется в последовательности CVS. Флаг sps_lmcs_enabled_flag равный 0 специфицирует, что режим отображения яркостной составляющей с масштабированием цветностной составляющей не используется в последовательности CVS.

Флаг равный 1 специфицирует, что параметр lmcs_data() присутствует в заголовке группы плиток. Флаг tile_group_lmcs_model_present_flag равный 0 специфицирует, что параметр lmcs_data() не присутствует в заголовке группы плиток. Когда флаг tile_group_lmcs_model_present_flag не присутствует, его признают равным 0.

Флаг равный 1 специфицирует, что режим отображения яркостной составляющей с масштабированием цветностной составляющей активизирован для текущей группы плиток. Флаг tile_group_lmcs_enabled_flag равный 0 специфицирует, что режим отображения яркостной составляющей с масштабированием цветностной составляющей не активизирован для текущей группы плиток. Когда флаг tile_group_lmcs_enabled_flag не присутствует, его признают равным 0.

Флаг равный 1 специфицирует, что масштабирование остатка цветностной составляющей активизировано для текущей группы плиток. Флаг tile_group_ chroma_residual_scale_flag равный 0 специфицирует, что масштабирование остатка цветностной составляющей не активизировано для текущей группы плиток. Когда флаг tile_group_ chroma_residual_scale_flag не присутствует, его признают равным 0.

В 7.4.5.4 Семантика данных в режиме отображения яркостной составляющей с масштабированием цветностной составляющей

Параметр специфицирует минимальный индекс секции (разряда), используемый в процедуре построения режима отображения яркостной составляющей с масштабированием цветностной составляющей. Значение параметра lmcs_min_bin_idx должна быть в диапазоне от 0 до 15 включительно.

Параметр специфицирует значение разности между 15 и максимальным индексом LmcsMaxBinIdx секции (разряда), используемым в процедуре построения режима отображения яркостной составляющей с масштабированием цветностной составляющей. Значение параметра lmcs_delta_max_bin_idx должно быть в диапазоне от 0 до 15 включительно. Значение параметра LmcsMaxBinIdx устанавливают равным 15 − lmcs_delta_max_bin_idx. Значение LmcsMaxBinIdx должно быть не меньше lmcs_min_bin_idx.

Параметр плюс 1 специфицирует число битов, используемых для представления синтаксиса lmcs_delta_abs_cw[ i ]. Значение параметра lmcs_delta_cw_prec_minus1 должно быть в диапазоне от 0 до BitDepthY − 2, включительно.

Параметр специфицирует абсолютное значение приращения (delta) кодового слова для i-ой секции (разряда).

Флаг специфицирует знак переменной lmcsDeltaCW[ i ] следующим образом:

- Если lmcs_delta_sign_cw_flag[ i ] равно 0, параметр lmcsDeltaCW[ i ] имеет положительное значение.

- В противном случае ( lmcs_delta_sign_cw_flag[i] не равно 0), параметр lmcsDeltaCW[ i ] имеет отрицательное значение.

Когда флаг lmcs_delta_sign_cw_flag[ i ] не присутствует, его признают равным 0.

Переменную OrgCW определяют следующим образом:

OrgCW = (1 << BitDepth_Y )/16 (7-70)

Переменную lmcsDeltaCW[i], при i = lmcs_min_bin_idx..LmcsMaxBinIdx, определяют следующим образом:

lmcsDeltaCW[ i ] = ( 1 − 2 * lmcs_delta_sign_cw_flag[ i ] ) * lmcs_delta_abs_cw[ i ] (7-71)

Переменную lmcsCW[ i ] определяют следующим образом:

- Для i = 0.. lmcs_min_bin_idx − 1, переменную lmcsCW[i] устанавливают равной 0.

- Для i = lmcs_min_bin_idx..LmcsMaxBinIdx, применяется следующее:

lmcsCW[ i ] = OrgCW + lmcsDeltaCW[ i ] (7-72)

Значение переменной lmcsCW[i] должно быть в диапазоне от (OrgCW>>3) до (OrgCW<<3 − 1), включительно.

- Для i = LmcsMaxBinIdx + 1..15, переменную lmcsCW[ i ] устанавливают равной 0.

Требование соответствия потока битов данных состоит в том, что следующее условие является истинным (true):

Переменную InputPivot[ i ], при i = 0..16, определяют следующим образом:

InputPivot[ i ] = i * OrgCW (7-74)

Переменную LmcsPivot[ i ] при i = 0..16, переменные ScaleCoeff[ i ] и InvScaleCoeff[ i ] при i = 0..15, определяют следующим образом:

LmcsPivot[0]=0;

для(i=0;i<=15;i++) {

LmcsPivot[ i + 1 ] = LmcsPivot[ i ] + lmcsCW[ i ]

}

Переменную ChromaScaleCoeff[ i ], при i = 0…15, определяют следующим образом:

}

Переменные ClipRange, LmcsMinVal и LmcsMaxVal определяют следующим образом:

ClipRange = ((lmcs_min_bin_idx > 0) && ( LmcsMaxBinIdx < 15 ) (7-77) LmcsMinVal = 16 << (BitDepth_Y − 8)
LmcsMaxVal = 235 << (BitDepth_Y − 8) (7-78)
(7-79)

ПРИМЕЧАНИЕ – Массивы InputPivot[ i ] и LmcsPivot[ i ], ScaleCoeff[ i ], и InvScaleCoeff[ i ], ChromaScaleCoeff[ i ], ClipRange, LmcsMinVal и LmcsMaxVal, обновляют только тогда, когда флаг tile_group_lmcs_model_present_flag равен 1. Таким образом, модель с масштабированием lmcs может быть передана с изображением IRAP, например, но масштабирование lmcs не актизируют для этого изображения IRAP.

3. Недостатки существующих вариантов реализации

Сегодняшняя конфигурация модели LMCS/CCLM может иметь следующие проблемы:

1. В инструменте кодирования с применением масштабирования LMCS, коэффициент масштабирования остатка цветностной составляющей определяют посредством среднего значения расположенного в том же месте прогнозируемого блока яркостной составляющей, результатом чего является задержка обработки отсчетов цветностной составляющей при масштабировании остатка цветностной составляющей в режиме LMCS.

a) В случае одиночного/совместно используемого дерева задержка обусловлена

(a) ожиданием доступности всех прогнозируемых отсчетов полного блока яркостной составляющей, и (b) усреднением всех прогнозируемых отсчетов яркостной составляющей, полученных в результате (a).

b) В случае двойного/раздельного дерева, задержка оказывается даже хуже, поскольку в I-срезах активизирована раздельная структура разбиения блоков для яркостной и цветностной составляющих. Поэтому один блок цветностной составляющей может соответствовать нескольким блокам яркостной составляющей, и один блок размером 4x4 цветностной составляющей может соответствовать блоку размером 64x64 яркостной составляющей. Таким образом, худший случай состоит в том, что может быть необходимо ожидать коэффициента масштабирования остатка цветностной составляющей для текущего блока размером 4x4 цветностной составляющей до тех пор, пока не станут доступными все прогнозируемые отсчеты в полном блоке размером 64x64 яркостной составляющей. Короче говоря, проблема с задержкой в случае двойного/раздельного дерева может оказаться гораздо более серьезной.

2. В инструменте кодирования с применением модели CCLM, вычисления этой модели CCLM для внутрикадрового прогнозирования цветностной составляющей зависят от опорных отсчетов сверху и слева для обоих блоков – блока яркостной составляющей и блока цветностной составляющей. И прогнозирование по модели CCLM для блока цветностной составляющей зависят от расположенных в том же месте реконструированных отсчетов яркостной составляющей из той же самой единицы CU. Это может вызвать большую задержку при использовании двойного/раздельного дерева.

- В случае двойного/раздельного дерева, один блок размером 4x4 цветностной составляющей может соответствовать блоку размером 64x64 яркостной составляющей. Таким образом, худший случай состоит в том, что процедуре использования модели CCLM для текущего блока цветностной составляющей может быть необходимо ожидать до тех пор, пока не будет реконструирован полный блок размером 64x64 яркостной составляющей. Эта проблема с задержкой может быть аналогична ситуации с использованием масштабирования цветностной составляющей в режиме LMCS в структуре с двойным/раздельным деревом.

4. Примеры способов и вариантов

Для решения этой проблемы мы предлагаем несколько способов исключения/уменьшения/ограничения кросс-компонентной задержки при использовании зависимого от яркостной составляющей масштабирования остатка цветностной составляющей, модели CCLM и других инструментов кодирования, опирающихся на информацию от другой цветовой составляющей.

Подробные описания вариантов, приведенные ниже, следует рассматривать в качестве примеров для пояснения общих концепций. Эти варианты не следует интерпретировать в узком смысле. Более того, эти варианты можно комбинировать любым способом.

Отметим, что, хотя в рассматриваемых ниже разделах в явном виде упоминается модель LMCS/CCLM, эти способы также применимы и другим инструментам кодирования, опирающимся на информацию от другой цветовой составляющей. В дополнение к этому, термины «яркостной» (‘luma’) и «цветностной» (‘chroma’), упоминаемые ниже, могут быть заменены на «первую цветовую составляющую» и «вторую цветовую составляющую» соответственно, такие как «зеленая (G) составляющая» и «синяя/красная (B/R) составляющая» в цветовом формате RGB.

В последующем обсуждении, определение «расположенный в том же месте отсчет/блок» (“collocated sample/block”) соответствует определению расположенного в том же месте отсчета/блока в рабочем проекте JVET-M1001 стандарта кодирования VVC. Более конкретно, в цветовом формате 4:2:0, предположим, что верхний левый отсчет блока цветностной составляющей находится в позиции ( xTbC, yTbC ), тогда позицию ( xTbY, yTbY ) верхнего левого отсчета расположенного в том же месте блока яркостной составляющей определяют следующим образом: ( xTbY, yTbY ) = ( xTbC << 1, yTbC << 1 ). Как иллюстрировано на Фиг. 5, верхний левый отсчет текущего блока цветностной составляющей расположен в точке (x=16,y=16) на цветностном изображении, тогда верхний левый отсчет расположенного в том же месте блока яркостной составляющей находится в точке (x=32,y=32) яркостного изображения, независимо от разбиенимя на блоки этого расположенного в том же месте блока яркостной составляющей на яркостном изображении. В качестве другого примера, говоря о той же цветовой составляющей, позиция верхнего левого отсчета расположенного в том же месте блока в опорном кадре должна совпадать с позицией верхнего левого отсчета текущего блока в текущем кадре, как это иллюстрировано на Фиг. 6, предположим, что верхний левый отсчет текущего блока располагается в точке (x,y) в текущем кадре, тогда верхний левый отсчет расположенного в том же месте блока относительно текущего блока имеет ту же самую позицию (x,y) в опорном кадре.

В последующем обсуждении, «соответствующий блок» может занимать позицию, отличную от положения текущего блока. В качестве примера, может иметь место сдвиг движения между текущим блоком и соответствующим ему блоком в опорном кадре. Как иллюстрировано на Фиг. 6, предположим, что текущий блок расположен в точке (x,y) в текущем кадре и имеет вектор (mv_x, mv_y) движения, тогда соответствующий блок относительно этого текущего блока может находиться в точке (x+mv_x,y+mv_y) в опорном кадре. И для блока, кодированного в режиме копирования IBC, расположенный в том же месте блок яркостной составляющей (указываемый нулевым вектором) и соответствующий ему блок яркостной составляющей (указываемый ненулевым вектором BV) могут находиться в разных местах опорного кадра. В качестве другого примера, когда разбиение блока яркостной составляющей не совпадает с разбиением блока цветностной составляющей (при разбиении I-срезов по схеме двойного дерева), расположенный в том же месте блок яркостной составляющей относительно текущего блока цветностной составляющей может принадлежать большему блоку яркостной составляющей, что зависит от размера единиц разбиения наложенного на него блока кодирования яркостной составляющей, покрывающего верхний левый отсчет расположенного в том же месте блока яркостной составляющей. Как иллюстрировано на Фиг. 5, предполагается, что жирный прямоугольник обозначает разбиения блока, так что блок размером 64x64 яркостной составляющей сначала разбит по схеме двоичного дерева (BT), а затем правую часть блока размером 64x64 яркостной составляющей дополнительно разбили по схеме троичного (TT) дерева, результатом чего являются три блока яркостной составляющей с размерами, равными 32x16, 32x32, 32x16, соответственно. Таким образом, если взглянуть на верхний левый отсчет (x=32, y=32) расположенного в том же месте блока яркостной составляющей относительно текущего блока цветностной составляющей, этот отсчет принадлежит центральному блоку размером 32x32 яркостной составляющей из разбиения по схеме троичного (TT) дерева. В таком случае, мы называем соответствующий блок яркостной составляющей, покрывающий верхний левый отсчет расположенного в том же месте блока яркостной составляющей как «соответствуюий блок яркостной составляющей». Следовательно, в этом примере, верхний левый отсчет соответствующего блока яркостной составляющей расположен в точке с координатами (x=32, y=16).

В дальнейшем, здесь понятие «способ получения вектора движения на стороне декодирующего устройства» (DMVD (decoder-side motion vector derivation)) используется для представления двунаправленного оптического потока BDOF (также называется BIO) или/и способа уточнения вектора движения на стороне декодирующего устройства (DMVR (decode-side motion vector refinement)) или/и способа повышающего преобразования частоты кадров (FRUC (frame rate up-conversion)) или/и другого способа, позволяющего уточнить вектор движения или/и прогнозируемый отсчет в декодирующем устройстве.

Устранение задержки масштабирования цветностной составляющей в режиме LMCS и вычисления модели CCLM

1. Предлагается, что для блока, кодированного в режиме внутрикадрового прогнозирования, один или несколько опорных отсчетов из текущего блока в опорных кадрах могут быть использованы для определения коэффициента масштабирования остатка цветностной составляющей в режиме масштабирования LMCS.

a) В одном из примеров, опорные отсчеты яркостной составляющей могут быть прямо использованы для определения коэффициента масштабирования остатка цветностной составляющей.

i. В качестве альтернативы, интерполяция может быть сначала применена к опорным отсчетам, а интерполированные отсчеты могут быть использованы для определения коэффициента масштабирования остатка цветностной составляющей.

ii. В качестве альтернативы, опорные отсчеты в разных опорных кадрах могут быть использованы для определения конечных опорных отсчетов, используемых для определения коэффициента масштабирования остатка цветностной составляющей.

1) В одном из примеров, для двунаправлено кодированных блоков могут быть применены приведенные выше способы.

iii. В одном из примеров, интенсивности опорных отсчетов могут быть преобразованы в переформированную область прежде использования для определения коэффициента масштабирования остатка цветностной составляющей.

iv. В одном из примеров, линейная комбинация опорных отсчетов может быть использована для определения коэффициента масштабирования остатка цветностной составляющей.

1) Например, выражение a×S+b может быть использовано для определения коэффициента масштабирования остатка цветностной составляющей, где S обозначает опорный отсчет, a и b параметры. В одном из примеров, параметры a и b могут быть определены посредством локальной компенсации освещенности (Localized Illuminate Compensation (LIC)).

b) В одном из примеров, расположение опорных отсчетов яркостной составляющей в опорном кадре может зависеть от вектора (ов) движения для текущего блока.

i. В одном из примеров, опорные отсчеты принадлежат опорному блоку яркостной составляющей, который находится в опорном изображении и имеет такие же ширину и высоту, как и текущий блок яркостной составляющей. Позиция опорного отсчета яркостной составляющей в опорном изображении может быть вычислена как позиция соответствующего отсчета яркостной составляющей в текущем изображении с добавлением вектора движения.

ii. В одном из примеров, позиции опорных отсчетов яркостной составляющей могут быть определены на основе позиции верхнего левого (или центрального, или нижнего правого) отсчета текущего блока яркостной составляющей и вектора движения для этого текущего блока, где указанный отсчет называется соответствующим отсчетом яркостной составляющей в опорном кадре.

1) В одном из примеров, целочисленный вектор движения может быть использован для определения соответствующего отсчета яркостной составляющей в опорном кадре. В одном из примеров, для получения целочисленного вектора движения, вектор движения, ассоциированный с одним блоком, может быть либо округлен в направлении нуля, либо округлен в направлении прочь от нуля.

2) В качестве альтернативы, для определения соответствующего отсчета яркостной составляющей в опорном кадре может быть использован дробный вектор движения, так что может потребоваться процедура интерполяции для определения дробных опорных отсчетов.

iii. В качестве альтернативы, позиции опорных отсчетов яркостной составляющей могут быть определены на основе позиции верхнего левого (или центрального, или нижнего правого) отсчета текущего блока яркостной составляющей.

iv. В качестве альтернативы, множество соответствующих отсчетов яркостной составляющей в некоторых предварительно заданных позициях в опорном кадре могут быть выбраны для вычисления коэффициента масштабирования остатка цветностной составляющей.

c) В одном из примеров, медианное или среднее значение множества опорных отсчетов яркостной составляющей может быть использовано для определения коэффициента масштабирования остатка цветностной составляющей.

d) В одном из примеров, опорные отсчеты яркостной составляющей в предварительно заданных опорных кадрах могут быть использованы для определения коэффициента масштабирования остатка цветностной составляющей.

i. В одном из примеров, предварительно заданный опорный кадр может быть кадром с равным нулю опорным индексом в списке 0 опорных изображений.

ii. В качестве альтернативы, опорный индекс и/или список опорных изображений для предварительно заданного опорного кадра могут быть переданы в виде сигнализации на уровне последовательности/изображения/группы плиток/среза/плитки/строки единиц CTU/единицы видео.

iii. В качестве альтернативы, могут быть определены опорные отсчеты яркостной составляющей в нескольких опорных кадрах и усредненные или взвешенные средние значения могут быть использованы для получения коэффициента масштабирования остатка цветностной составляющей.

2. Предлагается, что следует ли и как определять коэффициент масштабирования остатка цветностной составляющей на основе отсчетов яркостной составляющей в режиме масштабирования LMCS, может зависеть от того, применяется ли двунаправленное прогнозирование для текущего блока.

a) В одном из примеров, коэффициент масштабирования остатка цветностной составляющей определяют для каждого направления прогнозирования индивидуально.

3. Предлагается, что следует ли и как определять коэффициент масштабирования остатка цветностной составляющей на основе отсчетов яркостной составляющей в режиме масштабирования LMCS, может зависеть от того, применяется ли прогнозирование на основе субблоков.

a) В одном из примеров, прогнозирование на основе субблоков представляет собой аффинное прогнозирование;

b) В одном из примеров, способ прогнозирования на основе субблоков представляет собой способ прогнозирования альтернативного временного вектора движения (Alternative Temporal Motion Vector Prediction (ATMVP)).

c) В одном из примеров, коэффициент масштабирования остатка цветностной составляющей определяют для каждого субблока индивидуально.

d) В одном из примеров, коэффициент масштабирования остатка цветностной составляющей определяют для всего блока, даже если его прогнозируют по субблокам.

i. В одном из примеров, вектор движения для одного выбранного субблока (например, верхнего левого субблока) может быть использован для идентификации опорных отсчетов текущего блока, как это описано в разделе 1.

4. Предлагается, что прогнозируемые значения яркостной составляющей, используемые для определения коэффициента масштабирования остатка цветностной составляющей, могут представлять собой промежуточные прогнозируемые значения яркостной составляющей вместо конечных прогнозируемых значений яркостной составляющей.

a) В одном из примеров, прогнозируемые значения яркостной составляющей прежде процедуры двунаправленного оптического потока (Bi-Directional Optical Flow (BDOF, также называется BIO)) могут быть использованы для определения коэффициента масштабирования остатка цветностной составляющей.

b) В одном из примеров, прогнозируемые значения яркостной составляющей прежде процедуры уточнения вектора движения на стороне декодирующего устройства (Decoder-side Motion Vector Refinement (DMVR)) могут быть использованы для определения коэффициента масштабирования остатка цветностной составляющей.

c) В одном из примеров, прогнозируемые значения яркостной составляющей прежде процедуры компенсации LIC могут быть использованы для определения коэффициента масштабирования остатка цветностной составляющей.

d) В одном из примеров, прогнозируемые значения яркостной составляющей прежде процедуры уточнения прогнозируемого оптического потока (Prediction Refinement Optical Flow (PROF)), как это предлагается в документе JVET-N0236, могут быть использованы для определения коэффициента масштабирования остатка цветностной составляющей.

5. Промежуточные векторы движения могут быть использованы для идентификации опорных отсчетов.

a) В одном из примеров, вектор движения прежде процедуры потока BDOF или/и уточнения DMVR или/и других способов DMVD может быть использован для идентификации опорных отсчетов.

b) В одном из примеров, вектор движения прежде процедуры уточнения прогнозируемого оптического потока (PROF), как это предлагается в документе JVET-N0236, могут быть использованы для идентификации опорных отсчетов.

6. Приведенные выше способы могут быть применимы, когда текущий блок кодирован в режиме межкадрового прогнозирования.

7. Предлагается, что для блока, кодированного в режиме копирования IBC, один или несколько опорных отсчетов в опорном блоке текущего кадра могут быть использованы для определения коэффициента масштабирования остатка цветностной составляющей в режиме масштабирования LMCS. Когда блок кодирован в режиме IBC, термин «вектор движения» может быть эквивалентен термину «блочный вектор», где это опорное изображение установлено в качестве текущего изображения.

a) В одном из примеров, опорный отсчет принадлежит опорному блоку, который находится в текущем изображении и имеет такие же ширину и высоту, как текущий блок. Позиция опорного отсчета может быть вычислена как позиция соответствующего ему отсчета с добавлением вектора движения.

b) В одном из примеров, позиции опорных отсчетов яркостной составляющей могут быть определены посредством позиции верхнего левого (или центрального или нижнего правого) отсчета текущего блока яркостной составляющей с добавлением вектора движения.

c) В качестве альтернативы, позиции опорных отсчетов яркостной составляющей могут быть определены посредством позиции верхнего левого (или центрального или нижнего правого) отсчета текущего блока яркостной составляющей с добавлением блочного вектора текущего блока.

d) В качестве альтернативы, несколько соответствующих отсчетов яркостной составляющей в некоторых предварительно заданных позициях в опорной области текущего блока яркостной составляющей могут быть выбраны для вычисления коэффициента масштабирования остатка цветностной составляющей.

e) В одном из примеров, несколько соответствующих отсчетов яркостной составляющей могут быть вычислены с использованием функции для определения коэффициента масштабирования остатка цветностной составляющей.

i. Например, медианное или среднее значение нескольких соответствующих отсчетов яркостной составляющей может быть вычислено для определения коэффициента масштабирования остатка цветностной составляющей.

f) В одном из примеров, интенсивности опорных отсчетов могут быть преобразованы в переформированную область прежде использования для определения коэффициента масштабирования остатка цветностной составляющей.

i. В качестве альтернативы, интенсивности опорных отсчетов могут быть преобразованы в исходную область прежде использования для определения коэффициента масштабирования остатка цветностной составляющей

8. Предлагается, что один или несколько прогнозируемых/реконструированных отсчетов, расположенных в идентифицированной позиции (ях) текущего блока яркостной составляющей в текущем кадре могут быть использованы для определения коэффициента масштабирования остатка цветностной составляющей для текущего блока цветностной составляющей в режиме масштабирования LMCS.

a) В одном из примеров, если текущий блок кодирован в режиме межкадрового прогнозирования, прогнозируемый (или реконструированный) отсчет яркостной составляющей, расположенный в центре текущего блока яркостной составляющей, может быть выбран для определения коэффициента масштабирования остатка цветностной составляющей.

b) В одном из примеров, среднее значение первых MxN прогнозируемых (или реконструированных) отсчетов яркостной составляющей может быть выбрана для определения коэффициента масштабирования остатка цветностной составляющей, где MxN может быть меньше размера (произведения ширина х высота) расположенного в том же месте блока яркостной составляющей.

9. Предлагается, что процедура вычисления модели CCLM полностью или частично может быть использована для определения коэффициента масштабирования остатка цветностной составляющей для блока цветностной составляющей в режиме масштабирования LMCS.

a) В одном из примеров, опорные отсчеты, расположенные в идентифицированных позициях соседних отсчетов яркостной составляющей расположенного в том же месте блока яркостной составляющей в ходе процедуры определения параметров модели CCLM могут быть использованы для определения коэффициента масштабирования остатка цветностной составляющей.

i. В одном из примеров, эти опорные отсчеты могут быть использованы непосредственно.

ii. В качестве альтернативы, к этим опорным отсчетам может быть применена субдискретизация, и далее могут быть использованы субдискретизированные опорные отсчеты.

b) В одном из примеров, K отсчетов из S опорных отсчетов, выбранных для вычислений модели CCLM, могут быть использованы для определения коэффициента масштабирования остатка цветностной составляющей в режиме масштабирования LMCS. Например, K равно 1, и S равно 4.

c) В одном из примеров, среднее/минимальное/максимальное значение опорных отсчетов из расположенного в том же месте блока яркостной составляющей в режиме на основе модели CCLM может быть использовано для определения коэффициента масштабирования остатка цветностной составляющей в режиме масштабирования LMCS.

10. Как именно выбирать отсчеты для определения коэффициента масштабирования остатка цветностной составляющей может зависеть от кодированной информации текущего блока.

a) Эта кодированная информация может содержать параметр QP, указание режима кодирования, номер POC, индикацию режима внутрикадрового прогнозирования, информацию о движении и т.п.

b) В одном из примеров, для блоков, кодированных в режиме с копированием IBC или не в режиме с копированием IBC (Non-IBC), способ выбора отсчетов может различаться.

c) В одном из примеров, способ выбора отсчетов может быть разным на основе информации опорного изображения, такой как расстояние в номерах POC между опорными изображениями и текущим изображением.

11. Предлагается, что коэффициент масштабирования остатка цветностной составляющей и/или вычисление модели CCLM может зависеть от соседних отсчетов соответствующего блока яркостной составляющей, покрывающего верхний левый отсчет расположенного в том же месте блока яркостной составляющей.

a) «Соответствующий блок кодирования яркостной составляющей» может быть определен как блок кодирования, покрывающий верхнюю левую позицию расположенного в том же месте блока кодирования яркостной составляющей.

i. На Фиг. 5 показан пример, в котором для кодированного в режиме внутрикадрового прогнозирования блока цветностной составляющей в случае двойного дерева разбиение единицы CTU для цветностной составляющей может отличаться от разбиения единицы CTU для яркостной составляющей. Сначала выделяют «соответствующий блок кодирования яркостной составляющей», покрывающий верхний левый отсчет расположенного в том же месте блока яркостной составляющей относительно текущего блока цветностной составляющей. Затем, используя информацию о размере этого «соответствующего блока кодирования яркостной составляющей», может быть определен верхний левый отсчет рассматриваемого «соответствующего блока кодирования яркостной составляющей», этот верхний левый отсчет яркостной составляющей «соответствующего блока кодирования яркостной составляющей», покрывающего верхний левый отсчет расположенного в том же месте блока яркостной составляющей, расположен в точке с координатами (x=32, y=16).

b) В одном из примеров, реконструированные отсчеты, находящиеся не в указанном «соответствующем блоке кодирования яркостной составляющей», могут быть использованы для определения коэффициента масштабирования остатка цветностной составляющей и/или вычисления модели CCLM.

i. В одном из примеров, для определения коэффициента масштабирования остатка цветностной составляющей и/или вычисления модели CCLM могут быть использованы реконструированные отсчеты, находящиеся рядом с «соответствующим блоком кодирования яркостной составляющей».

1) В одном из примеров, N отсчетов, расположенных в соседних слева столбцах и/или в соседних сверху строках «соответствующего блока кодирования яркостной составляющей», могут быть использованы для определения коэффициента масштабирования остатка цветностной составляющей и/или вычисления модели CCLM, где N=1…2W+2H, W и H обозначают ширину и высоту «соответствующего блока кодирования яркостной составляющей».

a) Предположим, что верхний левый отсчет «соответствующего блока кодирования яркостной составляющей» находится в точке (xCb, yCb), тогда в одном из примеров, соседний сверху отсчет яркостной составляющей может находиться в точке (xCb + W/2, yCb - 1), или (xCb -1, yCb - 1). В альтернативном примере, соседний слева отсчет яркостной составляющей может находиться в точке (xCb+W-1, yCb-1).

b) В одном из примеров, позиция (и) соседнего отсчета (ов) может быть фиксированной, и/или находиться в заданном порядке проверки.

2) В одном из примеров, 1 из N соседних отсчетов может быть выбран для определения коэффициента масштабирования остатка цветностной составляющей и/или вычисления модели CCLM. Предположим, что N=3, и порядок проверки трех соседних отсчетов имеет вид (xCb -1, yCb - H -1), (xCb + W/2, yCb - 1), (xCb -1, yCb - 1), тогда первый доступный соседний отсчет в списке проверки может быть выбран для определения коэффициента масштабирования остатка цветностной составляющей.

3) В одном из примеров, медианное или среднее значение N отсчетов, расположенных в соседних слева столбцах и/или соседних сверху строках «соответствующего блока кодирования яркостной составляющей», может быть использовано для определения коэффициента масштабирования остатка цветностной составляющей и/или вычисления модели CCLM, где N=1…2W+2H, W и H обозначают ширину и высоту «соответствующего блока кодирования яркостной составляющей».

c) В одном из примеров, следует ли осуществлять масштабирование остатка цветностной составляющей, может зависеть от «доступных» соседних отсчетов соответствующего блока яркостной составляющей.

i. В одном из примеров, «доступность» соседних отсчетов может зависеть от режима кодирования текущего блока/субблока или/и режима кодирования соседнего отсчета.

1) В одном из примеров, для блока, кодируемого в режиме межкадрового прогнозирования, соседние отсчеты, кодируемые в режиме внутрикадрового прогнозирования или/и в режиме копирования IBC или/и в комбинированном режиме прогнозирования CIIP или/и в режиме компенсации LIC, могут считаться «недоступными».

2) В одном из примеров, для блока, кодируемого в режиме межкадрового прогнозирования, соседние отсчеты, использующие рассеивающий фильтр или/и двусторонний фильтр или/и фильтр на основе преобразования Адамара, могут считаться «недоступными.

ii. В одном из примеров, «доступность» соседних отсчетов может зависеть от ширины и/или высоты текущего изображения/плитки/группы плиток/единицы VPDU/среза.

1) В одном из примеров, если соседний блок располагается вне текущего изображения, тогда его считают «недоступным».

iii. В одном из примеров, когда отсутствуют «доступные» соседние отсчеты, масштабирование остатка цветностной составляющей может быть недопустимым.

iv. В одном из примеров, когда число «доступных» соседних отсчетов меньше K (K >= 1), масштабирование остатка цветностной составляющей может быть недопустимым.

v. В качестве альтернативы, недоступный соседний отсчет может быть замещен фиксированным значением по умолчанию, или посредством заполнения, или подстановки, так что масштабирование остатка цветностной составляющей может быть всегда применено.

i) В одном из примеров, если соседний отсчет недоступен, тогда он может быть замещен посредством 1 << (bitDepth − 1), где параметр bitDepth специфицирует битовую глубину отсчетов яркостной/цветностных составляющих.

2) В качестве альтернативы, если соседний отсчет недоступен, тогда он может быть замещен посредством заполнения от окружающих отсчетов, являющихся соседями слева/справа/сверху/снизу.

3) В качестве альтернативы, если соседний отсчет недоступен, тогда он может быть замещен посредством подстановки первого доступного соседнего отсчета в предварительно заданном порядке проверки.

d) В одном из примеров, фильтрованные/отображенные отсчеты по соседству с «соответствующим блоком кодирования яркостной составляющей» могут быть использованы для определения коэффициента масштабирования остатка цветностной составляющей и/или вычисления модели CCLM.

i. В одном из примеров, процедура фильтрации/отображения может содержать сглаживающую фильтрацию опоры для блоков с внутрикадровым прогнозированием, пост-фильтрацию, такую как применение двустороннего фильтра, фильтра на основе преобразования Адамара, прямого отображения переформированной области и т.п.

Ограничения на то, применяется ли масштабирование остатка цветностной составляющей и/или модель CCLM или нет

12. Предлагается, что применяется ли масштабирование остатка цветностной составляющей или модель CCLM или нет, может зависеть от разбиения соответствующего и/или расположенного в том же месте блока яркостной составляющей.

a) В одном из примеров, следует ли активизировать или не активизировать инструменты с применением кросс-компонентной информации, может зависеть от числа единиц CU/единиц PU/единиц TU в пределах расположенного в том же месте блока яркостной (например, Y или G) составляющей.

i. В одном из примеров, если число единиц CU/единиц PU/единиц TU в пределах расположенного в том же месте блока яркостной (например, Y или G) составляющей превосходит пороговое число, такие инструменты могут быть не активизированы.

ii. В качестве альтернативы, следует ли активизировать или не активизировать инструменты с применением кросс-компонентной информации, может зависеть от глубины дерева разбиения.

1) В одном из примеров, если максимальная (или минимальная или средняя или какая-то другая) глубина дерева квадратов для единиц CU в пределах расположенного в том же месте блока яркостной составляющей превышает пороговое значение, такие инструменты могут быть не активизированы (активизация отменена).

2) В одном из примеров, если максимальная (или минимальная или средняя или какая-то другая) глубина двоичного (BT) и/или троичного (TT) дерева для единиц CU в пределах расположенного в том же месте блока яркостной составляющей превышает пороговое значение, такие инструменты могут быть не активизированы (активизация отменена).

iii. В качестве альтернативы, кроме того, следует ли активизировать или не активизировать инструменты с применением кросс-компонентной информации, может зависеть от размеров блока цветностной составляющей.

iv. В качестве альтернативы, следует ли активизировать или не активизировать инструменты с применением кросс-компонентной информации, может зависеть от того охватывает ли расположенный в том же месте блок яркостной составляющей несколько размеров единиц VPDU/предварительно заданных областей.

v. Пороговые значения в приведенном выше обсуждении могут быть фиксированными числами или могут быть сообщены в виде сигнализации или могут зависеть от стандартных профилей/уровней/ярусов.

b) В одном из примеров, если расположенный в том же месте блок яркостной составляющей относительно текущего блока цветностной составляющей разбивают на несколько уровней деления (например, как показано на Фиг. 7), тогда масштабирование остатка цветностной составляющей и/или применение модели CCLM может быть запрещено.

i. В качестве альтернативы, если расположенный в том же месте блок яркостной составляющей относительно блока цветностной составляющей не разбивают (например, в пределах одной единицы CU/единицы TU/единицы PU), тогда может быть применено масштабирование остатка цветностной составляющей и/или модель CCLM.

c) В одном из примеров, если расположенный в том же месте блок яркостной составляющей относительно текущего блока цветностной составляющей содержит больше чем M единиц CU/единиц PU/единиц TU, тогда масштабирование остатка цветностной составляющей и/или применение модели CCLM может быть запрещено.

i. В одном из примеров, M может быть целым числом больше 1.

ii. В одном из примеров, M может зависеть от того, является ли это моделью CCLM или процедурой масштабирования остатка цветностной составляющей.

iii. Число M может быть фиксированным числом или может быть передано в виде сигнализации или может зависеть от стандартных профилей/уровней/ярусов

d) Приведенные выше единицы CU в пределах расположенного в том же месте блока яркостной составляющей могут быть интерпретированы как все единицы CU в пределах расположенного в том же месте блока яркостной составляющей. В качестве альтернативы, единицы CU в пределах расположенного в том же месте блока яркостной составляющей могут быть интерпретированы как только часть единиц CU в пределах этого расположенного в том же месте блока яркостной составляющей, такую как единицы CU вдоль границы этого расположенного в том же месте блока яркостной составляющей.

e) Упомянутые выше единицы CU в пределах расположенного в том же месте блока яркостной составляющей могут быть интерпретированы в качестве субъединиц CU или субблоков.

i. Например, субъединицы CU или субблоки могут быть использованы в режиме прогнозирования ATMVP;

ii. Например, субъединицы CU или субблоки могут быть использованы при аффинном прогнозировании;

iii. Например, субъединицы CU или субблоки могут быть использованы в режиме внутрикадрового подразделения (Intra Sub-Partition (ISP)).

f) В одном из примеров, если единица CU/единица PU/единицы TU, покрывающая верхний левый отсчет яркостной составляющей расположенного в том же месте блока яркостной составляющей больше заданного размера блока яркостной составляющей, тогда масштабирование остатка цветностной составляющей и/или применение модели CCLM может быть запрещено.

i. В примере, показанном на Фиг. 8, расположенный в том же месте блок яркостной составляющей имеет размер 32x32, но находится в пределах соответствующего блока яркостной составляющей размером 64x64, тогда если заданный размер блока яркостной составляющей равен 32x64, в этом случае масштабирование остатка цветностной составляющей и/или применение модели CCLM запрещено

ii. В качестве альтернативы, если расположенный в том же месте блок яркостной составляющей относительно текущего блока цветностной составляющей не разделен, и соответствующий блок яркостной составляющей, покрывающий верхний левый отсчет яркостной составляющей расположенного в том же месте блока яркостной составляющей, полностью входит в пределы ограничивающей рамки, тогда для текущего блока цветностной составляющей может быть применено масштабирование остатка цветностной составляющей и/или модель CCLM. Ограничивающая рамка может иметь форму прямоугольника шириной W и высотой H, что обозначено WxH, как показано на Фиг. 9, соответствующий блок яркостной составляющей имеет ширину 32 и высоту 64, и ограничивающий контур имеет ширину 40 и высоту 70.

1) В одном из примеров, размер WxH ограничивающей рамки может быть определен в соответствии с шириной и/или высотой единицы CTU, либо в соответствии с шириной и/или высотой единицы CU, либо в соответствии с произвольными значениями.

g) В одном из примеров, если расположенный в том же месте блок яркостной составляющей относительно текущего блока цветностной составляющей разбивают на несколько уровней деления, тогда только прогнозируемые отсчеты (или реконструированные отсчеты) внутри предварительно заданной единицы разбиения расположенного в том же месте блока яркостной составляющей используются для определения коэффициента масштабирования остатка цветностной составляющей в режиме масштабирования LMCS.

i. В одном из примеров, среднее значение всех прогнозируемых отсчетов (или реконструированных отсчетов) в первой единице разбиения расположенного в том же месте блока яркостной составляющей используется для определения коэффициента масштабирования остатка цветностной составляющей в режиме масштабирования LMCS.

ii. В качестве альтернативы, верхний левый прогнозируемый отсчет (или реконструированный отсчет) в первой единице разбиения расположенного в том же месте блока яркостной составляющей используется для определения коэффициента масштабирования остатка цветностной составляющей в режиме масштабирования LMCS.

iii. В качестве альтернативы, центральный прогнозируемый отсчет (или реконструированный отсчет) в первой единице разбиения расположенного в том же месте блока яркостной составляющей используется для определения коэффициента масштабирования остатка цветностной составляющей в режиме масштабирования LMCS.

h) Предлагается, что применять ли и как применять кросс-компонентные инструменты, такие как модель CCLM и масштабирование LMCS может зависеть от режима (ов) кодирования одной или нескольких единиц CU яркостных составляющей, покрывающих по меньшей мере один отсчет в расположенном в том же месте блоке яркостной составляющей.

i. Например, кросс-компонентные инструменты не активизируют, если одна или несколько единиц CU яркостной составляющей, которые покрывают по меньшей мере один отсчет расположенного в том же месте блока яркостной составляющей, кодированы в аффинном режиме;

ii. Например, кросс-компонентные инструменты не активизируют, если одна или несколько единиц CU яркостной составляющей, которые покрывают по меньшей мере один отсчет расположенного в том же месте блока яркостной составляющей, кодированы в режиме с двунаправленным прогнозированием;

iii. Например, кросс-компонентные инструменты не активизируют, если одна или несколько единиц CU яркостной составляющей, которые покрывают по меньшей мере один отсчет расположенного в том же месте блока яркостной составляющей, кодированы в режиме потока BDOF;

iv. Например, кросс-компонентные инструменты не активизируют, если одна или несколько единиц CU яркостной составляющей, которые покрывают по меньшей мере один отсчет расположенного в том же месте блока яркостной составляющей, кодированы с использованием уточнения DMVR;

v. Например, кросс-компонентные инструменты не активизируют, если одна или несколько единиц CU яркостной составляющей, которые покрывают по меньшей мере один отсчет расположенного в том же месте блока яркостной составляющей, кодированы с использованием режима аффинного прогнозирования матрицы, как это предлагается в документе JVET-N0217;

vi. Например, кросс-компонентные инструменты не активизируют, если одна или несколько единиц CU яркостной составляющей, которые покрывают по меньшей мере один отсчет расположенного в том же месте блока яркостной составляющей, кодированы с использованием режима межкадрового прогнозирования;

vii. Например, кросс-компонентные инструменты не активизируют, если одна или несколько единиц CU яркостной составляющей, которые покрывают по меньшей мере один отсчет расположенного в том же месте блока яркостной составляющей, кодированы с использованием режима разбиения ISP;

viii. В одном из примеров, слова «одна или несколько единиц CU яркостной составляющей, которые покрывают по меньшей мере один отсчет расположенного в том же месте блока яркостной составляющей» могут обозначать соответствующий блок яркостной составляющей.

i) Когда режим CCLM/LMCS запрещен, передача сигнализации использования режима CCLM/LMCS может быть пропущена.

j) В настоящем описании, обозначение CCLM может относиться к каким-либо вариантам режимов CCLM, включая режим LM, режим LM-T и режим LM-L.

13. Предлагается, что решение, следует ли применять и как применять кросс-компонентные инструменты, такие как модель CCLM и масштабирование LMCS, могут быть принято для части блока цветностной составляющей.

a) В одном из примеров, следует ли и как применять кросс-компонентные инструменты, такие как модель CCLM и масштабирование LMCS, решают на уровне субблоков цветностной составляющей.

i. В одном из примеров, субблок цветностной составляющей определен как блок размером 2x2 или 4x4 в единице CU цветностной составляющей.

ii. В одном из примеров, для субблока цветностной составляющей, когда соответствующий блок кодирования яркостной составляющей относительно текущей единицы CU цветностной составляющей покрывает все отсчеты соответствующего блока или субблока, может быть применена модель CCLM.

iii. В одном из примеров, для субблока цветностной составляющей, когда не все отсчеты соответствующего блока покрыты соответствующим блоком кодирования яркостной составляющей относительно текущей единицы CU цветностной составляющей, модель CCLM не применяется.

iv. В одном из примеров, параметры модели CCLM или масштабирования LMCS определяют для каждого субблока цветной составляющей, рассматривая этот субблок в качестве единицы CU цветностной составляющей.

v. В одном из примеров, когда модель CCLM или масштабирование LMCS применяются к субблоку цветностной составляющей, могут быть использованы отсчеты из расположенного в том же месте блока.

Применимость масштабирования остатка цветностной составляющей в режиме LMCS

14. Предлагается, что можно ли применить зависимое от яркостной составляющей масштабирование остатка цветностной составляющей, можно сообщить в виде сигнализации на другом синтаксическом уровне в дополнение к заголовку группы плиток, как это специфицировано в документе JVET-M1001.

a) Например, флаг можно передать в виде сигнализации на уровне последовательности (например, в наборе SPS), на уровне изображения (например, в наборе PPS или в заголовке изображения), на уровне среза (например, в заголовке среза), на уровне плитки, на уровне строки единиц CTU, на уровне единицы CTU, на уровне единицы CU. Флаг равный 1 специфицирует, что масштабирование остатка цветностной составляющей активизировано для единиц CU ниже сообщенного в виде сигнализации уровня синтаксиса. Флаг равный 0 специфицирует, что масштабирование остатка цветностной составляющей не активизировано для уровня ниже сообщенного в виде сигнализации уровня синтаксиса. Когда флаг chroma_residual_scale_flag не присутствует, его признают равным 0.

b) В одном из примеров, если масштабирование остатка цветностной составляющей ограничено на уровне узла разбиения, тогда флаг может не быть передан в виде сигнализации, и его признают равным 0 для единиц CU, покрытых узлом разбиения. В одном из примеров, узел разбиения может представлять собой единицу CTU (единицу CTU рассматривают в качестве корневого узла при разбиении по схеме четвертичного дерева).

c) В одном из примеров, если масштабирование остатка цветностной составляющей ограничено для размера блока цветностной составляющей не больше 32x32, тогда флаг может не быть передан в виде сигнализации и тогда его признают равным 0 для размеров блока цветностной составляющей не больше 32x32.

Применимость режима на основе модели CCLM

15. Предлагается, что можно ли применить режим на основе модели CCLM, может быть сообщено посредством сигнализации на других синтаксических уровнях в дополнение к уровню набора sps, как это специфицировано в документе JVET-M1001.

a) Например, это может быть сообщено в виде сигнализации на уровне изображения (например, в наборе PPS или в заголовке изображения), на уровне среза (например, в заголовке среза), на уровне группы плиток (например, в заголовке группы плиток), на уровне плитки, на уровне строки единиц CTU, на уровне единицы CTU, на уровне единицы CU.

b) В одном из примеров, флаг может не быть передан в виде сигнализации и тогда признан равным 0, если модель CCLM не может быть применена.

i. В одном из примеров, если масштабирование остатка цветностной составляющей ограничено для размера блока цветностной составляющей не больше 8x8, тогда флаг может не быть передан в виде сигнализации и тогда его признают равным 0 для размеров блока цветностной составляющей не больше 8x8.

Унификация определения коэффициента масштабирования остатка цветностной составляющей для режима внутрикадрового прогнозирования и режима межкадрового прогнозирования

16. Коэффициент масштабирования остатка цветностной составляющей может быть определен после кодирования/декодирования блока яркостной составляющей и может быть сохранен и использован для последующих кодированных блоков.

a) В одном из примеров, некоторые прогнозируемые отсчеты или/и промежуточные прогнозируемые отсчеты или/и реконструированные отсчеты или/и реконструированные отсчеты прежде контурной фильтрации (например, прежде обработки деблокирующим фильтром или/и фильтром SAO или/и двусторонним фильтром или/и фильтром на основе преобразования Адамара или/и фильтром ALF) в блоке яркостной составляющей могут быть использованы для определения коэффициента масштабирования остатка цветностной составляющей.

i. Например, для определения коэффициента масштабирования остатка цветностной составляющей могут быть использованы частичные отсчеты в нижней строке или/и в правом столбце блока яркостной составляющей.

b) В случае одиночного дерева, при кодировании блока в режиме внутрикадрового прогнозирования, или/и режиме копирования IBC или/и в режиме межкадрового прогнозирования найденный коэффициент масштабирования остатка цветностной составляющей для соседних блоков может быть использован для определения коэффициента масштабирования для текущего блока.

i. В одном из примеров, определенные соседние блоки могут быть проверены по порядку, и первый доступный коэффициент масштабирования остатка цветностной составляющей может быть использован для текущего блока.

ii. В одном из примеров, некоторые соседние блоки могут быть проверены по порядку, и коэффициент масштабирования может быть определен на основе первых K доступных соседних коэффициентов масштабирования остатка цветностной составляющей.

iii. В одном из примеров, для блока, кодированного в режиме межкадрового прогнозирования или/и в комбинированном режиме прогнозирования CIIP, если соседний блок кодирован в режиме внутрикадрового прогнозирования или/и в режиме копирования IBC или/и в комбинированном режиме прогнозирования CIIP, коэффициент масштабирования остатка цветностной составляющей для этого соседнего блока может считаться «недоступным».

iv. В одном из примеров, соседние блоки могут быть проверены по порядку от левого (или верхнего левого) -> к верхнему (или верхнему правому).

1) В качестве альтернативы, соседние блоки могут быть проверены по порядку от верхнего (или верхнего правого) -> к левому (или верхнему левому.

c) В случае раздельного дерева, при кодировании блока цветностной составляющей, может быть сначала идентифицирован соответствующий блок яркостной составляющей. Затем найденный коэффициент масштабирования остатка цветностной составляющей для соседних с ним блоков (например, соответствующего блока яркостной составляющей) может быть использован для определения коэффициента масштабирования для текущего блока.

i. В одном из примеров, определенные соседние блоки могут быть проверены по порядку, и первый доступный коэффициент масштабирования остатка цветностной составляющей может быть использован для текущего блока.

ii. В одном из примеров, определенные соседние блоки могут быть проверены по порядку, и коэффициент масштабирования может быть определен на основе первых K доступных соседних коэффициентов масштабирования остатка цветностной составляющей.

d) Соседние блоки могут быть проверены в предварительно заданном порядке.

i. В одном из примеров, соседние блоки могут быть проверены по порядку от левого (или верхнего левого) -> к верхнему (или верхнему правому).

ii. В одном из примеров, соседние блоки могут быть проверены по порядку от верхнего (или верхнего правого) -> к левому (или верхнему левому).

iii. В одном из примеров, соседние блоки могут быть проверены по порядку нижний левый -> левый -> верхний правый -> верхний -> верхний левый.

iv. В одном из примеров, соседние блоки могут быть проверены по порядку левый -> верхний -> верхний правый -> нижний левый -> верхний левый.

e) В одном из примеров, следует ли применить масштабирование остатка цветностной составляющей, может зависеть от «доступности» соседнего блока.

i. В одном из примеров, когда нет «доступного» соседнего блока, масштабирование остатка цветностной составляющей может быть недопустимо.

ii. В одном из примеров, когда число «доступных» соседних блоков меньше K (K >= 1), масштабирование остатка цветностной составляющей может быть недопустимо.

iii. В качестве альтернативы, когда нет «доступного» соседнего блока, в качестве коэффициента масштабирования остатка цветностной составляющей может быть взято значение по умолчанию.

1) В одном из примеров, значение по умолчанию согласно 1<< (BitDepth -1) может быть использована для определения коэффициента масштабирования остатка цветностной составляющей.

5. Примеры реализации предлагаемой технологии

На Фиг. 10 представлена блок-схема аппаратуры 1000 для обработки видео. Эта аппаратура 1000 может быть использована для реализации одного или нескольких описываемых здесь способов. Эта аппаратура 1000 может представлять собой смартфон, планшетный компьютер, обычный компьютер, приемник Интернет вещей (Internet of Things (IoT)) и т.д. Аппаратура 1000 может содержать один или несколько процессоров 1002, одно или несколько запоминающих устройств 1004 и оборудование 1006 для обработки видео. Процессор (ы) 1002 может быть конфигурирован для осуществления одного или нескольких способов (включая, не ограничиваясь, способы 800 и 900), описываемых в настоящем документе. Запоминающее устройство (а) 1004 может быть использовано для сохранения данных и кода, применяемых для реализации описываемых здесь способов и технологии. Оборудование 1006 для обработки видео может быть использовано для осуществления, в аппаратной схеме, некоторых способов и технологий, описываемых в настоящем документе.

В некоторых вариантах, способы кодирования видео могут быть осуществлены с использованием устройства, реализованного на аппаратной платформе, как описано применительно к Фиг. 10.

На Фиг. 11 показана логическая схема примера способа 1100 определения линейной модели для кросс-компонентного прогнозирования в соответствии с предлагаемой технологией. Этот способ 1100 содержит, на этапе 1110, осуществление преобразования между текущим видеоблоком и представлением этого текущего видеоблока в виде потока битов данных, где, в процессе преобразования, определяют второй набор значений цветовых составляющих для текущего видеоблока из первого набора значений цветовых составляющих, входящего в один или несколько опорных кадров, где первый набор значений цветовых составляющих может быть использован в линейной модели на этапе кодирования видео.

Некоторые варианты могут быть описаны с использованием следующего постатейного формата.

1. Способ обработки видео, содержащий:

осуществление преобразования между текущим видеоблоком и представлением этого текущего видеоблока в виде потока битов данных, где, в процессе преобразования, определяют второй набор значений цветовых составляющих для текущего видеоблока из первого набора значений цветовых составляющих, входящего в один или несколько опорных кадров, где первый набор значений цветовых составляющих может быть использован в линейной модели на этапе кодирования видео.

2. Способ согласно статье 1, отличающийся тем, что первый набор значений цветовых составляющих интерполируют прежде использования в линейной модели на этапе кодирования видео.

3. Способ согласно какой-либо одной или нескольким из статей 1-2, отличающийся тем, что в качестве параметров линейной модели может быть использована линейная комбинация первого набора значений цветовых составляющих.

4. Способ согласно статье 1, отличающийся тем, что позиции первого набора значений цветовых составляющих, входящих в один или несколько опорных кадров, выбирают на основе по меньшей мере частично, информации о движении текущего видеоблока.

5. Способ согласно статье 4, отличающийся тем, что позицию значения яркостной составляющей в одном или нескольких опорных кадров вычисляют на основе позиции соответствующего значения яркостной составляющей в текущем видеоблоке и информации о движении текущего видеоблока.

6. Способ согласно статье 5, отличающийся тем, что позиция указанного соответствующего значения яркостной составляющей представляет собой позицию верхнего левого отсчета, центрального отсчета или нижнего правого отсчета в текущем видеоблоке.

7. Способ согласно статье 6, отличающийся тем, что информация о движении текущего видеоблока соответствует целочисленному вектору движения или дробному вектору движения.

8. Способ согласно статье 7, отличающийся тем, что дробный вектор движения определяют с использованием дробного значения яркостной составляющей в одном или нескольких опорных кадров.

9. Способ согласно статье 7, отличающийся тем, что целочисленный вектор движения определяют путем округления в направлении нуля или в направлении прочь от нуля.

10. Способ согласно статье 1, отличающийся тем, что позиции первого набора значений цветовых составляющих, входящего в один или несколько опорных кадров, представляют собой предварительно заданные позиции.

11. Способ согласно какой-либо одной или нескольким из статей 1-10, отличающийся тем, что медианное или среднее значение первого набора значений цветовых составляющих используются для определения второго набора значений цветовых составляющих для текущего видеоблока.

12. Способ согласно какой-либо одной или нескольким из статей 1-11, отличающийся тем, что указанные один или несколько опорных кадров представляют собой предварительно заданные опорные кадры.

13. Способ согласно статье 12, отличающийся тем, что совокупность предварительно заданных опорных кадров содержит кадр с опорным индексом из списка опорных изображений.

14. Способ согласно статье 13, отличающийся тем, что опорный индекс равен нулю и список опорных изображений является нулевым.

15. Способ согласно статье 13, отличающийся тем, что опорный индекс и/или список опорных изображений передают в виде сигнализации в представлении в виде потока битов данных, ассоциированном с одним или несколькими объектами из следующего списка: последовательностью, изображением, плиткой, группой, срезом, строкой единиц дерева кодирования или видеоблоком.

16. Способ согласно статье 1, отличающийся тем, что второй набор значений цветовых составляющих для текущего видеоблока определяют на основе математического среднего или взвешенного среднего для первого набора значений цветовых составляющих, входящего в один или несколько опорных кадров.

17. Способ согласно статье 1, отличающийся тем, что второй набор значений цветовых составляющих для текущего видеоблока получают избирательно на основе первого набора значений цветовых составляющих, входящего в один или несколько опорных кадров, на основе того, кодируют ли текущий видеоблок в режиме двунаправленного прогнозирования.

18. Способ согласно статье 17, отличающийся тем, что второй набор значений цветовых составляющих для текущего видеоблока индивидуально определяют для каждого направления прогнозирования для первого набора значений цветовых составляющих.

19. Способ согласно статье 1, отличающийся тем, что второй набор значений цветовых составляющих для текущего видеоблока избирательно определяют на основе первого набора значений цветовых составляющих, входящего в один или несколько опорных кадров, в зависимости от того, ассоциирован ли текущий видеоблок с прогнозированием на основе субблоков.

20. Способ согласно статье 1, отличающийся тем, что прогнозирование на основе субблоков соответствует аффинному прогнозированию или прогнозированию альтернативного временного вектора движения (ATMVP).

21. Способ согласно какой-либо одной или нескольким из статей 19-20, отличающийся тем, что второй набор значений цветовых составляющих для текущего видеоблока определяют для индивидуальных субблоков.

22. Способ согласно какой-либо одной или нескольким из статей 19-21, отличающийся тем, что второй набор значений цветовых составляющих для текущего видеоблока определяют для всего текущего видеоблока независимо от прогнозирования на основе субблоков.

23. Способ согласно какой-либо одной или нескольким из статей 19-22, отличающийся тем, что первый набор значений цветовых составляющих, входящий в один или несколько опорных кадров, выбирают на основе, по меньшей мере частично, вектора движения для субблока текущего видеоблока.

24. Способ согласно какой-либо одной или нескольким из статей 1-23, отличающийся тем, что первый набор значений цветовых составляющих, входящий в один или несколько опорных кадров, представляет собой промежуточные значения цветовых составляющих.

25. Способ согласно какой-либо одной или нескольким из статей 1-24, отличающийся тем, что указанный этап кодирования видео предшествует другому этапу кодированию видео.

26. Способ согласно статье 25, отличающийся тем, что первый набор значений цветовых составляющих, входящий в один или несколько опорных кадров, выбирают на основе, по меньшей мере частично, промежуточного вектора движения текущего видеоблока или субблока этого текущего видеоблока, и отличающийся тем, что этот промежуточный вектор движения вычисляют прежде указанного другого этапа кодирования видео.

27. Способ согласно какой-либо одной или нескольким из статей 24-26, отличающийся тем, что указанный другой этап кодирования видео содержит или комбинацию следующих этапов: этапа двунаправленного оптического потока (BDOF), этапа уточнения вектора движения на стороне декодирующего устройства (DMVR), этапа уточнения прогнозируемого оптического потока (PROF).

28. Способ согласно какой-либо одной или нескольким из статей 1-27, отличающийся тем, что первый набор значений цветовых составляющих, входящий в один или несколько опорных кадров, соответствует MxN значениям цветовых составляющих, ассоциированным с соответствующим блоком яркостной составляющей.

29. Способ согласно статье 28, отличающийся тем, что соответствующий блок яркостной составляющей представляет собой расположенный в том же месте блок яркостной составляющей относительно текущего видеоблока.

30. Способ согласно статье 29, отличающийся тем, что произведение M на N меньше произведения ширины блока на высоту блока для расположенного в том же месте блока яркостной составляющей относительно текущего видеоблока.

31. Способ согласно какой-либо одной или нескольким из статей 27-30, отличающийся тем, что первый набор значений цветовых составляющих, входящий в один или несколько опорных кадров, соответствует по меньшей мере части опорных отсчетов, идентифицированных в позициях соседних отсчетов яркостной составляющей расположенного в том же месте блока яркостной составляющей.

32. Способ согласно какой-либо одной или нескольким из статей 1-31, отличающийся тем, что первый набор значений цветовых составляющих субдискретизируют прежде использования в линейной модели этапа кодирования видео.

33. Способ согласно статье 1, отличающийся тем, что второй набор значений цветовых составляющих текущего видеоблока выбирают, на основе, по меньшей мере частично, одной или нескольких составляющих следующей информации относительно текущего видеоблока: параметра квантования, режима кодирования или порядкового номера картинки (picture order count (POC)).

34. Способ согласно статье 31, отличающийся тем, что позиции соседних отсчетов яркостной составляющей, являются такими, что верхний левый отсчет расположенного в том же месте блока яркостной составляющей оказывается покрытым.

35. Способ согласно статье 28, отличающийся тем, что первый набор значений цветовых составляющих, входящий в один или несколько опорных кадров, соответствует по меньшей мере части опорных отсчетов, идентифицированных в позициях вне соответствующего блока яркостной составляющей.

36. Способ согласно статье 28, отличающийся тем, что второй набор значений цветовых составляющих для текущего видеоблока избирательно получают из первого набора значений цветовых составляющих, входящего в один или несколько опорных кадров, на основе доступности соседних отсчетов соответствующего блока яркостной составляющей.

37. Способ согласно статье 28, отличающийся тем, что доступность соседних отсчетов соответствующего блока яркостной составляющей основана на одном или нескольких из следующих факторов: использовании режима кодирования текущего видеоблока, использовании режима кодирования соседних отсчетов соответствующего блока яркостной составляющей, использовании типа фильтра, ассоциированного с соседними отсчетами соответствующего блока яркостной составляющей, или положении соседних отсчетов соответствующего блока яркостной составляющей относительно текущих видеоблоков или их субблоков.

38. Способ согласно статье 28, дополнительно содержащий:

в ответ на недостаток доступности соседних отсчетов из соответствующего блока яркостной составляющей, подстановку, замещение или заполнение недоступных отсчетов другими отсчетами.

39. Способ согласно статье 28, дополнительно содержащий:

применение сглаживающего фильтра к отсчетам, соседним с соответствующим блоком яркостной составляющей.

40. Способ обработки видео, содержащий:

осуществление преобразования между текущим видеоблоком и представлением текущего видеоблока в виде потока битов данных, где, в процессе преобразования, второй набор значений цветовых составляющих текущего видеоблока получают из первого набора значений цветовых составляющих, входящего в один или несколько опорных кадров, где первый набор значений цветовых составляющих может быть использован в линейной модели этапа кодирования видео; и

в ответ на определение, что первый набор значений цветовых составляющих, входящий в один или несколько опорных кадров, представляет собой расположенный в том же месте блок яркостной составляющей относительно текущего видеоблока, избирательно активизируют или отменяют активизацию определения второго набора значений цветовых составляющих для текущего видеоблока на основе одного или нескольких условий, ассоциированных с расположенным в том же месте блоком яркостной составляющей относительно текущего видеоблока.

41. Способ согласно статье 40, отличающийся тем, что совокупность указанных одного или нескольких условий, ассоциированных с расположенным в том же месте блоком яркостной составляющей относительно текущего видеоблока, содержит: размер единиц разбиения расположенного в том же месте блока яркостной составляющей, достижение числом единиц кодирования расположенного в том же месте блока яркостной составляющей порогового числа, достижение верхним левым отсчетом яркостной составляющей расположенного в том же месте блока яркостной составляющей порогового размера, глубину дерева разбиения расположенного в том же месте блока яркостной составляющей, или соответствующий блок яркостной составляющей покрывает верхний левый отсчет яркостной составляющей расположенного в том же месте блока яркостной составляющей, и дополнительно находится в пределах ограничительной рамки предварительно заданного размера.

42. Способ согласно статье 40, отличающийся тем, что в представление в виде потока битов данных включена информация, обозначающая активизацию или отмену активизации указанного определения второго набора.

43. Способ согласно статье 28, отличающийся тем, что доступность соседних отсчетов соответствующего блока яркостной составляющей ассоциирована с проверкой этих соседних отсчетов в соответствии с предварительно заданным порядком.

44. Способ согласно какой-либо одной или нескольким из статей 1-43, отличающийся тем, что второй набор значений цветовых составляющих для текущего видеоблока сохраняют для использования в соединении с одним или несколькими другими видеоблоками.

45. Способ согласно какой-либо одной или нескольким из статей 1-44, отличающийся тем, что указанная линейная модель соответствует кросс-компонентной линейной модели (CCLM) и указанный этап кодирования видео соответствует режиму отображения яркостной составляющей с масштабированием цветностной составляющей (LMCS).

46. Способ согласно какой-либо одной или нескольким из статей 1-45, отличающийся тем, что текущий видеоблок является блоком, кодируемым в режиме межкадрового прогнозирования, в режиме двунаправленного прогнозирования или в режиме внутрикадрового прогнозирования с копированием блоков (IBC).

47. Способ согласно какой-либо одной или нескольким из статей 1-46, отличающийся тем, что первый набор значений цветовых составляющих соответствует значениям отсчетов яркостной составляющей, и второй набор значений цветовых составляющих соответствует коэффициентам масштабирования для цветностной составляющей.

48. Устройство в видео системе, содержащее процессор и энергонезависимое запоминающее устройство с записанными в нем командами, при выполнении которых процессором этот процессор осуществляет способ согласно какой-либо одной из статей 1 – 47.

49. Компьютерный программный продукт, сохраняемый на читаемых компьютером энергонезависимых носителях информации, это компьютерный программный продукт содержит программный код для осуществления способа согласно какой-либо одной из статей 1 – 47.

На Фиг. 12 представлена блок-схема, показывающая пример системы 1200 обработки видео, в которой могут быть реализованы разнообразные описываемые здесь способы. Разнообразные варианты реализации могут содержать некоторые или все компоненты системы 1200. Система 1200 может содержать вход 1202 для приема видео контента. Этот видео контент может быть принят в исходном или несжатом формате, например, в виде 8 или 10-битовых значений многокомпонентных пикселей, либо может быть в сжатом или в кодированном формате. Этот вход 1202 может представлять собой сетевой интерфейс, интерфейс шины периферийных устройств или интерфейс запоминающих устройств. К примерам сетевых интерфейсов относятся проводные интерфейсы шин, такие Этернет, пассивная оптическая сеть (passive optical network (PON)) и т.п., и беспроводные интерфейсы, такие как Wi-Fi или сотовые интерфейсы.

Система 1200 может содержать кодирующий компонент 1204, способный реализовать различные способы кодирования, описываемые в настоящем документе. Кодирующий компонент 1204 может уменьшить среднюю скорость передачи битов данных видео от входа 1202 к выходу кодирующего компонента 1204 для получения кодированного представления видео. Поэтому, эти способы кодирования иногда называют способами сжатия видео или транскодирования видео. Выходные данные кодирующего компонента 1204 могут быть либо сохранены, либо переданы через присоединенные средства связи, представленные здесь компонентом 1206. Сохраняемое или передаваемое (или кодированное) представление видео в виде потока битов данных, принимаемое на вход 1202, может быть использовано компонентом 1208 для генерации значений пикселей или представляемого на дисплее видео, передаваемого интерфейсу 1210 дисплея. Процедура генерации просматриваемого пользователем видео из его представления в виде потока битов данных иногда называется декомпрессией (расширением) видео. Кроме того, хотя некоторые операции обработки видео называются операциями или инструментами «кодирования», следует понимать, что инструменты или операции кодирования используются в кодирующих устройствах и соответствующие инструменты или операции декодирования, которые обращают результаты кодирования, будут осуществляться декодирующим устройством.

Примеры интерфейса шины периферийных устройств или интерфейса дисплея могут представлять собой универсальную последовательную шину (universal serial bus (USB)) или мультимедийный интерфейс высокой четкости (high definition multimedia interface (HDMI)) или Displayport, и т.д. К примерам интерфейса запоминающих устройств относятся интерфейс усовершенствованного последовательного соединения (SATA (serial advanced technology attachment)), интерфейс периферийных устройств (PCI), интерфейс IDE и другие подобные интерфейсы. Способы, описываемые в настоящем документе, могут быть реализованы в разнообразных электронных устройствах, таких как мобильные телефоны, портативные компьютеры, смартфоны или другие устройства, способные осуществлять цифровую обработку данных и/или представлять видео на дисплее.

На Фиг. 13 показана логическая схема примера способа обработки сигналов визуальных медиа. Этапы этой логической схемы обсуждаются в соединении с примерами вариантов 7d и 7e8 в Разделе 4 этого документа. На этапе 1302, процедура осуществляет преобразование между текущим видеоблоком цветностной составляющей визуальных медиаданных и представлением этого текущего видеоблока цветностной составляющей в виде потока битов данных, где, в процессе преобразования, остаток цветностной составляющей для текущего видеоблока цветностной составляющей масштабируют на основе некоторого коэффициента масштабирования, где этот коэффициент масштабирования определяют по меньшей мере на основе отсчетов яркостной составляющей, расположенных в предварительно заданных позициях.

На Фиг. 14 показана логическая схема примера способа обработки сигналов визуальных медиа. Этапы этой логической схемы обсуждаются в соединении с примером варианта 1 в Разделе 4 этого документа. На этапе 1402, процедура осуществляет преобразование между текущим видеоблоком визуальных медиаданных и представлением этого текущего видеоблока в виде потока битов данных, где, в процессе преобразования, определяют второй набор значений цветовых составляющих для текущего видеоблока, с использованием кросс-компонентной линейной модели (CCLM) и/или в режиме отображения яркостной составляющей с масштабированием цветностной составляющей (LMCS), из первого набора значений цветовых составляющих для визуальных медиаданных.

На Фиг. 15 показана логическая схема примера способа обработки сигналов визуальных медиа. Этапы этой логической схемы обсуждаются в соединении с примером варианта 7 в Разделе 4 этого документа. На этапе 1502, процедура осуществляет преобразование между текущим видеоблоком визуальных медиаданных и представлением этого текущего видеоблока в виде потока битов данных, где, в процессе преобразования, один или несколько реконструированных отсчетов, ассоциированных с текущим кадром визуальных медиаданных, используют для определения коэффициента масштабирования остатка цветностной составляющей на этапе обработки в режиме отображения яркостной составляющей с масштабированием цветностной составляющей (LMCS).

На Фиг. 16 показана логическая схема примера способа обработки сигналов визуальных медиа. Этапы этой логической схемы обсуждаются в соединении с примером варианта 8 в Разделе 4 этого документа. На этапе 1602, процедура осуществляет преобразование между текущим видеоблоком визуальных медиаданных и представлением этого текущего видеоблока в виде потока битов данных, где, в процессе преобразования, один или несколько прогнозируемых отсчетов яркостной составляющей или реконструированных отсчетов яркостной составляющей располагаются в текущем кадре, отличном от опорного кадра, и используются для определения коэффициента масштабирования остатка цветностной составляющей на этапе обработки в режиме отображения яркостной составляющей с масштабированием цветностной составляющей (LMCS).

На Фиг. 17 показана логическая схема примера способа обработки сигналов визуальных медиа. Этапы этой логической схемы обсуждаются в соединении с примерами вариантов 11a, 11b, 11c и 11d в Разделе 4 этого документа. На этапе 1702, процедура проверяет, в процессе преобразования между текущим видеоблоком цветностной составляющей и представлением этого текущего видеоблока цветностной составляющей в виде потока битов данных, доступность одного или нескольких соседних блоков яркостной составляющей из соответствующего блока яркостной составляющей, который покрывает верхний левый отсчет расположенного в том же месте блока яркостной составляющей. На этапе 1704, процедура определяет, на основе доступности одного или нескольких соседних блоков яркостной составляющей, следует ли извлечь соседние отсчеты яркостной составляющей из соответствующего блока яркостной составляющей. На этапе 1706, процедура получает, на основе указанного определения, коэффициент масштабирования. На этапе 1708, процедура масштабирует, на основе найденного коэффициента масштабирования, остаток цветностной составляющей для текущего видеоблока цветностной составляющей для генерации масштабированного остатка цветностной составляющей. На этапе 1710, процедура осуществляет преобразование на основе масштабированного остатка цветностной составляющей.

На Фиг. 18 показана логическая схема примера способа обработки сигналов визуальных медиа. Этапы этой логической схемы обсуждаются в соединении с примером варианта 11 в Разделе 4 этого документа. На этапе 1802, процедура определяет, в процессе преобразования между текущим видеоблоком визуальных медиаданных и представлением этого текущего видеоблока в виде потока битов данных, второй набор значений цветовых составляющих для текущего видеоблока из первого набора значений цветовых составляющих для визуальных медиаданных с использованием модели, ассоциированной с этапом процедуры, где первый набор значений цветовых составляющих представляет собой соседние отсчеты из соответствующего блока яркостной составляющей, покрывающего верхний левый отсчет расположенного в том же месте блока яркостной составляющей.

На Фиг. 19 показана логическая схема примера способа обработки сигналов визуальных медиа. Этапы этой логической схемы обсуждаются в соединении с примером варианта 12 в Разделе 4 этого документа. На этапе 1902, процедура, в процессе преобразования между текущим видеоблоком цветностной составляющей визуальных медиаданных и представлением этого текущего видеоблока цветностной составляющей в виде потока битов данных, выполняет определение избирательной активизацию или отмены активизации применения кросс-компонентной линейной модели (CCLM) и/или масштабирования остатка цветностной составляющей (CRS) для текущего видеоблока цветностной составляющей, на основе по меньшей мере частично одного или нескольких условий, ассоциированных с расположенным в том же месте блоком яркостной составляющей относительно текущего видеоблока цветностной составляющей.

На Фиг. 20 показана логическая схема примера способа кодирования сигналов визуальных медиа. Этапы этой логической схемы обсуждаются в соединении с примером варианта 14 в Разделе 4 этого документа. На этапе 2002, процедура избирательно активизирует или отменяет активизацию применения зависимого от яркостной составляющей масштабирования остатка цветностной составляющей (CRS) к цветностной составляющей текущего видеоблока визуальных медиаданных для кодирования текущего видеоблока в видеообласти визуальных медиаданных и превращения в представление визуальных медиаданных в виде потока битов данных. На этапе 2004, процедура осуществляет определение включения или исключения некоторого поля из представления визуальных медиаданных в виде потока битов данных, где это поле обозначает избирательную активизацию или отмену активизации и, если оно включено, его передают в виде сигнализации на уровне, отличном от первого синтаксического уровня, ассоциированного с текущим видеоблоком.

На Фиг. 21 показана логическая схема примера способа декодирования сигналов визуальных медиа. Этапы этой логической схемы обсуждаются в соединении с примером варианта 14 в Разделе 4 этого документа. На этапе 2102, процедура выполняет синтаксический анализ для выделения некого поля из представления визуальных медиаданных в виде потока битов данных, где это поле включено на уровне, отличном от первого синтаксического уровня, ассоциированного с текущего видеоблока. На этапе 2104, процедура избирательно активизирует или отменяет активизацию, на основе этого поля, применения зависимого от яркостной составляющей масштабирования остатка цветностной составляющей (CRS) к цветностной составляющей текущего видеоблока визуальных медиаданных для генерации декодированной видеообласти на основе представления в виде потока битов данных.

На Фиг. 22 показана логическая схема примера способа кодирования сигналов визуальных медиа. Этапы этой логической схемы обсуждаются в соединении с примером варианта 15 в Разделе 4 этого документа. На этапе 2202, процедура избирательно активизирует или отменяет активизацию применения кросс-компонентной линейной модели (CCLM) к текущему видеоблоку визуальных медиаданных для кодирования текущего видеоблока для превращения его в представление визуальных медиаданных в виде потока битов данных. На этапе 2204, процедура выполняет определение включения или исключения некого поля из представления визуальных медиаданных в виде потока битов данных, где это поле обозначает избирательную активизацию или отмену активизации и, если оно включено, его передают в виде сигнализации на уровне, отличном от первого синтаксического уровня, ассоциированного с текущим видеоблоком.

На Фиг. 23 показана логическая схема примера способа декодирования сигналов визуальных медиа. Этапы этой логической схемы обсуждаются в соединении с примером варианта 15 в Разделе 4 этого документа. На этапе 2302, процедура выполняет синтаксический анализ для выделения некого поля из представления визуальных медиаданных в виде потока битов данных, где это поле включено на уровне, отличном от первого синтаксического уровня, ассоциированного с текущим видеоблоком. На этапе 2304, процедура избирательно активизирует или отменяет активизацию, на основе этого поля, применения кросс-компонентной линейной модели (CCLM) к текущему видеоблоку визуальных медиаданных для генерации декодированной видеообласти на основе представления в виде потока битов данных.

Некоторые варианты, обсуждаемые в настоящем документе, теперь представлены в постатейном формате.

X1. Способ обработки визуальных медиаданных, содержащий:

осуществление преобразования между текущим видеоблоком цветностной составляющей визуальных медиаданных и представлением этого текущего видеоблока цветностной составляющей в виде потока битов данных, где, в процессе преобразования, остаток цветностной составляющей текущего видеоблока цветностной составляющей масштабируют на основе некого коэффициента масштабирования, где этот коэффициент масштабирования определяют по меньшей мере на основе отсчетов яркостной составляющей, расположенных в заданных позициях.

X2. Способ согласно статье X1, отличающийся тем, что указанный коэффициент масштабирования вычисляют с использованием функции, применяемой к отсчетам яркостной составляющей, находящимся в заданных позициях.

X3. Способ согласно статье X1, отличающийся тем, что эта функция представляет собой функцию медианного значения или функцию среднего значения на основе округления.

X4. Способ согласно статье X1, отличающийся тем, что указанные заданные позиции определяют на основе расположенного в том же месте блока яркостной составляющей, соответствующего текущему видеоблоку цветностной составляющей.

A1. Способ обработки визуальных медиаданных, содержащий:

осуществление преобразования между текущим видеоблоком визуальных медиаданных и представлением этого текущего видеоблока в виде потока битов данных, где, в процессе преобразования, определяют второй набор значений цветовых составляющих для текущего видеоблока с использованием кросс-компонентной линейной модели (CCLM) и/или на этапе процедуры в режиме отображения яркостной составляющей с масштабированием цветностной составляющей (LMCS), из первого набора значений цветовых составляющих для визуальных медиаданных.

A2. Способ согласно статье A1, отличающийся тем, что указанный первый набор значений цветовых составляющих представляет собой опорные отсчеты текущего видеоблока, и указанный второй набор значений цветовых составляющих содержит коэффициент масштабирования остатка цветностной составляющей в режиме LMCS.

A3. Способ согласно статье A2, отличающийся тем, что указанные опорные отсчеты представляют собой опорные отсчеты яркостной составляющей, подвергаемые интерполяции для определения коэффициента масштабирования остатка цветностной составляющей.

A4. Способ согласно статье A1, отличающийся тем, что первый набор значений цветовых составляющих представляет собой опорные отсчеты, входящие в разные опорные кадры.

A5. Способ согласно какой-либо одной или нескольким из статей A1-A4, отличающийся тем, что позицию опорного отсчета вычисляют на основе позиции соответствующего значения яркостной составляющей в текущем видеоблоке и информации о движении этого текущего видеоблока.

A6. Способ согласно статье A5, отличающийся тем, что указанная позиция соответствующего значения яркостной составляющей представляет собой позицию верхнего левого отсчета, центрального отсчета или нижнего правого отсчета в текущем видеоблоке.

A7. Способ согласно статье A6, отличающийся тем, что информация о движении текущего видеоблока соответствует целочисленному вектору движения или дробному вектору движения.

A8. Способ согласно статье A7, отличающийся тем, что дробный вектор движения получают с использованием дробного значения яркостной составляющей в опорном кадре.

A9. Способ согласно статье A7, отличающийся тем, что целочисленный вектор движения определяют путем округления в направлении нуля или в направлении прочь от нуля.

A10. Способ согласно какой-либо одной или нескольким из статей A1-A2, отличающийся тем, что первый набор значений цветовых составляющих входит в предварительно заданные опорные кадры визуальных медиаданных.

A11. Способ согласно какой-либо одной или нескольким из статей A1-A10, отличающийся тем, что медианное или среднее значение первого набора значений цветовых составляющих используют для определения второго набора значений цветовых составляющих для текущего видеоблока.

A12. Способ согласно статье A10, отличающийся тем, что совокупность предварительно заданных опорных кадров содержит кадр с опорным индексом списка опорных изображений.

A13. Способ согласно статье A12, отличающийся тем, что опорный индекс равен нулю и список опорных изображений является нулевым.

A14. Способ согласно какой-либо одной или нескольким из статей A1-A2, отличающийся тем, что первый набор значений цветовых составляющих входит в несколько опорных кадров визуальных медиаданных и взвешенную комбинацию первого набора значений цветовых составляющих используют для определения второго набора значений цветовых составляющих.

A15. Способ согласно статье A13, отличающийся тем, что опорный индекс и/или список опорных изображений передают в виде сигнализацию в качестве полей в представлении в виде потока битов данных, ассоциированных с одним или несколькими из следующих объектов: последовательностью, группой изображений, изображением, плиткой, группой плиток, срезом, субизображением, строкой единиц дерева кодирования, единицей дерева кодирования, единицей данных виртуального конвейера (virtual pipeline data unit (VPDU)) или видеоблоком.

A16. Способ согласно статье A1, отличающийся тем, что второй набор значений цветовых составляющих для текущего видеоблока избирательно определяют из первого набора значений цветовых составляющих, на основе того, кодируют ли текущий видеоблок в режиме двунаправленного прогнозирования.

A17. Способ согласно статье A16, отличающийся тем, что второй набор значений цветовых составляющих для текущего видеоблока индивидуально определяют для каждого направления прогнозирования, ассоциированного с первым набором значений цветовых составляющих.

A18. Способ согласно статье A1, отличающийся тем, что второй набор значений цветовых составляющих для текущего видеоблока избирательно определяют из первого набора значений цветовых составляющих, на основе того, ассоциирован ли текущий видеоблок с прогнозированием на основе субблоков.

A19. Способ согласно статье A18, отличающийся тем, что указанное прогнозирование на основе субблоков соответствует аффинному прогнозированию или прогнозированию альтернативного временного вектора движения (ATMVP).

A20. Способ согласно какой-либо одной или нескольким из статей A18-A19, отличающийся тем, что второй набор значений цветовых составляющих для текущего видеоблока определяют для индивидуальных субблоков.

A21. Способ согласно какой-либо одной или нескольким из статей A18-A19, отличающийся тем, что второй набор значений цветовых составляющих для текущего видеоблока определяют на основе всей полноты текущего видеоблока независимо от прогнозирования на основе субблоков.

A22. Способ согласно какой-либо одной или нескольким из статей A18-A21, отличающийся тем, что первый набор значений цветовых составляющих выбирают на основе, по меньшей мере частично, вектора движения субблока из текущего видеоблока.

A23. Способ согласно какой-либо одной или нескольким из статей A18-A21, отличающийся тем, что вектор движения, ассоциированный с субблоком или текущим видеоблоком, используют для выбора первого набора значений цветовых составляющих.

A24. Способ согласно какой-либо одной или нескольким из статей A1-A23, отличающийся тем, что первый набор значений цветовых составляющих представляет собой промежуточные значения цветовых составляющих.

A25. Способ согласно какой-либо одной или нескольким из статей A1-A24, отличающийся тем, что этап обработки в режиме масштабирования LMCS предшествует другому последующему этапу обработки.

A26. Способ согласно статье A25, отличающийся тем, что первый набор значений цветовых составляющих выбирают на основе, по меньшей мере частично, промежуточного вектора движения для текущего видеоблока или субблока этого текущего видеоблока, и отличающийся тем, что промежуточный вектор движения вычисляют прежде другого этапа кодирования видео.

A27. Способ согласно статье A26, отличающийся тем, что указанный другой этап содержит один из или комбинацию следующих этапов: этап двунаправленного оптического потока (BDOF), этап уточнения вектора движения на стороне декодирующего устройства (DMVR) или этап уточнения прогнозируемого оптического потока (PROF).

A28. Способ обработки визуальных медиаданных, содержащий:

осуществление преобразования между текущим видеоблоком визуальных медиаданных и представлением этого текущего видеоблока в виде потока битов данных, где, в процессе преобразования, один или несколько реконструированных отсчетов, ассоциированных с текущим кадром визуальных медиаданных, используются для определения коэффициента масштабирования остатка цветностной составляющей на этапе обработки в режиме отображения яркостной составляющей с масштабированием цветностной составляющей (LMCS).

A29. Способ согласно статье A28, отличающийся тем, что текущий видеоблок кодируют в режиме внутрикадрового копирования блоков (IBC).

A30. Способ согласно статье A28, отличающийся тем, что указанные один или несколько реконструированных отсчетов представляют собой опорные отсчеты в опорном блоке, ассоциированном с текущим кадром.

A31. Способ согласно статье A28, отличающийся тем, что позиции одного или нескольких реконструированных отсчетов предварительно заданы.

A32. Способ согласно статье A31, отличающийся тем, что указанные один или несколько реконструированных отсчетов представляют собой реконструированные отсчеты яркостной составляющей, расположенные в строке сверху и в столбце слева, смежных с блоком, покрывающим соответствующий блок яркостной составляющей относительно текущего видеоблока.

A33. Способ согласно статье A28, отличающийся тем, что позиции одного или нескольких реконструированных отсчетов основаны на позиции соответствующего блока яркостной составляющей относительно текущего видеоблока и информации о движении текущего видеоблока.

A34. Способ обработки визуальных медиаданных, содержащий:

осуществление преобразования между текущим видеоблоком визуальных медиаданных и представлением этого текущего видеоблока в виде потока битов данных, где, в процессе преобразования, один или несколько прогнозируемых отсчетов яркостной составляющей или реконструированных отсчетов яркостной составляющей находятся в текущем кадре, отличном от опорного кадра, и используются для определения коэффициента масштабирования остатка цветностной составляющей на этапе процедуры в режиме отображения яркостной составляющей с масштабированием цветностной составляющей (LMCS).

A35. Способ согласно статье A34, отличающийся тем, что один или несколько прогнозируемых отсчетов яркостной составляющей или реконструированных отсчетов яркостной составляющей расположены в соседней области блока размером MxN яркостной составляющей, покрывающего соответствующий блок яркостной составляющей.

A36. Способ согласно статье A35, отличающийся тем, что соответствующий блок яркостной составляющей является расположенным в том же месте блоком яркостной составляющей относительно текущего видеоблока.

A37. Способ согласно статье A36, отличающийся тем, что произведение M на N меньше произведения ширины блока на высоту блока для расположенного в том же месте блока яркостной составляющей относительно текущего видеоблока.

A38. Способ согласно статье A36, отличающийся тем, что M и N обозначают соответственно заданную ширину и заданную высоту видеоблока, покрывающего расположенный в том же месте блок яркостной составляющей относительно текущего видеоблока.

A39. Способ согласно статье A36, отличающийся тем, что M и N обозначают соответственно заданную ширину и заданную высоту единицы данных виртуального конвейера (VPDU), покрывающей расположенный в том же месте блок яркостной составляющей относительно текущего видеоблока.

A40. Способ согласно какой-либо одной или нескольким из статей A1-A39, отличающийся тем, что, в процессе преобразования, опорные отсчеты используют непосредственно или субдискретизируют прежде использования для определения.

A41. Способ согласно какой-либо одной или нескольким из статей A1-A40, отличающийся тем, что отсчеты, используемые при определении коэффициентов масштабирования остатка цветностной составляющей выбирают на основе, по меньшей мере частично, одного или нескольких объектов из следующей информации относительно текущего видеоблока: параметра квантования, режима кодирования или порядкового номера картинки (POC).

A42. Способ согласно какой-либо одной или нескольким из статей A1-A41, отличающийся тем, что текущий видеоблок является блоком, кодируемым в режиме межкадрового прогнозирования, блоком, кодируемым в режиме внутрикадрового прогнозирования, блоком, кодируемым в режиме двунаправленного прогнозирования, или блоком, кодируемым в режиме внутрикадрового кодирования блоков (IBC).

A43. Способ согласно какой-либо одной или нескольким из статей A1-A42, отличающийся тем, что первый набор значений цветовых составляющих соответствует значениям отсчетов яркостной составляющей, и второй набор значений цветовых составляющих соответствует коэффициентам масштабирования для цветностной составляющей текущего видеоблока.

A44. Способ согласно какой-либо одной или нескольким из статей A1-A43, отличающийся тем, что процедура преобразования содержит генерацию представления в виде потока битов данных на основе текущего видеоблока.

A45. Способ согласно какой-либо одной или нескольким из статей A1-A43, отличающийся тем, что процедура преобразования содержит генерацию значений пикселей текущего видеоблока на основе представления в виде потока битов данных.

A46. Кодирующее устройство для видео, содержащее процессор, конфигурированный для осуществления способа согласно одной или нескольким из статей A1-A45.

A47. Декодирующее устройство для видео, содержащее процессор, конфигурированный для осуществления способа согласно одной или нескольким из статей A1-A45.

A48. Читаемый компьютером носитель информации с записанным на нем кодом, этот код содержит выполняемые процессором команды для осуществления способа согласно одной или нескольким из статей A1-A38.

Y1. Способ обработки визуальных медиаданных, содержащий:

проверку, в процессе преобразования между текущим видеоблоком цветностной составляющей и представлением этого текущего видеоблока цветностной составляющей в виде потока битов данных, доступности одного или нескольких соседних блоков яркостной составляющей относительно соответствующего блока яркостной составляющей, покрывающего верхний левый отсчет расположенного в том же месте блока яркостной составляющей;

определение, на основе доступности одного или нескольких соседних блоков яркостной составляющей, следует ли извлечь соседние отсчеты яркостной составляющей относительно соответствующего блока яркостной составляющей;

получение коэффициента масштабирования на основе указанного определения;

масштабирование, на основе полученного коэффициента масштабирования, остатка цветностной составляющей текущего видеоблока цветностной составляющей для генерации масштабированного остатка цветностной составляющей; и

осуществление преобразования на основе масштабированного остатка цветностной составляющей.

Y2. Способ согласно статье Y1, отличающийся тем, что совокупность указанных одного или нескольких соседних блоков яркостной составляющей содержит соседний слева блок яркостной составляющей и соседний сверху блок яркостной составляющей.

Y3. Способ согласно статье Y1, отличающийся тем, что совокупность указанных одного или нескольких соседних отсчетов яркостной составляющей содержит один или несколько соседних слева столбцов отсчетов и/или одну или несколько соседних сверху строк отсчетов относительно соответствующего блока яркостной составляющей.

Y4. Способ согласно какой-либо одной или нескольким из статей Y1 or Y3, отличающийся тем, что указанные соседние отсчеты яркостной составляющей извлекают и усредняют на основе округления с целью получения коэффициента масштабирования в случае, когда доступны один или несколько соседних блоков яркостной составляющей.

Y5. Способ согласно статье Y1 или Y3, отличающийся тем, что извлекают указанные соседние отсчеты яркостной составляющей и используют медианное значение этих соседних отсчетов яркостной составляющей для определения коэффициента масштабирования в случае, когда один или несколько соседних блоков яркостной составляющей доступны.

Y6. Способ согласно статье Y3, отличающийся тем, что число соседних отсчетов яркостной составляющей равно N, где 1<=N<=2W+2H, W и H обозначают ширину и высоту соответствующего блока яркостной составляющей.

Y7. Способ согласно статье Y1 или Y2, отличающийся тем, что доступность одного или нескольких соседних блоков яркостной составляющей определяют на основе ширины и/или высоты текущего изображения, плитки, группы плиток, единицы данных виртуального конвейера (VPDU) или среза.

Y8. Способ согласно статье Y7, отличающийся тем, что один или несколько соседних блоков яркостной составляющей недоступны в случае, когда эти один или несколько соседних блоков расположены в другом изображении, другой плитке, другой группе плиток, другой единице VPDU, или другом срезе.

Y9. Способ согласно статье Y1, отличающийся тем, что соседние отсчеты яркостной составляющей относительно соответствующего блока пропускают и не извлекают в случае, когда один или несколько соседних блоков яркостной составляющей недоступны.

Y10. Способ согласно статье Y9, отличающийся тем, что указанный коэффициент масштабирования определяют в случае, когда соседние отсчеты яркостной составляющей относительно соответствующего блока пропускают и не извлекают.

Y11. Способ согласно статье Y10, отличающийся тем, что указанный коэффициент масштабирования определяют на основе значения по умолчанию.

Y12. Способ согласно статье Y11, отличающийся тем, что указанное значение по умолчанию основано на битовой глубине текущего видеоблока цветностной составляющей и расположенного в том же месте блока яркостной составляющей.

Y13. Способ согласно статье Y12, отличающийся тем, что указанное значение по умолчанию выражено как 1 << ( bitDepth − 1 ), где bitDepth обозначает битовую глубину текущего видеоблока цветностной составляющей и расположенного в том же месте блока яркостной составляющей.

Y14. Способ согласно статье Y1, отличающийся тем, что соседние отсчеты яркостной составляющей реконструируют на основе прямого отображения.

B1. Способ обработки визуальных медиаданных, содержащий:

определение, в процессе преобразования между текущим видеоблоком визуальных медиаданных и представлением этого текущего видеоблока в виде потока битов данных, второго набора значений цветовых составляющих текущего видеоблока из первого набора значений цветовых составляющих визуальных медиаданных с использованием модели, ассоциированной с этапом обработки, где первый набор значений цветовых составляющих представляет собой соседние отсчеты относительно соответствующего блока яркостной составляющей, покрывающего верхний левый отсчет расположенного в том же месте блока яркостной составляющей.

B2. Способ согласно статье B1, отличающийся тем, что текущий видеоблок представляет собой одно из: кодированный в режиме внутрикадрового прогнозирования видеоблок, имеющий разбиение в структуре двойного дерева, или кодированный в режиме внутрикадрового прогнозирования видеоблок, имеющий разбиение в структуре одиночного дерева, кодированный в режиме межкадрового прогнозирования видеоблок, имеющий разбиение в структуре одиночного дерева.

B3. Способ согласно какой-либо одной или нескольким из статей B1-B2, отличающийся тем, что первый набор значений цветовых составляющих соответствует по меньшей мере части опорных отсчетов, идентифицированных в позициях, внешних относительно соответствующего блока яркостной составляющей.

B4. Способ согласно статье B3, отличающийся тем, что часть опорных отсчетов, идентифицированных в позициях, внешних относительно соответствующего блока яркостной составляющей, содержит отсчеты, смежные с соответствующим блоком кодирования яркостной составляющей.

B5. Способ согласно статье B4, отличающийся тем, что совокупность отсчетов, смежных с соответствующим блоком кодирования яркостной составляющей, содержит N отсчетов, расположенных в соседних столбцах слева и/или соседних строках сверху относительно соответствующего блока кодирования яркостной составляющей, где N=1…2W+2H, W и H обозначают ширину и высоту соответствующего блока кодирования яркостной составляющей.

B6. Способ согласно статье B5, отличающийся тем, что соседний сверху отсчет яркостной составляющей расположен в точке с координатами (xCb + W/2, yCb - 1) или (xCb -1, yCb - 1), когда верхний левый отсчет расположенного в том же месте блока яркостной составляющей находится в точке с координатами (xCb, yCb).

B7. Способ согласно статье B5, отличающийся тем, что соседний слева отсчет яркостной составляющей расположен в точке с координатами (xCb + W-1, yCb - 1), когда верхний левый отсчет расположенного в том же месте блока яркостной составляющей находится в точке с координатами (xCb, yCb).

B8. Способ согласно статье B4, отличающийся тем, что часть опорных отсчетов, идентифицированных в позициях, внешних относительно соответствующего блока яркостной составляющей, находятся в предварительно заданных позициях.

B9. Способ согласно статье B4, отличающийся тем, что второй набор значений цветовых составляющих для текущего видеоблока определяют на основе медианного значения или арифметического среднего значения N отсчетов, расположенных в соседних слева столбцах и/или в соседних сверху строках соответствующего блока кодирования яркостной составляющей.

B10. Способ согласно какой-либо одной или нескольким из статей B1-B2, отличающийся тем, что второй набор значений цветовых составляющих для текущего видеоблока избирательно определяют из первого набора значений цветовых составляющих, на основе доступности соседних отсчетов относительно соответствующего блока яркостной составляющей.

B11. Способ согласно статье B10, отличающийся тем, что доступность соседних отсчетов соответствующего блока яркостной составляющей основана на одном или нескольких факторах из следующего: использование режима кодирования для текущего видеоблока, использование режима кодирования для соседних отсчетов соответствующего блока яркостной составляющей, использование типа фильтра, ассоциированного с соседними отсчетами соответствующего блока яркостной составляющей, расположение соседних отсчетов соответствующего блока яркостной составляющей относительно текущих видеоблоков или субблоков этих блоков, ширина текущего изображения/субизображения/плитки/группы плиток/единицы VPDU/среза, и/или высота текущего изображения/субизображения/плитки/группы плиток/единицы VPDU/среза/строки единиц дерева кодирования (CTU).

B12. Способ согласно статье B10, дополнительно содержащий:

в ответ на определение недостатка доступности соседних отсчетов относительно соответствующего блока яркостной составляющей, подстановку, замещение или заполнение недоступных отсчетов другими отсчетами.

B13. Способ согласно статье B12, отличающийся тем, что недостаток доступности соседних отсчетов соответствующего блока яркостной составляющей основан по меньшей мере частично на определении, когда режим кодирования текущего видеоблока является режимом межкадрового прогнозирования, режим кодирования соседних отсчетов является режимом внутрикадрового прогнозирования и/или режимом внутрикадрового копирования блоков (IBC) и/или комбинированным режимом межкадрового-внутрикадрового прогнозирования (CIIP) и/или режимом локальной компенсации освещенности (LIC).

B14. Способ согласно статье B12, отличающийся тем, что недостаток доступности соседних отсчетов соответствующего блока яркостной составляющей основан по меньшей мере частично на определении, что, когда режим кодирования текущего видеоблока является режимом межкадрового прогнозирования, соседние отсчеты подвергают рассеивающей фильтрации и/или двусторонней фильтрации и/или фильтрации на основе преобразования Адамара.

B15. Способ согласно статье B12, отличающийся тем, что недостаток доступности соседних отсчетов соответствующего блока яркостной составляющей основан по меньшей мере частично на определении, что соседний блок расположен вне текущего изображения/субизображения/плитки/группы плиток/единицы VPDU/среза/строки единиц дерева кодирования (CTU), ассоциированной с текущим видеоблоком.

B16. Способ согласно какой-либо одной или нескольким из статей B12-B15, дополнительно содержащий:

в ответ на определение недостатка доступности соседних отсчетов относительно соответствующего блока яркостной составляющей, отмену активизации определения второго набора значений цветовых составляющих относительно текущего видеоблока из первого набора значений цветовых составляющих.

B17. Способ согласно статье B10, дополнительно содержащий:

в ответ на определение, что число доступных соседних отсчетов меньше порогового значения, отмену активизации определения второго набора значений цветовых составляющих относительно текущего видеоблока из первого набора значений цветовых составляющих.

B18. Способ согласно статье B17, отличающийся тем, что указанная пороговое значение равно единице.

B19. Способ согласно статье B12, отличающийся тем, что если соседний отсчет определен как недоступный, тогда этот соседний отсчет замещают отсчетами 1<<( bitDepth −1), где bitDepth обозначает битовую глубину первого набора отсчетов значений цветовых составляющих или второго набора отсчетов значений цветовых составляющих.

B20. Способ согласно статье B12, отличающийся тем, что, что, если соседний отсчет определен как недоступный, тогда вместо этого соседнего отсчета подставляют первый доступный соседний отсчет в соответствии с предварительно заданным порядком проверки.

B21. Способ согласно статье B13, отличающийся тем, что, что, если соседний отсчет определен как недоступный, тогда этот соседний отсчет заполняют с использованием одного или нескольких объектов: соседнего отсчета слева, соседнего отсчета справа, соседнего отсчета сверху или нижнего соседнего отсчета.

B22. Способ согласно статье B10, дополнительно содержащий:

применение сглаживающего фильтра к отсчетам, соседним относительно соответствующего блока яркостной составляющей, используемого при определении второго набора значений цветовых составляющих для текущего видеоблока.

B23. Способ согласно статье, B22, отличающийся тем, что сглаживающий фильтр содержит один или несколько из следующих объектов: двусторонний фильтр, фильтр на основе преобразования Адамара или прямое отображение области переформирования.

B24. Способ согласно какой-либо одной или нескольким из статей B1-B23, отличающийся тем, что второй набор значений цветовых составляющих для текущего видеоблока сохраняют для использования в связи с одним или несколькими другими видеоблоками.

B25. Способ согласно какой-либо одной или нескольким из статей B1-B23, отличающийся тем, что указанная модель соответствует кросс-компонентной линейной модели (CCLM) и/или указанный этап обработки соответствует режиму отображения яркостной составляющей с масштабированием цветностной составляющей (LMCS).

B26. Способ согласно какой-либо одной или нескольким из статей B1-B23, отличающийся тем, что текущий видеоблок представляет собой блок, кодируемый в режиме внутрикадрового прогнозирования, блок, кодируемый в режиме межкадрового прогнозирования, блок, кодируемый в режиме двунаправленного прогнозирования, или блоком, кодируемым в режиме внутрикадрового кодирования блоков (IBC).

B27. Способ согласно какой-либо одной или нескольким из статей B1-B23, отличающийся тем, что первый набор значений цветовых составляющих соответствует значениям отсчетов яркостной составляющей, и второй набор значений цветовых составляющих соответствует коэффициентам масштабирования цветностной составляющей для текущего видеоблока.

B28. Способ согласно какой-либо одной или нескольким из статей B1-B23, отличающийся тем, что процедура преобразования содержит генерацию представления в виде потока битов данных на основе текущего видеоблока.

B29. Способ согласно какой-либо одной или нескольким из статей B1-B23, отличающийся тем, что процедура преобразования содержит генерацию значений пикселей текущего видеоблока на основе его представления в виде потока битов данных.

B30. Кодирующее устройство для видео, содержащее процессор, конфигурированный для осуществления способа согласно одной или нескольким из статей B1-B23.

B31. Декодирующее устройство для видео, содержащее процессор, конфигурированный для осуществления способа согласно одной или нескольким из статей B1-B23.

B32. Читаемый компьютером носитель информации с записанным на нем кодом, этот код содержит выполняемые процессором команды для осуществления способа согласно одной или нескольким из статей B1-B23.

C1. Способ обработки визуальных медиаданных, содержащий:

в процессе преобразования между текущим видеоблоком цветностной составляющей визуальных медиаданных и представлением этого текущего видеоблока цветностной составляющей в виде потока битов данных, выполнение определения относительно избирательной активизации или отмены активизации применения кросс-компонентной линейной модели (CCLM) и/или масштабирования остатка цветностной составляющей (CRS) к текущему видеоблоку цветностной составляющей, по меньшей мере частично на основе одного или нескольких условий, ассоциированных с расположенным в том же месте блоком яркостной составляющей из текущего видеоблока цветностной составляющей.

C2. Способ согласно статье C1, отличающийся тем, что совокупность указанных одного или нескольких условий, ассоциированных с расположенным в том же месте блоком яркостной составляющей для текущего видеоблока цветностной составляющей содержит: размер единиц разбиения расположенного в том же месте блока яркостной составляющей, достижение числом единиц кодирования из расположенного в том же месте блока яркостной составляющей порогового числа, достижение верхним левым отсчетом яркостной составляющей из расположенного в том же месте блока яркостной составляющей порогового размера, глубину дерева разбиения расположенного в том же месте блока яркостной составляющей, или соответствующий блок яркостной составляющей покрывает верхний левый отсчет яркостной составляющей расположенного в том же месте блока яркостной составляющей, и дополнительно находится в пределах ограничительной рамки предварительно заданного размера, режим кодирования одной или нескольких единиц кодирования (CU), покрывающих по меньшей мере один отсчет расположенного в том же месте блока яркостной составляющей, и/или размеры текущего видеоблока цветностной составляющей.

C3. Способ согласно какой-либо одной или нескольким из статей C1-C2, отличающийся тем, что отменяют активизацию применения модели CCLM и/или масштабирования CRS к текущему видеоблоку цветностной составляющей в ответ на определение, что расположенный в том же месте блок яркостной составляющей для текущего видеоблока цветностной составляющей разбит на несколько единиц разбиения.

C4. Способ согласно какой-либо одной или нескольким из статей C1-C2, отличающийся тем, что применение модели CCLM и/или масштабирования CRS к текущему видеоблоку цветностной составляющей активизируют в ответ на определение, что расположенный в том же месте блок яркостной составляющей относительно текущего видеоблока цветностной составляющей не разбит на несколько единиц разбиения.

C5. Способ согласно какой-либо одной или нескольким из статей C1-C2, отличающийся тем, что отменяют активизацию применения модели CCLM и/или масштабирования CRS к текущему видеоблоку цветностной составляющей в ответ на определение, что расположенный в том же месте блок яркостной составляющей относительно текущего видеоблока цветностной составляющей содержит больше одного из следующих объектов: пороговое число единиц кодирования и/или пороговое число единиц разбиения и/или пороговое число единиц преобразования.

C6. Способ согласно статье C5, отличающийся тем, что пороговое число равно единице.

C7. Способ согласно статье C5, отличающийся тем, что пороговое число основано по меньшей мере частично на том, применяется ли модель CCLM и/или масштабирование CRS.

C8. Способ согласно статье C5, отличающийся тем, что пороговое число является фиксированным или входит в представление в виде потока битов данных.

C9. Способ согласно статье C5, отличающийся тем, что пороговое число основано по меньшей мере частично на профилях/уровнях/ярусах, ассоциированных с текущим видеоблоком цветностной составляющей.

C10. Способ согласно статье C5, отличающийся тем, что указанные единицы кодирования и/или единицы разбиения и/или единицы преобразования полностью находятся в пределах расположенного в том же месте блока яркостной составляющей.

C11. Способ согласно статье C5, отличающийся тем, что указанные единицы кодирования и/или единицы разбиения и/или единицы преобразования частично находятся в пределах расположенного в том же месте блока яркостной составляющей.

C12. Способ согласно статье C11, отличающийся тем, что указанные единицы кодирования и/или единицы разбиения и/или единицы преобразования частично находятся вдоль границы расположенного в том же месте блока яркостной составляющей.

C13. Способ согласно статье C5, отличающийся тем, что указанные единицы кодирования и/или единицы разбиения и/или единицы преобразования ассоциированы с прогнозированием на основе субблоков.

C14. Способ согласно статье C13, отличающийся тем, что прогнозирование на основе субблоков соответствует внутрикадровому подразделению (ISP) или аффинному прогнозированию или прогнозированию альтернативного временного вектора движения (ATMVP).

C15. Способ согласно какой-либо одной или нескольким из статей C1-C2, отличающийся тем, что отменяют активизацию применения модели CCLM и/или масштабирования CRS к текущему видеоблоку цветностной составляющей в ответ на определение, что размер единицы кодирования и/или единицы разбиения и/или единицы преобразования, покрывающей верхний левый отсчет яркостной составляющей расположенного в том же месте блока яркостной составляющей, больше заданного размера блока.

C16. Способ согласно статье C15, отличающийся тем, что расположенный в том же месте блок яркостной составляющей имеет размер 32x32 и входит в соответствующий блок яркостной составляющей размером 64x64, а предварительно заданный блок яркостной составляющей имеет размер 32x64.

C17. Способ согласно статье C2, отличающийся тем, что применение модели CCLM и/или масштабирования CRS к текущему видеоблоку цветностной составляющей активизируют в ответ на определение, что расположенный в том же месте блок яркостной составляющей относительно текущего видеоблока цветностной составляющей разбиению не подвергался, и соответствующий блок яркостной составляющей, покрывающий верхний левый отсчет яркостной составляющей расположенного в том же месте блока яркостной составляющей, целиком находится в пределах ограничивающей рамки заданного размера.

C18. Способ согласно статье C17, отличающийся тем, что указанный соответствующий блок яркостной составляющей имеет размер 32x64 и ограничивающая рамка имеет размер 40x70.

C19. Способ согласно статье C17, отличающийся тем, что предварительно заданный размер ограничивающей рамки основан частично на размере единицы дерева кодирования (CTU), ассоциированной с текущим видеоблоком цветностной составляющей, и/или с размером единицы кодирования (CU), ассоциированной с текущим видеоблоком цветностной составляющей.

C20. Способ согласно какой-либо одной или нескольким из статей C1-C2, отличающийся тем, что расположенный в том же месте блок яркостной составляющей относительно текущего видеоблока цветностной составляющей разбит на несколько единиц разбиения, а прогнозируемые отсчеты или реконструированные отсчеты внутри этих нескольких единиц разбиения используются для определения значений, ассоциированных с масштабированием CRS текущего видеоблока цветностной составляющей.

C21. Способ согласно статье C20, отличающийся тем, что среднее значение для прогнозируемых отсчетов или реконструированных отсчетов, находящихся внутри первой единицы разбиения расположенного в том же месте блока яркостной составляющей относительно текущего видеоблока цветностной составляющей, используется для определения значений, ассоциированных с масштабированием CRS текущего видеоблока цветностной составляющей.

C22. Способ согласно статье C20, отличающийся тем, что верхний левый прогнозируемый отсчет или верхний левый реконструированный отсчет внутри первой единицы разбиения расположенного в том же месте блока яркостной составляющей относительно текущего видеоблока цветностной составляющей используется для определения значений, ассоциированных с масштабированием CRS текущего видеоблока цветностной составляющей.

C23. Способ согласно статье C20, отличающийся тем, что центральный прогнозируемый отсчет или центральный реконструированный отсчет внутри первой единицы разбиения расположенного в том же месте блока яркостной составляющей относительно текущего видеоблока цветностной составляющей используется для определения значений цветовых составляющих текущего видеоблока цветностной составляющей.

C24. Способ согласно статье C2, отличающийся тем, что отменяют активизацию применения модели CCLM и/или масштабирования CRS к текущему видеоблоку цветностной составляющей в ответ на определение, что режим кодирования одной или нескольких единиц кодирования (CU), покрывающих по меньшей мере один отсчет расположенного в том же месте блока яркостной составляющей, представляет собой один из режимов: аффинный режим, режим двунаправленного прогнозирования, режим двунаправленного оптического потока (BDOF), режим уточнения DMVR, режим аффинного прогнозирования матрицы, режим межкадрового прогнозирования или режим внутрикадрового подразделения (ISP).

C25. Способ согласно статье C2, отличающийся тем, что одна или несколько единиц кодирования (CU), покрывающих по меньшей мере один отсчет расположенного в том же месте блока яркостной составляющей, представляют собой соответствующий блок яркостной составляющей.

C26. Способ согласно какой-либо одной или нескольким из статей C1-C25, дополнительно содержащий:

индикацию, на основе некоторого поля в представлении в виде потока битов данных, что модель CCLM и/или масштабирование CRS избирательно активизируют или отменяют активизацию для текущего видеоблока цветностной составляющей.

C27. Способ согласно какой-либо одной или нескольким из статей C1-C26, отличающийся тем, что избирательная активизация или отмена активизации применения модели CCLM и/или масштабирования CRS для текущего видеоблока цветностной составляющей осуществляется на одном или нескольких субблоках текущего видеоблока цветностной составляющей.

C28. Способ согласно статье C27, отличающийся тем, что указанные один или несколько субблоков из текущего видеоблока цветностной составляющей имеют размер 2x2 или 4x4.

C29. Способ согласно статье C27, отличающийся тем, что применение модели CCLM и/или масштабирование CRS активизируют для субблока текущего видеоблока цветностной составляющей, когда соответствующий блок кодирования яркостной составляющей относительно текущего видеоблока цветностной составляющей покрывает все отсчеты соответствующего блока для этого субблока.

C30. Способ согласно статье C27, отличающийся тем, что отменяют активизацию применения модели CCLM и/или масштабирования CRS для субблока текущего видеоблока цветностной составляющей, когда все отсчеты соответствующего блока для этого субблока не покрыты соответствующим блоком кодирования яркостной составляющей.

C31. Способ согласно статье C27, отличающийся тем, что параметры модели CCLM и/или масштабирования CRS ассоциированы с каждым субблоком текущего видеоблока цветностной составляющей.

C32. Способ согласно статье C27, отличающийся тем, что избирательная активизация или отмена активизации применения модели CCLM и/или масштабирования CRS к субблоку текущего видеоблока цветностной составляющей основана на отсчетах, входящих в расположенный в том же месте блок яркостной составляющей.

C33. Способ согласно какой-либо одной или нескольким из статей C1-C32, отличающийся тем, что текущий видеоблок цветностной составляющей представляет собой блок, кодируемый в режиме межкадрового прогнозирования, блок, кодируемый в режиме внутрикадрового прогнозирования, блок, кодируемый в режиме двунаправленного прогнозирования, или блок, кодируемый в режиме внутрикадрового копирования блоков (IBC).

C34. Способ согласно какой-либо одной или нескольким из статей C1-C33, отличающийся тем, что процедура преобразования содержит генерацию представления в виде потока битов данных на основе текущего видеоблока цветностной составляющей.

C35. Способ согласно какой-либо одной или нескольким из статей C1-C33, отличающийся тем, что процедура преобразования содержит генерацию значений пикселей текущего видеоблока цветностной составляющей на основе представления в виде потока битов данных.

C36. Кодирующее устройство для видео, содержащее процессор, конфигурированный для осуществления способа согласно одной или нескольким из статей C1-C33.

C37. Декодирующее устройство для видео, содержащее процессор, конфигурированный для осуществления способа согласно одной или нескольким из статей C1-C33.

C38. Читаемый компьютером носитель информации с записанным на нем кодом, этот код содержит выполняемые процессором команды для осуществления способа согласно одной или нескольким из статей C1-C33.

D1. Способ кодирования визуальных медиаданных, содержащий:

избирательную активизацию или отмену активизации применения зависимого от яркостной составляющей масштабирования остатка цветностной составляющей (CRS) к цветностной составляющей текущего видеоблока визуальных медиаданных с целью кодирования этого текущего видеоблока в видеообласти визуальных медиаданных и превращения его в представление визуальных медиаданных в виде потока битов данных; и

принятие решения о включении или исключении некого поля в представлении визуальных медиаданных в виде потока битов данных, где это поле обозначает избирательную активизацию или отмену активизации и, если это поле включено, передачу его в виде сигнализации на уровне, отличном от первого синтаксического уровня, ассоциированного с текущим видеоблоком.

D2. Способ декодирования визуальных медиаданных, содержащий:

осуществление синтаксического анализа для выделения некого поля из представления визуальных медиаданных в виде потока битов данных, где это поле включено на уровне, отличном от первого синтаксического уровня, ассоциированного с текущим видеоблоком; и

избирательную активизацию или отмену активизации, на основе указанного поля, применения зависимого от яркостной составляющей масштабирования остатка цветностной составляющей (CRS) к цветностной составляющей текущего видеоблока визуальных медиаданных с целью генерации декодированной видеообласти на основе представления в виде потока битов данных.

D3. Способ согласно какой-либо одной или нескольким из статей D1-D2, отличающийся тем, что первый синтаксический уровень представляет собой уровень заголовка группы плиток, и отличающийся тем, что указанное поле включено в один из объектов: набор параметров последовательности (SPS), ассоциированный с текущим видеоблоком, плитку, ассоциированную с текущим видеоблоком, строку единиц дерева кодирования (CTU), ассоциированную с текущим видеоблоком, единицу дерева кодирования (CTU), ассоциированную с текущим видеоблоком, единицу данных виртуального конвейера (VPDU), ассоциированную с текущим видеоблоком, или единицу кодирования (CU), ассоциированную с текущим видеоблоком.

D4. Способ согласно какой-либо одной или нескольким из статей D1-D3, отличающийся тем, что указанное поле представляет собой флаг, обозначенный как chroma_residual_scale_flag.

D5. Способ согласно какой-либо одной или нескольким из статей D1-D4, отличающийся тем, что указанное поле ассоциировано с одним из синтаксических уровней, и отличающийся тем, что если это поле равно единице, активизировано применение зависимого от яркостной составляющей масштабирования остатка цветностной составляющей на уровне ниже указанного синтаксического уровня, а если это поле равно нулю, применение зависимого от яркостной составляющей масштабирования остатка цветностной составляющей на уровне ниже указанного синтаксического уровня не активизировано.

D6. Способ согласно статье D5, отличающийся тем, что указанное поле ассоциировано с уровнем узла разбиения, и отличающийся тем, что если это поле равно единице, активизировано применение зависимого от яркостной составляющей масштабирования остатка цветностной составляющей на уровне указанного узла разбиения, а если это поле равно нулю, применение зависимого от яркостной составляющей масштабирования остатка цветностной составляющей на уровне указанного узла разбиения не активизировано.

D7. Способ согласно какой-либо одной или нескольким из статей D1-D4, отличающийся тем, что указанное поле ассоциировано с пороговым размером, и отличающийся тем, что когда это поле равно единице, активизировано применение зависимого от яркостной составляющей масштабирования остатка цветностной составляющей для видеоблоков, имеющих указанный пороговый размер или больше этого размера, и если это поле равно нулю, применение зависимого от яркостной составляющей масштабирования остатка цветностной составляющей для видеоблоков меньше порогового размера не активизировано.

D8. Способ согласно статье D7, отличающийся тем, что указанный пороговый размер равен 32x32.

D9. Способ согласно какой-либо одной или нескольким из статей D1-D8, отличающийся тем, что указанное поле не передают в виде сигнализации в указанном представлении в виде потока битов данных и отсутствие этого поля в указанном представлении в виде потока битов данных используется для вывода, что применение зависимого от яркостной составляющей масштабирования остатка цветностной составляющей не активизировано, а это поле признают равным нулю.

D10. Способ согласно какой-либо одной или нескольким из статей D1-D9, отличающийся тем, что значения, ассоциированные с зависимым от яркостной составляющей масштабированием CRS для текущего видеоблока, сохраняют для использования в соединении с одним или несколькими другими видеоблоками.

D11. Способ согласно статье D10, отличающийся тем, что значения, ассоциированные с зависимым от яркостной составляющей масштабированием CRS, определяют после кодирования или декодирования блока яркостной составляющей.

D12. Способ согласно статье D11, отличающийся тем, что, в блоке яркостной составляющей, прогнозируемые отсчеты и/или промежуточные прогнозируемые отсчеты и/или реконструированные отсчеты и/или реконструированные отсчеты прежде контурной фильтрации используются для определения значений, ассоциированных с зависимым от яркостной составляющей масштабированием CRS.

D13. Способ согласно статье D12, отличающийся тем, что процедура контурной фильтрации содержит использование: деблокирующего фильтра и/или нелинейного фильтра с адаптивным смещением (SAO) и/или двустороннего фильтра и/или фильтра на основе преобразования Адамара и/или адаптивного контурного фильтра (ALF).

D14. Способ согласно статье D11, отличающийся тем, что отсчеты в нижней строке и/или в правом столбце блока яркостной составляющей используются для определения значений, ассоциированных с зависимым от яркостной составляющей масштабированием CRS.

D15. Способ согласно статье D11, отличающийся тем, что отсчеты, ассоциированные с соседними блоками, используются для определения значений, ассоциированных с зависимым от яркостной составляющей масштабированием CRS.

D16. Способ согласно статье D15, отличающийся тем, что текущий видеоблок представляет собой блок, кодируемый в режиме внутрикадрового прогнозирования, блок, кодируемый в режиме межкадрового прогнозирования, блок, кодируемый в режиме двунаправленного прогнозирования, или блок, кодируемый в режиме внутрикадрового копирования блоков (IBC).

D17. Способ согласно статье D15, отличающийся тем, что доступность отсчетов, ассоциированных с соседними блоками, проверяют в соответствии с предварительно заданным порядком.

D18. Способ согласно статье D17, отличающийся тем, что указанный предварительно заданный порядок относительно текущего видеоблока представляет собой одно из: слева направо, от сверху слева в направлении к сверху справа, от слева в направлении сверху, от сверху слева в направлении к сверху справа, от сверху в направлении к слева, от сверху справа в направлении к сверху слева.

D19. Способ согласно статье D17, отличающийся тем, что указанный предварительно заданный порядок относительно текущего видеоблока представляет собой одно из: снизу слева – слева – сверху справа – сверху - сверху слева.

D20. Способ согласно статье D17, отличающийся тем, что указанный предварительно заданный порядок относительно текущего видеоблока представляет собой одно из: слева – сверху – сверху справа – снизу слева – сверху слева.

D21. Способ согласно статье D17, отличающийся тем, что указанный предварительно заданный порядок ассоциирован с отсчетами в первом доступном подмножестве соседних блоков.

D22. Способ согласно статье D15, отличающийся тем, что, если текущий видеоблок кодируют в режиме межкадрового прогнозирования, а соседний блок представляет собой блок, кодируемый в режиме внутрикадрового прогнозирования, блок, кодируемый в режиме копирования IBC, или блок, кодируемый в комбинированном режиме прогнозирования CIIP, тогда отсчеты, ассоциированные с соседним блоком, определяют как недоступные.

D23. Способ согласно статье D15, отличающийся тем, что, если текущий видеоблок является блоком, кодируемым в комбинированном режиме прогнозирования CIIP, а соседний блок является блоком, кодируемым в режиме внутрикадрового прогнозирования, блоком, кодируемым в режиме копирования IBC, или блоком, кодируемым в комбинированном режиме прогнозирования CIIP, тогда отсчеты, ассоциированные с соседним блоком, определяют как недоступные.

D24. Способ согласно статье D15, дополнительно содержащий:

в ответ на определение, что число соседних блоков меньше порогового значения, отмена активизации определения зависимого от яркостной составляющей масштабирования CRS.

D25. Способ согласно статье D24, отличающийся тем, что пороговое значение равно единице.

D26. Способ согласно статье D24, отличающийся тем, что, если какой-то отсчет из соседнего блока определяют как недоступный, тогда этот отсчет замещают отсчетами 1 << ( bitDepth − 1), где bitDepth обозначает битовую глубину цветностных составляющих или яркостных составляющих.

E1. Способ кодирования визуальных медиаданных, содержащий:

избирательную активизацию или отмену активизации применения кросс-компонентной линейной модели (CCLM) к текущему видеоблоку визуальных медиаданных для кодирования текущего видеоблока с целью превращения его в представление визуальных медиаданных в виде потока битов данных; и

выполнение определения о включении или исключении некоторого поля из представления визуальных медиаданных в виде потока битов данных, где это поле обозначает указанную избирательную активизацию или отмену активизации и, если оно включено, его передают в виде сигнализации на уровне, отличном от первого синтаксического уровня, ассоциированного с текущим видеоблоком.

E2. Способ декодирования визуальных медиаданных, содержащий:

осуществление синтаксического анализа для выделения некоторого поля из представления визуальных медиаданных в виде потока битов данных, где это поле включено на уровне, отличном от первого синтаксического уровня, ассоциированного с текущим видеоблоком; и

избирательную активизацию или отмену активизации, на основе указанного поля, применения кросс-компонентной линейной модели (CCLM) к текущему видеоблоку визуальных медиаданных для генерации декодированной видеообласти на основе указанного представления в виде потока битов данных.

E3. Способ согласно какой-либо одной или нескольким из статей E1-E2, отличающийся тем, что первый синтаксический уровень представляет собой уровень набора параметров последовательности (SPS), и отличающийся тем, что указанное поле входит в один из объектов: набор параметров изображения (PPS), ассоциированный с текущим видеоблоком, срез, ассоциированный с текущим видеоблоком, заголовок изображения, ассоциированный с текущим видеоблоком, плитку, ассоциированную с текущим видеоблоком, группу плиток, ассоциированный с текущим видеоблоком, строку единиц дерева кодирования (CTU), ассоциированную с текущим видеоблоком, единицу дерева кодирования (CTU), ассоциированную с текущим видеоблоком, единицу данных виртуального конвейера (VPDU), ассоциированную с текущим видеоблоком, или единицу кодирования (CU), ассоциированную с текущим видеоблоком.

E4. Способ согласно какой-либо одной или нескольким из статей E1-E3, отличающийся тем, что указанное поле представляет собой флаг, обозначенный как cclm_flag.

E5. Способ согласно какой-либо одной или нескольким из статей E1-E4, отличающийся тем, что, отсутствие указанного поля в представлении в виде потока битов данных используется для признания, что применение модели CCLM не активизировано.

E6. Способ согласно какой-либо одной или нескольким из статей E1-E4, отличающийся тем, что присутствие указанного поля в представлении в виде потока битов данных используется для признания, что применение модели CCLM активизировано.

E7. Способ согласно статье E5, отличающийся тем, что, если размер текущего видеоблока не больше порогового размера, указанное поле исключают из представления в виде потока битов данных, и тем самым исключение этого поля используется для признания, что применение модели CCLM не активизировано.

E8. Способ согласно статье E7, отличающийся тем, что пороговый размер равен 8x8.

F1. Кодирующее устройство для видео, содержащее процессор, конфигурированный для осуществления способа согласно одной или нескольким из статей X1-E8.

F2. Декодирующее устройство для видео, содержащее процессор, конфигурированный для осуществления способа согласно одной или нескольким из статей X1-E8.

F3. Читаемый компьютером носитель информации с записанным на нем кодом, этот код содержит выполняемые процессором команды для осуществления способа согласно одной или нескольким из статей X1-E8.

В настоящем документе термин «обработка видео» или «обработка визуальных медиаданных» может обозначать кодирование видео, декодирование видео, сжатие видео или расширение (декомпрессию) видео. Например, алгоритмы сжатия видео могут быть применены в процессе преобразования от пиксельного представления видео в соответствующее представление в виде потока битов данных или наоборот. Представление текущего видеоблока в виде потока битов данных может, например, соответствовать битам, которые либо расположены в одном месте, либо распределены в разных местах в потоке битов данных, как это определено в синтаксисе. Например, макроблок может быть кодирован в терминах трансформированных и кодированных остаточных значений погрешностей, а также использования битов в заголовках и в других полях в потоке битов данных. Кроме того, в процессе преобразования, декодирующее устройство может осуществлять синтаксический анализ потока битов данных с учетом знания, что некоторые поля могут присутствовать или отсутствовать на основе указанного определения, как это описано в приведенных выше технических решениях. Аналогично, кодирующее устройство может определить, что некоторые синтаксические поля должны или не должны быть включены в кодированное представление и генерировать соответствующее путем включения или исключения этих синтаксических полей из кодированного представления.

Из изложенного выше должно быть понятно, что конкретные варианты предлагаемой здесь технологии были описаны в целях иллюстрации, однако разнообразные модификации могут быть внесены без отклонения от объема настоящего изобретения. Соответственно, предлагаемая технология не ограничивается ничем за исключением прилагаемой Формулы изобретения.

Варианты реализации предмета настоящего изобретения и функциональные операции, описываемые в этом документе, могут быть осуществлены в разнообразных системах, цифровых электронных схемах или компьютерном загружаемом программном обеспечении, встроенном программном обеспечении или аппаратуре, включая структуры, рассмотренные в настоящем описании, и их структурные эквиваленты, либо в комбинации одного или нескольких перечисленных компонентов. Варианты реализации предмета настоящего изобретения, рассмотренные в настоящем описании, могут быть осуществлены в виде одного или нескольких компьютерных программных продуктов, т.е. одного или нескольких модулей компьютерных программных команд, закодированных на материальном и энергонезависимом читаемом компьютером носителе информации, для выполнения устройством обработки данных или для управления работой этого устройства. Такой читаемый компьютером носитель информации может представлять собой машиночитаемое устройство для хранения информации, машиночитаемую плату для хранения информации, запоминающее устройство, композицию объектов, реализующих машиночитаемый распространяющийся сигнал или комбинацию одного или нескольких из этих компонентов. Термин «модуль обработки данных» или «устройство обработки данных» охватывает все – аппаратуру, устройства и машины для обработки данных, включая в качестве примеров, программируемый процессор, компьютер, либо несколько процессоров или компьютеров. Аппаратура может содержать, в дополнение к оборудованию, код, составляющий среду для выполнения рассматриваемой компьютерной программы, например, код, составляющий встроенное программное обеспечение процессора, стек протоколов, систему управления базой данных, операционную систему или комбинацию одного или нескольких перечисленных компонентов.

Компьютерная программа (также известная как программа, программное обеспечение, программное приложение, сценарий (скрипт) или код) может быть написана на каком-либо языке программирования, включая компилируемые или интерпретируемые языки, и может быть развернута в любой форме, включая автономную программу, или в виде модуля, компонента, подпрограммы или другой единицы, подходящей для использования в компьютерной среде. Компьютерная программа необязательно соответствует файлу в файловой системе. Программа может быть сохранена в части файла, который содержит также другие программы или данные (например, один или несколько сценариев сохраняются в документе на языке разметки), в одном файле, специально предназначенном только для рассматриваемой программы, или в нескольких координированных файлах (например, в файлах, сохраняющих один или несколько модулей, подпрограмм или фрагментов кода). Компьютерная программа может быть развернута для выполнения на одном компьютере или на нескольких компьютерах, расположенных в одном пункте или распределенных по нескольким пунктам и соединенных посредством сети связи.

Процедуры и логические схемы, описываемые в настоящем документе, могут быть осуществлены одним или несколькими программируемыми процессорами, выполняющими одну или несколько компьютерных программ для реализации функций путем оперирования над входными данными и генерации выходных данных. Эти процедуры и логические схемы могут также быть осуществлены посредством, и аппаратура может также быть реализована в виде, логической схемы специального назначения, например, программируемой пользователем вентильной матрицы (FPGA (field programmable gate array)) или специализированной интегральной схемы (ASIC (application specific integrated circuit)).

К процессорам, подходящим для выполнения компьютерной программы, относятся, например, микропроцессоры общего и специального назначения и какие-либо один или несколько процессоров цифрового компьютера какого-либо типа. В общем случае, процессор будет принимать команды и данные из постоянного запоминающего устройства и/или из запоминающего устройства с произвольной выборкой. Основными элементами компьютера являются процессор для выполнения команд и одно или несколько запоминающих устройств для сохранения команд и данных. В общем случае, компьютер должен также содержать или быть оперативно связанным для приема данных и/или для передачи данных, одно или несколько запоминающих устройств большой емкости для хранения данных, например, магнитные устройства, магнитооптические диски или оптические диски. Однако компьютеру необязательно иметь такие устройства. К читаемым компьютером носителям для сохранения команд компьютерных программ и данных относятся все формы энергонезависимых запоминающих устройств и носителей информации, включая, например, полупроводниковые запоминающие устройства, например, стираемое, программируемое постоянное запоминающее устройство (СППЗУ (EPROM)), электрически стираемое программируемое запоминающее устройство (ЭСППЗУ (EEPROM)) и устройства флэш-памяти. Процессор и запоминающее устройство могут быть дополнены или встроены в логическую схему специального назначения.

Настоящее описание вместе с прилагаемыми чертежами следует рассматривать только в качестве примеров. Как используется здесь, применение союза «или» должно также охватывать «и/или», если только контекст ясно не указывает иное.

Хотя настоящий патентный документ содержит много специфических деталей, их не следует толковать в качестве каких-либо ограничений объема какого-либо нововведения или того, что может быть заявлено в качестве изобретения, а просто как описания признаков, которые могут быть специфичными для конкретных вариантов конкретных нововведений. Некоторые признаки, описываемые в настоящем патентном документе в контексте раздельных вариантов, могут быть также реализованы в виде комбинации в одном варианте. Напротив, различные признаки, описываемые в контексте одного варианта, могут быть также реализованы в нескольких вариантах по отдельности или в какой-либо подходящей субкомбинации. Более конкретно, хотя признаки могут быть описаны выше как действующие в определенных комбинациях и даже первоначально заявлены как таковые, один или несколько признаков из заявляемой комбинации могут быть в некоторых случаях исключены из этой заявляемой комбинации, так что эта заявляемая комбинация может быть превращена в субкомбинацию или вариации такой субкомбинации.

Аналогично, тогда как операции изображены на чертежах в конкретном порядке, это не следует понимать как требование, что такие операции должны выполняться в показанном конкретном порядке или в последовательном порядке или что все показанные иллюстрации должны быть выполнены для достижения желаемых результатов. Более того, разделение различных системных компонентов, описываемых в настоящем патентном документе, не следует понимать как требование такого разделения во всех вариантах.

Здесь описаны только несколько вариантов и примеров, однако и другие варианты реализации, усовершенствования и вариации могут быть созданы на основе того, что описано и иллюстрировано в настоящем документе.

Изобретение относится к кодированию и декодированию видео. Технический результат заключается в повышении эффективности кодирования и декодирования видео. Такой результат обеспечивается за счет того, что выполняют преобразование между текущим видеоблоком цветностной составляющей визуальных медиаданных и представлением текущего видеоблока цветностной составляющей в виде потока битов данных, причем в процессе преобразования остаток цветностной составляющей текущего видеоблока цветностной составляющей масштабируется на основе коэффициента масштабирования, при этом коэффициент масштабирования определяется по меньшей мере на основе отсчетов яркостной составляющей, расположенных в заранее заданных позициях. 4 н. и 10 з.п. ф-лы, 23 ил.

1. Способ обработки данных видео, содержащий этапы, на которых:

определяют, для преобразования между блоком цветностной составляющей видео и представлением видео в виде потока битов данных, следует ли активировать или деактивировать режим внутрикадрового прогнозирования с использованием кросс-компонентной линейной модели для блока цветностной составляющей, на основе того, кодирована ли одна или более единиц кодирования яркостной составляющей, покрывающие по меньшей мере один отсчет соответствующей области яркостной составляющей блока цветностной составляющей, в режиме прогнозирования на основе субблоков, причем блок цветностной составляющей использует структуру двойного дерева разбиения, в которой яркостная составляющая и по меньшей мере одна цветностная составляющая имеют раздельные структуры дерева разбиения;

в ответ на то, что режим внутрикадрового прогнозирования с использованием кросс-компонентной линейной модели активирован, определяют параметры кросс-компонентной линейной модели по меньшей мере на основе соседних отсчетов цветностной составляющей относительно блока цветностной составляющей;

применяют кросс-компонентную линейную модель для получения прогнозируемых значений для блока цветностной составляющей на основе указанных параметров; и

выполняют указанное преобразование на основе указанных прогнозируемых значений,

при этом параметры кросс-компонентной линейной модели получают посредством выполнения этапов, на которых:

проверяют доступность одного или более соседних блоков цветностной составляющей относительно указанного блока цветностной составляющей;

находят R отсчетов цветностной составляющей из соседних отсчетов цветностной составляющей указанного одного или более соседних блоков цветностной составляющей для определения набора значений параметров кросс-компонентной линейной модели, где R – целое число больше 2,

при этом по меньшей мере один соседний отсчет цветностной составляющей не принадлежит к указанным R отсчетам цветностной составляющей на основе размера блока цветностной составляющей.

2. Способ по п. 1, в котором режим прогнозирования на основе субблоков соответствует режиму внутрикадрового подразделения.

3. Способ по п. 1, в котором деактивируют кросс-компонентную линейную модель в ответ на то, что указанная одна или более единиц кодирования яркостной составляющей кодированы в режиме прогнозирования на основе субблоков.

4. Способ по п. 1, в котором определение, следует ли активировать или деактивировать режим внутрикадрового прогнозирования с использованием кросс-компонентной линейной модели для блока цветностной составляющей, дополнительно основано на информации о разбиении указанной одной или более единиц кодирования яркостной составляющей.

5. Способ по п. 4, в котором информация о разбиении содержит указание глубины дерева разбиения для указанной одной или более единиц кодирования яркостной составляющей.

6. Способ по п. 5, в котором глубина дерева разбиения представляет собой глубину четверного дерева.

7. Способ по п. 1, в котором определение, следует ли активировать или деактивировать режим внутрикадрового прогнозирования с использованием кросс-компонентной линейной модели для блока цветностной составляющей, дополнительно основано на размере блока одной или более единиц кодирования цветностной составляющей, покрывающих по меньшей мере один отсчет соответствующей области цветностной составляющей указанного блока цветностной составляющей.

8. Способ по п. 1, в котором определение, следует ли активировать или деактивировать режим внутрикадрового прогнозирования с использованием кросс-компонентной линейной модели для блока цветностной составляющей, дополнительно основано на том, разбита ли указанная одна или более единиц кодирования яркостной составляющей посредством операции по схеме множества типов деревьев разбиения, отличной от операции по схеме четверного дерева разбиения.

9. Способ по п. 1, в котором в ответ на то, что указанный один или более соседних блоков цветностной составляющей являются недоступными, прогнозируемые значения указанного блока цветностной составляющей устанавливаются согласно формуле 1 << (bitDepth − 1 ), где bitDepth – битовая глубина видео.

10. Способ по п. 1, в котором при указанном преобразовании кодируют блок цветностной составляющей в поток битов данных.

11. Способ по п. 1, в котором при указанном преобразовании декодируют блок цветностной составляющей из потока битов данных.

12. Устройство обработки данных видео, содержащее процессор и энергонезависимое запоминающее устройство с записанными в нем командами, причем команды при исполнении процессором вызывают выполнение процессором:

определения, для преобразования между блоком цветностной составляющей видео и представлением видео в виде потока битов данных, следует ли активировать или деактивировать режим внутрикадрового прогнозирования с использованием кросс-компонентной линейной модели для блока цветностной составляющей, на основе того, кодирована ли одна или более единиц кодирования яркостной составляющей, покрывающие по меньшей мере один отсчет соответствующей области яркостной составляющей блока цветностной составляющей, в режиме прогнозирования на основе субблоков, причем блок цветностной составляющей использует структуру двойного дерева разбиения, в которой яркостная составляющая и по меньшей мере одна цветностная составляющая имеют раздельные структуры деревьев разбиения;

в ответ на то, что режим внутрикадрового прогнозирования с использованием кросс-компонентной линейной модели активирован, определения параметров кросс-компонентной линейной модели по меньшей мере на основе соседних отсчетов цветностной составляющей относительно блока цветностной составляющей;

применения кросс-компонентной линейной модели для получения прогнозируемых значений для блока цветностной составляющей на основе указанных параметров; и

выполнения указанного преобразования на основе указанных прогнозируемых значений,

при этом параметры кросс-компонентной линейной модели получаются посредством:

проверки доступности одного или более соседних блоков цветностной составляющей относительно указанного блока цветностной составляющей;

нахождения R отсчетов цветностной составляющей из соседних отсчетов цветностной составляющей указанного одного или более соседних блоков цветностной составляющей для определения набора значений параметров кросс-компонентной линейной модели, где R – целое число больше 2,

при этом по меньшей мере один соседний отсчет цветностной составляющей не принадлежит к указанным R отсчетам цветностной составляющей на основе размера блока цветностной составляющей.

13. Энергонезависимый читаемый компьютером носитель для хранения информации, хранящий команды, которые вызывают выполнение процессором:

определения, для преобразования между блоком цветностной составляющей видео и представлением видео в виде потока битов данных, следует ли активировать или деактивировать режим внутрикадрового прогнозирования с использованием кросс-компонентной линейной модели для блока цветностной составляющей, на основе того, кодирована ли одна или более единиц кодирования яркостной составляющей, покрывающие по меньшей мере один отсчет соответствующей области яркостной составляющей блока цветностной составляющей, в режиме прогнозирования на основе субблоков, причем блок цветностной составляющей использует структуру двойного дерева разбиения, в которой яркостная составляющая и по меньшей мере одна цветностная составляющая имеют раздельные структуры деревьев разбиения;

в ответ на то, что режим внутрикадрового прогнозирования с использованием кросс-компонентной линейной модели активирован, определения параметров кросс-компонентной линейной модели по меньшей мере на основе соседних отсчетов цветностной составляющей относительно блока цветностной составляющей;

применения кросс-компонентной линейной модели для получения прогнозируемых значений для блока цветностной составляющей на основе указанных параметров; и

выполнения указанного преобразования на основе указанных прогнозируемых значений,

при этом параметры кросс-компонентной линейной модели получаются посредством:

проверки доступности одного или более соседних блоков цветностной составляющей относительно указанного блока цветностной составляющей;

нахождения R отсчетов цветностной составляющей из соседних отсчетов цветностной составляющей указанного одного или более соседних блоков цветностной составляющей для определения набора значений параметров кросс-компонентной линейной модели, где R – целое число больше 2,

при этом по меньшей мере один соседний отсчет цветностной составляющей не принадлежит к указанным R отсчетам цветностной составляющей на основе размера блока цветностной составляющей.

14. Способ сохранения потока битов данных видео, содержащий этапы, на которых:

определяют, следует ли активировать или деактивировать режим внутрикадрового прогнозирования с использованием кросс-компонентной линейной модели для блока цветностной составляющей, на основе того, кодирована ли одна или более единиц кодирования яркостной составляющей, покрывающие по меньшей мере один отсчет соответствующей области яркостной составляющей блока цветностной составляющей, в режиме прогнозирования на основе субблоков, причем блок цветностной составляющей использует структуру двойного дерева разбиения, в которой яркостная составляющая и по меньшей мере одна цветностная составляющая имеют раздельные структуры дерева разбиения;

в ответ на то, что режим внутрикадрового прогнозирования с использованием кросс-компонентной линейной модели активирован, определяют параметры кросс-компонентной линейной модели по меньшей мере на основе соседних отсчетов цветностной составляющей относительно блока цветностной составляющей;

применяют кросс-компонентную линейную модель для получения прогнозируемых значений для блока цветностной составляющей на основе указанных параметров;

генерируют поток битов данных видео на основе указанных прогнозируемых значений; и

сохраняют поток битов данных на энергонезависимом читаемом компьютером носителе для записи информации,

при этом параметры кросс-компонентной линейной модели получают посредством выполнения этапов, на которых:

проверяют доступность одного или более соседних блоков цветностной составляющей относительно указанного блока цветностной составляющей;

находят R отсчетов цветностной составляющей из соседних отсчетов цветностной составляющей указанного одного или более соседних блоков цветностной составляющей для определения набора значений параметров кросс-компонентной линейной модели, где R – целое число больше 2,

при этом по меньшей мере один соседний отсчет цветностной составляющей не принадлежит к указанным R отсчетам цветностной составляющей на основе размера блока цветностной составляющей.