ОГРАНИЧЕНИЕ ПРЕДСТАВЛЕНИЯ ДИФФЕРЕНЦИАЛЬНОЙ ИМПУЛЬСНО-КОДОВОЙ МОДУЛЯЦИИ КВАНТОВОГО ОСТАТКА КОДИРОВАННОГО ВИДЕО Российский патент 2023 года по МПК H04N19/132 H04N19/11 H04N19/176 

Область техники, к которой относится изобретение

Данный патентный документ относится к технологиям, устройствам и системам кодирования видео.

Уровень техники

Несмотря на достижения в области сжатия видео, на цифровое видео по-прежнему приходится наибольшая полоса пропускания в Интернете и других сетях цифровой связи. По мере увеличения количества подключенных пользовательских устройств, способных принимать и отображать видео, ожидается, что потребность в полосе пропускания, используемой для цифрового видео, будет продолжать расти.

Раскрытие сущности изобретения

В данном документе описаны различные варианты осуществления и способы, в которых вторичное преобразование используется во время декодирования или кодирования видео или изображений.

Первый примерный способ обработки видео включает в себя этапы, на которых определяют, на основе правила применимости, что режим дифференциального кодирования применим к преобразованию между видеоблоком цветности видео и представлением битового потока видеоблока цветности, и выполняют, на основе указанного определения, преобразование между видеоблоком цветности и представлением битового потока видеоблока цветности с использованием режима дифференциального кодирования, при этом в режиме дифференциального кодирования видеоблок цветности представлен в представлении битового потока с использованием разности между квантованным остатком внутрикадрового предсказания видеоблока цветности и предсказанием квантованного остатка, причем внутрикадровое предсказание выполняется в первом направлении, а предсказание квантованного остатка выполняется во втором направлении, и в дифференциальном режиме кодирования разность между квантованным остатком и предсказанием квантованного остатка представлена с использованием представления дифференциальной импульсно-кодовой модуляции (DPCM).

Второй примерный способ обработки видео включает в себя этап, на котором выполняют преобразование между текущим видеоблоком видео и представлением битового потока текущего видеоблока с использованием режима дифференциального кодирования и режима внутрикадрового предсказания на основе правила сосуществования, причем в режиме внутрикадрового предсказания квантованный остаток внутрикадрового предсказания текущего видеоблока основан на предсказаниях отсчетов для текущего видеоблока, а в режиме дифференциального кодирования текущий видеоблок представлен в представлении битового потока с использованием разности между квантованным остатком и предсказанием квантованного остатка, при этом разность между квантованным остатком и предсказанием квантованного остатка представлена с использованием представления дифференциальной импульсно-кодовой модуляции (DPCM).

Третий примерный способ обработки видео включает в себя этап, на котором выполняют преобразование между текущим видеоблоком видео и представлением битового потока текущего видеоблока с использованием режима дифференциального кодирования, причем текущий видеоблок представлен в представлении битового потока с использованием разности между квантованным остатком внутрикадрового предсказания текущего видеоблока и предсказанием квантованного остатка, при этом направление предсказания квантованного остатка определяется из представления битового потока.

Четвертый примерный способ обработки видео включает в себя этапы, на которых определяют, что режим дифференциального кодирования применим к преобразованию между текущим видеоблоком видео и представлением битового потока текущего видеоблока, и выполняют, на основе указанного определения, преобразование между текущим видеоблоком и представлением битового потока текущего видеоблока с использованием режима дифференциального кодирования в соответствии с правилом реализации, причем в режиме дифференциального кодирования текущий видеоблок представлен в представлении битового потока с использованием разности между квантованным остатком внутрикадрового предсказания текущего видеоблока и предсказанием квантованного остатка, и в режиме дифференциального кодирования разность между квантованным остатком и предсказанием квантованного остатка представлена с использованием представления дифференциальной импульсно-кодовой модуляции (DPCM).

Пятый примерный способ обработки видео включает в себя этапы, на которых определяют, на основе правила применимости, что режим дифференциального кодирования применим к преобразованию между текущим видеоблоком видео и представлением битового потока текущего видеоблока, причем текущий видеоблок ассоциирован с цветовым компонентом, при этом правило применимости определяет, включен или отключен режим дифференциального кодирования для текущего видеоблока, в зависимости от того, применяется ли режим дифференциального кодирования к другому видеоблоку видео, и выполняют, на основе указанного определения, преобразование между текущим видеоблоком и представлением битового потока текущего видеоблока с использованием режима дифференциального кодирования, причем в режиме дифференциального кодирования текущий видеоблок представлен в представлении битового потока с использованием разности между квантованным остатком внутрикадрового предсказания текущего видеоблока и предсказанием квантованного остатка, и в режиме дифференциального кодирования разность между квантованным остатком и предсказанием квантованного остатка представлена с использованием представления дифференциальной импульсно-кодовой модуляции (DPCM).

В одном примерном аспекте раскрыт способ обработки видео. Способ включает в себя этап, на котором выполняют преобразование между текущим видеоблоком и представлением битового потока текущего видеоблока с использованием режима дифференциального кодирования и выборочного использования режима внутрикадрового предсказания на основе правила сосуществования; причем режим внутрикадрового предсказания используется для выработки предсказаний для отсчетов текущего видеоблока; а режим дифференциального кодирования используется для представления блока квантованных остатков из предсказаний пикселей с использованием представления дифференциальной импульсно-кодовой модуляции.

В другом примерном аспекте раскрыт другой способ обработки видео. Способ включает в себя этап, на котором выполняют преобразование между текущим видеоблоком и представлением битового потока текущего видеоблока с использованием режима дифференциального кодирования, при этом блок квантованных остатков из предсказаний пикселей текущего видеоблока представлен с использованием представления дифференциальной импульсно-кодовой модуляции; причем из представления битового потока определяется первое направление предсказания или второе направление режима дифференциального кодирования.

В еще одном примерном аспекте раскрыт другой способ обработки видео. Способ включает в себя этапы, на которых определяют, на основе правила применимости, что режим дифференциального кодирования применим к преобразованию между текущим видеоблоком и представлением битового потока текущего видеоблока; и выполняют преобразование между текущим видеоблоком и представлением битового потока с использованием режима дифференциального кодирования; причем в режиме дифференциального кодирования блок квантованных остатков из внутрикадрового предсказания пикселей текущего видеоблока представлен с использованием представления дифференциальной импульсно-кодовой модуляции, выполняемого в направлении предсказания остатка, которое отличается от горизонтального или вертикального направления.

В еще одном примерном аспекте раскрыт другой способ обработки видео. Способ включает в себя этапы, на которых определяют, что режим дифференциального кодирования применим к преобразованию между текущим видеоблоком и представлением битового потока текущего видеоблока; и выполняют преобразование между текущим видеоблоком и представлением битового потока с использованием правила реализации режима дифференциального кодирования; причем в режиме дифференциального кодирования блок квантованных остатков из внутрикадрового предсказания пикселей текущего видеоблока представлен с использованием представления дифференциальной импульсно-кодовой модуляции, выполняемого в направлении предсказания остатка, которое отличается от горизонтального или вертикального направления.

В еще одном примерном аспекте раскрыто устройство обработки видео. Устройство включает в себя процессор, выполненный с возможностью выполнения описанного выше способа.

В еще одном примерном аспекте раскрыт машиночитаемый носитель информации. На носителе информации хранится код для реализации с помощью процессора описанных выше способов.

Эти и другие аспекты описаны в данном документе.

Краткое описание чертежей

Фиг. 1 – иллюстрация внутрикадрового блочного копирования.

Фиг. 2 – пример блока, закодированного в режиме палитры.

Фиг. 3 – пример использования предиктора палитры для сигнализации записей палитры.

Фиг. 4 – примеры горизонтального и вертикального поперечного сканирования.

Фиг. 5 – пример кодирования индексов палитры.

Фиг. 6 – пример процесса аффинного линейно-взвешенного внутрикадрового предсказания (ALWIP).

Фиг. 7 – пример процесса аффинного линейно-взвешенного внутрикадрового предсказания (ALWIP).

Фиг. 8 – пример процесса аффинного линейно-взвешенного внутрикадрового предсказания (ALWIP).

Фиг. 9 – пример процесса аффинного линейно-взвешенного внутрикадрового предсказания (ALWIP).

Фиг. 10 – блок-схема примерной аппаратной платформы для реализации способов, описанных в данном документе.

Фиг. 11 – блок-схема последовательности операций примерного способа обработки видео.

Фиг. 12 – пример четырех кандидатов слияния.

Фиг. 13 – примерные пары кандидатов слияния, используемых при кодировании видео.

Фиг. 14 – блок-схема, показывающая примерную систему обработки видео, в которой могут быть реализованы различные способы, раскрытые в данном документе.

Фиг. 15 – блок-схема, которая иллюстрирует примерную систему кодирования видео, которая может использовать способы настоящего раскрытия.

Фиг. 16 – блок-схема, иллюстрирующая примерный видеокодер.

Фиг. 17 – блок-схема, иллюстрирующая примерный видеодекодер.

Фиг. 18-22 – пять примерных блок-схем последовательностей операций примерных способов обработки видео.

Осуществление изобретения

Заголовки разделов используются в данном документе для облегчения понимания и не ограничивают варианты осуществления, раскрытые в разделе, только этим разделом. Кроме того, хотя некоторые варианты осуществления описаны со ссылкой на универсальное кодирование видео или другие конкретные видеокодеки, раскрытые способы также применимы к другим технологиям кодирования видео. Кроме того, хотя некоторые варианты осуществления подробно описывают этапы кодирования видео, следует понимать, что соответствующие этапы декодирования, которые отменяют кодирование, будут реализованы декодером. Кроме того, термин "обработка видео" охватывает кодирование или сжатие видео, декодирование или распаковку видео и транскодирование видео, при котором пиксели видео представляются из одного сжатого формата в другой сжатый формат или с другой сжатой скоростью передачи битов.

1. Краткое изложение

Данный патентный документ относится к технологиям кодирования видео. В частности, он относится к кодированию DPCM при кодировании видео. Он может быть применен к существующему стандарту кодирования видео, например HEVC, или к стандарту (универсальное кодирование видео), который будет доработан. Он может также применяться в будущих стандартах кодирования видео или видеокодекам.

2. Первоначальное обсуждение

Стандарты кодирования видео эволюционировали в основном благодаря развитию хорошо известных стандартов ITU-T и ISO/IEC. ITU-T выпустил H.261 и H.263, ISO/IEC выпустил MPEG-1 и MPEG-4 Visual, и две организации совместно выпустили H.262/MPEG-2 Video и H.264/MPEG-4 Advanced. Стандарты кодирования видео (AVC) и H.265/HEVC [1]. Начиная с H.262, стандарты кодирования видео базируются на структуре гибридного кодирования видео, в которой используется временное предсказание плюс кодирование с преобразованием. Для того, чтобы исследовать будущие технологии кодирования видео за рамками HEVC, в 2015 году совместно с VCEG и MPEG была основана объединенная группа экспертов по видео (JVET). С тех пор JVET были приняты многие новые способы и помещены в эталонное программное обеспечение под названием "модель совместных исследований (JEM)" [3,4]. В апреле 2018 года была создана объединенная группа экспертов по видео (JVET) между VCEG (Q6/16) и ISO/IEC JTC1 SC29/WG11 (MPEG) для работы над стандартом VVC, нацеленным на снижение скорости передачи битов на 50% по сравнению с HEVC.

Последнюю версию проекта VVC, то есть универсальное кодирование видео (проекта 4), можно найти по ссылке:

phenix.it-sudparis.eu/jvet/doc_end_user/current_document.php?id=5755

Последнюю версию эталонного программного обеспечения VVC под названием VTM можно найти по ссылке:

vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/tags/VTM-4.0

2.1. Внутрикадровое блочное копирование

Внутрикадровое блочное копирование (IBC), также известное как сопоставление с текущим изображением, был принято в расширениях кодирования содержания экрана HEVC (HEVC-SCC) [1] и текущей тестовой модели VVC (VTM-4.0). IBC расширяет концепцию компенсации движения от межкадрового кодирования до внутрикадрового кодирования. Как показано на фиг. 1, текущий блок предсказывается опорным блоком на одном и том же изображении тогда, когда применяется IBC. Отсчеты в опорном блоке должны быть уже восстановлены до того, как будет закодирован или декодирован текущий блок. Хотя IBC не так эффективно для большинства эпизодов, снятых камерой, оно показывает значительный выигрыш при кодировании для содержания экрана. Причина состоит в том, что на изображении содержания экрана присутствует множество повторяющихся шаблонов, таких как значки и текстовые символы. IBC позволяет эффективно устранить избыточность среди этих повторяющихся шаблонов. В HEVC-SCC единица межкадрового кодирования (CU) может применять IBC, если оно выбирает текущее изображение в качестве опорного изображения. В этом случае MV переименовывается в вектор блока (BV), и BV всегда имеет точность до целого числа пикселей. Чтобы быть совместимым с основным профилем HEVC, текущее изображение помечается в буфере декодированных изображений (DPB) как "долгосрочное" опорное изображение. Следует отметить, что аналогичным образом, в стандартах кодирования видео с несколькими видами/3D, межвидовое опорное изображение также помечается как "долгосрочное" опорное изображение.

Следуя BV, чтобы найти его опорный блок, предсказание может быть выработано путем копирования опорного блока. Остаток может быть получен путем вычитания опорных пикселей из исходных сигналов. Затем можно применять преобразование и квантование, как и в других режимах кодирования.

Фиг. 1 является иллюстрацией внутрикадрового блочного копирования.

Однако, когда опорный блок находится за пределами изображения или перекрывается текущим блоком, или за пределами восстановленной зоны, или за пределами допустимой зоны, ограниченной некоторыми ограничениями, значения части или всех пикселей не определяются. Фактически имеется два решения этой задачи. Одно из них состоит в том, чтобы запретить такую ситуацию, например, при соответствии битового потока. Другой состоит в том, чтобы применить заполнение для этих неопределенных значений пикселей. В следующих подразделах подробно описаны решения.

2.2. IBC в расширениях кодирования содержания экрана HEVC

В расширениях кодирования содержания экрана HEVC, когда блок использует текущее изображение в качестве опорного, он должен гарантировать, что весь опорный блок находится в пределах доступной восстановленной зоны, как указано в следующем тексте спецификации:

Переменные offsetX и offsetY получаются следующим образом:

offsetX = ( ChromaArrayType = = 0 ) ? 0 : ( mvCLX[ 0 ] & 0x7 ? 2 : 0 ) (8-106)

offsetY = ( ChromaArrayType = = 0 ) ? 0 : ( mvCLX[ 1 ] & 0x7 ? 2 : 0 ) (8-107)

Требование соответствия битового потока состоит в том, что, когда опорным изображением является текущее изображение, вектор движения яркости mvLX должен подчиняться следующим ограничениям:

- Когда процесс получения для доступности блока порядка z-сканирования, как указано в пункте 6.4.1, вызван (xCurr, yCurr), установленным в (xCb, yCb), и соседним местоположением яркости (xNbY, yNbY), установленным в ( xPb + (mvLX[ 0 ] >> 2) − offsetX, yPb + ( mvLX[ 1 ] >> 2 ) − offsetY ) в качестве входных параметров, выходной параметр должен быть равен значению "истина".

- Когда процесс получения для доступности блока порядка z-сканирования, как указано в пункте 6.4.1, вызван (xCurr, yCurr), установленным в (xCb, yCb), и соседним местоположением яркости (xNbY, yNbY), установленным в (xPb + (mvLX [0] >> 2) + nPbW - 1 + offsetX, yPb + (mvLX [1] >> 2) + nPbH - 1 + offsetY) в качестве входных параметров, выходной параметр должен быть равен значению "истина".

- Должны выполняться одно или оба следующих условия:

- Значение ( mvLX[ 0 ] >> 2 ) + nPbW + xB1 + offsetX меньше или равно 0.

- Значение (mvLX [1] >> 2) + nPbH + yB1 + offsetY меньше или равно 0.

- Должно выполняться следующее условие:

( xPb + ( mvLX[ 0 ] >> 2 ) + nPbSw − 1 + offsetX) / CtbSizeY − xCurr / CtbSizeY <=

yCurr/CtbSizeY − ( yPb + ( mvLX[ 1 ] >> 2 ) + nPbSh − 1 + offsetY ) / CtbSizeY …(8-108)

Таким образом, не произойдет случай, когда опорный блок перекрывается текущим блоком, или опорный блок находится за пределами изображения. Нет необходимости заполнять опорный блок или блок предсказания.

2.3. IBC в тестовой модели VVC

В текущей тестовой модели VVC, то есть в проекте VTM-4.0, весь опорный блок должен соответствовать текущей единице дерева кодирования (CTU) и не перекрываться текущим блоком. Таким образом, нет необходимости заполнять опорный блок или блок предсказания. Флаг IBC кодируется как режим предсказания текущей CU. Таким образом, для каждой CU существует всего три режима предсказания: MODE_INTRA, MODE_INTER и MODE_IBC.

2.3.1. Режим слияния IBC

В режиме слияния IBC индекс, указывающий на запись в списке кандидатов слияния IBC, подвергается синтаксическому анализу из битового потока. Составление списка слияния IBC можно кратко изложить в соответствии со следующей последовательностью этапов:

• Этап 1: Получение пространственных кандидатов

• Этап 2: Вставка кандидатов HMVP

• Этап 3: Вставка попарно усредненных кандидатов

При получении кандидатов пространственного слияния выбирается максимум четыре кандидата слияния из кандидатов, расположенных в позициях, показанных на фиг. 12. Порядок получения представляет собой A₁, B₁, B₀, A₀ и B₂. Позиция B₂ учитывается только тогда, когда недоступна любая PU из позиции A₁, B₁, B₀, A₀ (например, в связи с тем, что она принадлежит другому слайсу или мозаичному элементу) или не закодирована в режиме IBC. После того, как добавлен кандидат в позиции A₁, вставка оставшихся кандидатов подвергается проверке на избыточность, которая гарантирует, что кандидаты с одинаковой информацией движения исключены из списка, так что эффективность кодирования повышается. Чтобы уменьшить вычислительную сложность, в упомянутой проверке на избыточность не все возможные пары кандидатов рассматриваются. Вместо этого рассматриваются только пары, обозначенные стрелкой на фиг. 13, и кандидат добавляется в список только в том случае, если соответствующий кандидат, используемый для проверки на избыточность, не имеет такой же информации движения.

После вставки пространственных кандидатов, если размер списка слияния IBC все еще меньше максимального размера списка слияния IBC, могут быть вставлены кандидаты IBC из таблицы HMVP. После вставки кандидатов HMVP выполняется проверка на избыточность.

Наконец, в список слияния IBC вставляются попарно усредненные кандидаты.

Когда опорный блок, идентифицированный кандидатом слияния, находится за пределами изображения, или перекрывается текущим блоком, или находится за пределами восстановленной зоны или за пределами допустимой зоны, ограниченной некоторыми ограничениями, кандидат слияния называется недействительным кандидатом слияния.

Следует отметить, что недействительные кандидаты слияния могут быть вставлены в список слияния IBC.

2.3.2. Режим AMVP IBC

В режиме AMVP IBC точка индекса AMVP для записи в списке AMVP IBC подвергается синтаксическому анализу из битового потока. Составление списка AMVP IBC можно кратко изложить в соответствии со следующей последовательностью этапов:

• Этап 1: Получение пространственных кандидатов

○ Проверять A₀, A₁ до тех пор, пока не будет найден доступный кандидат.

○ Проверять B₀, B₁, B₂ до тех пор, пока не будет найден доступный кандидат.

• Этап 2: Вставка кандидатов HMVP

• Этап 3: Вставка нулевых кандидатов

После вставки пространственных кандидатов, если размер списка AMVP IBC по-прежнему остается меньше максимального размера списка AMVP IBC, могут быть вставлены кандидаты IBC из таблицы HMVP.

Наконец, в список AMVP IBC вставляются нулевые кандидаты.

2.4. Режим палитры

Основная идея режима палитры состоит в том, что отсчеты в CU представлены небольшим набором репрезентативных значений цвета. Этот набор называется палитрой. Кроме того, можно также указать отсчет, который находится за пределами палитры путем сигнализации символа выпадения, за которым следуют (возможно, квантованные) значения компонентов. Это показано на фиг. 2.

2.5. Режим палитры в расширениях кодирования содержания экрана HEVC (HEVC-SCC)

В режиме палитры в HEVC-SCC для кодирования палитры и карты индексов используется способ предсказания.

2.5.1. Кодирование записей палитры

Для кодирования записей палитры поддерживается предиктор палитры. В SPS сигнализируется максимальный размер палитры, а также предиктор палитры. В HEVC-SCC palette_predictor_initializer_present_flag вводится в PPS. Когда этот флаг равен 1, записи для инициализации предиктора палитры передаются в битовом потоке. Предиктор палитры инициализируется в начале каждой строки CTU, каждого слайса и каждого мозаичного элемента. В зависимости от значения palette_predictor_initializer_present_flag, предиктор палитры сбрасывается в 0 или инициализируется с использованием записей инициализатора предиктора палитры, просигнализированных в PPS. В HEVC-SCC инициализатор предиктора палитры с размером 0 был включен для того, чтобы разрешить явное отключение инициализации предиктора палитры на уровне PPS.

Для каждой записи в предикторе палитры флаг повторного использования сигнализируется для того, чтобы указать то, является ли он частью текущей палитры. Это показано на фиг. 3. Флаги повторного использования отправляются с использованием кодирования длин перемещений нулей. После этого количество новых записей палитры сигнализируется с использованием экспоненциального кода Голомба порядка 0. Наконец, сигнализируются значения компонентов для новых записей палитры.

2.5.2. Кодирование индексов палитры

Индексы палитры кодируются с использованием горизонтальных и вертикальных поперечных сканирований, как показано на фиг. 4. Порядок сканирования явно сигнализируется в битовом потоке с использованием palette_transpose_flag. В остальной части подраздела предполагается, что сканирование является горизонтальным.

Индексы палитры кодируются с использованием двух основных режимов отсчета палитры: "INDEX" и "COPY_ABOVE". Как объяснялось ранее, символ выпадения также сигнализируется как режим "INDEX", и ему назначается индекс, равный максимальному размеру палитры. Режим сигнализируется с использованием флага, за исключением верхней строки, или когда предыдущим режимом был "COPY_ABOVE". В режиме "COPY_ABOVE" копируется индекс палитры отсчета в строке выше. В режиме "INDEX" индекс палитры сигнализируется явным образом. Для обоих режимов "INDEX" и "COPY_ABOVE" передается значение прогона, которое указывает количество последующих отсчетов, которые также кодируются с использованием одного и того же режима. Когда символ выпадения является частью прогона в режиме "INDEX" или "COPY_ABOVE", значения компонента выпадения сигнализируются для каждого символа выпадения. Кодирование индексов палитры показано на фиг. 5.

Этот порядок синтаксиса выполняется следующим образом. Сначала сигнализируется количество значений индекса для CU. За этим следует сигнализация фактических значений индекса для всей CU с использованием усеченного двоичного кодирования. В режиме обхода кодируются как количество индексов, так и значения индексов. В результате этого группируются вместе связанные с индексом бины обхода. Затем сигнализируются чередующимся образом режим отсчетам палитры (при необходимости) и прогон. Наконец, значения компонентов выпадения, соответствующие отсчетам выпадения для всей CU, группируются вместе и кодируются в режиме обхода.

Дополнительный синтаксический элемент last_run_type_flag сигнализируется после передачи значений индексов. Этот синтаксический элемент в сочетании с количеством индексов устраняет необходимость сигнализировать значение выполнения прогона, соответствующее последнему прогону в блоке.

В HEVC-SCC режим палитры также включен для 4:2:2, 4:2:0 и монохромных форматов цветности. Сигнализация записей палитры и индексов палитры практически идентична для всех форматов цветности. В случае немонохромных форматов каждая запись палитры состоит из 3 компонентов. Для монохромного формата каждая запись палитры состоит из одного компонента. Для субдискретизированных направлений цветности отсчеты цветности ассоциированы с индексами отсчетов яркости, которые делятся на 2. После восстановления индексов палитры для CU, если с отсчетом ассоциирован только один компонент, будет использоваться только первый компонент записи палитры. Единственным различием в сигнализации являются значения компонентов выпадения. Для каждого отсчета выпадения количество сигнализируемых значений компонентов выпадения может быть различным в зависимости от количества компонентов, ассоциированных с этим отсчетом.

2.6. Кодирование коэффициентов в режиме пропуска преобразования

В JVET-M0464 и JVET-N0280 предложено несколько модификаций кодирования коэффициентов в режиме пропуска преобразования (TS) для того, чтобы адаптировать кодирование остатка к статистике и характеристикам сигналов уровней пропуска преобразования.

Предложенные модификации перечислены ниже.

Нет последней значащей позиции сканирования: так как сигнал остатка отражает пространственный остаток после предсказания, и для TS не выполняется сжатие по энергии посредством преобразования, больше не задается более высокая вероятность для конечных нулей или незначащих уровней в правом нижнем углу блока преобразования. Таким образом, в этом случае исключается сигнализация последней значащей позиции сканирования. Вместо этого первым обрабатываемым подблоком является нижний крайний правый подблок в блоке преобразования.

CBF подблока: Отсутствие сигнализации последней значащей позиции сканирования требует того, чтобы сигнализация CBF подблока с coded_sub_block_flag для TS была изменена следующим образом:

• Из-за квантования вышеупомянутая несущественная последовательность все еще может возникать локально внутри блока преобразования. Таким образом, последняя значащая позиция сканирования удаляется, как описано ранее, и coded_sub_block_flag кодируется для всех подблоков.

• coded_sub_block_flag для подблока, покрывающего позицию частоты DC (верхний левый подблок), представляет собой особый случай. В VVC проекта 3 флаг coded_sub_block_flag для этого подблока никогда не сигнализируется и всегда предполагается равным 1. Когда последняя значащая позиция сканирования находится в другом подблоке, это означает, что существует по меньшей мере один значащий уровень за пределами подблока DC. Таким образом, подблок DC может содержать только нулевые/незначащие уровни, хотя coded_sub_block_flag для этого подблока предполагается равным 1. При отсутствии информации о последней позиции сканирования в TS coded_sub_block_flag сигнализируется для каждого подблока. Это также включает coded_sub_block_flag для подблока DC, за исключением случаев, когда все другие синтаксические элементы coded_sub_block_flag уже равны 0. В этом случае предполагается, что coded_sub_block_flag DC равен 1 (inferDcSbCbf = 1). Так как в этом подблоке DC должен быть хотя бы один значащий уровень, синтаксический элемент sig_coeff_flag для первой позиции в (0,0) не сигнализируется и получается равным 1 (inferSbDcSigCoeffFlag = 1), вместо того, чтобы все другие синтаксические элементы sig_coeff_flag в этом подблоке DC были равны 0.

• Изменено контекстное моделирование для coded_sub_block_flag. Индекс контекстной модели вычисляется как сумма coded_sub_block_flag слева и coded_sub_block_flag выше текущего подблока, а не как логическое разделение обоих.

Контекстное моделирование sig_coeff_flag: локальный шаблон в моделировании контекста sig_coeff_flag модифицируется, чтобы включать в себя только соседа слева (NB0) и соседа выше (NB1) от текущей позиции сканирования. Смещение контекстной модели представляет собой просто количество значащих соседних позиций sig_coeff_flag [NB0] + sig_coeff_flag [NB1]. Следовательно, выбор различных наборов контекстов удаляется в зависимости от диагонали d в текущем блоке преобразования. Это приводит к трем контекстным моделям и одной контекстной модели, установленной для кодирования флага sig_coeff_flag.

Контекстное моделирование abs_level_gt1_flag и par_level_flag: для abs_level_gt1_flag и par_level_flag используется единая контекстная модель.

Кодирование abs_remainder: Хотя эмпирическое распределение абсолютных уровней остатка с пропуском преобразования обычно все еще соответствует лапласовскому или геометрическому распределению, существуют нестационарности больше, чем для абсолютных уровней коэффициентов преобразования. В частности, дисперсия в пределах окна последовательной реализации выше для абсолютных уровней остатка. Это мотивирует следующие модификации синтаксической бинаризации abs_remainder и контекстного моделирования:

• Использование более высокого значения отсечки в бинаризации, то есть точки перехода от кодирования с sig_coeff_flag, abs_level_gt1_flag, par_level_flag и abs_level_gt3_flag к кодам Райса для abs_remainder, и специально предназначенные для этого контекстные модели для каждой позиции бина дают более высокую эффективность сжатия. Увеличение отсечки приведет к появлению большего количества флагов "больше X", например, к введению abs_level_gt5_flag, abs_level_gt7_flag и так далее, пока не будет достигнута отсечка. Само ограничение установлено на 5 (numGtFlags = 5).

• Шаблон для получения параметра модифицируется, то есть только сосед слева и сосед выше текущей позиции сканирования рассматриваются как аналогичные локальному шаблону для контекстного моделирования sig_coeff_flag.

coeff_sign_flag контекстное моделирование: из-за нестабильности внутри последовательности знаков и того факта, что остаток предсказания часто смещен, знаки могут быть закодированы с использованием контекстных моделей даже в том случае, когда глобальное эмпирическое распределение распределено почти равномерно. Для кодирования знаков используется одна выделенная контекстная модель, и знак подвергается синтаксическому анализу после sig_coeff_flag для того, чтобы все контекстно кодированные бины были вместе.

2.7. Блочная дифференциальная импульсно-кодовая модуляция (QR-BDPCM) квантованного остатка

В JVET-M0413 предложена блочная дифференциальная импульсно-кодовая модуляция (QR-BDPCM) квантованного остатка для эффективного кодирования содержания экрана.

Направления предсказания, используемые в QR-BDPCM, могут быть режимами вертикального и горизонтального предсказания. Внутрикадровое предсказание выполняется для всего блок путем копирования отсчета в направлении предсказания (горизонтальном или вертикальном предсказание), аналогичном внутрикадровому предсказанию. Остаток квантуется, и кодируется дельта (разность) между квантованным остатком и его квантованным значением предиктора (горизонтального или вертикального). Это можно описать следующим образом: для блока размером M (строк) × N (столбцов) допустим, что r_i,j, 0 ≤ i ≤ M–1, 0 ≤ j ≤ N-1 будет остатком предсказания после выполнения внутрикадрового предсказания по горизонтали (построчное копирование значения левого соседнего пикселя поперек предсказанного блока) или по вертикали (построчное копирование верхней соседней строки в прогнозируемом блоке) с использованием нефильтрованных отсчетов из отсчетов на верхней или левой границе блока. Пусть Q(r_i,j), 0 ≤ i ≤ M-1, 0 ≤ j ≤ N-1 обозначает версию квантованного остатка r_i,j, где остаток представляет собой разность между исходным блоком и предсказанными значениями блока. Затем блок DPCM применяется к отсчетам квантованного остатка, в результате чего получается модифицированный массив размером M × N с элементами . При сигнализации вертикальной BDPCM

(2-7-1)

Для горизонтального предсказания применяются аналогичные правила, и отсчеты квантованного остатка получаются с помощью

(2-7-2)

Отсчеты квантованного остатка отправляются в декодер.

На стороне декодера вышеуказанные вычисления производятся в обратном порядке . Для случая вертикального предсказания

(2-7-3)

Для случая горизонтального предсказания

(2-7-4)

Обратно квантованные остатки Q^-1(Q(r_i,j)) добавляются к значениям предсказания внутрикадрового блока для получения восстановленных значений отсчета.

Основное преимущество этой схемы состоит в том, что обратная DPCM может выполняться "на лету" во время синтаксического анализа коэффициентов путем простого добавления предиктора в виде коэффициентов, которые подвергаются синтаксическому анализу, или может выполняться после синтаксического анализа.

Изменения в тексте проекта QR-BDPCM показаны следующим образом.

7.3.6.5 Синтаксис единицы кодирования

bdpcm_flag[ x0 ][ y0 ], равный 1, указывает то, что bdpcm_dir_flag присутствует в блоке кодирования, включая блок кодирования яркости в местоположении (x0, y0)

bdpcm_dir_flag[ x0 ][ y0 ], равный 0, указывает то, что направление предсказания, которое будет использоваться в блоке bdpcm, является горизонтальным, в противном случае – вертикальным.

2.8. Матричное внутрикадровое предсказание (MIP)

Матричное внутрикадровое предсказание также называется аффинным линейно-взвешенным внутрикадровым предсказанием (ALWIP), в котором для получения сигнала внутрикадрового предсказания используется взвешенная матрица.

2.8.1. Описание способа

Для предсказания отсчетов прямоугольного блока с шириной W и высотой H аффинное линейно-взвешенное внутрикадровое предсказание (ALWIP) принимает в качестве входных данных одну линию H восстановленных соседних граничных отсчетов слева от блока и одну линию W восстановленных соседних граничных отсчетов выше блока. Если восстановленные отсчеты недоступны, они вырабатываются таким образом, как это делается в нормальном внутрикадровом предсказании.

Выработка сигнала предсказания основана на следующих трех шагах:

1. Четыре отсчета, если W = H = 4, и восемь отсчетов во всех других случаях извлекаются из граничных отсчетов посредством усреднения.

2. Матрично-векторное умножение с последующим добавлением смещения выполняется с использованием усредненных отсчетов в качестве входных данных. Результатом является уменьшенный сигнал предсказания для субдискретизированного набора отсчетов в исходном блоке.

3. Сигнал предсказания в оставшихся позициях вырабатывается из сигнала предсказания в субдискретизированном наборе с помощью линейной интерполяции, которая представляет собой одношаговую линейную интерполяцию в каждом направлении.

Матрица и векторы смещения, необходимые для выработки сигнала предсказания, взяты из трех наборов S₀, S₁, S₂ матриц. Набор S₀ состоит из 18 матриц , каждая из которых имеет 16 строк и 4 столбца и 18 векторов смещения, каждый из которых имеет размер 16. Матрицы и векторы смещения из этого набора используются для блоков размером 4×4. Набор S₁ состоит из 10 матриц , каждая из которых имеет 16 строк и 8 столбцов и 10 векторов смещения, каждый из которых имеет размер 16. Матрицы и векторы смещения этого набора используются для блоков размером 4×8, 8×4 и 8×8. Наконец, набор S₂ состоит из 6 матриц , каждая из которых имеет 64 строки и 8 столбцов и 6 векторов смещения размером 64. Матрицы и векторы смещения из этого набора или части этих матриц и векторов смещения используются для всех других форм блоков.

Общее количество умножений, необходимых для вычисления матрично-векторного умножения, всегда меньше или равно 4 · W · H. Другими словами, для режимов ALWIP требуется не более четырех умножений на отсчет.

2.8.2. Усреднение границы

На первом этапе входные границы и уменьшаются до меньших границ и . Здесь обе границы и состоят из 2 отсчетов в случае блока размером 4×4, и во всех остальных случаях обе границы состоят из 4 отсчетов.

В случае блока размером 4×4 для , определяется

и аналогичным образом определяется .

В противном случае, если ширина W блока задана как , для , определяется

и аналогичным образом определяется .

Две уменьшенных границы и связаны с уменьшенным граничным вектором , который имеет, таким образом, размер четыре для блоков формы 4×4 и размер восемь для блоков всех остальных форм. Если относится к режиму ALWIP, это объединение определяется следующим образом:

Наконец, для интерполяции субдискретизированного сигнала предсказания на больших блоках требуется вторая версия усредненной границы. А именно, если и , записать W, и для определяется

Если и , определяется аналогичным образом.

2.8.3 Выработка уменьшенного сигнала предсказания с использованием матрично-векторного умножения

Из уменьшенного входного вектора вырабатывается уменьшенный сигнал предсказания. Последний сигнал представляет собой сигнал субдискретизированного блока с шириной и высотой . Здесь и определяются как:

Уменьшенный сигнал предсказания вычисляется путем вычисления матрично-векторного умножения и добавления смещения:

Здесь A – матрица, которая имеет строк и 4 столбца, если и 8 столбцов во всех остальных случаях. представляет собой вектор размером .

Матрица и вектор выбираются из одного из наборов , , следующим образом. Индекс определяется следующим образом:

Кроме того, полагаем, что определяется следующим образом:

Затем, если или , и , полагаем, что и . В случае, когда и , допустим является матрицей, которая получается при исключении каждой строки из , которая в случае соответствует нечетной координате x в блоке с пониженной дискретизацией, или, в случае , соответствует нечетной координате y в блоке с пониженной дискретизацией.

Наконец, уменьшенный сигнал предсказания заменяется его транспонированием в следующих случаях:

• и

• и

• и

Количество операций умножения необходимых для вычисления, равно 4 в случае, так как в этом случае имеется 4 столбца и 16 строк. Во всех других случаях имеет 8 столбцов и строк, и сразу проверяется, что в этих случаях требуется операций умножения, то есть в этих случаях для вычисления требуется также не более 4 операций умножения на отсчет.

2.8.4. Иллюстрация всего процесса ALWIP

Весь процесс усреднения, матрично-векторного умножения и линейной интерполяции проиллюстрирован для различных форм на фиг. 6, фиг. 7, фиг. 8 и фиг. 9. Следует отметить, что остальные формы рассматриваются как в одном из изображенных случаев.

1. При наличии блока размером 4×4 ALWIP имеет четыре средних значения по каждой оси границы. Результирующие четыре входных отсчета входят в матрично-векторное умножение. Матрицы берутся из набора . После добавления смещения получается 16 окончательных отсчетов предсказания. Линейная интерполяция не требуется для выработки сигнала предсказания. Таким образом, всего выполняется умножений на отсчет.

Фиг. 6 является иллюстрацией ALWIP для блоков размером 4×4.

2. При наличии блока размером 8×4 ALWIP имеет четыре средних значения по каждой оси границы. Результирующие восемь входных отсчетов попадают в матрично-векторное умножение. Матрицы берутся из набора . Это дает 16 отсчетов на нечетных позициях блока предсказания. Таким образом, всего выполняется умножений на отсчет. После добавления смещения эти отсчеты интерполируются по вертикали с использованием уменьшенной верхней границы. Горизонтальная интерполяция выполняется с использованием исходной левой границы.

Фиг. 7 является иллюстрацией ALWIP для блоков размером 8×8.

3. При наличии блока размером 8×4 ALWIP имеет четыре средних значения по горизонтальной оси границы и четыре исходных граничных значения на левой границе. Результирующие восемь входных отсчетов попадают в матрично-векторное умножение. Матрицы берутся из набора . Это дает 16 отсчетов по нечетным горизонтальным и каждой вертикальной позициям блока предсказания. Таким образом, всего выполняется ( умножений на отсчет. После добавления смещения эти отсчеты интерполируются по горизонтали с использованием исходной левой границы.

Фиг. 8 является иллюстрацией ALWIP для блоков размером 8×4.

Транспонированный случай обрабатывается соответствующим образом.

4. При наличии блока размером 16×16 ALWIP имеет четыре средних значения по каждой оси границы. Результирующие восемь входных отсчетов попадают в матрично-векторное умножение. Матрицы берутся из набора . Это дает 64 отсчета на нечетных позициях блока предсказания. Таким образом, всего выполняется ( умножений на отсчет. После добавления смещения эти отсчеты интерполируются по вертикали с использованием восьми средних значений верхней границы. Горизонтальная интерполяция следует за использованием исходной левой границы.

Фиг. 8 является иллюстрацией ALWIP для блоков размером 16×16.

Для больших форм процедура является по существу такой же, и легко проверить, что количество умножений на отсчет меньше четырех.

Для блоков W×8 при W>8 необходима только горизонтальная интерполяция, так как отсчеты даны в нечетных горизонтальных позициях и в каждой вертикальной позиции. В этом случае (умножения ( в расчете на один отсчет выполняются для того, чтобы вычислить уменьшенное предсказание.

Наконец, для блоков W×4 с W>8, допустим, что A_k будет матрицей, которая получается при исключении каждой строки, которая соответствует нечетной записи по горизонтальной оси субдискретизированного блока. Таким образом, выходной размер равен 32, и снова остается выполнить только горизонтальную интерполяцию.

Для вычисления уменьшенного предсказания выполняется умножения ( в расчете на один отсчет. Для W = 16 не требуется дополнительных умножений, тогда как для линейной интерполяции при W > 16 требуется менее 2 умножений в расчете на один отсчет. Таким образом, общее количество умножений меньше или равно четырем.

Транспонированные случаи обрабатываются соответствующим образом.

2.8.5. Одношаговая линейная интерполяция

Для блока размером при сигнал предсказания получается из уменьшенного сигнала предсказания на с помощью линейной интерполяции. В зависимости от формы блока линейная интерполяция выполняется в вертикальном, горизонтальном или обоих направлениях. Если линейная интерполяция должна применяться в обоих направлениях, она сначала применяется в горизонтальном направлении, если , и сначала применяется в вертикальном направлении, иначе.

Без ограничения общности рассмотрим блок размером при и . Затем выполняется одномерная линейная интерполяция следующим образом. Без ограничения общности достаточно описать линейную интерполяцию в вертикальном направлении. Сначала уменьшенный сигнал предсказания расширяется до верхней части с помощью граничного сигнала. Определим коэффициент вертикальной повышающей дискретизации, и запишем . Затем определим расширенный уменьшенный сигнал предсказания с помощью

Затем из этого расширенного уменьшенного сигнала предсказания вырабатывается сигнал вертикально-линейного интерполированного предсказания следующим образом

для , и .

Алгоритм линейной интерполяции только со сдвигом битов не требует какого-либо умножения.

2.8.6. Сигнализация предложенных режимов внутрикадрового предсказания

Для каждой единицы кодирования (CU) во внутрикадровом режиме в битовом потоке отправляется флаг, указывающий то, должен или нет применяться режим ALWIP к соответствующей единице предсказания (PU). Если должен применяться режим ALWIP, индекс режима ALWIP сигнализируется с использованием списка MPM с 3 MPMS.

Здесь вывод MPM выполняется с использованием внутрикадрового режима верхней и левой PU следующим образом. Имеется три фиксированных таблицы , , которые назначают каждому традиционному режиму внутрикадрового предсказания режим ALWIP.

Для каждой PU с шириной и высотой определяется индекс

который указывает то, из какого из трех наборов следует выбирать параметры ALWIP, как в разделе 1.3, приведенном выше.

Если вышеуказанная единица предсказания является доступной, принадлежит к той же CTU, что и текущая PU, и находится во внутрикадровом режиме, если , и если ALWIP применяется к с ALWIP-режимом , полагаем, что

Если верхняя PU является доступной, принадлежит к той же CTU, что и текущая PU, и находится во внутрикадровом режиме, и если к верхней PU применяется традиционный режим внутрикадрового предсказания, то полагаем, что

Во всех остальных случаях полагаем, что

,

что означает, что этот режим недоступен. Таким же образом, но без ограничения того, что левая PU должна принадлежать к той же CTU, что и текущая PU, получается режим .

Наконец, предоставляются три фиксированных списка , по умолчанию, каждый из которых содержит три различных режима ALWIP. Из списка по умолчанию и режимов и создаются три отдельных MPM путем замены -1 на значения по умолчанию, а также исключения повторений.

2.8.7. Получение адаптивного MPM-списка для традиционных режимов внутрикадрового предсказания яркости и цветности

Предложенные режимы ALWIP гармонизируются с кодированием на основе MPM традиционных режимов внутрикадрового предсказания следующим образом. Процессы получения МРМ-списка яркости и цветности для традиционных режимов внутрикадрового предсказания используют фиксированные таблицы , , которые обеспечивают сопоставление ALWIP-режима с заданной PU в одном из традиционных режимов внутрикадрового предсказания

Для получения MPM-списка яркости всякий раз, когда встречается соседний блок яркости, который использует ALWIP-режим , этот блок обрабатывается таким образом, как если бы он использовал традиционный режим внутрикадрового предсказания . Для получения MPM-списка цветности всякий раз, когда текущий блок яркости использует LWIP-режим, то же самое сопоставление используется для преобразования режима ALWIP в традиционный режим внутрикадрового предсказания.

2.9. Кодирование внутрикадрового режима цветности

В случае кодирования внутрикадрового режима цветности, всего разрешено 8 внутрикадровых режимов для внутрикадрового режима цветности. Эти режимы включают в себя пять традиционных внутрикадровых режимов и три режима, основанные на межкомпонентной линейной модели. В режиме Chroma DM используется соответствующий режим внутрикадрового предсказания яркости. Так как в I-слайсах разрешена отдельная структура разделения блоков для компонентов яркости и цветности, один блок цветности может соответствовать многочисленным блокам яркости. Таким образом, для режима Chroma DM напрямую наследуется режим внутрикадрового предсказания соответствующего блока яркости, покрывающего центральную позицию текущего блока цветности.

3. Примеры технических задач, решаемых раскрытыми вариантами осуществления

Хотя QR-BDPCM может обеспечить преимущества кодирования при кодировании содержания экрана, она все же может иметь некоторые недостатки.

1. Предсказание в режиме QR-BDPCM ограничивается только горизонтальным и вертикальным внутрикадровым предсказанием, что может ограничивать эффективность предсказания в режиме QR-BDPCM.

2. Режим внутрикадрового предсказания сигнализируется для кодированных блоков QR-BDPCM, что может увеличить издержки режима QR-BDPCM.

3. Соседняя информация не учитывается при сопоставлении сигнализируемого сообщения с режимами предсказания в режиме QR-BDPCM.

4. QR-BDPCM представляет остаток, поддерживая только горизонтальный DPCM и вертикальный DPCM, которые могут содержать характеристики кодирования в сложном остаточном блоке.

5. Диапазон остатка в QR-BDPCM может превышать максимальный диапазон других режимов, отличных от QR-BDPCM.

6. QR-BDPCM не учитывает форму блока.

7. Как обрабатывать цветность, когда блок яркости кодируется с помощью QR-BDPCM, неизвестно.

4. Примеры вариантов и способов

Перечень пунктов ниже следует рассматривать как примеры для объяснения общих понятий. Эти технические особенности не следует интерпретировать в узком смысле. Кроме того, эти технические особенности можно комбинировать любым образом.

1. Предсказание отсчета в QR-BDPCM-кодированных блоках может быть выработано с помощью способа матричного внутрикадрового предсказания (MIP).

а) В одном примере, когда и QR-BDPCM, и MIP включены для одного блока, ограничивается то, что в MIP поддерживается только часть разрешенных режимов.

1) В одном примере часть разрешенных режимов может включать в себя те режимы, ассоциированные со способом матричного внутрикадрового предсказания, которые могут быть сопоставлены с горизонтальным и/или вертикальным нормальным внутрикадровым режимом.

2) В одном примере часть разрешенных режимов может включать в себя только те режимы, ассоциированные со способом матричного внутрикадрового предсказания, которые могут быть сопоставлены с горизонтальным и/или вертикальным нормальным внутрикадровым режимом.

b) В одном примере, когда как QR-BDPCM, так и MIP включены для одного блока, поддерживаются все разрешенные режимы в MIP.

2. Предсказание отсчета в QR-BDPCM-кодированных блоках может быть выработано с помощью режимов внутрикадрового предсказания, которые отличаются от вертикальных/горизонтальных внутрикадровых предсказаний.

a) В одном примере отсчета в QR-BDPCM-кодированных блоках могут быть предсказаны с помощью режима K внутрикадрового предсказания.

1) В одном примере K может быть планарным режимом.

2) В одном примере K может быть режимом DC.

3) В одном примере K может быть горизонтальным режимом.

4) В одном примере K может быть вертикальным режимом.

5) В одном примере K может быть одним кандидатом в списке наиболее вероятных режимов.

6) В одном примере K может быть просигнализировано в битовом потоке.

b) Разрешенные режимы внутрикадрового предсказания для QR-BDPCM могут быть основаны на

1) сообщении, просигнализированном в SPS/VPS/PPS/заголовке изображения/заголовке слайса/заголовке группы мозаичных элементов/строке LCU/группе LCU;

2) размере блока текущего блока и/или его соседних блоков;

3) форме текущего блока и/или соседних с ним блоков;

4) режиме предсказания (внутрикадровый/межкадровый) соседних блоков текущего блока;

5) режиме внутрикадрового предсказания соседних блоков текущего блока;

6) указании режимов QR-BDPCM соседнего блока текущего блока;

7) текущем параметре квантования текущего блока и/или его соседних блоков;

8) указании цветового формата (например, 4:2:0, 4:4:4)

9) древовидной структуры отдельного/двойного кодирования; и

10) типе группы слайсов/мозаичных элементов и/или типе изображения.

3. Предсказание отсчета в QR-BDPCM-кодированных блоках может быть выработано несмежными отсчетами.

а) В одном примере для режима слияния IBC также может быть включен QR-BDPCM.

b) В одном примере для режима IBC AMVP также может быть включен QR-BDPCM.

c) Вектор блока, используемый в IBC и QR-BDPCM, может сигнализироваться, получаться или определяться заранее.

1) В одном примере режим IBC может быть указан вектором движения (вектором блока) и/или индексом слияния.

2) В одном примере режим IBC может указываться вектором движения по умолчанию.

(1) В одном примере вектор движения по умолчанию может быть (-w, 0), где w – положительное целое число.

(2) В одном примере вектор движения по умолчанию может быть (0, -h), где h – положительное целое число.

(3) В одном примере вектор движения по умолчанию может быть (-w, -h), где w и h – два положительных целых числа.

3) В одном примере указание вектора движения, используемого в кодированных блоках IBC и QP-BPDCM, может быть основано на:

(1) сообщении, указанном в SPS/VPS/PPS/заголовке изображения/заголовке слайса/заголовке группы мозаичных элементов/строке LCU/группе LCU;

(2) размере блока текущего блока и/или его соседних блоков;

(3) форме текущего блока и/или соседних с ним блоков;

(4) режимах предсказания (внутрикадровый/межкадровый) соседних блоков текущего блока;

(5) векторах движения соседних блоков текущего блока;

(6) указании режимов QR-BDPCM соседнего блока текущего блока;

(7) текущем параметре квантования текущего блока и/или его соседних блоков;

(8) указании цветового формата (например, 4:2:0, 4:4:4);

(9) древовидной структуре отдельного/двойного кодирования; и

(10) типе группы слайсов/мозаичных элементов и/или типе изображения.

d) В одном примере предсказание отсчета в режиме QR-BDPCM может быть выработано средствами межкадрового предсказания (например, аффинный режим, режим слияния и межкадровый режим).

4. Указание направления предсказания квантованного остатка в QR-BDPCM может быть получено "на лету".

а) В одном примере указание направления предсказания квантованного остатка в QR-BDPCM может быть получено на основе указания текущего режима внутрикадрового предсказания.

1) В одном примере направление квантованного остатка предсказания в QR-BDPCM может быть получено как вертикальное, когда режим внутрикадрового предсказания является вертикальным.

2) В одном примере направление квантованного остатка предсказания в QR-BDPCM может быть получено как горизонтальное, когда режим внутрикадрового предсказания является горизонтальным.

3) В одном примере направление квантованного остатка предсказания в QR-BDPCM может быть получено как вертикальное, когда режим внутрикадрового предсказания является горизонтальным.

4) В одном примере направление квантованного остатка предсказания в QR-BDPCM может быть получено как горизонтальное, когда режим внутрикадрового предсказания вертикальный.

b) В одном примере указание направления предсказания квантованного остатка в QR-BDPCM может быть основано на:

1) сообщении, указанном в SPS/VPS/PPS/заголовке изображения/заголовке слайса/заголовке группы мозаичных элементов/строке LCU/группе LCU;

2) размере блока текущего блока и/или его соседних блоков;

3) форме текущего блока и/или соседних с ним блоков;

4) наиболее вероятных режимах текущего блока и/или соседних с ним блоков;

5) режимах предсказания (внутрикадровый/межкадровый) соседних блоков текущего блока;

6) режиме внутрикадрового предсказания соседних блоков текущего блока;

7) векторах движения соседних блоков текущего блока;

8) указании режимов QR-BDPCM соседнего блока текущего блока;

9) текущем параметре квантования текущего блока и/или его соседних блоков;

10) указании цветового формата (например, 4:2:0, 4:4:4);

11) древовидной структуре отдельного/двойного кодирования;

12) типе преобразования, применяемом к текущему блоку; и

13) типе группы слайсов/мозаичных элементов и/или типе изображения.

5. Сопоставление из просигнализированного индекса в QR-BDPCM с режимом внутрикадрового предсказания в режиме QR-BDPCM может быть основано на

а) сообщении, указанном в SPS/VPS/PPS/заголовке изображения/заголовке слайса/заголовке группы мозаичных элементов/строке LCU/группе LCU;

b) размере блока текущего блока и/или его соседних блоков;

c) форме текущего блока и/или соседних с ним блоков;

d) наиболее вероятных режимах текущего блока и/или соседних с ним блоков;

e) режимах предсказания (внутрикадровый/межкадровый) соседних блоков текущего блока;

f) режиме внутрикадрового предсказания соседних блоков текущего блока;

g) векторах движения соседних блоков текущего блока;

h) указании режимов QR-BDPCM соседнего блока текущего блока:

1) текущем параметре квантования текущего блока и/или его соседних блоков:

j) указании цветового формата (например, 4:2:0, 4:4:4);

k) древовидной структуре отдельного/двойного кодирования;

l) типе преобразования, примененный к текущему блоку; и

m) типе группы слайсов/мозаичных элементов и/или типе изображения

6. В QR-BDPCM квантованный остаток предсказывается в горизонтальном и вертикальном направлениях. Предлагается предсказывать квантованный остаток по направлениям, отличным от вертикального и горизонтального направлений. Предположим, что означает, что квантованный остаток обозначает квантованный остаток после процесса предсказания остатка.

а) В одном примере может поддерживаться 45-градусный QR-BDPCM.

1) В одном примере DPCM может выполняться в направлении под углом 45 градусов, где может быть получено, если доступно.

b) В одном примере может поддерживаться 135-градусный QR-BDPCM.

1) В одном примере DPCM может выполняться в направлении 135 градусов, где может быть получено, если доступно

c) В одном примере в QR-BDPCM могут поддерживаться любые направления.

1) В одном примере, может быть получен, если доступен .

(1) В одном примере m и/или n могут сигнализироваться в битовом потоке.

(2) В одном примере m и/или n могут быть целыми числами и могут быть основаны на:

(3) сообщении, указанном в SPS/VPS/PPS/заголовке изображения/заголовке слайса/заголовке группы мозаичных элементов/строке LCU/группе LCU.

(4) i и/или j;

(5) размере блока текущего блока и/или его соседних блоков;

(6) форме текущего блока и/или соседних с ним блоков;

(7) наиболее вероятных режимах текущего блока и/или соседних с ним блоков;

(8) режимах предсказания (вутрикадровый/межкадровый) соседних блоков текущего блока;

(9) режиме внутрикадрового предсказания соседних блоков текущего блока;

(10) векторах движения соседних блоков текущего блока;

(11) указании режимов QR-BDPCM соседнего блока текущего блока;

(12) текущем параметре квантования текущего блока и/или его соседних блоков;

(13) указании цветового формата (например, 4:2:0, 4:4:4);

(14) древовидной структуре отдельного/двойного кодирования; и

(15) типе группы слайсов/мозаичных элементов и/или типе изображения;

7. QR-BDPCM может применяться к блокам цветности (например, компонентам цвета Cb/Cr или B/R).

а) В одном примере разрешенные направления внутрикадрового предсказания для QR-BDPCM-кодированных блоков яркости и цветности, могут быть одинаковыми, например, только по горизонтальное и вертикальное направления.

b) В одном примере разрешенные способы предсказания для QR-BDPCM-кодированных блоков яркости и цветности, могут быть одинаковыми, например, режимы IBC/межкадрового предсказания/горизонтального и вертикального внутрикадрового предсказания.

c) В одном примере разрешенное направление предсказания остатка для QR-BDPCM-кодированных блоков яркости и цветности может быть одинаковым.

d) В одном примере направление предсказания остатка для QR-BDPCM цветности может быть получено из направления предсказания остатка для соответствующего блока яркости.

1) В одном примере соответствующий блок яркости может быть совмещенным блоком яркости.

2) В одном примере соответствующий блок яркости может быть блоком яркости, содержащим совмещенный отсчет в левом верхнем углу блока цветности.

3) В одном примере соответствующий блок яркости может быть блоком яркости, содержащим совмещенный отсчет расположенного по центру отсчета блока цветности.

e) В одном примере CCLM и QR-BDPCM нельзя было применить к одному и тому же блоку цветности.

1) В качестве альтернативы, CCLM можно также применять к QR-BDPCM-кодированным блокам.

f) В одном примере способ совместного кодирования остатка цветности (например, совместного кодирования cb и cr) и QR-BDPCM не могут быть применены к одному и тому же блоку цветности.

8. Восстановленный квантованный остаток в QR-BDPCM может быть ограничен определенным диапазоном.

а) В одном примере может быть добавлено ограничение, согласно которому все разности квантованных остатков (например, в уравнениях 2-7-1 и 2-7-2) могут находиться в пределах определенного диапазона.

b) В одном примере может быть добавлено ограничение, согласно которому весь восстановленный квантованный остаток (например, в уравнениях 2-7-3 и 2-7-4) может находиться в пределах определенного диапазона.

c) В одном примере операция ограничения может применяться к разностям квантованных остатков (например, в уравнениях 2-7-1 и 2-7-2), так что восстановленный квантованный остаток может находиться в пределах определенного диапазона.

d) В одном примере операция ограничения может применяться к восстановленным разностям квантованных остатков (например, в уравнениях 2-7-3 и 2-7-4), так что восстановленный квантованный остаток может находиться в пределах определенного диапазона.

e) В одном примере операция ограничения может быть определена как (x < min? min: (x > max? max: x))).

f) В одном примере операция ограничения может быть определена как ((x <= min? min: (x >= max? max: x)).

g) В одном примере операция ограничения может быть определена как (x < min? min: (x >= max? max: x)).

h) В одном примере операция ограничения может быть определена как (x <= min? min: (x > max? max: x)).

1) В одном примере min и/или max могут быть отрицательными или положительными.

j) В одном примере min установлено на -32768, и max установлено на 32767.

1) В качестве альтернативы, min и/или max могут зависеть от диапазона обратного квантования для блоков, кодированных не с помощью QR-BDPCM.

2) В качестве альтернативы, min и/или max могут зависеть от битовой глубины входного отсчета/восстановленного отсчета.

3) В качестве альтернативы, min и/или max могут зависеть от того, используется ли кодирование без потерь.

(1) В одном примере min и/или max могут зависеть от transquant_bypass_enabled_flag.

(2) В одном примере min и/или max могут зависеть от cu_transquant_bypass_flag.

k) В одном примере min и/или max могут быть основаны на:

1) сообщении, указанном в SPS/VPS/PPS/заголовке изображения/заголовке слайса/заголовке группы мозаичных элементов/строке LCU/группе LCU;

2) размере блока текущего блока и/или его соседних блоков;

3) форме текущего блока и/или соседних с ним блоков;

4) наиболее вероятных режимах текущего блока и/или соседних с ним блоков;

5) режимах предсказания (внутрикадровый/межкадровый) соседних блоков текущего блока;

6) режиме внутрикадрового предсказания соседних блоков текущего блока;

7) векторах движения соседних блоков текущего блока;

8) указании режимов QR-BDPCM соседнего блока текущего блока;

9) текущем параметре квантования текущего блока и/или его соседних блоков;

10) указании цветового формата (например, 4:2:0, 4:4:4);

11) древовидной структуре отдельного/двойного кодирования;

12) типе преобразования, применяемом к текущему блоку;

13) типе группы слайсов/мозаичных элементов и/или типе изображения;

9. Для блока QR-DPCM может применяться от последней строки/столбца к первой строке/столбцу.

а) В одном примере, когда направление предсказания остатка является горизонтальным, остаток (i+1)-го столбца может использоваться для предсказания остатка i-го столбца.

b) В одном примере, когда направление предсказания остатка является вертикальным, остаток (i+1)-ой строки может использоваться для предсказания остатка i-ой строки.

10. QR-DPCM может применяться к поднабору блока.

а) В одном примере, когда направление предсказания остатка является горизонтальным, QR-DPCM не применяется к крайним левым столбцам остатков.

b) В одном примере, когда направление предсказания остатка является вертикальным, QR-DPCM не применяется к крайним верхним k строкам остатков.

c) В одном примере, когда направление предсказания остатка является горизонтальным, QR-DPCM не применяется к крайним правым столбцам остатков k.

d) В одном примере, когда направление предсказания остатка является вертикальным, QR-DPCM не применяется к крайним нижним k строкам остатков.

e) Описанное выше значение k может быть заданным значением, основанным на:

1) сообщении, указанном в SPS/VPS/PPS/заголовке изображения/заголовке слайса/заголовке группы мозаичных элементов/строке LCU/группе LCU;

2) размере блока текущего блока и/или его соседних блоков;

3) форме текущего блока и/или соседних с ним блоков;

4) наиболее вероятных режимах текущего блока и/или соседних с ним блоков;

5) режимах предсказания (внутрикадровый/межкадровый) соседних блоков текущего блока;

6) режиме внутрикадрового предсказания текущего блока;

7) режиме внутрикадрового предсказания соседних блоков текущего блока;

8) векторах движения соседних блоков текущего блока;

9) указании режимов QR-BDPCM соседнего блока текущего блока;

10) текущем параметре квантования текущего блока и/или его соседних блоков;

11) указании цветового формата (например, 4:2:0, 4:4:4);

12) древовидной структуре отдельного/двойного кодирования;

13) типе преобразования, применяемом к текущему блоку;

14) типе группы слайсов/мозаичных элементов и/или типе изображения;

11. QR-DPCM может применяться посегментно для блока

а) В одном примере, когда направление предсказания остатка вертикальное, и N=nK, предсказание остатка может выполняться как

.

b) В одном примере, когда направление предсказания остатка горизонтальное, и M=mK, предсказание остатка может выполняться как

.

12. Включение/отключение QR-DPCM для одного цветового компонента может происходить из того, что она ассоциирована с другим цветовым компонентом.

а) В одном примере для блока цветности включение QR-DPCM может зависеть от использования QR-DPCM, ассоциированной с одним или несколькими репрезентативными блоками в пределах совмещенного блока яркости.

1) В одном примере репрезентативный блок может быть определен таким же образом, как и блок, который используется для получения DM.

2) В одном примере, если репрезентативный блок в совмещенном блоке яркости является QR-DPCM-кодированным, и текущий блок цветности закодирован в режиме DM, QR-DPCM также может быть включен для текущего блока цветности.

b) В качестве альтернативы, для указания использования QR-DPCM может сигнализироваться для компонентов цветности.

1) В одном примере для указания использования двух компонентов цветности может сигнализироваться один флаг.

2) В качестве альтернативы, для указания использования двух компонентов цветности могут сигнализироваться два флага, соответственно.

3) В одном примере, когда блок цветности закодирован с использованием определенных режимов (таких как CCLM), сигнализация указания использования QR-DPCM пропускается.

13. Вышеупомянутые способы также могут быть применимы к другим вариантам DPCM/QR-DPCM.

5. Ссылки на литературу

[1] ITU-T and ISO/IEC, “High efficiency video coding”, Rec. ITU-T H.265 | ISO/IEC 23008-2 (02/2018).

[2] B. Bross, J. Chen, S. Liu, Versatile Video Coding (Draft 4), JVET-M1001, Jan.2019

На фиг. 10 показана блок-схема устройства 1000 обработки видео. Устройство 1000 может использоваться для реализации одного или нескольких способов, описанных в данном документе. Устройство 1000 может быть воплощено в смартфоне, планшетном компьютере, компьютере, приемнике Интернета вещей (IoT) и т.д. Устройство 1000 может включать в себя один или несколько процессоров 1002, одно или несколько запоминающих устройств 1004 и аппаратные средства 1006 обработки видео. Один или несколько процессоров 1002 могут быть выполнены с возможностью реализации одного или нескольких способов, описанных в данном документе. Одно или несколько запоминающих устройств 1004 могут использоваться для хранения данных и кода, используемых для реализации способов и технологий, описанных в данном документе. Аппаратные средства 1006 обработки видео может использоваться для реализации, в аппаратных схемах, некоторых технологий, описанных в данном документе.

На фиг. 11 показана блок-схема последовательности операций примерного способа 1100 обработки видео. Способ 1100 включает в себя выполнение (1102) преобразования между текущим видеоблоком и представлением битового потока текущего видеоблока с использованием режима дифференциального кодирования и выборочного использования режима внутрикадрового предсказания на основе правила сосуществования. Режим внутрикадрового предсказания используется для выработки предсказаний для отсчетов текущего видеоблока. Режим дифференциального кодирования используется для представления блока квантованных остатков из предсказаний пикселей с использованием представления дифференциальной импульсно-кодовой модуляции.

На фиг. 14 показана блок-схема, иллюстрирующая пример системы 1400 обработки видео, в которой могут быть реализованы различные технологии, раскрытые в данном документе. Различные реализации могут включать в себя некоторые или все компоненты системы 1400. Система 1400 может включать в себя вход 1402 для приема видеосодержания. Видеосодержание может приниматься в необработанном или несжатом формате, например, с 8- или 10-разрядными многокомпонентными пиксельными значениями, или может быть представлено в сжатом или кодированном формате. Вход 1402 может представлять сетевой интерфейс, интерфейс периферийной шины или интерфейс запоминающего устройства. Примеры сетевого интерфейса включают в себя проводные интерфейсы, такие как Ethernet, пассивная оптическая сеть (PON) и т.д., и беспроводные интерфейсы, такие как Wi-Fi или сотовые интерфейсы.

Система 1400 может включать в себя компонент 1404 кодирования, который может реализовывать различные способы кодирования или шифрования, описанные в настоящем документе. Компонент 1404 кодирования позволяет уменьшить среднюю скорость передачи битов видео от входа 1402 до выхода компонента 1404 кодирования, чтобы создать кодированное представление видео. Поэтому технологии кодирования иногда называют технологиями сжатия видео или транскодирования видео. Выходной сигнал компонента 1404 кодирования может быть либо сохранен, либо передан через подключенную связь, как представлено компонентом 1406. Сохраненное или переданное битовое (или кодированное) представление видео, полученного на входе 1402, может использоваться компонентом 1408 для выработки пиксельных значений или отображаемого видео, которое отправляется в интерфейс 1410 дисплея. Процесс выработки доступного для просмотра пользователем видео из представления битового потока иногда называется распаковкой видео. Кроме того, хотя определенные операции обработки видео упоминаются как операции или средства "кодирования", следует понимать, что средства или операции кодирования используются в кодере, и соответствующие средства или операции декодирования, которые обращают результаты кодирования, будут выполняться посредством декодера.

Примеры интерфейса периферийной шины или интерфейса дисплея могут включать в себя универсальную последовательную шину (USB), мультимедийный интерфейс высокой четкости (HDMI) или порт дисплея (Displayport) и т.д. Примеры интерфейсов запоминающих устройств включают в себя SATA (последовательное подключение с использованием передовых технологий), PCI, интерфейс IDE и т.п. Технологии, описанные в настоящем документе, могут быть воплощены в различных электронных устройствах, таких как мобильные телефоны, ноутбуки, смартфоны или другие устройства, которые способны выполнять обработку цифровых данных и/или отображение видео.

Некоторые варианты осуществления раскрытой технологии включают в себя принятие решения или определение включения средства или режима обработки видео. В одном примере, когда средство или режим обработки видео включены, кодер будет использовать или реализовывать средство или режим при обработке видеоблока, но не обязательно может изменять результирующий битовый поток на основе использования средства или режима. То есть преобразование из видеоблока в представление битового потока видео будет использовать средство или режим обработки видео, когда он включен, на основе решения или определения. В другом примере, когда средство или режим обработки видео включены, декодер будет обрабатывать битовый поток, зная, что битовый поток был изменен, на основе средства или режима обработки видео. То есть преобразование из представления битового потока видео в видеоблок будет выполняться с использованием средства обработки видео или режима, который был включен на основе решения или определения.

Некоторые варианты осуществления раскрытой технологии включают в себя принятие решения или определение относительно того, отключить средство или режим обработки видео. В одном примере, когда средство или режим обработки видео отключены, кодер не будет использовать средство или режим при преобразовании видеоблока в представление битового потока видео. В другом примере, когда средство или режим обработки видео отключены, декодер будет обрабатывать битовый поток, зная, что битовый поток не был изменен, с использованием средства или режима обработки видео, которые были отключены на основе решения или определения.

На фиг. 15 показана блок-схема, которая иллюстрирует примерную систему 100 кодирования видео, которая может использовать способы настоящего раскрытия. Как показано на фиг. 15, система 100 кодирования видео может включать в себя устройство-источник 110 и устройство-получатель 120. Устройство-источник 110, которое может называться устройством кодирования видео, вырабатывает кодированные видеоданные. Устройство-получатель 120, которое может называться устройством декодирования видео, может декодировать кодированные видеоданные, выработанные устройством-источником 110. Устройство-источник 110 может включать в себя источник 112 видео, видеокодер 114 и интерфейс 116 ввода/вывода (I/O).

Источник 112 видео может включать в себя источник, такой как устройство захвата видео, интерфейс для приема видеоданных от поставщика содержания видео и/или систему компьютерной графики для выработки видеоданных или сочетание таких источников. Видеоданные могут содержать одно или несколько изображений. Видеокодер 114 кодирует видеоданные из источника 112 видео для выработки битового потока. Битовый поток может включать в себя последовательность битов, которые образуют кодированное представление видеоданных. Битовый поток может включать в себя кодированные изображения и ассоциированные данные. Кодированное изображение представляет собой кодированное представление изображения. Ассоциированные данные могут включать в себя наборы параметров последовательности, наборы параметров изображения и другие синтаксические структуры. Интерфейс 116 ввода/вывода может включать в себя модулятор/демодулятор (модем) и/или передатчик. Кодированные видеоданные могут быть переданы непосредственно в устройство-получатель 120 через интерфейс 116 ввода/вывода через сеть 130a. Кодированные видеоданные также могут быть сохранены на носителе информации/сервере 130b для доступа со стороны устройства-получателя 120.

Устройство-получатель 120 может включать в себя интерфейс 126 ввода/вывода, видеодекодер 124 и устройство 122 отображения.

Интерфейс 126 ввода/вывода может включать в себя приемник и/или модем. Интерфейс 126 ввода/вывода может получать кодированные видеоданные из устройства-источника 110 или носителя информации/сервера 130b. Видеодекодер 124 может декодировать кодированные видеоданные. Устройство 122 отображения может отображать декодированные видеоданные для пользователя. Устройство 122 отображения может быть интегрировано с целевым устройством 120 или может быть внешним по отношению к целевому устройству 120, которое конфигурируется для взаимодействия с внешним устройством отображения.

Видеокодер 114 и видеодекодер 124 могут работать в соответствии со стандартом сжатия видео, например, стандартом высокоэффективного кодирования видео (HEVC), стандартом универсального кодирования видео (VVM) и другими существующими и/или дополнительными стандартами.

На фиг. 16 показана блок-схема, иллюстрирующая пример видеокодера 200, который может быть видеокодером 114 в системе 100, проиллюстрированной на фиг. 15.

Видеокодер 200 может быть выполнен с возможностью выполнения любого или всех способов настоящего раскрытия. В примере, показанном на фиг. 16, видеокодер 200 включает в себя множество функциональных компонентов. Способы, описанные в настоящем раскрытии, могут совместно использоваться различными компонентами видеокодера 200. В некоторых примерах процессор может быть выполнен с возможностью выполнения любого или всех способов, описанных в настоящем раскрытии.

Функциональные компоненты видеокодера 200 могут включать в себя блок 201 разделения, блок 202 предсказания, который может включать в себя блок 203 выбора режима, блок 204 оценки движения, блок 205 компенсации движения и блок 206 внутрикадрового предсказания, блок 207 выработки остатка, блок 208 преобразования, блок 209 квантования, блок 210 обратного квантования, блок 211 обратного преобразования, блок 212 восстановления, буфер 213 и блок 214 энтропийного кодирования.

В других примерах видеокодер 200 может включать в себя больше или меньше функциональных компонентов или различные функциональные компоненты. В примере блок 202 предсказания может включать в себя блок внутрикадрового блочного копирования (IBC). Блок IBC может выполнять предсказание в режиме IBC, в котором по меньшей мере одно опорное изображение является изображением, на котором расположен текущий видеоблок.

Кроме того, некоторые компоненты, такие как блок 204 оценки движения и блок 205 компенсации движения, могут быть выполнены с высокой степенью интеграции, но в примере, показанном на фиг. 16, они представлены отдельно для упрощения объяснения.

Блок 201 разделения может разбивать изображение на один или несколько видеоблоков. Видеокодер 200 и видеодекодер 300 могут поддерживать различные размеры видеоблоков.

Блок 203 выбора режима может выбрать один из режимов кодирования, внутрикадровый или межкадровый, например, на основе результатов ошибок, и предоставить результирующий внутрикадровый или межкадровый кодированный блок в блок 207 выработки остатка для выработки данных блока остатка и в блок 212 восстановления для восстановления кодированного блока с целью использования в качестве опорного изображения. В некотором примере блок 203 выбора режима может выбрать комбинацию режима внутрикадрового и межкадрового предсказания (CIIP), в котором предсказание основано на сигнале межкадрового предсказания и сигнале внутрикадрового предсказания. Блок 203 выбора режима также может выбирать разрешение для вектора движения (например, с точностью подпикселей или целочисленных пикселей) для блока в случае межкадрового предсказания.

Чтобы выполнить межкадровое предсказание для текущего видеоблока, блок 204 оценки движения может выработать информацию движения для текущего видеоблока путем сравнения одного или нескольких опорных кадров из буфера 213 с текущим видеоблоком. Блок 205 компенсации движения может определять предсказанный видеоблок для текущего видеоблока на основе информации движения и декодированных отсчетов изображений из буфера 213, которые отличаются от изображения, ассоциированного с текущим видеоблоком.

Блок 204 оценки движения и блок 205 компенсации движения могут выполнять разные операции для текущего видеоблока, например, в зависимости от того, находится ли текущий видеоблок в I-слайсе, P-слайсе или B-слайсе.

В некоторых примерах блок 204 оценки движения может выполнять однонаправленное предсказание для текущего видеоблока, и блок 204 оценки движения может отыскивать опорные изображения из списка 0 или списка 1 для опорного видеоблока для текущего видеоблока. Затем блок 204 оценки движения может выработать опорный индекс, который указывает опорное изображение в списке 0 или списке 1, который содержит опорный видеоблок, и вектор движения, который указывает пространственное смещение между текущим видеоблоком и опорным видеоблоком. Блок 204 оценки движения может выводить опорный индекс, индикатор направления предсказания и вектор движения в качестве информации движения текущего видеоблока. Блок 205 компенсации движения может выработать предсказанный видеоблок текущего блока на основе опорного видеоблока, указанного в информации движения текущего видеоблока.

В других примерах блок 204 оценки движения может выполнять двунаправленное предсказание для текущего видеоблока, блок 204 оценки движения может отыскивать опорные изображения в списке 0 для опорного видеоблока для текущего видеоблока и может отыскивать опорные изображения в списке 1 для другого опорного видеоблока для текущего видеоблока. Затем блок 204 оценки движения может выработать опорные индексы, которые указывают опорные изображения в списке 0 и списке 1, содержащем опорные видеоблоки и векторы движения, которые указывают пространственные смещения между опорными видеоблоками и текущим видеоблоком. Блок 204 оценки движения может выводить опорные индексы и векторы движения текущего видеоблока в качестве информации движения текущего видеоблока. Блок 205 компенсации движения может выработать предсказанный видеоблок текущего видеоблока на основе опорных видеоблоков, указанных в информации движения текущего видеоблока.

В некоторых примерах блок 204 оценки движения может выводить полный набор информации движения для процесса декодирования декодера.

В некоторых примерах блок 204 оценки движения может не выводить полный набор информации движения для текущего видео. Скорее, блок 204 оценки движения может сигнализировать информацию движения текущего видеоблока со ссылкой на информацию движения другого видеоблока. Например, блок 204 оценки движения может определить, что информация движения текущего видеоблока достаточно похожа на информацию движения соседнего видеоблока.

В одном примере блок 204 оценки движения может указывать в структуре синтаксиса, ассоциированной с текущим видеоблоком, значение, которое указывает видеодекодеру 300, что текущий видеоблок имеет ту же информацию движения, что и другой видеоблок.

В другом примере блок 204 оценки движения может идентифицировать в структуре синтаксиса, ассоциированной с текущим видеоблоком, другой видеоблок и разность векторов движения (MVD). Разность векторов движения указывает разность между вектором движения текущего видеоблока и вектором движения указанного видеоблока. Видеодекодер 300 может использовать вектор движения указанного видеоблока и разность векторов движения для определения вектора движения текущего видеоблока.

Как обсуждалось выше, видеокодер 200 может с предсказанием сигнализировать о векторе движения. Два примера способов сигнализации предсказания, которые могут быть реализованы видеокодером 200, включают в себя расширенное предсказание вектора движения (AMVP) и сигнализацию в режиме слияния.

Блок 206 внутрикадрового предсказания может выполнять внутрикадровое предсказание для текущего видеоблока. Когда внутрикадровый блок предсказания 206 выполняет внутрикадровое предсказание в текущем блоке видеосигнала, блок 206 внутрикадрового предсказания может выработать данные предсказания для текущего видеоблока на основе декодированных отсчетов других видеоблоков в одном том же кадре. Данные предсказания для текущего видеоблока могут включать в себя предсказанный видеоблок и различные синтаксические элементы.

Блок 207 выработки остатка может выработать данные остатка для текущего видеоблока путем вычитания (например, обозначенного знаком минус) предсказанного видеоблока(ов) текущего видеоблока из текущего видеоблока. Данные остатка текущего видеоблока могут включать в себя видеоблоки остатка, которые соответствуют различным компонентам отсчетов в текущем видеоблоке.

В других примерах могут отсутствовать данные остатка для текущего видеоблока для текущего видеоблока, например, в режиме пропуска, и блок 207 выработки остатка может не выполнять операцию вычитания.

Блок 208 обработки преобразования может выработать один или несколько видеоблоков коэффициентов преобразования для текущего видеоблока путем применения одного или нескольких преобразований к видеоблоку остатка, ассоциированному с текущим видеоблоком.

После того, как блок 208 обработки преобразования выработает видеоблок коэффициента преобразования, ассоциированный с текущим видеоблоком, блок 209 квантования может квантовать видеоблок коэффициента преобразования, ассоциированный с текущим видеоблоком, на основе одного или нескольких значений параметра квантования (QP), ассоциированных с текущим видеоблоком.

Блок 210 обратного квантования и блок 211 обратного преобразования могут применять обратное квантование и обратное преобразование к видеоблоку коэффициентов преобразования, соответственно, для восстановления видеоблока остатка из видеоблока коэффициентов преобразования. Блок 212 восстановления может добавить восстановленный видеоблок остатка к соответствующим отсчетам из одного или нескольких предсказанных видеоблоков, выработанных блоком 202 предсказания, чтобы получить восстановленный видеоблок, ассоциированный с текущим блоком, для хранения в буфере 213.

После того, как блок 212 восстановления восстановит видеоблок, может выполняться операция контурной фильтрации для уменьшения артефактов видеоблока в видеоблоке.

Блок 214 энтропийного кодирования может принимать данные из других функциональных компонентов видеокодера 200. Когда блок 214 энтропийного кодирования принимает данные, блок 214 энтропийного кодирования может выполнять одну или несколько операций энтропийного кодирования для выработки энтропийно-кодированных данных и вывода битового потока, который включает в себя энтропийно-кодированные данные.

На фиг. 17 показана блок-схема, иллюстрирующая пример видеодекодера 300, который может быть видеодекодером 114 в системе 100, проиллюстрированной на фиг. 16.

Видеодекодер 300 может быть выполнен с возможностью выполнения любого или всех способов настоящего раскрытия. В примере, показанном на фиг. 17, видеодекодер 300 включает в себя множество функциональных компонентов. Способы, описанные в настоящем раскрытии, могут совместно использоваться различными компонентами видеодекодера 300. В некоторых примерах процессор может быть выполнен с возможностью выполнения любых или всех способов, описанных в настоящем раскрытии.

В примере, показанном на фиг. 17, видеодекодер 300 включает в себя блок 301 энтропийного декодирования, блок 302 компенсации движения, блок 303 внутрикадрового предсказания, блок 304 обратного квантования, блок 305 обратного преобразования, блок 306 восстановления и буфер 307. В некоторых примерах видеодекодер 300 может выполнять этап декодирования, в целом обратный этапу кодирования, описанному в отношении видеокодера 200 (фиг. 16).

Блок 301 энтропийного декодирования может извлекать закодированный битовый поток. Кодированный битовый поток может включать в себя энтропийно-кодированные видеоданные (например, кодированные блоки видеоданных). Блок 301 энтропийного декодирования может декодировать энтропийно-кодированные видеоданные, и из энтропийно-декодированных видеоданных блок 302 компенсации движения может определять информацию движения, включая векторы движения, точность вектора движения, индексы списка опорных изображений и другую информацию движения. Блок 302 компенсации движения может, например, определять такую информацию, выполняя AMVP и режим слияния.

Блок 302 компенсации движения может создавать блоки с компенсацией движения, возможно, выполняя интерполяцию на основе фильтров интерполяции. Идентификаторы для фильтров интерполяции, которые должны использоваться с точностью до подпикселя, могут быть включены в синтаксические элементы.

Блок 302 компенсации движения может использовать фильтры интерполяции, которые используются видеокодером 20 во время кодирования видеоблока, для вычисления интерполированных значений для субцелочисленных пикселей опорного блока. Блок 302 компенсации движения может определять фильтры интерполяции, используемые видеокодером 200, в соответствии с принятой синтаксической информацией и использовать фильтры интерполяции для создания блоков предсказания.

Блок 302 компенсации движения может использовать некоторую информацию синтаксиса для определения размеров блоков, используемых для кодирования кадра(ов) и/или слайса(ов) кодированной видеопоследовательности, информации о разделах, которая описывает то, как каждый макроблок изображения закодированной видеопоследовательности разбивается на разделы, режимов, указывающих то, как кодируется каждый раздел, одного или более опорных кадров (и списков опорных кадров) для каждого межкадрового кодированного блока и другой информации для декодирования кодированной видеопоследовательности.

Внутрикадровый блок 303 предсказания может использовать режимы внутрикадрового предсказания, например, принятые в битовом потоке, для формирования блока предсказания из пространственно смежных блоков. Блок 303 обратного квантования выполняет обратное квантование, то есть выполняет операцию, обратную квантованию, квантованных коэффициентов видеоблока, предоставленных в битовом потоке и декодированных блоком 301 энтропийного декодирования. Блок 303 обратного преобразования применяет обратное преобразование.

Блок 306 восстановления может суммировать блоки остатка с соответствующими блоками предсказания, выработанными блоком 202 компенсации движения или блоком 303 внутрикадрового предсказания, чтобы сформировать декодированные блоки. При необходимости фильтр удаления блочности также может применяться для фильтрации декодированных блоков с целью удаления артефактов блочности. Затем декодированные видеоблоки сохраняются в буфере 307, который предоставляет опорные блоки для последующей компенсации движения/внутрикадрового предсказания, а также создает декодированное видео для представления на экране устройства отображения.

В некоторых вариантах осуществления в режиме ALWIP или в режиме MIP блок предсказания для текущего видеоблока определяется путем усреднения по строкам и столбцам с последующим матричным умножением, за которым следует интерполяция для определения блока предсказания.

На фиг. 18 показана блок-схема последовательности операций примерного способа 1800 обработки видео. Способ 1800 включает в себя определение 1802, на основе правила применимости, того, что режим дифференциального кодирования применим к преобразованию между видеоблоком цветности видео и представлением битового потока видеоблока цветности. Операция 1804 включает в себя выполнение, на основе определения, преобразования между видеоблоком цветности и представлением битового потока видеоблока цветности с использованием режима дифференциального кодирования, где, в режиме дифференциального кодирования, видеоблок цветности представлен в представлении битового потока с использованием разности между квантованным остатком внутрикадрового предсказания видеоблока цветности и предсказанием квантованного остатка, где внутрикадровое предсказание выполняется в первом направлении, и предсказание квантованного остатка выполняется во втором направлении, и где, в режиме дифференциального кодирования, разность между квантованным остатком и предсказанием квантованного остатка представлена с использованием представления дифференциальной импульсно-кодовой модуляции (DPCM).

В некоторых вариантах осуществления способа 1800 первое направление или второе направление определяется из вертикального направления и горизонтального направления. В некоторых вариантах осуществления способа 1800 внутрикадровое предсказание выполняется в первом направлении, которое является таким же, как и во внутрикадровом предсказании, выполняемом для видеоблока яркости, соответствующего видеоблоку цветности. В некоторых вариантах осуществления способа 1800 разрешенным режимом внутрикадрового предсказания для видеоблока яркости является такой же режим, который используется для выполнения внутрикадрового предсказания для видеоблока цветности, соответствующего видеоблоку яркости. В некоторых вариантах осуществления способа 1800 второе направление, разрешенное для квантованного остатка видеоблока цветности, является таким же, как и направление, используемое для другого квантованного остатка видеоблока яркости, соответствующего видеоблоку цветности. В некоторых вариантах осуществления способа 1800 второе направление, используемое для предсказания квантованного остатка, основано на втором направлении, в котором дополнительные квантованные остатки предсказываются для видеоблока яркости, соответствующего видеоблоку цветности. В некоторых вариантах осуществления способа 1800 видеоблок яркости совмещен с видеоблоком цветности. В некоторых вариантах осуществления способа 1800 видеоблок яркости включает в себя первый отсчет, который совмещен со вторым отсчетом, расположенным в верхнем левом углу видеоблока цветности. В некоторых вариантах осуществления способа 1800 видеоблок яркости включает в себя первый отсчет, который совмещен со вторым отсчетом, расположенным в центре видеоблока цветности.

В некоторых вариантах осуществления способа 1800 правило применимости точно определяет то, что режим дифференциального кодирования не применяется к видеоблоку цветности, когда видеоблок цветности закодирован в режиме кодирования на основе межкомпонентной линейной модели (CCLM). В некоторых вариантах осуществления способа 1800 правило применимости точно определяет то, что режим дифференциального кодирования применяется к видеоблоку цветности, когда видеоблок цветности закодирован в режиме кодирования на основе межкомпонентной линейной модели (CCLM). В некоторых вариантах осуществления способа 1800 правило применимости точно определяет то, что режим дифференциального кодирования не применяется к видеоблоку цветности, когда видеоблок цветности закодирован с помощью способа совместного кодирования остатка цветности. В некоторых вариантах осуществления способа 1800 видеоблок цветности ассоциирован с компонентом синего цвета или компонентом красного цвета.

На фиг. 19 показана блок-схема последовательности операций примерного способа 1900 обработки видео. Способ 1900 включает в себя выполнение 1902 преобразования между текущим видеоблоком видео и представлением битового потока текущего видеоблока с использованием режима дифференциального кодирования и режима внутрикадрового предсказания на основе правила сосуществования, где, в режиме внутрикадрового предсказания, квантованный остаток внутрикадрового предсказания текущего видеоблока основан на предсказаниях отсчетов для текущего видеоблока, где, в режиме дифференциального кодирования, текущий видеоблок представлен в представлении битового потока с использованием разности между квантованным остатком и предсказанием квантованного остатка, и где разность между квантованным остатком и предсказанием квантованного остатка представлена с использованием представления дифференциальной импульсно-кодовой модуляции (DPCM).

В некоторых вариантах осуществления способа 1900 режим внутрикадрового предсказания представляет собой матричный режим внутрикадрового предсказания (MIP), в котором предсказания отсчетов для текущего видеоблока определяются путем выполнения, над ранее кодированными отсчетами видео, операции граничной понижающей дискретизации, за которой следует операция матрично-векторного умножения, и за которой выборочно следует операция повышающей дискретизации. В некоторых вариантах осуществления способа 1900 правило сосуществования ограничивает режим MIP частью множества разрешенных режимов для режима MIP. В некоторых вариантах осуществления способа 1900 часть множества разрешенных режимов включает в себя горизонтальный внутрикадровый режим и/или вертикальный внутрикадровый режим. В некоторых вариантах осуществления способа 1900 часть множества разрешенных режимов включает в себя только горизонтальный внутрикадровый режим и/или вертикальный внутрикадровый режим. В некоторых вариантах осуществления способа 1900 правило сосуществования указывает то, что режим MIP поддерживает все разрешенные режимы для режима MIP. В некоторых вариантах осуществления способа 1900, в режиме внутрикадрового предсказания, предсказания отсчетов для текущего видеоблока определяются путем выполнения предсказаний в негоризонтальном или невертикальном направлении. В некоторых вариантах осуществления способа 1900 режимом внутрикадрового предсказания является планарный режим или режим предсказания постоянного тока. В некоторых вариантах осуществления способа 1900 режимом внутрикадрового предсказания является режим вертикального предсказания или режимом горизонтального предсказания. В некоторых вариантах осуществления способа 1900 режим внутрикадрового предсказания выбирается из списка наиболее вероятных режимов (MPM). В некоторых вариантах осуществления способа 1900 режим внутрикадрового предсказания идентифицируется с помощью поля в представлении битового потока. В некоторых вариантах осуществления способа 1900 режим внутрикадрового предсказания выбирается из множества разрешенных режимов внутрикадрового предсказания.

В некоторых вариантах осуществления способа 1900 множество разрешенных режимов внутрикадрового предсказания указывается в сообщении, просигнализированном в: наборе параметров последовательности (SPS), наборе параметров видео (VPS), наборе параметров изображения (PPS), заголовке изображения, заголовке слайса, заголовке группы мозаичных элементов, строке с наибольшей единицей кодирования (LCU) или группе LCU. В некоторых вариантах осуществления способа 1900 множество разрешенных режимов внутрикадрового предсказания основано на размере блока либо текущего видеоблока, либо соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 1900 множество разрешенных режимов внутрикадрового предсказания основано на форме либо текущего видеоблока, либо соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 1900 множество разрешенных режимов внутрикадрового предсказания основано на режиме внутрикадрового предсказания соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 1900 множество разрешенных режимов внутрикадрового предсказания основано на режиме межкадрового предсказания соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 1900 множество разрешенных режимов внутрикадрового предсказания основано на указании того, закодирован ли соседний видеоблок текущего видеоблока с использованием режима дифференциального кодирования. В некоторых вариантах осуществления способа 1900 множество разрешенных режимов внутрикадрового предсказания основано на значении параметра квантования, используемого для текущего видеоблока или для соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 1900 множество разрешенных режимов внутрикадрового предсказания основано на цветовом формате, используемом для кодирования текущего видеоблока. В некоторых вариантах осуществления способа 1900 множество разрешенных режимов внутрикадрового предсказания основано на том, используется ли отдельная или двойная древовидная структура кодирования для кодирования текущего видеоблока. В некоторых вариантах осуществления способа 1900 множество разрешенных режимов внутрикадрового предсказания основано на слайсе, или типе группы мозаичных элементов или типе изображения, ассоциированном с текущим видеоблоком.

В некоторых вариантах осуществления способа 1900, в режиме внутрикадрового предсказания, предсказания отсчетов для текущего видеоблока определяются из несмежных отсчетов в соседнем видеоблоке текущего видеоблока. В некоторых вариантах осуществления способа 1900 режим внутрикадрового предсказания содержит режим слияния внутрикадрового блочного копирования, и где правило сосуществования указывает то, что режим дифференциального кодирования включен для режима слияния IBC. В некоторых вариантах осуществления способа 1900 режим внутрикадрового предсказания содержит улучшенный режим предсказания вектора движения внутрикадрового блочного копирования, и где правило сосуществования указывает то, что режим дифференциального кодирования включен для режима расширенного предсказания вектора движения внутрикадрового блочного копирования. В некоторых вариантах осуществления способа 1900 режим внутрикадрового предсказания содержит режим внутрикадрового блочного копирования, и вектор движения, используемый в режиме внутрикадрового блочного копирования и режиме дифференциального кодирования указывается с помощью поля в представлении битового потока, или получается или определяется заранее.

В некоторых вариантах осуществления способа 1900 режим копирования внутрикадрового блока указывается вектором движения и/или индексом слияния. В некоторых вариантах осуществления способа 1900 режим копирования внутрикадрового блока указывается вектором движения по умолчанию. В некоторых вариантах осуществления способа 1900 вектор движения по умолчанию равен (-w, 0), где w – положительное целое число. В некоторых вариантах осуществления способа 1900 вектор движения по умолчанию равен (0, -h), где h – положительное целое число. В некоторых вариантах осуществления способа 1900 вектор движения по умолчанию равен (-w, -h), где w и h – положительные целые числа. В некоторых вариантах осуществления способа 1900 поле, которое указывает вектор движения, включено в сообщение, сообщении, просигнализированное в: наборе параметров последовательности (SPS), наборе параметров видео (VPS), наборе параметров изображения (PPS), заголовке изображения, заголовке слайса, заголовке группы мозаичных элементов, строке с наибольшей единицей кодирования (LCU) или группе LCU. В некоторых вариантах осуществления способа 1900 вектор движения, указанный в поле, основан на размере блока либо текущего видеоблока, либо соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 1900 вектор движения, указанный в поле, основан на форме либо текущего видеоблока, либо соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 1900 вектор движения, указанный в поле, основан на режиме межкадрового предсказания или режиме внутрикадрового предсказания соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 1900 вектор движения, указанный в поле, основан на векторах движения соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 1900 вектор движения, указанный в поле, основан на указании того, закодирован ли соседний видеоблок текущего видеоблока с использованием режима дифференциального кодирования.

В некоторых вариантах осуществления способа 1900 вектор движения, указанный в поле, основан на значении параметра квантования текущего видеоблока или соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 1900 вектор движения, указанный в поле, основан на цветовом формате, используемом для кодирования текущего видеоблока. В некоторых вариантах осуществления способа 1900 вектор движения, указанный в поле, основан на том, используется ли отдельная или двойная древовидная структура кодирования для кодирования текущего видеоблока. В некоторых вариантах осуществления способа 1900 вектор движения, указанный в поле, основан на слайсе, или типе группы мозаичных элементов или типе изображения, ассоциированном с текущим видеоблоком. В некоторых вариантах осуществления способа 1900, в режиме внутрикадрового предсказания, предсказания отсчетов для текущего видеоблока определяются из несмежных отсчетов в соседнем видеоблоке текущего видеоблока с использованием средства межкадрового предсказания.

В некоторых вариантах осуществления способа 1900 правило сосуществования определяет сопоставление сигнализированного индекса, ассоциированного с режимом дифференциального кодирования, с режимом внутрикадрового предсказания. В некоторых вариантах осуществления способа 1900 сопоставление указывается в сообщении, просигнализированном в: наборе параметров последовательности (SPS), наборе параметров видео (VPS), наборе параметров изображения (PPS), заголовке изображения, заголовке слайса, заголовке группы мозаичных элементов, строке с наибольшей единицей кодирования (LCU) или группе LCU. В некоторых вариантах осуществления способа 1900 сопоставление основано на размере блока либо текущего видеоблока, либо соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 1900 сопоставление основано на форме либо текущего видеоблока, либо соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 1900 сопоставление основано на наиболее вероятных режимах (MPM) текущего видеоблока или соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 1900 сопоставление основано на режиме межкадрового предсказания или режиме внутрикадрового предсказания соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 1900 сопоставление основано на векторах движения соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 1900 сопоставление основано на указании того, закодирован ли соседний видеоблок текущего видеоблока с использованием режима дифференциального кодирования. В некоторых вариантах осуществления способа 1900 сопоставление основано на значении параметра квантования текущего видеоблока или соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 1900 сопоставление основано на цветовом формате, используемом для кодирования текущего видеоблока. В некоторых вариантах осуществления способа 1900 сопоставление основано на том, используется ли древовидная структура отдельного или двойного кодирования для кодирования текущего видеоблока. В некоторых вариантах осуществления способа 1900 сопоставление основано на типе преобразования, применяемом к текущему видеоблоку. В некоторых вариантах осуществления способа 1900 сопоставление основано на типе слайса, или группы мозаичных элементов, или на типе изображения, ассоциированном с текущим видеоблоком.

В некоторых вариантах осуществления способа 1900 предсказание квантованного остатка выполняется в направлении предсказания остатка, которое отличается от горизонтального направления или вертикального направления. В некоторых вариантах осуществления способа 1900 направление предсказания остатка представляет собой направление под углом 45 градусов. В некоторых вариантах осуществления способа 1900, где указывает квантованный остаток, где указывает отсчеты квантованного остатка, и где может быть получен с помощью в ответ на доступность . В некоторых вариантах осуществления способа 1900 направление предсказания остатка составляет 135 градусов. В некоторых вариантах осуществления способа 1900, где указывает квантованный остаток, где указывает отсчеты квантованного остатка, и где может быть получен с помощью в ответ на доступность .

В некоторых вариантах осуществления способа 1900 предсказание квантованного остатка выполняется в направлении предсказания остатка, которое основано на первом значении и втором значении. В некоторых вариантах осуществления способа 1900, где указывает квантованный остаток, где указывает отсчеты квантованного остатка, где может быть получено с помощью в ответ на доступность , где m – первое значение, и n – второе значение, где i – третье значение, указывающее первую позицию вдоль множества строк текущего видеоблока, и где j – четвертое значение, указывающее вторую позицию вдоль множества столбцов текущего видеоблока. В некоторых вариантах осуществления способа 1900 m и n сигнализируются в представлении битового потока. В некоторых вариантах осуществления способа 1900 m и n являются целыми числами.

В некоторых вариантах осуществления способа 1900 m и n указываются в сообщении, включенном в: набор параметров последовательности (SPS), набор параметров видео (VPS), набор параметров изображения (PPS), заголовок изображения, заголовок слайса, заголовок группы элементов мозаичного изображения, строку с наибольшей единицей кодирования (LCU) или группу LCU. В некоторых вариантах осуществления способа 1900 m основан на третьем значении для i, и n основан на четвертом значении для j. В некоторых вариантах осуществления способа 1900 первое значение для m и второе значение для n основаны на размере блока либо текущего видеоблока, либо соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 1900 первое значение для m и второе значение для n основаны на форме либо текущего видеоблока, либо соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 1900 первое значение для m и второе значение для n основаны на наиболее вероятных режимах (MPM) текущего видеоблока или соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 1900 первое значение для m и второе значение для n основаны на режиме межкадрового предсказания или режиме внутрикадрового предсказания соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 1900 первое значение для m и второе значение для n основаны на векторах движения соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 1900 первое значение для m и второе значение для n основаны на указании того, закодирован ли соседний видеоблок текущего видеоблока с использованием режима дифференциального кодирования. В некоторых вариантах осуществления способа 1900 первое значение для m и второе значение для n основаны на значении параметра квантования текущего видеоблока или соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 1900 первое значение для m и второе значение для n основаны на цветовом формате, используемом для кодирования текущего видеоблока. В некоторых вариантах осуществления способа 1900 первое значение для m и второе значение для n основаны на том, используется ли отдельная древовидная структура кодирования или двойная древовидная структура кодирования для кодирования текущего видеоблока. В некоторых вариантах осуществления способа 1900 первое значение для m и второе значение для n основаны на слайсе, типе группы мозаичных элементов или типе изображения, ассоциированном с текущим видеоблоком.

На фиг. 20 показана блок-схема последовательности операций примерного способа 2000 обработки видео. Способ 2000 включает в себя выполнение 2002 преобразования между текущим видеоблоком видео и представлением битового потока текущего видеоблока с использованием режима дифференциального кодирования, в котором текущий видеоблок представлен в представлении битового потока с использованием разности между квантованным остатком внутрикадрового предсказания текущего видеоблока и предсказанием квантованного остатка, где направление предсказания квантованного остатка является выводится из представления битового потока.

В некоторых вариантах осуществления способа 2000 направление предсказания квантованного остатка неявно получается из режима внутрикадрового предсказания, используемого для внутрикадрового предсказания. В некоторых вариантах осуществления способа 2000 направление предсказания квантованного остатка выводится как направление, которое совпадает с направлением, используемым для режима внутрикадрового предсказания. В некоторых вариантах осуществления способа 2000 направление является вертикальным или горизонтальным. В некоторых вариантах осуществления способа 2000 направление предсказания квантованного остатка может быть первым направлением, которое отличается от второго направления, используемого для режима внутрикадрового предсказания. В некоторых вариантах осуществления способа 2000 первое направление является вертикальным, а второе направление – горизонтальным. В некоторых вариантах осуществления способа 2000 первое направление является горизонтальным, а второе направление – вертикальным.

В некоторых вариантах осуществления способа 2000 направление предсказания квантованного остатка получается на основе сообщения, просигнализированного в: наборе параметров последовательности (SPS), наборе параметров видео (VPS), наборе параметров изображения (PPS), заголовке изображения, заголовке слайса, заголовке группы мозаичных элементов, строке с наибольшей единицей кодирования (LCU) или группе LCU. В некоторых вариантах осуществления способа 2000 направление предсказания квантованного остатка можно получить на основании размера блока либо текущего видеоблока, либо соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 2000 направление предсказания квантованного остатка выводится на основе формы либо текущего видеоблока, либо соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 2000 направление предсказания квантованного остатка выводится на основе наиболее вероятных режимов (MPM) текущего видеоблока или соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 2000 направление предсказания квантованного остатка выводится на основе режима межкадрового предсказания или режима внутрикадрового предсказания соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 2000 направление предсказания квантованного остатка получается на основе векторов движения соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 2000 направление предсказания квантованного остатка выводится на основе указания того, закодирован ли соседний видеоблок текущего видеоблока с использованием режима дифференциального кодирования. В некоторых вариантах осуществления способа 2000 направление предсказания квантованного остатка получается на основе значения параметра квантования текущего видеоблока или соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 2000 направление предсказания квантованного остатка получается на основе цветового формата, используемого для кодирования текущего видеоблока. В некоторых вариантах осуществления способа 2000 направление предсказания квантованного остатка получается на основе того, используется ли отдельная или двойная древовидная структура кодирования для кодирования текущего видеоблока. В некоторых вариантах осуществления способа 2000 направление предсказания квантованного остатка выводится на основе типа преобразования, примененного к текущему видеоблоку. В некоторых вариантах осуществления способа 2000 направление предсказания квантованного остатка получается на основе слайса, или типа группы мозаичных элементов или типа изображения, ассоциированного с текущим видеоблоком.

На фиг. 21 показана блок-схема последовательности операций примерного способа 2100 обработки видео. Способ 2100 включает в себя определение 2102 того, что режим дифференциального кодирования применим к преобразованию между текущим видеоблоком видео и представлением битового потока текущего видеоблока, и выполнение 2104, на основе определения, преобразования между текущим видеоблоком и представлением битового потока текущего видеоблока с использованием режима дифференциального кодирования в соответствии с правилом реализации, где, в режиме дифференциального кодирования, текущий видеоблок представлен в представлении битового потока с использованием разности между квантованным остатком внутрикадрового предсказания текущего видеоблока и предсказанием квантованного остатка, и где, в режиме дифференциального кодирования, разность между квантованным остатком и предсказанием квантованного остатка представлена с использованием представления дифференциальной импульсно-кодовой модуляции (DPCM).

В некоторых вариантах осуществления способа 2100 правило реализации указывает то, что значения квантованного остатка ограничены в пределах диапазона значений. В некоторых вариантах осуществления способа 2100 правило реализации точно определяет то, что значения разности между квантованным остатком и предсказанием квантованного остатка ограничены в пределах диапазона значений. В некоторых вариантах осуществления способа 2100 правило реализации точно определяет то, что операция ограничения применяется к разности между квантованным остатком и предсказанием квантованного остатка, и операция ограничения ограничивает значения разности между квантованным остатком и предсказанием квантованного остатка в пределах диапазона значений. В некоторых вариантах осуществления способа 2100 правило реализации точно определяет то, что операция ограничения применяется к квантованному остатку, и операция ограничения ограничивает значения квантованного остатка в пределах диапазона значений.

В некоторых вариантах осуществления способа 2100 разность между квантованным остатком и предсказанием квантованного остатка определяется в соответствии с любым из следующих уравнений:

,

и

,

где описывает разность между квантованным остатком и предсказанием квантованного остатка,

где Q(r_i,j) описывает значения квантованного остатка, где M и N, соответственно, описывают строки и столбцы текущего видеоблока, и где i и j, соответственно, описывают позиции вдоль строк и столбцов текущего видеоблока.

В некоторых вариантах осуществления способа 2100 квантованный остаток определяется в соответствии с любым из следующих уравнений:

,

и

,

где и описывают разность между квантованным остатком и предсказанием квантованного остатка, где Q(r_i,j) описывает квантованный остаток, где M и N, соответственно, описывают строки и столбцы текущего видеоблока, и где i и j, соответственно, описывают позиции вдоль строк и столбцов текущего видеоблока.

В некоторых вариантах осуществления способа 2100 каждое значение из значений ограничено операцией ограничения согласно следующему правилу ограничения: значение является минимальным значением в ответ на значение, меньшее минимального значения, значение является максимальным значением в ответ на значение, превышающее максимальное значение. В некоторых вариантах осуществления способа 2100 каждое значение из значений ограничено операцией ограничения согласно следующему правилу ограничения: значение является минимальным значением в ответ на то, что значение меньше или равно минимальному значению, и является максимальным значением в ответ на то, что значение больше или равно максимальному значению. В некоторых вариантах осуществления способа 2100 каждое значение из значений ограничено операцией ограничения согласно следующему правилу ограничения: значение является минимальным значением в ответ на то, что значение меньше минимального значения, и значение является максимальным значением в ответ на то, что значение больше или равно максимальному значению. В некоторых вариантах осуществления способа 2100 каждое значение из значений ограничено операцией ограничения согласно следующему правилу ограничения: значение является минимальным значением в ответ на то, что значение меньше или равно минимальному значению, и является максимальным значением в ответ на то, что значение больше максимального значения.

В некоторых вариантах осуществления способа 2100 минимальное значение и/или максимальное значение является или являются положительным значением или отрицательным значением. В некоторых вариантах осуществления способа 2100 минимальное значение равно -32768, и максимальное значение равно 32767. В некоторых вариантах осуществления способа 2100 минимальное значение и/или максимальное значение основаны на другом диапазоне значений, который относится к обратному квантованию для видеоблока, который не закодирован в режиме дифференциального кодирования. В некоторых вариантах осуществления способа 2100 минимальное значение и/или максимальное значение основаны на битовой глубине входного отсчета блока квантованных остатков или восстановленного отсчета восстановленного блока квантованных остатков. В некоторых вариантах осуществления способа 2100 минимальное значение и/или максимальное значение основаны на том, закодирован или декодирован текущий видеоблок с помощью способа кодирования без потерь. В некоторых вариантах осуществления способа 2100 минимальное значение и/или максимальное значение основаны на указании того, включен ли флаг обхода транскванта, где то, используется ли способ кодирования без потерь, указывается флагом обхода транскванта. В некоторых вариантах осуществления способа 2100 минимальное значение и/или максимальное значение основаны на указании того, включен ли флаг обхода транскванта единицы кодирования (CU), где то, используется ли способ кодирования без потерь на уровне CU, указывается флагом обхода транскванта CU. В некоторых вариантах осуществления способа 2100 минимальное значение и/или максимальное значение основаны на сообщении, просигнализированном в: наборе параметров последовательности (SPS), наборе параметров видео (VPS), наборе параметров изображения (PPS), заголовке изображения, заголовке слайса, заголовке группы мозаичных элементов, строке с наибольшей единицей кодирования (LCU) или группе LCU.

В некоторых вариантах осуществления способа 2100 минимальное значение и/или максимальное значение основаны на размере блока либо текущего видеоблока, либо соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 2100 минимальное значение и/или максимальное значение основаны на форме либо текущего видеоблока, либо соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 2100 минимальное значение и/или максимальное значение основаны на наиболее вероятных режимах (MPM) текущего видеоблока или соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 2100 минимальное значение и/или максимальное значение основаны на режиме межкадрового предсказания или режиме внутрикадрового предсказания соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 2100 минимальное значение и/или максимальное значение основаны на векторах движения соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 2100 минимальное значение и/или максимальное значение основаны на указании того, закодирован ли соседний видеоблок текущего видеоблока с использованием режима дифференциального кодирования. В некоторых вариантах осуществления способа 2100 минимальное значение и/или максимальное значение основаны на значении параметра квантования текущего видеоблока или соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 2100 минимальное значение и/или максимальное значение основаны на цветовом формате, используемом для кодирования текущего видеоблока. В некоторых вариантах осуществления способа 2100 минимальное значение и/или максимальное значение основаны на том, используется ли отдельная или двойная древовидная структура кодирования для кодирования текущего видеоблока.

В некоторых вариантах осуществления способа 2100 минимальное значение и/или максимальное значение основаны на типе преобразования, применяемом к текущему видеоблоку. В некоторых вариантах осуществления способа 2100 минимальное значение и/или максимальное значение основаны на слайсе, типе группы мозаичных элементов или типе изображения, ассоциированном с текущим видеоблоком. В некоторых вариантах осуществления способа 2100 правило применимости точно определяет то, что предсказание квантованного остатка выполняется в направлении от последней строки или последнего столбца текущего видеоблока к первой строке или первому столбцу текущего видеоблока. В некоторых вариантах осуществления способа 2100, в ответ на то, что направление является горизонтальным, предсказание значения квантованного остатка в i-ом столбце текущего видеоблока является значением квантованного остатка в (i+1)-ом столбце текущего видеоблока. В некоторых вариантах осуществления способа 2100, в ответ на то, что направление является вертикальным, предсказание значения квантованного остатка в i-ой строке текущего видеоблока является значением квантованного остатка в (i+1)-ой строке текущего видеоблока.

В некоторых вариантах осуществления способа 2100 правило применимости точно определяет то, что режим дифференциального кодирования применяется к поднабору или части текущего видеоблока. В некоторых вариантах осуществления способа 2100 правило применимости точно определяет то, что режим дифференциального кодирования не применяется к k крайним левым столбцам текущего видеоблока, когда предсказание квантованного остатка выполняется в горизонтальном направлении. В некоторых вариантах осуществления способа 2100 правило применимости точно определяет то, что режим дифференциального кодирования не применяется к самым верхним строкам текущего видеоблока, когда предсказание квантованного остатка выполняется в вертикальном направлении. В некоторых вариантах осуществления способа 2100 правило применимости точно определяет то, что режим дифференциального кодирования не применяется к крайним правым столбцам текущего видеоблока, когда предсказание квантованного остатка выполняется в горизонтальном направлении. В некоторых вариантах осуществления способа 2100 правило применимости точно определяет то, что режим дифференциального кодирования не применяется к самым нижним k строкам текущего видеоблока, когда предсказание квантованного остатка выполняется в вертикальном направлении. В некоторых вариантах осуществления способа 2100 значение k является заданным.

В некоторых вариантах осуществления способа 2100 значение k указывается в сообщении, просигнализированном в: наборе параметров последовательности (SPS), наборе параметров видео (VPS), наборе параметров изображения (PPS), заголовке изображения, заголовке слайса, заголовке группы мозаичных элементов, строке с наибольшей единицей кодирования (LCU) или группе LCU. В некоторых вариантах осуществления способа 2100 значение k основано на размере блока либо текущего видеоблока, либо соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 2100 значение k основано на форме либо текущего видеоблока, либо соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 2100 значение k основано на наиболее вероятных режимах (MPM) текущего видеоблока или соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 2100 значение k основано на режиме межкадрового предсказания или режиме внутрикадрового предсказания соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 2100 значение k основано на режиме внутрикадрового предсказания текущего видеоблока. В некоторых вариантах осуществления способа 2100 значение k основано на векторах движения соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 2100 значение k основано на указании того, закодирован ли соседний видеоблок текущего видеоблока с использованием режима дифференциального кодирования.

В некоторых вариантах осуществления способа 2100 значение k основано на значении параметра квантования текущего видеоблока или соседнего видеоблока текущего видеоблока. В некоторых вариантах осуществления способа 2100 значение k основано на цветовом формате, используемом для кодирования текущего видеоблока. В некоторых вариантах осуществления способа 2100 значение k основано на том, используется ли отдельная древовидная структура кодирования или двойная древовидная структура кодирования для кодирования текущего видеоблока. В некоторых вариантах осуществления способа 2100 значение k основано на типе преобразования, применяемом к текущему видеоблоку. В некоторых вариантах осуществления способа 2100 значение k основано на типе слайса, или группы мозаичных элементов или типе изображения, ассоциированном с текущим видеоблоком.

В некоторых вариантах осуществления способа 2100 правило реализации точно определяет то, что режим дифференциального кодирования применяется на посегментной основе к текущему видеоблоку. В некоторых вариантах осуществления способа 2100 правило реализации точно определяет то, что отсчеты квантованного остатка определяются в соответствии со следующей формулой, когда предсказание квантованного остатка выполняется в вертикальном направлении, и когда N=nK:

,

где описывает разность между квантованным остатком и предсказанием квантованного остатка, где Q(r_i,j) описывает квантованный остаток, где M и N, соответственно, описывают строки и столбцы текущего видеоблока, где i и j, соответственно, описывают позиции вдоль строк и столбцов текущий видеоблок, где n и K – целые числа.

В некоторых вариантах осуществления способа 2100 правило реализации точно определяет то, что отсчеты квантованного остатка определяются в соответствии со следующей формулой, когда предсказание квантованного остатка выполняется в горизонтальном направлении, и когда M = mK:

,

где описывает отсчеты квантованного остатка, где Q(r_i,j) описывает квантованный остаток, где M и N, соответственно, описывают строки и столбцы текущего видеоблока, где i и j, соответственно, описывают позиции вдоль строк и столбцов текущего видеоблока, и где m и K – целые числа.

На фиг. 22 показана блок-схема последовательности операций примерного способа 2200 обработки видео. Способ 2200 включает в себя определение 2202, на основе правила применимости, того, что режим дифференциального кодирования применим к преобразованию между текущим видеоблоком видео и представлением битового потока текущего видеоблока, где текущий видеоблок ассоциирован с цветовой компонент, и где правило применимости точно определяет то, включен или отключен режим дифференциального кодирования для текущего видеоблока, в зависимости от того, применяется ли режим дифференциального кодирования к другому видеоблоку видео. Способ 2200 также включает в себя выполнение 2204, на основе определения, преобразования между текущим видеоблоком и представлением битового потока текущего видеоблока с использованием режима дифференциального кодирования, где, в режиме дифференциального кодирования, текущий видеоблок представлен в представлении битового потока с использованием разности между квантованным остатком внутрикадрового предсказания текущего видеоблока и предсказанием квантованного остатка, и где, в режиме дифференциального кодирования, разность между квантованным остатком и предсказанием квантованного остатка представлена с использованием представления дифференциальной импульсно-кодовой модуляции (DPCM).

В некоторых вариантах осуществления способа 2200 текущий видеоблок является видеоблоком цветности, правило применимости точно определяет то, включен ли режим дифференциального кодирования для видеоблока цветности, на основе того, применяется ли режим дифференциального кодирования к одному или более репрезентативным видеоблокам яркости, и один или более репрезентативных видеоблоков яркости совмещены с видеоблоком цветности. В некоторых вариантах осуществления способа 2200 один или более репрезентативных видеоблоков яркости определены таким же образом, как тот, что используется для получения полученного режима для внутрикадрового предсказания для видеоблока цветности. В некоторых вариантах осуществления способа 2200 текущий видеоблок является видеоблоком цветности, правило применимости точно определяет то, что режим дифференциального кодирования включен для видеоблока цветности, когда полученный режим используется для внутрикадрового предсказания видеоблока цветности, и дифференциальный режим кодирования включен для одного или более репрезентативных блоков яркости, и один или более репрезентативных видеоблоков яркости совмещены с видеоблоком цветности. В некоторых вариантах осуществления способа 2200 правило применимости точно определяет то, включен или выключен режим дифференциального кодирования для текущего видеоблока, в одном или более синтаксических элементах, включенных в представление битового потока.

В некоторых вариантах осуществления способа 2200 один синтаксический элемент указывает то, включен или отключен режим дифференциального кодирования для двух цветовых компонентов, и два цветового компонента включают в себя цветовой компонент, ассоциированный с текущим видеоблоком. В некоторых вариантах осуществления способа 2200 два синтаксических элемента указывают то, включен или отключен режим дифференциального кодирования для двух цветовых компонентов, соответственно, и два цветовых компонента включают в себя цветовой компонент, ассоциированный с текущим видеоблоком. В некоторых вариантах осуществления способа 2200 правило применимости точно определяет то, что представление битового потока исключает синтаксический элемент, который указывает то, включен или отключен режим дифференциального кодирования для текущего видеоблока, когда для внутрикадрового предсказания текущего видеоблока используется конкретный режим. В некоторых вариантах осуществления способа 2200 конкретный режим включает в себя межкомпонентную линейную модель (CCLM).

Приведенный ниже перечень примеров представляет собой описание дополнительных вариантов осуществления.

1. Способ обработки видео, содержащий: выполнение преобразования между текущим видеоблоком и представлением битового потока текущего видеоблока с использованием режима дифференциального кодирования и выборочного использования режима внутрикадрового предсказания на основе правила сосуществования; где режим внутрикадрового предсказания используется для выработки предсказаний для отсчетов текущего видеоблока; и где режим дифференциального кодирования используется для представления блока квантованных остатков из предсказаний пикселей с использованием представления дифференциальной импульсно-кодовой модуляции.

2. Способ согласно примеру 1, в котором режим внутрикадрового предсказания представляет собой матричный режим внутрикадрового предсказания (MIP), и в котором правило сосуществования ограничивает MIP частью разрешенных режимов MIP.

3. Способ согласно примеру 2, в котором часть разрешенных режимов включает в себя горизонтальный или вертикальный нормальный внутрикадровый режим.

Дополнительные варианты осуществления примеров 1-3 описаны в пункте 1 раздела 4. Например, режим дифференциального кодирования может представлять текущую версию режима QR-BDPCM-кодирования.

4. Способ согласно примеру 1, в котором режим внутрикадрового предсказания включает в себя предсказание в негоризонтальном или невертикальном направлении.

5. Способ согласно примеру 1 или 4, в котором режимом внутрикадрового предсказания является планарный режим или режим предсказания постоянного тока.

6. Способ согласно примеру 1 или 4, в котором режимы внутрикадрового предсказания представляют собой режим вертикального или горизонтального предсказания.

7. Способ согласно примеру 1 или 4, в котором режим внутрикадрового предсказания идентифицируется полем в представлении битового потока.

8. Способ согласно примеру 1 или 4, в котором режим внутрикадрового предсказания зависит от размера блока текущего видеоблока или соседнего блока.

9. Способ согласно примеру 1 или 4, в котором режим внутрикадрового предсказания зависит от формы текущего блока или соседнего блока.

10. Способ согласно примеру 1 или 4, в котором режим внутрикадрового предсказания зависит от того, закодирован ли текущий видеоблок или соседний видеоблок с использованием межкадрового предсказания или внутрикадрового предсказания.

11. Способ согласно примеру 1 или 4, в котором режим внутрикадрового предсказания зависит от того, закодирован ли соседний видеоблок с использованием режима дифференциального кодирования.

12. Способ согласно примеру 1 или 4, в котором режим внутрикадрового предсказания зависит от значения параметра квантования, используемого для текущего видеоблока или соседнего видеоблока.

13. Способ согласно примеру 1 или 4, в котором режим внутрикадрового предсказания зависит от цветового формата, используемого для кодирования текущего видеоблока.

14. Способ согласно примерам 1 или 4, в котором режим внутрикадрового предсказания зависит от того, используется ли отдельная древовидная структура кодирования или двойная древовидная структура кодирования для кодирования текущего видеоблока.

Дополнительные варианты осуществления примеров 4-14 представлены в пункте 2 раздела 4.

15. Способ согласно примеру 1, в котором формирование предсказаний для отсчетов текущего видеоблока выполняется из несмежных отсчетов в соседней видеообласти.

16. Способ согласно примеру 1, в котором режим внутрикадрового предсказания содержит режим слияния внутрикадрового блочного копирования.

17. Способ согласно примеру 1, в котором режим внутрикадрового предсказания содержит улучшенный режим предсказания вектора движения внутрикадрового блока.

18. Способ по любому из примеров 15-17, в котором режим внутрикадрового предсказания указывается вектором блока или индексом слияния.

Дополнительные варианты осуществления примеров 15-18 представлены в пункте 3 раздела 4.

19. Способ согласно примеру 1, в котором правило сосуществования точно определяет сопоставление из сигнализированного индекса в режиме дифференциального кодирования с режимом внутрикадрового предсказания на основе поля в представлении битового потока.

20. Способ согласно примеру 1, в котором правило сосуществования точно определяет сопоставление из сигнализированного индекса в режиме дифференциального кодирования с режимом внутрикадрового предсказания на основе размера текущего видеоблока или соседнего блока.

21. Способ согласно примеру 1, в котором правило сосуществования точно определяет сопоставление из сигнализированного индекса в режиме дифференциального кодирования с режимом внутрикадрового предсказания на основе формы текущего видеоблока или соседнего блока.

22. Способ согласно примеру 1, в котором правило сосуществования точно определяет сопоставление из сигнализированного индекса в режиме дифференциального кодирования с режимом внутрикадрового предсказания на основе режима предсказания текущего видеоблока или соседнего блока.

23. Способ согласно примеру 1, в котором правило сосуществования точно определяет сопоставление из сигнализированного индекса в режиме дифференциального кодирования с режимом внутрикадрового предсказания на основе наиболее вероятных режимов текущего видеоблока или соседнего блока.

24. Способ согласно примеру 1, в котором правило сосуществования точно определяет сопоставление из сигнализированного индекса в режиме дифференциального кодирования с режимом внутрикадрового предсказания на основе векторов движения текущего видеоблока или соседнего блока.

25. Способ согласно примеру 1, в котором правило сосуществования точно определяет сопоставление из сигнализированного индекса в режиме дифференциального кодирования с режимом внутрикадрового предсказания на основе того, закодирован ли соседний блок с использованием режима дифференциального кодирования.

26. Способ согласно примеру 1, в котором правило сосуществования точно определяет сопоставление из сигнализированного индекса в режиме дифференциального кодирования с режимом внутрикадрового предсказания на основе параметра квантования, используемого текущим видеоблоком или соседним блоком.

27. Способ согласно примеру 1, в котором правило сосуществования точно определяет сопоставление из сигнализированного индекса в режиме дифференциального кодирования с режимом внутрикадрового предсказания на основе цветового формата текущего видеоблока.

28. Способ согласно примеру 1, в котором правило сосуществования точно определяет сопоставление из сигнализированного индекса в режиме дифференциального кодирования с режимом внутрикадрового предсказания на основе того, использует ли текущий видеоблок отдельное или двойное дерево кодирования.

29. Способ согласно примеру 1, в котором правило сосуществования точно определяет сопоставление из сигнализированного индекса в режиме дифференциального кодирования с режимом внутрикадрового предсказания на основе преобразования, примененного к текущему видеоблоку.

30. Способ согласно примеру 1, в котором правило сосуществования точно определяет сопоставление из сигнализированного индекса в режиме дифференциального кодирования с режимом внутрикадрового предсказания на основе типа слайса, типа группы мозаичных элементов или типа изображения текущего видеоблока.

Дополнительные варианты осуществления примеров 19-30 представлены в пункте 2 раздела 4.

31. Способ обработки видео, содержащий: выполнение преобразования между текущим видеоблоком и представлением битового потока текущего видеоблока с использованием режима дифференциального кодирования, в котором блок квантованных остатков из предсказаний пикселей текущего видеоблока представлен с использованием представления дифференциальной импульсно-кодовой модуляции; где первое направление предсказания или второе направление режима дифференциального кодирования выводится из представления битового потока.

32. Способ согласно примеру 31, в котором первое направление предсказания пикселей неявно получается из режима внутрикадрового предсказания, используемого для предсказания.

33. Способ согласно примеру 32, в котором второе направление режима дифференциального кодирования может быть таким же направлением, что и первое направление предсказания.

34. Способ согласно примеру 31, в котором второе направление получается из режима внутрикадрового предсказания, используемого для предсказания.

35. Способ согласно примеру 31, в котором второе направление получается из размера текущего видеоблока или соседнего блока или формы текущего видеоблока или соседнего блока.

36. Способ согласно примеру 31, в котором второе направление получается из векторов движения соседнего блока.

37. Способ согласно примеру 31, в котором второе направление получается из наиболее вероятных режимов текущего видеоблока или соседнего блока.

38. Способ согласно примеру 31, в котором второе направление получается из режима предсказания соседнего блока.

39. Способ согласно примеру 31, в котором второе направление получается из режима внутрикадрового предсказания соседнего блока.

40. Способ согласно примеру 31, в котором второе направление получается из того, использует ли соседний блок режим дифференциального кодирования.

Дополнительные варианты осуществления примеров 31-40 представлены в пункте 4 раздела 4.

41. Способ обработки видео, содержащий: определение, на основе правила применимости, того, что режим дифференциального кодирования применим к преобразованию между текущим видеоблоком и представлением битового потока текущего видеоблока; и выполнение преобразования между текущим видеоблоком и представлением битового потока с использованием режима дифференциального кодирования;

где, в режиме дифференциального кодирования, блок квантованных остатков из внутрикадрового предсказания пикселей текущего видеоблока представлен с использованием представления дифференциальной импульсно-кодовой модуляции, выполняемого в направлении предсказания остатка, которое отличается от горизонтального или вертикального направления.

42. Способ согласно примеру 41, в котором направлением предсказания остатка является направление под углом 45 градусов.

43. Способ согласно примеру 41, в котором направление предсказания остатка составляет 135 градусов.

44. Способ согласно примеру 41, в котором направление предсказания остатка связано с полем в представлении битового потока или размером текущего видеоблока или соседнего блока или формой текущего видеоблока или соседнего блока.

Дополнительные варианты осуществления примеров 41-44 представлены в пункте 6 раздела 4.

45. Способ согласно примеру 41, в котором правило применимости точно определяет использование режима дифференциального кодирования из-за того, что текущим видеоблоком является блок цветности.

46. Способ согласно примеру 45, в котором правило применимости дополнительно точно определяет то, что направление предсказания остатка для текущего видеоблока является тем же направлением, что и для блока яркости, соответствующего текущему видеоблоку.

47. Способ согласно примеру 41, в котором правило применимости точно определяет использование дифференциального кодирования из-за того, что текущий видеоблок не использует режим кодирования на основе межкомпонентной линейной модели (CCLM).

Дополнительные варианты осуществления примеров 45-47 представлены в пункте 7 раздела 4.

48. Способ согласно примеру 41, в котором правило применимости точно определяет то, чтобы получить применимость режима дифференциального кодирования для одного цветового компонента из применимости режима дифференциального кодирования для другого цветового компонента.

Дополнительные варианты осуществления примера 48 представлены в пункте 12 раздела 4.

49. Способ обработки видео, содержащий: определение того, что режим дифференциального кодирования применим к преобразованию между текущим видеоблоком и представлением битового потока текущего видеоблока; и выполнение преобразования между текущим видеоблоком и представлением битового потока с использованием правила реализации режима дифференциального кодирования; причем, в режиме дифференциального кодирования, блок квантованных остатков из внутрикадрового предсказания пикселей текущего видеоблока представлен с использованием представления дифференциальной импульсно-кодовой модуляции, выполняемого в направлении предсказания остатка, которое отличается от горизонтального или вертикального направления.

50. Способ согласно примеру 49, в котором правило реализации точно определяет ограничение значений блока квантованных остатков в пределах диапазона.

51. Способ согласно примеру 49, в котором правило реализации точно определяет использование ограничения для получения блока квантованных остатков.

Дополнительные варианты осуществления примеров 49-51 представлены в пункте 8 раздела 4.

52. Способ согласно примеру 49, в котором правило реализации точно определяет выполнение предсказания от последней строки текущего видеоблока до первой строки текущего видеоблока.

53. Способ согласно примеру 49, в котором правило реализации точно определяет выполнение предсказания от последнего столбца текущего видеоблока до первого столбца текущего видеоблока.

Дополнительные варианты осуществления примеров 52-53 представлены в пункте 9 раздела 4.

54. Способ согласно примеру 49, в котором правило реализации точно определяет применение режима дифференциального кодирования только к поднабору текущего видеоблока.

55. Способ примера 54, в котором поднабор исключает k левых столбцов остатков, где k – целое число, которое меньше ширины блока в пикселях.

56. Способ примера 54, в котором поднабор исключает k верхних строк остатков, где k – целое число, которое меньше высоты блока в пикселях.

Дополнительные варианты осуществления примеров 54-56 представлены в пункте 10 раздела 4.

57. Способ согласно примеру 49, в котором правило реализации точно определяет применение режима дифференциального кодирования на посегментной основе к преобразованию.

Дополнительные варианты осуществления примера 57 представлены в пункте 11 раздела 4.

58. Устройство обработки видео, содержащее процессор, выполненный с возможностью реализации одного или нескольких примеров 1-57.

59. Машиночитаемый носитель информации, имеющий код, хранящийся на нем, причем код при его исполнении процессором предписывает процессору реализовывать способ, изложенный в любом одном или более примерах 1-57.

В перечне примеров в данном документе термин "преобразование" может относиться к выработке представления битового потока для текущего видеоблока или к выработке текущего видеоблока из представления битового потока. Представление битового потока не обязательно должно представлять непрерывную группу битов и может быть разделено на биты, которые включаются в поля заголовка, или на кодовые слова, представляющие информацию о кодированных значениях пикселей.

В приведенных выше примерах правило применимости может быть заранее определено и известно кодерам и декодерам.

Следует понимать, что раскрытые способы могут быть воплощены в видеокодерах или декодерах для повышения эффективности сжатия с использованием способов, которые включают в себя использование различных правил реализации, касающихся использования режима дифференциального кодирования при внутрикадровом кодировании, как описано в данном документе.

Раскрытые и другие решения, примеры, варианты осуществления, модули и функциональные операции, описанные в данном документе, могут быть реализованы в цифровых электронных схемах или в компьютерном программном обеспечении, программно-аппаратных средствах или аппаратных средствах, включая структуры, раскрытые в данном документе и их структурные эквиваленты, или в сочетании одного или нескольких из них. Раскрытые и другие варианты осуществления могут быть реализованы в виде одного или нескольких компьютерных программных продуктов, то есть одного или нескольких модулей инструкций компьютерной программы, закодированных на машиночитаемом носителе информации, для исполнения или для управления работой из устройства обработки данных. Машиночитаемый носитель информации может представлять собой машиночитаемое запоминающее устройство, машиночитаемый носитель информации, устройство памяти, состав вещества, обеспечивающий распространяемый сигнал, считываемый машиной, или комбинацию одного или нескольких из них. Термин "устройство обработки данных" охватывает все аппаратные устройства, устройства и машины для обработки данных, включая в качестве примера программируемый процессор, компьютер, или несколько процессоров или компьютеров. Устройство может включать в себя, в дополнение к аппаратным средствам, код, который создает среду исполнения для рассматриваемой компьютерной программы, например, код, который составляет микропрограмму процессора, стек протоколов, систему управления базами данных, операционную систему или комбинацию одного или нескольких из них. Распространяющийся сигнал представляет собой искусственно выработанный сигнал, например, электрический, оптический или электромагнитный сигнал, выработанный машиной, который вырабатывается для кодирования информации с целью передачи в подходящее приемное устройство.

Компьютерная программа (также известная как программа, программное обеспечение, приложение, программа-скрипт или код) можно записать в любой форме языка программирования, включая скомпилированные или интерпретируемые языки, и она может быть развернута в любой форме, в том числе в виде автономной программы или модуля, компонента, подпрограммы или другого блока, пригодного для использования в вычислительной среде. Компьютерная программа не обязательно соответствует файлу в файловой системе. Программа может храниться в части файла, который содержит другие программы или данные (например, один или несколько сценариев, хранящихся на языке разметки документов), в одном файле, выделенном рассматриваемой программе, или в нескольких согласованных файлах (например, в файлах, которые хранят один или несколько модулей, вложенных программ или части кода). Компьютерная программа может быть развернута для исполнения на одном компьютере или на нескольких компьютерах, которые расположены в одном месте или распределены по нескольким сайтам и соединены между собой сетью связи.

Процессы и логические потоки, описанные в данном документе, могут выполняться одним или несколькими программируемыми процессорами, выполняющими одну или несколько компьютерных программ для выполнения функций, оперируя входными данными и вырабатывая выходные данные. Кроме того, могут также выполняться процессы и логические потоки, и устройство может быть также реализовано в виде логической схемы специального назначения, например, FPGA (программируемая пользователем вентильная матрица) или ASIC (специализированная интегральная схема).

Процессоры, подходящие для исполнения компьютерной программы, включают в себя, в качестве примера, микропроцессоры как общего, так и специального назначения, и любой один или более процессоров любого типа цифрового компьютера. Как правило, процессор принимает инструкции и данные только для считывания памяти или оперативной памяти, или и той и другой. Основными элементами компьютера являются процессор для исполнения инструкций и одного или более устройств памяти для хранения инструкций и данных. В общем, компьютер будет также включать в себя или функционально соединен с возможностью приема данных из или передачи данных в или и то, и другое, одно или более запоминающих устройства большой емкости для хранения данных, например, магнитных дисков, магнитооптических или оптических дисков. Однако компьютер необязательно должен иметь такие устройства. Считываемые компьютером носители информации, пригодные для хранения инструкций и данных компьютерной программы включают в себя все виды энергонезависимой памяти, устройства для хранения данных и запоминающие устройства, включая в качестве примера полупроводниковые запоминающих устройств, например, например, EPROM, EEPROM и устройства флэш-памяти; магнитные диски, например, внутренние жесткие диски или съемные диски; магнитооптические диски; и диски CD ROM и DVD-ROM. Процессор и память могут быть дополнены специализированной логической схемой или включены в нее.

Хотя данный патентный документ содержит много специфичных подробностей, их не следует рассматривать как ограничение объема предмета изобретения или любого из того, что может быть заявлено, а скорее их следует рассматривать как описание функций, которые могут быть специфичными для конкретных вариантов осуществления конкретных способов. Некоторые признаки, описанные в настоящем патентном документе в контексте отдельных вариантов осуществления также могут быть реализованы в комбинации в одном варианте осуществления. И наоборот, различные признаки, которые описаны в контексте одного варианта осуществления также могут быть реализованы в нескольких вариантах по отдельности или в любой подходящей подкомбинации. Более того, хотя признаки были описаны выше как действующие в определенных комбинациях и даже изначально заявлены как таковые, один или несколько признаков из заявленной комбинации в некоторых случаях может быть исключен из комбинации, и заявленная комбинация может быть направлена на подкомбинацию или вариацию из подкомбинации.

Аналогичным образом, хотя операции изображены на чертежах в определенном порядке, это не следует понимать как требование того, чтобы такие операции выполнялись в конкретном указанном порядке или в последовательном порядке, или чтобы все проиллюстрированные операции выполнялись для достижения желаемых результатов. Более того, разделение различных компонентов системы в вариантах осуществления, описанных в данном патентном документе, не следует понимать как требующее такого разделения во всех вариантах осуществления.

Выше было описано только несколько реализаций и примеров, и другие реализации, улучшения и изменения могут быть сделаны на основе того, что описано и проиллюстрировано в данном патентном документе.

Изобретение относится к средствам для обработки видеоданных. Технический результат заключается в повышении эффективности обработки видеоданных. Определяют, для преобразования между текущим видеоблоком видео и битовым потоком видео, что к текущему видеоблоку применяется режим дифференциального кодирования, используемый для отсчетов остатка. Выполняют, на основе указанного определения, указанное преобразование с использованием режима дифференциального кодирования. При этом в режиме дифференциального кодирования разности между квантованными остатками, полученными с помощью внутрикадрового предсказания, и предикторами квантованных остатков представлены в битовом потоке, причем по меньшей мере один из восстановленных квантованных остатков получается на основе суммы одной разности и другого восстановленного квантованного остатка. Значения восстановленных квантованных остатков ограничены определенным диапазоном посредством применения операции ограничения к восстановленным квантованным остаткам. 4 н. и 11 з.п. ф-лы, 22 ил.

1. Способ обработки видеоданных, содержащий этапы, на которых:

определяют, для преобразования между текущим видеоблоком видео и битовым потоком видео, что к текущему видеоблоку применяется режим дифференциального кодирования, используемый для отсчетов остатка; и

выполняют, на основе указанного определения, указанное преобразование с использованием режима дифференциального кодирования,

при этом в режиме дифференциального кодирования разности между квантованными остатками, полученными с помощью внутрикадрового предсказания, и предикторами квантованных остатков представлены в битовом потоке, причем по меньшей мере один из восстановленных квантованных остатков получается на основе суммы одной разности и другого восстановленного квантованного остатка и

значения восстановленных квантованных остатков ограничены определенным диапазоном посредством применения операции ограничения к восстановленным квантованным остаткам.

2. Способ по п. 1, в котором каждое из значений восстановленных квантованных остатков ограничивается операцией ограничения следующим образом:

значение равно минимальному значению в ответ на то, что значение меньше минимального значения, и

значение равно максимальному значению в ответ на то, что значение больше максимального значения.

3. Способ по п. 2, в котором минимальное значение является отрицательным значением, а максимальное значение является положительным значением.

4. Способ по п. 3, в котором минимальное значение установлено равным -32768, а максимальное значение установлено равным 32767.

5. Способ по п. 1, в котором применение или неприменение режима дифференциального кодирования к текущему видеоблоку указывается с помощью одного или более синтаксических элементов, включенных в битовый поток.

6. Способ по п. 1, в котором единственный синтаксический элемент указывает, применяется ли режим дифференциального кодирования к двум компонентам цветности.

7. Способ по п. 6, в котором единственный синтаксический элемент исключается из битового потока в ответ на использование определенного режима для внутрикадрового предсказания двух компонентов цветности.

8. Способ по п. 7, в котором определенный режим включает в себя межкомпонентную линейную модель.

9. Способ по п. 1, в котором предикторы квантованных остатков вырабатываются на уровне отсчетов.

10. Способ по п. 9, в котором режим дифференциального кодирования применяется в горизонтальном направлении или в вертикальном направлении.

11. Способ по п. 1, в котором на этапе преобразования кодируют текущий видеоблок в битовый поток.

12. Способ по п. 1, в котором на этапе преобразования декодируют текущий видеоблок из битового потока.

13. Устройство обработки видеоданных, содержащее процессор и энергонезависимую память с хранящимися на ней инструкциями, причем инструкции при их исполнении процессором вызывают выполнение процессором:

определения, для преобразования между текущим видеоблоком видео и битовым потоком видео, что к текущему видеоблоку применяется режим дифференциального кодирования, используемый для отсчетов остатка; и

выполнения, на основе указанного определения, указанного преобразования с использованием режима дифференциального кодирования,

при этом в режиме дифференциального кодирования разности между квантованными остатками, полученными с помощью внутрикадрового предсказания, и предикторами квантованных остатков представлены в битовом потоке, причем по меньшей мере один из восстановленных квантованных остатков получается на основе суммы одной разности и другого восстановленного квантованного остатка и

значения восстановленных квантованных остатков ограничены определенным диапазоном посредством применения операции ограничения к восстановленным квантованным остаткам.

14. Энергонезависимый машиночитаемый носитель информации, на котором хранятся инструкции, которые вызывают выполнение процессором:

определения, для преобразования между текущим видеоблоком видео и битовым потоком видео, что к текущему видеоблоку применяется режим дифференциального кодирования, используемый для отсчетов остатка; и

выполнения, на основе указанного определения, указанного преобразования с использованием режима дифференциального кодирования,

при этом в режиме дифференциального кодирования разности между квантованными остатками, полученными с помощью внутрикадрового предсказания, и предикторами квантованных остатков представлены в битовом потоке, причем по меньшей мере один из восстановленных квантованных остатков получается на основе суммы одной разности и другого восстановленного квантованного остатка и

значения восстановленных квантованных остатков ограничены определенным диапазоном посредством применения операции ограничения к восстановленным квантованным остаткам.

15. Способ сохранения битового потока видео, содержащий этапы, на которых:

определяют, что режим дифференциального кодирования, используемый для отсчетов остатка, применяется к текущему видеоблоку видео;

вырабатывают битовый поток видео на основе указанного определения с использованием режима дифференциального кодирования; и

сохраняют битовый поток видео в энергонезависимом машиночитаемом носителе информации,

при этом в режиме дифференциального кодирования разности между квантованными остатками, полученными с помощью внутрикадрового предсказания, и предикторами квантованных остатков представлены в битовом потоке, причем по меньшей мере один из восстановленных квантованных остатков получается на основе суммы одной разности и другого восстановленного квантованного остатка и

значения восстановленных квантованных остатков ограничены определенным диапазоном посредством применения операции ограничения к восстановленным квантованным остаткам.