СПОСОБ И УСТРОЙСТВО ВНУТРЕННЕГО ПРОГНОЗИРОВАНИЯ ДЛЯ ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ Российский патент 2023 года по МПК H04N19/593 H04N19/186 H04N19/103 

Перекрестная ссылка на родственную заявку

Данная заявка испрашивает приоритет китайской патентной заявки № 201910370987.9, поданной в Национальное управление интеллектуальной собственности Китая 30 апреля 2019 года и озаглавленной "INTRA PREDICTION METHOD AND APPARATUS FOR VIDEO SEQUENCE", которая включена в данный документ во всей своей полноте путем ссылки.

Область техники, к которой относится изобретение

Настоящая заявка относится к области технологий кодирования и декодирования видео и, в частности, к способу внутреннего прогнозирования и устройству для видеопоследовательности.

Уровень техники

В стандарте кодирования видео H.265 кадр изображения разделяется на единицы дерева кодирования (coding tree unit, CTU), которые не перекрываются друг с другом, и размер CTU может быть установлен равным 64×64 или другому значению. CTU размером 64×64 представляет собой прямоугольную матрицу выборок, включающую 64×64 выборки. Матрица выборок матрицы включает в себя 64 столбца, каждый столбец включает в себя 64 выборки, и каждая выборка включает в себя компонент яркости или/и компонент цветности.

H.265 основан на режиме разделения квадродерева (quad-tree, QT), в котором CTU используется в качестве корневого узла квадродерева, и CTU рекурсивно разделяется на несколько конечных узлов. Узел соответствует одной области изображения. Если узел не продолжает разделяться, узел называется листовым узлом, и область изображения, соответствующая узлу, становится CU. Если узел продолжает разделяться, область изображения, соответствующая узлу, разделяется на четыре области изображения равного размера, и каждая область соответствует одному узлу. То, должен ли узел быть разделен, определяется флагом разделения, который находится в битовом потоке и соответствует узлу. Глубина корневого узла равна 0, и глубина дочернего узла равна глубине родительского узла плюс 1.

Узел CTU, чей размер равен 64×64 (с глубиной 0), не может быть разделен на основе флага разделения, соответствующего узлу CTU, и стать CU размером 64×64, или может быть разделен на четыре узла, чьи размеры равны 32×32 (с глубиной 1). Каждый из четырех узлов, чей размер равен 32×32, может продолжать разделяться или больше не разделяться на основе флага разделения, соответствующего узлу. Если узел размером 32×32 продолжает разделяться, вырабатываются четыре узла размером 16×16 (с глубиной 2). Остальное можно вывести по аналогии до тех пор, пока ни один узел не будет разделен. В этом случае одна CTU разделяется на одну группу CU.

На основе разделения квадродерева в эталонное программное обеспечение VTM добавляются режим разделения двоичного дерева (binary tree, BT) и режим разделения троичного дерева (ternary tree, TT).

Кроме того, режим разделения каскадирования QT и BT/TT может использоваться в тестовой модели универсального кодирования видео (versatile video coding test model, VTM) и называется квадродеревом плюс многотиповое дерево (quadtree plus multi-type tree, QT-BTT) режим. То есть узел в дереве кодирования уровня 1 может быть разделен на дочерние узлы только с использованием режима QT, и конечный узел в дереве кодирования уровня 1 является корневым узлом дерева кодирования уровня 2; узел в дереве кодирования уровня 2 может быть разделен на дочерние узлы с использованием одного из следующих четырех режимов разделения: горизонтальное двоичное разделение, вертикальное двоичное разделение, горизонтальное троичное разделение и вертикальное троичное разделение; листовой узел дерева кодирования уровня 2 является единицей кодирования.

После того, как посредством синтаксического анализа стало известно, что узел является листовым узлом, и листовой узел является CU, дополнительно синтаксически анализируется информация о кодировании (включая информацию, такую как режим прогнозирования и коэффициент преобразования CU, например, синтаксическая структура coding_unit() в H.265), соответствующая CU. Затем обработка декодирования, такая как прогнозирование, деквантование, обратное преобразование и контурная фильтрация, выполняется над CU на основе информации кодирования, чтобы выработать восстановленное изображение, соответствующее CU. Такая гибкая структура дерева разделения, как QT-MTT, позволяет разделить CTU на группу CU подходящего размера на основе локальной особенности изображения.

Режим разделения CTU на группу CU соответствует одному дереву кодирования. В VTM структура дерева разделения позволяет использовать внутреннее изображение (изображение I). В этом случае, начиная с определенного узла A в дереве кодирования, блок яркости узла A разделяется с использованием дерева кодирования яркости, и листовой узел дерева кодирования яркости является CU яркости и включает в себя только выборки яркости. Блок цветности узла A разделяется с использованием дерева кодирования цветности, и листовой узел дерева кодирования цветности является CU цветности и включает в себя только выборки цветности.

В VTM5 (а именно, в программном обеспечении VTM версии 5) структуру дерева разделения можно использовать для внутреннего изображения. Для внутреннего изображения, использующего структуру дерева разделения, узел дерева кодирования размером 128×128 может быть разделен на четыре узла размером 64×64 с использованием режима разделения квадродерева, и каждый узел размером 64×64 включает в себя выборки яркости и выборки цветности. Структура дерева разделения используется для узла размером 64×64, то есть блок яркости узла размером 64×64 разделяется с использованием дерева кодирования яркости, и блок цветности узла размером 64×64 разделяется с использованием дерева кодирования цветности. Режим разделения, используемый для дерева кодирования яркости, может отличаться от режима разделения, используемого для дерева кодирования цветности. Например, блок яркости узла размером 64×64 может быть разделен с использованием режима разделения квадродерева, и блок цветности может быть разделен с использованием режима горизонтального двоичного разделения. В формате YUV4:2:0, так как частоты дискретизации по горизонтали и вертикали цветности вдвое меньше, чем у цветности, узел размером M×N соответствует выборкам цветности размером (M/2)×(N/2).

Однако, когда структура дерева разделения используется для внутреннего изображения, может возникнуть сравнительно большая задержка при обработке сигнала цветности, которая уменьшает пропускную способность аппаратного декодера.

Сущность изобретения

Варианты осуществления настоящей заявки предоставляют способ и устройство внутреннего прогнозирования для видеопоследовательности. Варианты осуществления настоящей заявки позволяют уменьшить задержку при обработке цветности и повысить пропускную способность аппаратного декодера. Видеопоследовательность (video sequence) включает в себя одно или более изображений (picture).

Для краткости описания размер и форма узла в вариантах осуществления настоящего изобретения представляют собой размер и форму области изображения, соответствующие узлу. В вариантах осуществления настоящего изобретения как ширина, так и высота узла представлены количеством выборок яркости, соответствующих узлу.

Согласно первому аспекту вариант осуществления настоящего изобретения предоставляет способ внутреннего прогнозирования для видеопоследовательности, включающий в себя:

получение размера и режима разделения узла дерева кодирования цветности; определение, на основе размера и режима разделения узла дерева кодирования цветности, относительно того, разрешить ли выполнение внутреннего прогнозирования по межкомпонентной линейной модели (CCLM) над единицей кодирования цветности, включенной в узел дерева кодирования цветности; определение режима прогнозирования единицы кодирования цветности в зависимости от того, разрешено ли выполнение CCLM над единицей кодирования цветности; и обработку единицы кодирования цветности на основе режима прогнозирования единицы кодирования цветности для получения выборок прогнозирования единицы кодирования цветности. То, разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности, определяется на основе размера и режима разделения узла дерева кодирования цветности, тем самым уменьшая задержку при обработке единицы кодирования цветности, над которой выполняется CCLM, и повышая пропускную способность аппаратного декодера.

В возможном варианте осуществления размер узла дерева кодирования цветности равен M×N, и определение, на основе размера и режима разделения узла дерева кодирования цветности, относительно того, разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности, включает в себя:

когда M и N равны заданному порогу T1, если режим разделения узла дерева кодирования цветности удовлетворяет первому заданному условию, определение того, чтобы разрешить выполнение CCLM над единицей кодирования цветности; или, если режим разделения узла дерева кодирования цветности не удовлетворяет первому заданному условию, определение того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности, где первое заданное условие включает в себя режим без разделения или режим разделения квадродерева.

В возможном варианте осуществления размер узла дерева кодирования цветности равен M×N, и определение, на основе размера и режима разделения узла дерева кодирования цветности, относительно того, разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности, включает в себя:

когда M равно T1, и N равно T1/2, если режим разделения узла дерева кодирования цветности удовлетворяет второму заданному условию, определение того, чтобы разрешить выполнение CCLM над единицей кодирования цветности; или, если режим разделения узла дерева кодирования цветности не удовлетворяет второму заданному условию, определение того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности, где второе заданное условие включает в себя режим без разделения или режим вертикального двоичного разделения.

В возможном варианте осуществления определение, на основе размера и режима разделения узла дерева кодирования цветности, относительно того, разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности, включает в себя:

определение, на основе размера и режима разделения узла дерева кодирования цветности, режима разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, и того, разрешить ли использование режима ISP внутреннего подраздела для соответствующего блока яркости, когда узел дерева кодирования яркости не разделен, и разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности.

В возможном варианте осуществления размер узла дерева кодирования цветности равен M×N, и определение на основе размера и режима разделения узла дерева кодирования цветности и режима разделения узла дерева кодирования яркости, соответствующего цветности узел дерева кодирования, разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности, включает в себя:

когда режим разделения узла дерева кодирования цветности удовлетворяет третьему заданному условию, определение того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности; или

когда режим разделения узла дерева кодирования цветности не удовлетворяет третьему заданному условию, M равно T1, и N равно T1, если режим разделения узла дерева кодирования цветности удовлетворяет первому заданному условию, определение того, чтобы разрешить выполнение CCLM над единицей кодирования цветности; или, если режим разделения узла дерева кодирования цветности не удовлетворяет первому заданному условию, определение того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности, где первое заданное условие включает в себя режим без разделения или режим разделения квадродерева.

В возможном варианте осуществления размер узла дерева кодирования цветности равен M×N, и определение, на основе размера и режима разделения узла дерева кодирования цветности, режима разделения узла дерева кодирования яркости, соответствующего цветности узел дерева кодирования, и того, разрешить ли использование режима ISP внутреннего подраздела для соответствующего блока яркости, когда узел дерева кодирования яркости не разделен, и разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности включает в себя:

когда режим разделения узла дерева кодирования цветности удовлетворяет любому одному условию в третьем заданном условии, определение того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности; или когда режим разделения узла дерева кодирования цветности не удовлетворяет третьему заданному условию, N = T1 и M = T1/2, если режим разделения узла дерева кодирования цветности удовлетворяет второму заданному условию, определение того, чтобы разрешить выполнение CCLM над единицей кодирования цветности; или, если режим разделения узла дерева кодирования цветности не удовлетворяет второму заданному условию, определение того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности, где второе заданное условие включает в себя режим без разделения или режим вертикального двоичного разделения.

В возможном варианте осуществления третье заданное условие включает в себя одно или любую комбинацию следующих условий 1-13, и условия 1-13 представлены следующим образом:

Условие 1: режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, и режим ISP используется для блока яркости узла дерева кодирования яркости, где размер узла дерева кодирования яркости равен Т1×Т1.

Условие 2: режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, режим ISP используется для блока яркости узла дерева кодирования яркости, и узел дерева кодирования цветности разделяется на дочерние узлы, где каждый из размера узла дерева кодирования цветности, размера узла дерева кодирования яркости и размера блока яркости равен T1×T1.

Условие 3: режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, горизонтальный режим ISP используется для блока яркости узла дерева кодирования яркости, и узел дерева кодирования цветности разделяется на дочерние узлы с использованием одного из режима вертикального двоичного разделения, режима вертикального троичного разделения или режима разделения квадродерева, где каждый из размера узла дерева кодирования цветности, размера узла дерева кодирования яркости и размера блока яркости равен T1×T1.

Условие 4: режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, горизонтальный режим ISP используется для блока яркости узла дерева кодирования яркости, и узел дерева кодирования цветности разделяется на дочерние узлы с использованием одного из режима горизонтального троичного разделения, режима вертикального двоичного разделения, режима вертикального троичного разделения или режима разделения квадродерева, где каждый из размера узла дерева кодирования цветности, размера узла дерева кодирования яркости и размера блока яркости равен T1×T1.

Условие 5: режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, горизонтальный режим ISP используется для блока яркости узла дерева кодирования яркости, и узел дерева кодирования цветности разделяется на дочерние узлы с использованием одного из режима вертикального двоичного разделения, режима вертикального троичного разделения или режима горизонтального троичного разделения, где размер узла дерева кодирования яркости равен T1×T1, и размер узла дерева кодирования цветности равен T1×(Т1/2).

Условие 6: режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, вертикальный режим ISP используется для блока яркости узла дерева кодирования яркости, и узел дерева кодирования цветности разделяется на дочерние узлы с использованием одного из режима горизонтального двоичного разделения, режима горизонтального троичного разделения или режима разделения квадродерева, где и размер узла дерева кодирования цветности и размер узла дерева кодирования яркости равны T1×T1.

Условие 7: режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, режим вертикального прогнозирования ISP используется для блока яркости узла дерева кодирования яркости, и узел дерева кодирования цветности разделяется на дочерние узлы с использованием одного из режима вертикального троичного разделения, режима горизонтального двоичного разделения, режима горизонтального троичного разделения или режима разделения квадродерева, где каждый из размера узла дерева кодирования цветности, размера узла дерева кодирования яркости и размера блока яркости равен T1×T1.

Условие 8: режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, вертикальный режим ISP используется для блока яркости узла дерева кодирования яркости, и узел дерева кодирования цветности разделяется на дочерние узлы с использованием одного из режима горизонтального двоичного разделения, режима горизонтального троичного разделения или режима вертикального троичного разделения, где размер узла дерева кодирования яркости и размер блока яркости равны T1×T1, и размер узел дерева кодирования цветности равен T1×(T1/2).

Условие 9: узел дерева кодирования яркости, соответствующий узлу дерева кодирования цветности, разделяется на дочерние узлы с использованием режима горизонтального двоичного разделения, где размер узла дерева кодирования яркости равен T1×T1.

Условие 10: узел дерева кодирования яркости, соответствующий узлу дерева кодирования цветности, разделяется на дочерние узлы с использованием режима вертикального двоичного разделения, где размер узла дерева кодирования яркости равен T1×T1.

Условие 11: узел дерева кодирования яркости, соответствующий узлу дерева кодирования цветности, разделяется на дочерние узлы с использованием режима горизонтального троичного разделения, где размер узла дерева кодирования яркости равен T1×T1.

Условие 12: узел дерева кодирования яркости, соответствующий узлу дерева кодирования цветности, разделяется на дочерние узлы с использованием режима вертикального троичного разделения, где размер узла дерева кодирования яркости равен T1×T1.

Условие 13: режим разделения, используемый для узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, является режимом разделения, отличным от режима разделения и режима разделения квадродерева, где размер узла дерева кодирования яркости равен T1×T1.

Здесь следует отметить, что то, что узел дерева кодирования цветности разделен на дочерние узлы, в частности, означает, что узел дерева кодирования цветности разделен на дочерние узлы с использованием одного из режима горизонтального двоичного разделения, режима вертикального двоичного разделения, горизонтального троичного режим разделения, режима вертикального троичного разделения и режима разделения квадродерева.

В возможном варианте третье заданное условие включает в себя:

Режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, и режим прогнозирования ISP используется для блока яркости узла дерева кодирования яркости, где размер узла дерева кодирования яркости и размер блока яркости равны T1×T1.

В возможном варианте третье заданное условие включает в себя:

Режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, режим ISP используется для блока яркости узла дерева кодирования яркости, и узел дерева кодирования цветности разделяется на дочерние узлы, где каждый из размера узла дерева кодирования цветности, размера узла дерева кодирования яркости и размера блока яркости равен T1×T1.

В возможном варианте третье заданное условие включает в себя условие 1 и условие 13.

В возможном варианте третье заданное условие включает в себя условие 2 и условие 13.

В возможном варианте третье заданное условие включает в себя:

Режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, режим ISP используется для блока яркости узла дерева кодирования яркости, и узел дерева кодирования цветности разделяется на дочерние узлы; или режим разделения узла дерева кодирования яркости является одним из режима горизонтального двоичного разделения и режима вертикального двоичного разделения, где каждый из размера узла дерева кодирования цветности, размера узла дерева кодирования яркости и размера блока яркости равен T1×T1.

В возможном варианте третье заданное условие включает в себя условие 3, условие 5, условие 6, условие 8 и условие 13.

В возможном варианте третье заданное условие включает в себя условие 4, условие 5, условие 7, условие 8 и условие 13.

В возможном варианте осуществления третье заданное условие включает в себя условие 3, условие 5, условие 7, условие 8, условие 9, условие 10, условие 11 и условие 12.

В возможном варианте заданный порог T1 равен 64.

Согласно второму аспекту вариант осуществления настоящего изобретения предоставляет способ внутреннего прогнозирования для видеопоследовательности, включающий в себя:

синтаксический анализ битового потока для получения первого идентификатора и второго идентификатора, где первый идентификатор используется для указания того, используется ли структура дерева разделения для внутреннего изображения в видеопоследовательности, и второй идентификатор используется для указания того, разрешить ли выполнение CCLM над блоком цветности в видеопоследовательности; и

если первый идентификатор указывает, что структура дерева разделения используется для внутреннего изображения в видеопоследовательности, и второй идентификатор указывает, что CCLM может выполняться над единицей цветности в видеопоследовательности, выполнение способа внутреннего прогнозирования для описанной видеопоследовательности в любом из первого аспекта и вариантов осуществления первого аспекта.

Согласно третьему аспекту вариант осуществления настоящего изобретения предоставляет устройство внутреннего прогнозирования для видеопоследовательности, включающий в себя:

блок получения, выполненный с возможностью получения размера и режима разделения узла дерева кодирования цветности;

блок определения, выполненный с возможностью определения, на основе размера и режима разделения узла дерева кодирования цветности, относительно того, разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности; и определения режима прогнозирования единицы кодирования цветности в зависимости от того, разрешено ли выполнение CCLM над единицей кодирования цветности; и

блок прогнозирования, выполненный с возможностью обработки единицы кодирования цветности на основе режима прогнозирования единицы кодирования цветности для того, чтобы получить выборки прогнозирования единицы кодирования цветности.

В возможном варианте осуществления размер узла дерева кодирования цветности равен M×N, и в аспекте определения, на основе размера и режима разделения узла дерева кодирования цветности, относительно того, разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности, блок определения специально выполнен с возможностью:

когда M и N равны заданному порогу T1, если режим разделения узла дерева кодирования цветности удовлетворяет первому заданному условию, определения того, чтобы разрешить выполнение CCLM над единицей кодирования цветности; или, если режим разделения узла дерева кодирования цветности не удовлетворяет первому заданному условию, определения того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности, где первое заданное условие включает в себя режим без разделения или режим разделения квадродерева.

В возможном варианте осуществления размер узла дерева кодирования цветности равен M×N, и в аспекте определения, на основе размера и режима разделения узла дерева кодирования цветности, относительно того, разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности, блок определения специально выполнен с возможностью:

когда M равно T1, и N равно T1/2, если режим разделения узла дерева кодирования цветности удовлетворяет второму заданному условию, определения того, чтобы разрешить выполнение CCLM над единицей кодирования цветности; или, если режим разделения узла дерева кодирования цветности не удовлетворяет второму заданному условию, определения того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности, где второе заданное условие включает в себя режим без разделения или режим вертикального двоичного разделения.

В возможном варианте осуществления, в аспекте определения, на основе размера и режима разделения узла дерева кодирования цветности, относительно того, разрешить ли выполнение внутреннего прогнозирования по межкомпонентной линейной модели (CCLM) над единицей кодирования цветности, включенной в узел дерева кодирования цветности, блок определения специально выполнен с возможностью:

определения, на основе размера и режима разделения узла дерева кодирования цветности, режима разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, и того, разрешить ли использование режима ISP для соответствующего блока яркости, когда узел дерева кодирования яркости не разделен, независимо от того, разрешено ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности.

В возможном варианте осуществления размер узла дерева кодирования цветности равен M×N, и в аспекте определения, на основе размера и режима разделения узла дерева кодирования цветности, режима разделения узла дерева кодирования яркости соответствующего узлу дерева кодирования цветности, и того, разрешить ли использование режима ISP внутреннего подраздела для соответствующего блока яркости, когда узел дерева кодирования яркости не разделен, и разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности, блок определения специально выполнен с возможностью:

когда режим разделения узла дерева кодирования цветности удовлетворяет третьему заданному условию, определения того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности; или когда режим разделения узла дерева кодирования цветности не удовлетворяет третьему заданному условию, M равно T1, и N равно T1, если режим разделения узла дерева кодирования цветности удовлетворяет первому заданному условию, определения того, чтобы разрешить выполнение CCLM над единицей кодирования цветности; или, если режим разделения узла дерева кодирования цветности не удовлетворяет первому заданному условию, определения того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности, где первое заданное условие включает в себя режим без разделения или режим разделения квадродерева.

В возможном варианте осуществления размер узла дерева кодирования цветности равен M×N, и в аспекте определения, на основе размера и режима разделения узла дерева кодирования цветности, режима разделения узла дерева кодирования яркости соответствующего узлу дерева кодирования цветности, и того, разрешить ли использование режима ISP внутреннего подраздела для соответствующего блока яркости, когда узел дерева кодирования яркости не разделен, и разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности, блок определения специально выполнен с возможностью:

когда режим разделения узла дерева кодирования цветности удовлетворяет любому одному условию в третьем заданном условии, определения того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности; или когда режим разделения узла дерева кодирования цветности не удовлетворяет третьему заданному условию, N = T1 и M = T1/2, если режим разделения узла дерева кодирования цветности удовлетворяет второму заданному условию, определения того, чтобы разрешить выполнение CCLM над единицей кодирования цветности; или, если режим разделения узла дерева кодирования цветности не удовлетворяет второму заданному условию, определения того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности, где второе заданное условие включает в себя режим без разделения или режим вертикального двоичного разделения.

В возможном варианте третье заданное условие включает в себя одно или несколько из: условия 1, условия 2, условия 3, условия 4, условия 5, условия 6, условия 7, условия 8, условия 9, условия 10, условия 11, условия 12 и условия 13 в первом аспекте.

В возможном варианте третье заданное условие включает в себя:

Режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, и режим прогнозирования ISP используется для блока яркости узла дерева кодирования яркости, где размер узла дерева кодирования яркости и размер блока яркости равны T1×T1.

В возможном варианте третье заданное условие включает в себя:

Режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, режим ISP используется для блока яркости узла дерева кодирования яркости, и узел дерева кодирования цветности разделяется на дочерние узлы, где каждый из размера узла дерева кодирования цветности, размера узла дерева кодирования яркости и размера блока яркости равен T1×T1.

В возможном варианте осуществления третье заданное условие включает в себя условие 1 и условие 13 в первом аспекте.

В возможном варианте осуществления третье заданное условие включает в себя условие 2 и условие 13 в первом аспекте.

В возможном варианте третье заданное условие включает в себя:

Режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, режим ISP используется для блока яркости узла дерева кодирования яркости, и узел дерева кодирования цветности разделяется на дочерние узлы; или режим разделения узла дерева кодирования яркости является одним из режима горизонтального двоичного разделения и режима вертикального двоичного разделения, где каждый из размера узла дерева кодирования цветности, размера узла дерева кодирования яркости и размера блока яркости равен T1×T1.

В возможном варианте осуществления третье заданное условие включает в себя условие 3, условие 5, условие 6, условие 8 и условие 13 в первом аспекте.

В возможном варианте осуществления третье заданное условие включает в себя условие 4, условие 5, условие 7, условие 8 и условие 13 в первом аспекте.

В возможном варианте осуществления третье заданное условие включает в себя условие 3, условие 5, условие 7, условие 8, условие 9, условие 10, условие 11 и условие 12 в первом аспекте.

В возможном варианте заданный порог T1 равен 64.

Согласно четвертому аспекту вариант осуществления настоящего изобретения предоставляет устройство внутреннего прогнозирования для видеопоследовательности, включающий в себя:

блок декодирования, выполненный с возможностью синтаксического анализа битового потока для получения первого идентификатора и второго идентификатора, где первый идентификатор используется для указания того, используется ли структура дерева разделения для внутреннего изображения в видеопоследовательности, и второй идентификатор используется указания того, разрешить ли выполнение CCLM над блоком цветности в видеопоследовательности; и

блок прогнозирования, выполненный с возможностью: если первый идентификатор указывает, что структура дерева разделения используется для внутреннего изображения в видеопоследовательности, и второй идентификатор указывает, что CCLM может выполняться над блоком цветности в видеопоследовательности, выполнения всего или части способа внутреннего прогнозирования видеопоследовательности в первом аспекте.

Согласно пятому аспекту вариант осуществления настоящего изобретения предоставляет устройство декодирования, включающее в себя энергонезависимую память и процессор, которые соединены друг с другом, где процессор вызывает программный код, хранящийся в памяти, для выполнения некоторых или всех этапов способа либо в первом аспекте, либо во втором аспекте.

Согласно шестому аспекту вариант осуществления настоящего изобретения предоставляет машиночитаемый носитель информации. Машиночитаемый носитель информации хранит программный код, и программный код включает в себя инструкции для выполнения некоторых или всех этапов способа либо в первом аспекте, либо во втором аспекте.

Следует понимать, что технические решения со второго по шестой аспектов настоящей заявки согласуются с техническими решениями первого аспекта настоящего изобретения, и положительные эффекты, достигаемые аспектами и соответствующими возможными реализациями, являются аналогичными. В данном документе подробности повторно не описываются.

Краткое описание чертежей

Для более ясного описания технических решений, представленных в вариантах осуществления настоящего изобретения или в предшествующем уровне техники, ниже кратко описаны сопроводительные чертежи, предназначенные для описания вариантов осуществления или предшествующего уровня техники. Понятно, что сопроводительные чертежи, представленные в последующем описании, показывают только некоторые варианты осуществления настоящего изобретения, и специалист в данной области техники может получить другие чертежи из этих сопроводительных чертежей без прикладывания творческих усилий.

На фиг.1 показано схематичное представление режима разделения CTU;

На фиг.2 показано схематичное представление режима разделения блока цветности и блока яркости;

На фиг.3 показано схематичное представление другого режима разделения блока цветности и блока яркости;

На фиг.4 показана блок-схема системы кодирования и декодирования видео согласно варианту осуществления настоящего изобретения;

На фиг.5а показана блок-схема видеокодера согласно варианту осуществления настоящего изобретения;

На фиг.5b показана блок-схема видеодекодера согласно варианту осуществления настоящего изобретения;

На фиг.5c показана блок-схема примера устройства кодирования или устройства декодирования согласно варианту осуществления настоящего изобретения;

На фиг.6 показана блок-схема способа внутреннего прогнозирования для видеопоследовательности согласно варианту осуществления настоящего изобретения;

На фиг.7 показана блок-схема способа внутреннего прогнозирования для видеопоследовательности согласно варианту осуществления настоящего изобретения;

На фиг.8 показана схематичная структурная схема устройства внутреннего прогнозирования согласно варианту осуществления настоящего изобретения; и

На фиг.9 показана схематичная структурная схема устройства внутреннего прогнозирования согласно варианту осуществления настоящего изобретения.

Подробное описание изобретения

Ниже описаны варианты осуществления настоящей заявки со ссылкой на сопроводительные чертежи.

Сначала будут описаны термины, используемые в настоящем изобретении.

Единица дерева кодирования (coding tree unit, CTU): изображение включает в себя множество CTU, и одна CTU обычно соответствует одной квадратной области изображения и включает в себя выборки яркости и выборки цветности в области изображения (или может включать в себя только выборки яркости, или может включать в себя только выборки цветности). CTU дополнительно включает в себя синтаксические элементы. Эти синтаксические элементы указывают способ того, как разделить CTU по меньшей мере на одну единицу кодирования (coding unit, CU) и декодировать каждую единицу кодирования для получения восстановленного изображения.

CU: CU обычно соответствует прямоугольной области размером A×B и включает в себя выборки яркости и выборки цветности размером A×B, соответствующие выборкам яркости, где A – ширина прямоугольника, B – высота прямоугольника, и ширина A может быть такой же как высота B или отличаться от нее. Значения A и B обычно являются целыми степенями 2, например, 256, 128, 64, 32, 16, 8 и 4. Единицу кодирования можно декодировать для получения восстановленного изображения прямоугольной области A×B. Обработка декодирования обычно включает в себя выполнение обработки, такой как прогнозирование, деквантование и обратное преобразование, для выработки изображения прогнозирования и остатка. Восстановленное изображение получается путем наложения изображения прогнозирования и остатка.

Квадродерево: квадродерево представляет собой древовидную структуру, и узел может быть разделен на четыре дочерних узла. Режим разделения CTU на основе квадродерева используется в стандарте кодирования видео H.265, причем CTU используется в качестве корневого узла, и каждый узел соответствует одной квадратной области. Дальнейшее разделение узла невозможно (в этом случае область, соответствующая узлу, является CU), или узел разделяется на четыре узла нижнего уровня, то есть квадратная область разделяется на четыре квадратные области равного размера (где длина и ширина каждой из четырех квадратных областей равного размера равны половине длины и ширине квадратной области, которая была перед разделением), и каждая область соответствует одному узлу, как показано на фиг.1(а).

Двоичное дерево: двоичное дерево представляет собой древовидную структуру, и узел можно разделить на два дочерних узла. В существующем способе кодирования, в котором используется двоичное дерево, узел в структуре двоичного дерева невозможно разделить, или узел разделяется на два узла более низкого уровня. Узел разделяется на два узла одним из двух способов: (1) горизонтальное двоичное разделение: область, соответствующая узлу, разделяется на две области одинакового размера: верхнюю область и нижнюю область, и каждая область соответствует одному узлу, как показано на фиг.1(b); или (2) вертикальное двоичное разделение: область, соответствующая узлу, разделяется на две области равного размера: левую область и правую область, и каждая область соответствует одному узлу, как показано на фиг.1(c).

Троичное дерево: троичное дерево представляет собой древовидную структуру, и узел можно разделить на три дочерних узла. В существующем способе кодирования на основе троичного дерева узел в структуре троичного дерева невозможно разделить, или этот узел можно разделить на три узла более низкого уровня. Узел разделяется на три узла одним из двух способов: (1) горизонтальное троичное разделение: область, соответствующая узлу, разделяется на три области: верхнюю область, среднюю область и нижнюю область, и каждая область соответствует одному узлу, где высота верхней области, средней области и нижней области составляет 1/4, 1/2 и 1/4 от высоты узла, соответственно, как показано на фиг.1(d); (2) вертикальное троичное разделение: область, соответствующая узлу, разделяется на три области: левую область, среднюю область и правую область, и каждая область соответствует одному узлу, где ширина левой области, средней области область и правой области составляют 1/4, 1/2 и 1/4 от высоты узла, соответственно, как показано на фиг.1(f).

Тестовая модель универсального кодирования видео (versatile video coding test model, VTM): это эталонное программное обеспечение кодека для стандарта H.266/универсального кодирования видео (versatile video coding test model, VVC), организованное и разработанное JVET.

Внутреннее прогнозирование по межкомпонентной линейной модели (cross-component linear model intra prediction, CCLM) представляет собой способ прогнозирования цветности с использованием выборки восстановления яркости, например, технологии CCLM в VTM5. В CCLM параметры линейной модели α и β оцениваются с использованием восстановленной выборки яркости и восстановленной выборки цветности вокруг текущего блока цветности; после субдискретизации восстановленных выборок яркости, соответствующих текущему блоку цветности, получаются выборки прогнозирования текущего блока цветности с использованием линейной модели, как показано в формуле 1:

, (1)

где α и β– коэффициенты линейной модели, – предиктор выборки цветности в позиции (i, j), и – значения выборки восстановления яркости в позиции (i, j) после субдискретизации блока восстановления яркости, соответствующего текущему блоку цветности, до разрешения компонента цветности. Следует отметить, что для видео в формате YUV4: 2:0 разрешение компонента яркости в четыре раза больше (в два раза больше ширины и в два раза больше высоты) разрешения компонента цветности. Чтобы получить блок яркости с тем же разрешением, что и блок цветности, компонент яркости должен быть субдискретизирован до разрешения цветности в соответствии с тем же способом дискретизации, что и компонент цветности, и он будет использоваться в дальнейшем.

Внутренний подраздел (intra sub-partition, ISP) представляет собой технологию внутреннего прогнозирования, основанную на разделении подблоков, например, технологию ISP в VTM5. При использовании режима ISP блок яркости по горизонтали или вертикали разделяется на несколько (например, два или четыре) подблоков яркости одинакового размера, и подблок яркости последовательно декодируется и восстанавливается. Если для блока цветности используется общий внутренний режим прогнозирования (например, режим углового прогнозирования, режим планарного прогнозирования или режим прогнозирования постоянного тока), для внутреннего прогнозирования блока цветности используются только восстановленные выборки вокруг блока цветности. В этом случае внутреннее прогнозирование блока цветности и внутреннее прогнозирование блока яркости может выполняться одновременно, максимальная задержка при выполнении обработки прогнозирования в блоке цветности относительно выполнения обработки прогнозирования в блоке яркости в соответствующей области (которая называется для краткости задержкой при обработке цветности) равна времени обработки для выполнения внутреннего прогнозирования и восстановления в области, включающей 0 выборок яркости. В одном дереве CU включает в себя выборки яркости и выборки цветности. Когда CCLM выполняется для выборки цветности, необходимо использовать выборку восстановления яркости в соответствующей позиции. Если блок яркости разделен на множество подобластей для последовательной обработки, после того, как внутреннее прогнозирование выполняется в подобласти яркости, предикторы и остатки накладываются, чтобы получить восстановленные выборки подобласти яркости, и прогнозирование CCLM может быть выполнено в подобласти цветности в соответствующей позиции с использованием восстановленных выборок подобласти яркости. Таким образом, когда для внутреннего изображения используется структура дерева разделения, если прогнозирование CCLM выполняется для блока цветности, может возникнуть проблема сравнительно большой задержки при обработке сигнала цветности.

Например, когда блок яркости узла, чей размер равен 64×64, разделен с использованием режима разделения квадродерева (как показано на фиг.2(a)), последовательность обработки четырех выработанных узлов яркости представляет собой узел 0, узел 1, узел 2 и узел 3. Когда блок цветности узла, чей размер равен 64×64, разделен с использованием режима вертикального двоичного разделения, показанного на фиг.2(b), для выработки двух узлов цветности, если прогнозирование CCLM выполняется над узлом цветности 0, значения выборки восстановления яркости, требуемые для прогнозирования CCLM, могут быть получены для узла 0 цветности только после восстановления узла 2 яркости. Задержка при обработке сигнала цветности равна времени обработки трех областей яркости, размер которых составляет 32×32 (то есть 3072 выборки яркости). В качестве другого примера, когда блок цветности узла, чей размер равен 64×64, разделен на два узла цветности с использованием горизонтального двоичного дерева, показанного на фиг.2(c), и блок цветности узла, чей размер равен 64×32, на верхней стороне продолжает дальше разделяться на два узла с использованием режима горизонтального двоичного дерева, если прогнозирование CCLM выполняется над узлом цветности 0, все значения выборки восстановления яркости, необходимые для прогнозирования CCLM, могут быть получены для узла 0 цветности только после восстановления узла 1 яркости, и задержка при обработке сигнала цветности равна времени обработки двух областей яркости (то есть 2048 выборок яркости), чьи размеры равны 32×32.

Когда некоторые разделения выполняются в блоке цветности узла, чей размер равен 64×64, задержка при обработке для выполнения CCLM над узлом цветности не превышает время обработки одной области яркости, чей размер равен 32×32. Например, когда блок яркости, чей размер равен 64×64, разделен с использованием режима разделения квадродерева, если соответствующий блок цветности также разделен с использованием режима разделения квадродерева, как показано на фиг.2(d), CCLM может выполняться над узлом 0 цветности после восстановления узла 0 яркости, CCLM может выполняться над узлом 1 цветности после восстановления узла 1 яркости и так далее. В качестве другого примера, если блок цветности узла, чей размер равен 64×64, не разделен, как показано на фиг.2(e), блок цветности может быть разделен на четыре области p0, p1, p2 и p3 для последовательного внутреннего прогнозирования, CCLM может выполняться над областью цветности p0 после восстановления узла яркости 0, CCLM может выполняться над областью цветности p1 после восстановления узла яркости 1 и так далее. В качестве другого примера, если блок цветности узла, чей размер равен 64×64, сначала разделяется с использованием режима горизонтального разделения, узел цветности, чей размер равен 64×32, на верхней стороне разделяется с использованием режима вертикального разделения, и узел цветности, чей размер равен 64×32, на нижней стороне не разделяется, как показано на фиг.2(f), задержки при обработке цветности узлов цветности 0, 1 и 2 равны каждая по отдельности задержке при обработке области яркости, чей размер равен 32×32. Это связано с тем, что CCLM может выполняться над узлом цветности 0 после восстановления узла яркости 0, CCLM может выполняться над узлом 2 цветности после восстановления узла 1 яркости, CCLM может выполняться над областью p0 узла 2 цветности после завершения узла 2 яркости, и CCLM может выполняться над областью p1 цветности узел 2 после восстановления узла 3 яркости.

В дополнение к этому, если для внутреннего изображения используется структура дерева разделения, когда блок яркости размером 64×64 не разделен, и для блока яркости используется режим ISP, задержка при обработке цветности может превышать время обработки, одной области яркости, чей размер равен 32×32. Например, когда блок яркости узла, чей размер равен 64×64, разделен на четыре подблока яркости с использованием вертикального режима ISP, как показано на фиг.3(a), если блок цветности узла, чей размер равен 64×64, разделен с использованием режима горизонтального двоичного разделения, как показано на фиг.3(b), CCLM может выполняться над узлом цветности 0 только после восстановления четырех подблоков яркости, и задержка при обработке цветности равна времени обработки четырех областей яркости, чьи размеры равны 32×32. Аналогичным образом, когда блок яркости узла, чей размер равен 64×64, разделен на четыре подблока яркости с использованием горизонтального режима ISP, как показано на фиг.3(e), если блок цветности узла, чей размер равен 64×64, разделен с использованием режима вертикального двоичного разделения, как показано на фиг.3(f), CCLM может выполняться над узлом 0 цветности только после восстановления четырех подблоков яркости, и задержка при обработке цветности равна времени обработки четырех областей яркости, чьи размеры равны 32×32.

Когда некоторые разделения выполняются в блоке цветности узла, чей размер равен 64×64, даже если блок яркости размером 64×64 не разделен, и для блока яркости используется режим ISP, задержка при обработке для выполнения CCLM узлом цветности не превышает время обработки одной области яркости, чей размер равен 32×32. Например, когда вертикальный режим ISP используется для блока яркости узла, чей размер равен 64×64, если блок цветности узел, чей размер равен 64×64, не разделен, как показано на фиг.3(d), или блок цветности узла, чей размер равен 64×64, разделен с использованием вертикального двоичного режима для получения узлов, чьи размеры равны 32×64, и узлы разделяются с использованием режима вертикального двоичного разделения или не разделяются, как показано на фиг.3(c), задержка при обработке сигнала цветности равна времени обработки одной области яркости, чей размер равен 16×64, и может также рассматриваться приблизительно равной времени обработки одной области яркости 32×32 (обе соответствуют 1024 выборкам яркости). Более конкретно, когда блок цветности узла, чей размер равен 64×64, не разделен, блок цветности может быть разделен по вертикали на четыре подобласти, и CCLM может начать выполняться над каждой подобластью после восстановления соответствующего подблока яркости, чей размер равен 16×64. Если блок цветности узла, чей размер равен 64×64, разделен с использованием вертикального двоичного режима для получения узлов размером 32×64, и узлы разделены с использованием режима вертикального двоичного разделения, CCLM может начать выполняться над каждым узлом цветности, чей размер равен 16×64, после восстановления соответствующего подблока яркости, чей размер равен 16×64. Когда узел, чей размер равен 32×64, не разделен по горизонтали, узел может быть разделен по вертикали на две подобласти размером 16×64, и CCLM может начать выполняться над каждой подобластью после восстановления соответствующего подблока яркости, чей размер равен 16×64. Аналогичным образом, когда горизонтальный режим ISP используется для блока яркости узла, чей размер равен 64×64, если блок цветности узла, чей размер равен 64×64, не разделен, как показано на фиг.3(h), или блок цветности узла, чей размер равен 64×64, разделен с использованием режима горизонтального двоичного разделения для получения узлов, чьи размеры равны 64×32, и узлы разделены с использованием режима горизонтального двоичного разделения или не разделены, как показано на фиг.3(g), задержка при обработке сигнала цветности равна времени обработки одной области яркости, чей размер равен 64×16, и равен времени обработки одной области яркости, чей размер равен 32×32.

На фиг.4 показана блок-схема примера системы 4 кодирования видео, описанной в варианте осуществления настоящей заявки. В данном описании термин "видеокодек" обычно относится к видеокодеру и видеодекодеру. В настоящей заявке термин "кодирование видео" или "кодирование" обычно может относиться к кодированию видео или декодированию видео. Видеокодер 100 и видеодекодер 300 в системе 1 кодирования видео выполнены с возможностью прогнозирования информации о движении, например, вектора движения, текущего блока кодированного изображения или подблока текущего блока кодированного изображения с использованием различных примеров способов, описанных в любом из множества новых режимов внутреннего прогнозирования, предоставленных в настоящей заявке, так что спрогнозированный вектор движения максимально приближен к вектору движения, полученному с использованием способа оценки движения. Таким образом, нет необходимости передавать разность векторов движения во время кодирования, что дополнительно повышает производительность кодирования и декодирования.

Как показано на фиг.4, система 1 кодирования видео включает в себя устройство-источник 10 и устройство-получатель 30. Устройство-источник 10 вырабатывает кодированные видеоданные. Таким образом, устройство-источник 10 может называться устройством кодирования видео. Устройство-получатель 30 может декодировать кодированные видеоданные, выработанные устройством-источником 10. Таким образом, устройство-получатель 30 может упоминаться как устройство внутреннего прогнозирования видео. Устройство-источник 10, устройство-получатель 30 или различные решения по реализации устройства-источника 10 и устройства-получателя 30 могут включать в себя один или несколько процессоров и память, соединенную с одним или несколькими процессорами. Память может включать в себя, но не ограничиваться этим, RAM, ROM, EEPROM, флэш-память или любой другой носитель информации, который может использоваться для хранения желаемого программного кода в виде инструкции или структуры данных, доступной для компьютера, как описано в данном описании.

Устройство-источник 10 и устройство-получатель 30 могут включать в себя различные устройства, включая настольный компьютер, мобильное вычислительное устройство, ноутбук (например, портативный компьютер типа «лэптоп»), планшетный компьютер, телеприставку, портативный телефонный аппарат, такой как "умный" телефон (смартфон), телевизор, фотоаппарат, устройство отображения, цифровой медиаплеер, игровая консоль, автомобильный компьютер или аналогичное устройство.

Устройство-получатель 30 может принимать кодированные видеоданные из устройства-источника 10 по линии 50 связи. Линия 50 связи может включать в себя один или несколько носителей информации или устройств, которые могут передавать кодированные видеоданные из устройства-источника 10 в устройство-получатель 30. Например, линия 50 связи может включать в себя одну или несколько сред передачи данных, которые позволяют устройству-источнику 10 напрямую отправлять кодированные видеоданные в устройство-получатель 30 в реальном времени. В этом примере устройство-источник 10 может модулировать кодированные видеоданные в соответствии со стандартом связи (например, протоколом беспроводной связи) и может отправлять модулированные видеоданные в устройство-получатель 30. Одна или несколько сред передачи могут включать в себя среду беспроводной связи и/или среда проводной связи, например, радиочастотный (RF) спектр или один или несколько физических кабелей передачи. Одна или несколько сред передачи могут быть частью пакетной сети, и пакетная сеть представляет собой, например, локальную сеть, региональную сеть или глобальную сеть (например, Интернет). Одна или несколько сред передачи могут включать в себя маршрутизатор, коммутатор, базовую станцию или другое устройство, обеспечивающее связь между устройством-источником 10 и устройством-получателем 30.

В другом примере кодированные данные могут быть выведены в запоминающее устройство 40 через выходной интерфейс 140. Аналогичным образом, к кодированным видеоданным можно получить доступ из запоминающего устройства 40 через входной интерфейс 340. Запоминающее устройство 40 может включать в себя любое один из множества распределенных или локально доступных носителей информации, например, жесткий диск, диск Blu-ray, DVD, CD-ROM, флэш-память, энергозависимую или энергонезависимую память или любой другой пригодный цифровой носитель информации, выполненный с возможностью хранения кодированных видеоданных.

В другом примере запоминающее устройство 40 может соответствовать файловому серверу или другому промежуточному запоминающему устройству, которое может поддерживать кодированное видео, выработанное устройством-источником 10. Устройство-получатель 30 может осуществлять доступ к сохраненным видеоданным из запоминающего устройства 40 посредством потоковой передачи или загрузки. Файловым сервером может быть любой тип сервера, который может хранить кодированные видеоданные и который отправляет кодированные видеоданные в устройство-получатель 30. Например, файловый сервер может быть сетевым сервером (например, используемым для веб-сайта), FTP-сервером, сетевым хранилищем (NAS) или локальным диском. Устройство-получатель 30 может получить доступ к кодированным видеоданным через любое стандартное соединение для передачи данных (включая интернет-соединение). Стандартное соединение для передачи данных может включать в себя беспроводной канал (например, соединение Wi-Fi), проводное соединение (например, DSL или кабельный модем) или их комбинацию, которая подходит для доступа к кодированным видеоданным, хранящимся в файловом сервере. Передача кодированных видеоданных из запоминающего устройства 40 может быть потоковой передачей, передачей-загрузкой или их комбинацией.

Технология прогнозирования вектора движения в настоящей заявке может использоваться для кодирования и декодирования видео с тем, чтобы поддержать множество мультимедийных приложений, например, эфирное телевещание, передачу кабельного телевидения, передачу спутникового телевидения, передачу потокового видео (например, по сети Интернет), кодирование видеоданных, хранящихся на носителе информации, декодирование видеоданных, хранящихся на носителе информации, или другие приложения. В некоторых примерах система 1 кодирования видео может быть выполнена с возможностью поддержки однонаправленной или двунаправленной передачи видео для поддержки таких приложений, как потоковая передача видео, воспроизведение видео, широковещательная передача видео и/или видеотелефония.

Система 1 кодирования видео, описанная на фиг.4 является просто примером, и технология в настоящей заявке применима к устройству кодирования видео (например, кодированию видео или декодированию видео), которое необязательно включает в себя какой-либо обмен данными между устройством кодирования видео и устройством декодирования видео. В других примерах данные извлекаются из локальной памяти, передаются по сети и т.п. Устройство кодирования видео может кодировать данные и сохранять данные в памяти, и/или устройство декодирования видео может извлекать данные из памяти и декодировать данные. Во многих примерах устройства, которые только кодируют данные и сохраняют данные в памяти и/или извлекают данные из памяти и декодируют данные, и которые не обмениваются данными друг с другом, выполняют кодирование и декодирование.

В примере, показанном на фиг.4, устройство-источник 10 включает в себя источник 120 видео, видеокодер 100 и выходной интерфейс 140. В некоторых примерах выходной интерфейс 140 может включать в себя модулятор/демодулятор (модем) и/или передатчик. Источник 120 видео может включать в себя устройство захвата видео (например, камеру), архив видеоданных, включающий в себя ранее захваченные видеоданные, интерфейс ввода видео для приема видеоданных от поставщика видеоконтента, и/или систему компьютерной графики для выработки видеоданных или комбинацию вышеупомянутых источников видеоданных.

Видеокодер 100 может кодировать видеоданные, которые поступают от источника 120 видео. В некоторых примерах устройство-источник 10 напрямую отправляет кодированные видеоданные в устройство-получатель 30 через выходной интерфейс 140. В качестве альтернативы, в другом примере кодированные видеоданные могут храниться в запоминающем устройстве 40 с тем, чтобы устройство-получатель 30 впоследствии получило доступ к кодированным видеоданным для декодирования и/или воспроизведения.

В примере, показанном на фиг.4, устройство-получатель 30 включает в себя входной интерфейс 340, видеодекодер 300 и устройство 330 отображения. В некоторых примерах входной интерфейс 340 включает в себя приемник и/или модем. Входной интерфейс 340 может принимать кодированные видеоданные через канал 30 связи и/или из запоминающего устройства 40. Устройство 330 отображения может быть интегрировано с устройством-получателем 30 или может быть расположено вне устройства-получателя 30. Устройство 330 отображения обычно отображает декодированные видеоданные. Устройство 330 отображения может включать в себя множество типов устройств отображения, например, жидкокристаллический дисплей (LCD), плазменный дисплей, дисплей на органических светодиодах (OLED) или устройство отображения другого типа.

Хотя это не показано на фиг.4, в некоторых аспектах видеокодер 100 и видеодекодер 300 могут быть интегрированы с аудиокодером и аудиодекодером, соответственно, и могут включать в себя соответствующий блок мультиплексора-демультиплексора (multiplexer-demultiplexer, MUX-DEMUX) или другие аппаратные средства и программное обеспечение для кодирования аудио и видео в общем потоке данных или в отдельном потоке данных. В некоторых примерах, если это применимо, блок MUX-DEMUX может соответствовать протоколу мультиплексора ITU H.223 или другому протоколу, например, протоколу пользовательских дейтаграмм (UDP).

Каждый из видеокодера 100 и видеодекодера 300 может быть реализован, например, в виде любой из следующего многообразия схем: один или несколько микропроцессоров, процессор цифровых сигналов (DSP), специализированная интегральная схема (ASIC), программируемая пользователем вентильная матрица (FPGA), дискретная логика, аппаратные средства или любая их комбинация. Если настоящая заявка реализована частично с помощью программного обеспечения, устройство может хранить, на соответствующем энергонезависимом машиночитаемом носителе информации, инструкцию, используемую для программного обеспечения, и может использовать один или несколько процессоров для исполнения инструкции в аппаратных средствах, чтобы реализовать технологию, представленную в настоящей заявке. Любой из вышеперечисленных компонентов (включая аппаратные средства, программное обеспечение, комбинацию аппаратных средств и программного обеспечения и т.п.) можно рассматриваться как один или несколько процессоров. Каждый из видеокодера 100 и видеодекодера 300 может быть включен в один или несколько кодеров или декодеров, и либо кодер, либо декодер могут быть интегрированы в часть комбинированного кодера/декодера (кодека) в соответствующем устройстве.

В настоящей заявке видеокодер 100 может в общих чертах упоминаться как другое устройство, "сигнализирующее" или "отправляющее" некоторую информацию, например, в видеодекодер 300. Термин "сигнализация" или "передача" может в общих чертах упоминаться как передача синтаксического элемента и/или других данных, используемых для декодирования сжатых видеоданных. Передача может происходить в реальном времени или почти в реальном времени. В качестве альтернативы, связь может происходить по прошествии определенного периода времени, например, может происходить, когда синтаксический элемент в кодированном битовом потоке сохранится на машиночитаемом носителе информации во время кодирования, и затем устройство внутреннего прогнозирования сможет извлечь синтаксический элемент в любое время после того, как синтаксический элемент будет сохранен на носителе информации.

Видеокодер 100 и видеодекодер 300 могут функционировать в соответствии со стандартом сжатия видео, например, стандартом высокоэффективного кодирования видео (HEVC) или его расширением, и могут соответствовать тестовой модели HEVC (HM). В качестве альтернативы видеокодер 100 и видеодекодер 300 могут свои функции в соответствии с другими отраслевыми стандартами, например, стандартами ITU-T H.264 и H.265, или расширениями этих стандартов. Однако технологии в настоящей заявке не ограничиваются какими-либо конкретными стандартами кодирования и декодирования.

На фиг.5a показана схематичная/концептуальная блок-схема примера видеокодера 100, выполненного с возможностью реализации технологии (раскрытой) в настоящей заявке. В примере на фиг.5a, видеокодер 100 включает в себя блок 204 вычисления остатка, блок 206 обработки преобразования, блок 208 квантования, блок 210 обратного квантования, блок 212 обработки обратного преобразования, блок 214 восстановления, буфер 216, блок 208 контурного фильтра, буфер 230декодированного изображения (decoded picture buffer, DPB), блок 260 обработки прогнозирования и блок 270 энтропийного кодирования. Блок 260 обработки прогнозирования может включать в себя блок 244 внутреннего прогнозирования, блок 254 внутреннего прогнозирования и блок 262 выбора режима. Блок 244 внутреннего прогнозирования может включать в себя блок оценки движения и блок компенсации движения (не показаны на фигуре). Видеокодер 100, показанный на фиг.5a также может называться гибридным видеокодером или видеокодером на основе гибридного видеокодека.

Например, блок 204 вычисления остатка, блок 206 обработки преобразования, блок 208 квантования, блок 260 обработки прогнозирования и блок 270 энтропийного кодирования образуют прямой путь сигнала кодера 100, тогда как, например, блок 210 обратного квантования, блок 212 обработки обратного преобразования, блок 214 восстановления, буфер 216, контурный фильтр 220, буфер декодированного изображения (decoded picture buffer, DPB) 230 и блок 260 обработки прогнозирования образуют обратный путь прохождения сигнала кодера, где обратный путь сигнала видеокодера соответствует пути сигнала декодера (смотри видеодекодер 300 на фиг.5b).

Кодер 100 принимает, например, через вход 202 изображение 201 или блок 203 изображения 201, например, изображение в виде последовательности изображений, образующих видео или видеопоследовательность. Блок 203 изображения может также упоминаться как текущий блок изображения или подлежащий кодированию блок изображения, и изображение 201 может упоминаться как текущее изображение или подлежащее кодированию изображение (в частности, при кодировании видео, для различения текущего изображения от других изображений, например, ранее кодированных и/или декодированных изображений в одной и той же видеопоследовательности, а именно в видеопоследовательности, которая также включает в себя текущее изображение).

Разделение на разделы

В варианте осуществления кодер 100 может включать в себя блок разделения (который не показан на фиг.5a), выполненный с возможностью разделения изображения 201 на множество блоков, таких как блоки 203. Изображение 201 обычно разделяется на множество неперекрывающихся блоков. Блок разделения может быть выполнен с возможностью: использования одного и того же размера блока для всех изображений видеопоследовательности и соответствующей сетки, определяющей размер блока, или изменения размера блока между изображениями, или поднаборами, или группами изображений и разделения каждого изображения на соответствующие блоки.

В одном примере блок 260 обработки прогнозирования видеокодера 100 может быть выполнен с возможностью выполнения любой комбинации вышеупомянутых технологий разделения.

Аналогично изображению 201, блок 203 также рассматривается или может рассматриваться как двумерный массив или матрица выборок со значениями яркости (значениями выборок), хотя размер блока 203 меньше размера изображения 201. Другими словами, блок 203 может включать в себя, например, один массив выборок (например, массив яркости в случае монохромного изображения 201), три массива выборок (например, один массив яркости и два массива цветности в случае цветного изображения) или любое другое количество и/или любой другой тип массивов в зависимости от применяемого цветового формата. Количество выборок в горизонтальном и вертикальном направлениях (или осях) блока 203 определяет размер блока 203.

Кодер 100, показанный на фиг.5a выполнен с возможностью поблочного кодирования изображения 201, например, для кодирования и прогнозирования каждого блока 203.

Вычисление остатка

Блок 204 вычисления остатка выполнен с возможностью вычисления блока 205 остатка на основе блока 203 изображения и блока 265 прогнозирования (подробности о блоке 265 прогнозирования дополнительно представлены ниже), например, путем вычитания значений выборок блока 265 прогнозирования из значений выборок блока 203 изображения на основе «выборка за выборкой» (sample by sample), чтобы получить блок 205 остатка в области выборки.

Преобразование

Блок 206 обработки преобразования выполнен с возможностью применения преобразования, например, дискретного косинусного преобразования (discrete cosine transform, DCT) или дискретного синусоидального преобразования (discrete sine transform, DST), к значениям выборок блока 205 остатка для получения коэффициентов 207 преобразования в области преобразования. Коэффициенты 207 преобразования также могут называться коэффициентами преобразования остатка и представлять собой блок 205 остатка в области преобразования.

Блок 206 обработки преобразования может быть выполнен с возможностью применения целочисленных аппроксимаций DCT/DST, таких как преобразования, указанные в HEVC/H.265. По сравнению с ортогональным преобразованием DCT, такие целочисленные аппроксимации обычно масштабируются с помощью коэффициента. Чтобы сохранить норму блока остатка, который обрабатывается с использованием прямого и обратного преобразований, дополнительный коэффициент масштабирования применяется как часть процесса преобразования. Коэффициент масштабирования обычно выбирается на основе некоторых ограничений, например, коэффициента масштабирования, равного степени два для операции сдвига, битовой глубины коэффициента преобразования и компромиссом между точностью и затратами на реализацию. Например, конкретный коэффициент масштабирования задается для обратного преобразования, например, блоком 212 обработки обратного преобразования на стороне декодера 30 (и для соответствующего обратного преобразования, например, блоком 212 обработки обратного преобразования на стороне кодера 20), и, соответственно, соответствующий коэффициент масштабирования может быть задан для прямого преобразования блоком 206 обработки преобразования на стороне кодера 20.

Квантование

Блок 208 квантования выполнен с возможностью квантования коэффициентов 207 преобразования для получения квантованных коэффициентов 209 преобразования, например, путем применения скалярного квантования или векторного квантования. Квантованный коэффициент 209 преобразования может также называться квантованным коэффициентом 209 остатка. Процесс квантования позволяет уменьшить битовую глубину, относящуюся к некоторым или всем коэффициентам преобразования 207. Например, n-битовый коэффициент преобразования может быть округлен до m-битового коэффициента преобразования во время квантования, где n больше m. Степень квантования может быть изменена путем регулировки параметра квантования (quantization parameter, QP). Например, для скалярного квантования может применяться другое масштабирование для достижения более точного или более грубого квантования. Меньший размер шага квантования соответствует более точному квантованию, и больший размер шага квантования соответствует более грубому квантованию. Соответствующий размер шага квантования может быть указан параметром квантования (quantization parameter, QP). Например, параметр квантования может быть индексом для заданного набора подходящих размеров шага квантования. Например, меньший параметр квантования может соответствовать более точному квантованию (меньшему размеру шага квантования), и больший параметр квантования может соответствовать более грубому квантованию (большему размеру шага квантования) или наоборот. Квантование может включать в себя деление на размер шага квантования и соответствующее квантование или деквантование, например, выполняемое блоком 210 обратного квантования, или может включать в себя умножение на размер шага квантования. Варианты осуществления согласно некоторым стандартам, таким как HEVC, могут использовать параметр квантования для определения размера шага квантования. Как правило, размер шага квантования может быть вычислен на основе параметра квантования с использованием аппроксимации с фиксированной точкой уравнения, включающего в себя деление. Дополнительные коэффициенты масштабирования могут быть введены для квантования и деквантования, чтобы восстановить норму блока остатка, которая может быть модифицирована из-за масштабирования, используемого в аппроксимации с фиксированной точкой уравнения для размера шага квантования и параметра квантования. В одной примерной реализации масштабирование обратного преобразования и деквантование могут быть объединены. В качестве альтернативы могут использоваться индивидуальные таблицы квантования и сигнализироваться от кодера к декодеру, например, в битовом потоке. Квантование представляет собой операцию с потерями, где потери возрастают с увеличением размера шага квантования.

Блок 210 обратного квантования выполнен с возможностью применения обратного квантования блока 208 квантования к квантованным коэффициентам для того, чтобы получить деквантованные коэффициенты 211, например, применить, основываясь или используя том же самый размер шага квантования, как у блока 208 квантования, операцию, обратную операции схеме квантования, применяемой блоком 208 квантования. Деквантованные коэффициенты 211 также могут упоминаться как деквантованные коэффициенты 211 остатка и соответствуют коэффициентам 207 преобразования, хотя обычно не идентичны коэффициентам преобразования из-за потерь, вызванных квантованием.

Блок 212 обработки обратного преобразования выполнен с возможностью применения обратного преобразования преобразования, применяемого блоком 206 обработки преобразования, например, обратного дискретного косинусного преобразования (discrete cosine transform, DCT) или обратного дискретного синусоидального преобразования (discrete sine transform, DST), для того, чтобы получить блок 213 обратного преобразования в области выборки. Блок 213 обратного преобразования может также называться деквантованным блоком 213 обратного преобразования или блоком 213 остатка обратного преобразования.

Блок 214 восстановления (например, сумматор 214) выполнен с возможностью сложения блока 213 обратного преобразования (то есть блока 213 восстановленного остатка) с блоком 265 прогнозирования, например, путем сложения значений выборок блока 213 восстановленного остатка и значений выборок блока 265 прогнозирования, для того, чтобы получить восстановленный блок 215 в области выборки.

При необходимости блок 216 буфера (или для краткости "буфер" 216), например, строковый буфер 216, выполнен с возможностью буферизации или хранения восстановленного блока 215 и соответствующего значения выборки, например, для внутреннего прогнозирования. В других вариантах осуществления кодер может быть выполнен с возможностью использования нефильтрованного восстановленного блока и/или соответствующего значения выборки, хранящегося в блоке 216 буфера, для любого типа оценки и/или прогнозирования, например, внутреннего прогнозирования.

Например, в варианте осуществления кодер 100 может быть выполнен таким образом, чтобы блок 216 буфера не только использовался для хранения восстановленного блока 215 для внутреннего прогнозирования 254, но также использовался для блока 220 контурного фильтра (который не показан на фиг.5a), и/или таким образом, чтобы, например, блок 216 буфера и блок 230 буфера декодированного изображения образовывали один буфер. В других вариантах осуществления фильтрованные блоки 221 и/или блоки или выборки из буфера 230 декодированных изображений (блоки или выборки не показаны на фиг.5a) используются в качестве входных данных или основы для внутреннего прогнозирования 254.

Блок 220 контурного фильтра (или для краткости "контурный фильтр" 220) выполнен с возможностью фильтрации восстановленного блока 215 для получения фильтрованного блока 221, тем самым сглаживания переходы между выборками или повышая качество видео. Блок 220 контурного фильтра предназначен для представления одного или нескольких контурных фильтров, таких как фильтр удаления блочности, фильтр адаптивного смещения выборки (sample-adaptive offset, SAO) или другой фильтр, такой как двусторонний фильтр, адаптивный контурный фильтр (adaptive loop filter, ALF), фильтр повышения резкости или сглаживания или объединенный фильтр. Хотя блок 220 контурного фильтра показан на фиг.5a, в другой конфигурации блок 220 контурного фильтра может быть реализован как постконтурный фильтр. Отфильтрованный блок 221 также может называться фильтрованным восстановленным блоком 221. Буфер 230 декодированного изображения может сохранить восстановленный кодированный блок после того, как блок 220 контурного фильтра выполнит операцию фильтрации над восстановленным кодированным блоком.

В варианте осуществления кодер 100 (соответственно, блок 220 контурного фильтра) может быть выполнен с возможностью вывода параметра контурного фильтра (такого как информация об адаптивном смещении выборки), например, напрямую или после энтропийного кодирования, выполняемого блоком 270 энтропийного кодирования или любым другим блоком энтропийного кодирования, поэтому декодер 30 может принимать, например, один и тот же параметр фильтра контура и применять один и тот же параметр фильтра контура для декодирования.

Буфер декодированных изображений (decoded picture buffer, DPB) 230 может быть памятью опорных изображений, в которой хранятся данные опорных изображений для использования при кодировании видеоданных видеокодером 100. DPB 230 можно сформировать с помощью любого из разнообразных запоминающих устройств, таких как динамическая память с произвольным доступом (dynamic random access memory, DRAM) (включая синхронную DRAM (synchronous DRAM, SDRAM), магниторезистивную RAM (magnetoresistive RAM, MRAM), резистивную RAM (resistive RAM, RRAM)) или запоминающих устройств других типов. DPB 230 и буфер 216 могут быть выполнены с помощью одного и того же запоминающего устройства или отдельных запоминающих устройств. В примере буфер декодированного изображения (decoded picture buffer, DPB) 230 выполнен с возможностью хранения отфильтрованного блока 221. Буфер 230 декодированного изображения может быть дополнительно выполнен с возможностью хранения других ранее отфильтрованных блоков, например, ранее восстановленных и отфильтрованных блоков 221, одного и того же текущего изображения или разных изображений, например, ранее восстановленных изображений, и может предоставлять полностью ранее восстановленные изображения, то есть декодированные изображения (и соответствующие опорные блоки и выборки) и/или частично восстановленное текущее изображение (и соответствующие опорные блоки и выборки), например, для внутреннего прогнозирования. В одном примере, если восстановленный блок 215 восстанавливается без внутриконтурной фильтрации, буфер 230 декодированного изображения (decoded picture buffer, DPB) выполнен с возможностью для хранения восстановленного блока 215.

Блок 260 обработки прогнозирования, также называемый блоком 260 обработки прогнозирования блока, выполнен с возможностью приема или получения блока 203 изображения (текущего блока 203 текущего изображения 201) и данных восстановленного изображения, например, опорных выборок одно и того же (текущего) изображения из буфера 216 и/или данные 231 опорного изображения одного или нескольких ранее декодированных изображений из буфера 230 декодированных изображений, и обрабатывать такие данные для прогнозирования, а именно, чтобы предоставить блок 265 прогнозирования, который может быть блоком 245 внутреннего прогнозирования или блоком 255 внутреннего прогнозирования.

Блок 262 выбора режима может быть выполнен с возможностью выбора режима прогнозирования (например, внутреннего или внутреннего режима прогнозирования) и/или соответствующего блока 245 или 255 прогнозирования, который будет использоваться в качестве блока 265 прогнозирования, для вычисления блока 205 остатка и для восстановления восстановленного блока 215.

В варианте осуществления блок 262 выбора режима может быть выполнен с возможностью выбора режима прогнозирования (например, из режимов прогнозирования, поддерживаемых блоком 260 обработки прогнозирования), где режим прогнозирования обеспечивает наилучшее совпадение или, другими словами, минимальный остаток (минимальная величина остатка означает лучшее сжатие для передачи или хранения), или обеспечивает минимальные издержки на сигнализацию (минимальные издержки на сигнализацию означают лучшее сжатие для передачи или хранения), или учитывает или уравновешивает и то и другое. Блок 262 выбора режима может быть выполнен с возможностью определения режима прогнозирования на основе оптимизации искажения скорости (rate distortion optimization, RDO), а именно, выбора режима прогнозирования, который обеспечивает оптимизацию минимального искажения скорости, или выбора режима прогнозирования, для которого искажение скорости по меньшей мере удовлетворяет критерию выбора режима прогнозирования.

Далее приводится более подробное описание процесса прогнозирования, выполняемого (например, с использованием блока 260 обработки прогнозирования), и выбора режима (например, с использованием блока 262 выбора режима) на примере кодера 100.

Как описано выше, кодер 100 выполнен с возможностью определения или выбора наилучшего или оптимального режима прогнозирования из набора (заданных) режимов прогнозирования. Набор режимов прогнозирования может включать в себя, например, режим внутреннего прогнозирования и/или режим внутреннего прогнозирования.

Набор режимов внутреннего прогнозирования может включать в себя 35 различных режимов внутреннего прогнозирования, например, ненаправленные режимы, такие как режим постоянного тока (или средний) и планарный режим, или направленные режимы, такие как определенные в H.265, или могут включать в себя 67 различных режимов внутреннего прогнозирования, например, ненаправленные режимы, такие как режим постоянного тока (или средний) и планарный режим, или направленные режимы, такие как определенные в H.266, находящемся на стадии разработки.

Набор режимов внутреннего прогнозирования (возможно) зависит от доступного опорного изображения (то есть, по меньшей мере от части декодированного изображения, хранящегося в DBP 230) и другого параметра внутреннего прогнозирования, например, в зависимости от того, используется ли опорное изображение целиком, или используется ли только часть опорного изображения, например, область окна поиска вокруг области текущего блока, для поиска наиболее подходящего опорного блока, и/или в зависимости, например, от того, применяется ли интерполяция выборки, такая как интерполяция половины выборки и/или четверти выборки.

В дополнение к вышеупомянутым режимам прогнозирования могут применяться режим пропуска и/или прямой режим.

Блок 260 обработки прогнозирования может быть дополнительно выполнен с возможностью разделения блока 203 на меньшие разделы или подблоки, например, путем итеративного использования разделения квадродерева (quad-tree, QT), разделения двоичного дерева (binary-tree, BT), разделения троичного дерева (triple-tree, TT) или любой их комбинации, и выполнения, например, прогнозирования для каждого из разделов блока или подблоков. Выбор режима включает в себя выбор структуры дерева разделенного блока 203 и выбор режима прогнозирования, применяемого к каждому из разделов блока или подблоков.

Блок 244 внутреннего прогнозирования может включать в себя оценку движения (motion estimation, ME), блок (который не показан на фиг.5а) и блок компенсации движения (motion compensation, MC) (который не показан на фиг.5а). Блок оценки движения выполнен с возможностью приема или получения блока 203 изображения (текущего блока 203 текущего изображения 201) и декодированного изображения 231 или по меньшей мере одного или нескольких ранее восстановленных блоков, например, одного или нескольких восстановленных блоков других/различных ранее декодированных изображений 231 для оценки движения. Например, видеопоследовательность может включать в себя текущее изображение и ранее декодированные изображения 31. Другими словами, текущее изображение и ранее декодированные изображения 31 могут быть частью или могут сформировать последовательность изображений, образующих видеопоследовательность.

Например, кодер 100 может быть выполнен с возможностью выбора опорного блока из множества опорных блоков одного и того же изображения или разных изображений из множества других изображений и предоставления их в блок оценки движения (который не показан на фиг.5a).), опорного изображения и/или смещения (пространственного смещения) между позицией (с координатами X и Y) опорного блока и позицией текущего блока в качестве параметра внутреннего прогнозирования. Смещение также называется вектором движения (motion vector, MV).

Блок компенсации движения выполнен с возможностью получения, например, параметра внутреннего прогнозирования и выполнения внутреннего прогнозирования на основе или с использованием параметра внутреннего прогнозирования для получения блока 245 внутреннего прогнозирования. Компенсация движения, выполняемая блоком компенсации движения (который не показан на фиг.5a), может включать в себя выборку или выработку блока прогнозирования на основе вектора движения/блока, определенного посредством оценки движения (возможно, путем выполнения интерполяции с точностью до подвыборки). Интерполяционная фильтрация позволяет выработать дополнительные выборочные выборки из известных выборочных выборок, тем самым потенциально увеличивая количество потенциальных блоков прогнозирования, которые могут использоваться для кодирования блока изображения. После приема вектора движения для PU текущего блока изображения блок 246 компенсации движения может найти блок прогнозирования, на который указывает вектор движения, в одном из списков опорных изображений. Блок 246 компенсации движения также может вырабатывать синтаксические элементы, ассоциированные с блоками и фрагментами видео, для использования видеодекодером 300 при декодировании блоков изображения фрагмента видео.

Блок 254 внутреннего прогнозирования выполнен с возможностью получения, например, приема, блока 203 изображения (текущего блока изображения) и одного или нескольких ранее восстановленных блоков, например, восстановленных соседних блоков, из одного и того же изображения для внутренних оценок. Кодер 100 может быть, например, выполнен с возможностью выбора режима внутреннего прогнозирования из множества (заданных) режимов внутреннего прогнозирования.

В варианте осуществления кодер 100 может быть выполнен с возможностью выбора режима внутреннего прогнозирования на основе критерия оптимизации, например, на основе минимального остатка (например, на основе режима внутреннего прогнозирования, предоставляющего блок 255 прогнозирования, который наиболее похож на текущий блок 203 изображения) или минимального искажения скорости.

Блок 254 внутреннего прогнозирования дополнительно выполнен с возможностью определения блока 255 внутреннего прогнозирования на основе, например, внутреннего параметра прогнозирования в выбранном режиме внутреннего прогнозирования. В любом случае, после выбора режима внутреннего прогнозирования блока, блок 254 внутреннего прогнозирования дополнительно конфигурируется для предоставления параметра внутреннего прогнозирования, то есть информации, указывающей выбранный режим внутреннего прогнозирования блока, в блок 270 энтропийного кодирования. В примере блок 254 внутреннего прогнозирования может быть выполнен с возможностью выполнения любой комбинации технологий внутреннего прогнозирования, описанных ниже.

Блок 270 энтропийного кодирования выполнен с возможностью применения (или неприменения) алгоритма или схемы энтропийного кодирования (например, схемы кодирования с переменной длиной (variable length coding, VLC)), схемы контекстно-адаптивного VLC (context adaptive VLC, CAVLC), схемы арифметического кодирования, контекстно-адаптивного двоичного арифметического кодирования (context adaptive binary arithmetic coding, CABAC), основанное на синтаксисе контекстно-адаптивного двоичного арифметического кодирования (syntax-based context-adaptive binary arithmetic coding, SBAC), энтропии разделения вероятностей интервала (probability interval partitioning entropy, PIPE) или другой методологии или технологии энтропийного кодирования) к одному или всем квантованным коэффициентам 209 остатка, внутреннему параметру прогнозирования, параметру внутреннего прогнозирования и/или параметру контурного фильтра для получения кодированных данных 21 изображения, которые могут выводиться через выход 272, например, в виде кодированного битового потока 21. Кодированный битовый поток может быть передан в видеодекодер 300, или заархивирован для последующей передачи или извлечен с помощью видеодекодера 300. Блок 270 энтропийного кодирования может быть дополнительно выполнен с возможностью энтропийного кодирования другого синтаксического элемента для текущего кодируемого фрагмента видео.

Другие структурные вариации видеокодера 100 могут использоваться для кодирования видеопотока. Например, кодер 100, не основанный на преобразовании, может квантовать сигнал остатка напрямую без блока 206 обработки преобразования для некоторых блоков или кадров. В другой реализации кодер 100 может иметь блок 208 квантования и блок 210 обратного квантования, объединенные в единый блок.

На фиг.5b показана блок-схема видеодекодера согласно варианту осуществления настоящего изобретения. Энтропийный декодер 303 видеодекодера 300 энтропийно декодирует битовый поток, чтобы выработать квантованный коэффициент и некоторые синтаксические элементы. Энтропийный декодер 303 направляет синтаксические элементы в блок 308 обработки прогнозирования. Видеодекодер 300 может принимать синтаксические элементы/синтаксический элемент на уровне фрагмента видео и/или на уровне блока изображения. В настоящей заявке, в примере, синтаксический элемент в данном документе может включать в себя данные внутреннего прогнозирования, относящиеся к узлу дерева кодирования цветности, данные внутреннего прогнозирования могут включать в себя первый идентификатор qtbtt_dual_tree_intra_flag и второй идентификатор sps_cclm_enabled_flag, первый идентификатор используется для указания того, используется ли структура дерева разделения для внутреннего изображения в видеопоследовательности, и второй идентификатор используется для указания того, разрешить ли выполнение CCLM над блоком цветности в видеопоследовательности. При необходимости данные внутреннего прогнозирования могут дополнительно включать в себя размер и флаг разделения узла дерева кодирования цветности, и флаг разделения может быть установлен на разные значения, чтобы указывать, что разные режимы разделения используются для узла дерева кодирования цветности. При необходимости может быть дополнительно включен другой элемент синтаксический элемент.

Энтропийный декодер 303 энтропийно декодирует битовый поток для получения первого идентификатора qtbtt_dual_tree_intra_flag и второго идентификатора sps_cclm_enabled_flag. Если первый идентификатор указывает, что структура дерева разделения используется для внутреннего изображения, и второй идентификатор указывает, что CCLM может выполняться над блоком цветности в видеопоследовательности, энтропийный декодер 303 продолжает синтаксически анализировать размер и флаг разделения узла дерева кодирования цветности из битового потока, и внутренний предиктор 309 определяет режим разделения узла дерева кодирования цветности на основе флага разделения и определяет, на основе размера и режима разделения узла дерева кодирования цветности, то, разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности. Энтропийный декодер 303 синтаксически анализирует первый индекс CuPreMode единицы кодирования цветности из битового потока. Если значение первого индекса равно MODE_INTRA, энтропийный декодер 303 продолжает синтаксически анализировать третий идентификатор pcm_flag из битового потока. Если третий идентификатор указывает, что режим PCM не используется для единицы кодирования цветности, энтропийный декодер 303 синтаксически анализирует второй индекс intra_chroma_pred_mode из битового потока. Внутренний предиктор 309 определяет режим прогнозирования единицы кодирования цветности на основе второго индекса intra_chroma_pred_mode и режима прогнозирования единицы кодирования яркости, соответствующей единице кодирования цветности, и затем выполняет внутреннее прогнозирование единицы кодирования цветности на основе режима прогнозирования единицы кодирования цветности для получения выборок прогнозирования единицы кодирования цветности. Энтропийный декодер 303 дополнительно синтаксически анализирует битовый поток, чтобы получить информацию об остатке единицы кодирования цветности.

Деквантователь 304 и обратный преобразователь 305 обрабатывают информацию об остатке единицы кодирования цветности, чтобы получить восстановленные остатки единицы кодирования цветности.

После того, как внутренний предиктор 309 выработает выборки прогнозирования, используемые для единицы кодирования цветности, видеодекодер 300 складывает восстановленные остатки от обратного преобразователя 305 и выборки прогнозирования, выработанные внутренним предиктором 310, чтобы получить восстановленные выборки единицы кодирования цветности, то есть декодированный блок изображения. Сумматор 311 представляет собой компонент, который выполняет операцию суммирования. При необходимости контурный фильтр (в цикле декодирования или после него) может дополнительно использоваться для сглаживания переходов между выборками или иного улучшения качества видео. Блок 306 фильтра может представлять собой один или несколько контурных фильтров, например, фильтр удаления блочности, адаптивный контурный фильтр (ALF) и фильтр адаптивного смещения выборки (SAO). Хотя блок 306 фильтра показан на фиг.5b, в другой реализации блок 306 фильтра может быть реализован как постконтурный фильтр. В одном примере блок 306 фильтра может применяться для восстановления блока, чтобы уменьшить искажение блока, и этот результат выводится как декодированный видеопоток. В дополнение к этому, блок декодированного изображения в данном кадре или изображении может быть дополнительно сохранен в буфере 307 декодированного изображения, и буфер 307 декодированного изображения хранит опорное изображение, используемое для последующей компенсации движения. Буфер 307 декодированного изображения может быть частью памяти и может дополнительно хранить декодированное видео для последующего представления на устройстве отображения (например, устройстве 330 отображения, показанном на фиг.4). В качестве альтернативы, буфер 307 декодированных изображений может быть выполнен отдельно от такой памяти.

Следует понимать, что другой структурный вариант видеодекодера 300 может использоваться для декодирования кодированного битового потока видео. Например, видеодекодер 300 может выработать выходной видеопоток без обработки блоком 306 фильтра. В качестве альтернативы, для некоторых блоков изображения или кадров изображения энтропийный декодер 303 видеодекодера 300 не получает квантованный коэффициент посредством декодирования, и, соответственно, не требуется обработка с помощью деквантователя 304 и обратным преобразователя 305.

На фиг.5c показана упрощенная блок-схема устройства 500, которое может использоваться в качестве одного или двух из: устройства-источника 10 и устройства-получателя 30, которые показаны на фиг.4, согласно примерному варианту осуществления. Устройство 500 позволяет реализовать технологии настоящей заявки. Устройство 500 может быть выполнено в виде вычислительной системы, включающей в себя множество вычислительных устройств, или в виде одного вычислительного устройства, такого как мобильный телефон, планшетный компьютер, портативный компьютер типа «лэптоп» или настольный компьютер.

Процессор 502 устройства 500 может быть центральным процессором. В качестве альтернативы, процессор 502 может быть устройством любого другого типа или множеством устройств, которые могут управлять или обрабатывать информацию и которые существуют или будут разработаны в будущем. Как показано на чертеже, хотя раскрытые реализации могут быть осуществлены на практике с помощью одного процессора, такого как процессор 502, преимущества в скорости и эффективности могут быть достигнуты за счет использования более чем одного процессора.

В реализации, память 504 устройства 500 может быть постоянным запоминающим устройством (random access memory, ROM) или оперативным запоминающим устройством (random access memory, RAM). В качестве памяти 504 может использоваться любое другое запоминающее устройство подходящего типа. Память 504 может включать в себя код и данные 506, к которым обращается процессор 502 с использованием шины 512. Память 504 может дополнительно включать в себя операционную систему 508 и прикладные программы 510. Прикладные программы 510 включают в себя по меньшей мере одну программу, которая позволяет процессору 502 выполнять способы, описанные в данном описании. Например, прикладные программы 510 могут включать в себя приложения 1-N, и приложения 1-N дополнительно включают в себя приложение кодирования видео, которое выполняет способ, описанный в данном описании. Устройство 500 также может включать в себя дополнительную память в форме вторичного хранилища 514. Вторичное хранилище 514 может быть, например, картой памяти, используемой с мобильным вычислительным устройством. Так как сеансы видеосвязи могут содержать большой объем информации, вся или часть этой информации может быть сохранена во вторичном хранилище 514 и загружена в память 504 по мере необходимости для обработки.

Устройство 500 также может включать в себя одно или несколько устройств вывода, таких как дисплей 518. В примере дисплей 518 может быть сенсорным дисплеем, который сочетает в себе дисплей с сенсорным элементом, который может воспринимать сенсорные вводы. Дисплей 518 может быть подключен к процессору 502 с помощью шины 512. Другие устройства вывода, которые позволяют пользователю программировать или иным образом использовать устройство 500, могут быть предусмотрены в качестве дополнения или альтернативы дисплею 518. Когда устройство вывода представляет собой или включает в себя дисплей, дисплей может быть реализован различными способами, в том числе с помощью жидкокристаллического дисплея (ЖКД, LCD), дисплея на электронно-лучевой трубке (ЭЛТ, CRT), плазменного дисплея или дисплея на светоизлучающих диодах (СИД, LED), например, дисплей органических светоизлучающих диодах (ОСИД, OLED).

Устройство 500 также может включать в себя устройство 520 восприятия изображения или может быть подключено к нему. Устройство 520 восприятия изображения представляет собой, например, камеру или любое другое устройство 520 восприятия изображения, которое может воспринимать изображение и которое существует или будет разработано в будущем. Изображение представляет собой, например, изображение пользователя, которое запускает устройство 500. Устройство 520 восприятия изображения может размещаться непосредственно перед пользователем, который запускает устройство 500. В примере положение и оптическая ось устройства 520 восприятия изображения могут быть сконфигурированы таким образом, чтобы поле зрения устройства 520 восприятия изображения включало в себя область, расположенную в непосредственной близости от дисплея 518, и дисплей 518 может быть виден из этой области.

Устройство 500 восприятия также может включать в себя устройство 522 восприятия звука, например, микрофон или любое другое устройство восприятия звука, которое существует или будет разработано в будущем и которое может воспринимать звуки рядом с устройством 500. Устройство 522 восприятия звука может быть размещено непосредственно перед пользователем, который запускает устройство 500, и может быть выполнено с возможностью приема звука, например, голоса или другого звука, издаваемого пользователем при запуске устройства 500.

Хотя на фиг.5c показан процессор 502 и память 504 устройства 500 как интегрированные в единый блок, могут использоваться другие конфигурации. Работа процессора 502 может быть распределена между множеством машин (каждая машина имеет один или несколько процессоров), которые могут быть напрямую соединены или распределены в локальной области или другой сети. Память 504 может быть распределена по множеству машин, таких как сетевая память или память во множестве машин, на которых работает устройство 500. Хотя в данном документе показана одна шина, шина 512 устройства 500 может включать в себя множество шин. Кроме того, вторичное хранилище 514 может быть напрямую соединено с другими компонентами устройства 500 или может быть доступно по сети и может включать в себя один интегрированный блок, такой как карта памяти, или множество блоков, таких как множество карт памяти. Таким образом, устройство 500 может быть реализовано в широком разнообразии конфигураций.

Следует отметить, что кодер, показанный на фиг.5а, декодер, показанный на фиг.5b, и устройство, показанное на фиг.5c могут выполнять некоторые или все из следующих вариантов осуществления способа, показанных на фиг.6 и фиг.7.

На фиг.6 показана блок-схема способа внутреннего прогнозирования для видеопоследовательности согласно варианту осуществления настоящего изобретения. Как показано на фиг.6, способ включает следующие этапы.

S601. Получение размера и режима разделения узла дерева кодирования цветности.

В частности, соответствующий синтаксический элемент в битовом потоке синтаксически анализируется для того, чтобы получить размер и режим разделения узла дерева кодирования цветности. Режим разделения узла дерева кодирования цветности может включать в себя по меньшей мере одно из следующего: отсутствие разделения, разделение квадродерева, горизонтальное двоичное разделение, горизонтальное троичное разделение, вертикальное двоичное разделение и вертикальное троичное разделение. Конечно, в качестве альтернативы можно использовать другой режим разделения. Настоящее изобретение не ограничивается этим.

Здесь следует отметить, что формат видеопоследовательности в данном варианте осуществления настоящего изобретения может быть форматом YUV4: 2:0, форматом YUV4:2:2 или форматом YUV4:2:4.

S602. Определение, на основе размера и режима разделения узла дерева кодирования цветности, относительно того, разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности.

Единица кодирования цветности, включенная в узел дерева кодирования цветности, является единицей кодирования цветности в области изображения, соответствующей узлу дерева кодирования цветности. Если узел дерева кодирования цветности не разделен, узел дерева кодирования цветности включает в себя одну единицу кодирования цветности. Если узел дерева кодирования цветности разделен на дочерние узлы, единица кодирования цветности, включенная в узел дерева кодирования цветности, является единицей кодирования цветности, соответствующей всем листовым узлам дерева кодирования узла дерева кодирования цветности.

В возможном варианте осуществления размер узла дерева кодирования цветности равен M×N, и определение, на основе размера и режима разделения узла дерева кодирования цветности, относительно того, разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности, дополнительно включат в себя:

когда M и N равны заданному порогу T1, если режим разделения узла дерева кодирования цветности удовлетворяет первому заданному условию, определение того, чтобы разрешить выполнение CCLM над единицей кодирования цветности; или, если режим разделения узла дерева кодирования цветности не удовлетворяет первому заданному условию, определение того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности, где первое заданное условие включает в себя режим без разделения или режим разделения квадродерева, и порог Т1 равен, например, 64 или 32; или

когда M равно T1, и N равно T1/2, если режим разделения узла дерева кодирования цветности удовлетворяет второму заданному условию, определение разрешения CCLM над единицей кодирования цветности; или, если режим разделения узла дерева кодирования цветности не удовлетворяет второму заданному условию, определение того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности, где второе заданное условие включает в себя режим без разделения или режим вертикального двоичного разделения.

Более конкретно, когда первым заданным условием является режим без разделения или режим разделения квадродерева, "если режим разделения узла дерева кодирования цветности удовлетворяет первому заданному условию", является "если режимом разделения узла дерева кодирования цветности является режим без разделения или режим разделения квадродерева". Когда вторым заданным условием является режим без разделения или режим вертикального двоичного разделения, "если режим разделения узла дерева кодирования цветности удовлетворяет второму заданному условию" представляет собой "если режимом разделения узла дерева кодирования цветности является режим без разделения или режим вертикального двоичного разделения". В другом возможном варианте осуществления первым заданным условием может быть альтернативно режим без разделения, режим разделения квадродерева или режим горизонтального двоичного разделения. В другом возможном варианте осуществления второе заданное условие может быть альтернативно режимом без разделения, режимом вертикального двоичного разделения или режимом горизонтального двоичного разделения.

Если текущий узел дерева кодирования цветности не разделен, информация о режиме кодирования единицы кодирования цветности, включенной в текущий узел дерева кодирования цветности, дополнительно синтаксически анализируется, и декодирование и восстановление завершаются. В противном случае текущий узел дерева кодирования цветности разделяется на множество узлов на основе режима разделения текущего узла дерева кодирования цветности.

Здесь следует отметить, что если для внутреннего изображения используется структура дерева разделения, узел дерева кодирования цветности размером T1×(T1/2) может быть получен только путем разделения узла дерева кодирования цветности размером T1×T1 с использованием режима горизонтального двоичного разделения; таким образом то, что "размер узла дерева кодирования цветности равен T1×(T1/2)" эквивалентен режиму разделения родительского узла (то есть узла дерева кодирования цветности, чей размер равен T1×T1) узла дерева кодирования цветности, представляет собой режим горизонтального двоичного разделения.

Например, предполагается, что размер узла дерева кодирования цветности равен 64×64. Когда блок яркости узла дерева кодирования цветности, чей размер равен 64×64, разделен с использованием режима разделения квадродерева, как показано на фиг.2(a), если режим разделения узла дерева кодирования цветности является режимом разделения квадродерева, то есть режим разделения квадродерева используется для блока цветности узла дерева кодирования цветности, как показано на фиг.2(d), CCLM может выполняться над узлом цветности 0 после восстановления узла яркости 0, CCLM может выполняться над узлом цветности 1 после восстановления узла яркости 1 и так далее. В качестве другого примера, если режим разделения узла дерева кодирования цветности не является разделением, то есть блок цветности узла дерева кодирования цветности не разделен, как показано на фиг.2(e), блок цветности может быть разделен на четыре подобласти p0, p1, p2 и p3, и внутреннее прогнозирование p0, p1, p2 и p3 выполняется последовательно. CCLM может выполняться над областью p0 цветности после восстановления узла 0 яркости, CCLM может выполняться над областью p1 цветности перед восстановлением узла 1 яркости и так далее.

Если блок цветности узла дерева кодирования цветности, чей размер равен 64×64, сначала разделен с использованием режима горизонтального двоичного разделения, узел цветности, чей размер равен 64×32, в верхней части разделен с использованием режима вертикального двоичного разделения, и узел цветности, чей размер равен 64×32, в нижней части не разделен, как показано на фиг.2(f), CCLM может выполняться над узлом цветности 0 после восстановления узла яркости 0, CCLM может выполняться над узлом цветности 1 после восстановления узла яркости 1, CCLM может выполняться над областью p0 узла цветности 2 после восстановления узла 2 яркости, и CCLM может выполняться над областью p1 узла 2 цветности после восстановления узла 3 яркости. Таким образом, когда блок цветности узла дерева кодирования цветности, чей размер равен 64×64, не разделен или разделен с использованием режима разделения квадродерева, или блок цветности узла дерева кодирования цветности, чей размер равен 64×32, не разделен или разделен с использованием режима вертикального двоичного разделения, задержка при обработке для выполнения CCLM над узлом цветности не превышает время обработки одной области яркости, чей размер равен 32×32.

В данном варианте осуществления режим разделения, который может использоваться узлом дерева кодирования яркости, чей размер равен T1×T1, может быть ограничен включением только режима без разделения и режима разделения квадродерева. Это ограничение может быть реализовано с помощью ограничения, согласно которому максимальный размер узла двоичного дерева (например, MaxBtSizeY в VTM5) изображения I-кадра не может превышать T1/2, и максимальный размер узла троичного дерева (например, MaxTtSizeY в VTM5) не может превышать T1/2.

Кроме того, режим ISP не используется для единицы кодирования яркости, чей размер равен T1×T1 и которая включена в узел дерева кодирования яркости, соответствующий узлу дерева кодирования цветности.

В возможном варианте осуществления на основе размера и режима разделения узла дерева кодирования цветности определяется то, разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности. Кроме того, дополнительно определяется то, разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности, на основе режима разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности.

В возможном варианте осуществления определение, на основе размера и режима разделения узла дерева кодирования цветности, относительно того, разрешить ли выполнение внутреннего прогнозирования по межкомпонентной линейной модели (CCLM) над единицей кодирования цветности, включенной в узел дерева кодирования цветности, включает в себя:

определение, на основе размера и режима разделения узла дерева кодирования цветности, режима разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, и того, разрешить ли использование режима ISP внутреннего подраздела для соответствующего блока яркости, и, когда узел дерева кодирования яркости не разделен, разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности, где случай, когда узел дерева кодирования яркости не разделен, соответствует одной единице кодирования яркости; поэтому блок яркости, соответствующий случаю, когда узел дерева кодирования яркости не разделен, является блоком яркости единицы кодирования яркости, соответствующей узлу дерева кодирования яркости.

Узел дерева кодирования яркости, соответствующий узлу дерева кодирования цветности, является узлом дерева кодирования яркости, чей размер равен T1×T1 в дереве кодирования яркости в дереве разделения, в котором расположено дерево кодирования цветности. Например, когда дерево разделения используется для внутреннего изображения в проекте 5 VVC, узел дерева кодирования 64×64 разделяется с использованием дерева разделения, и дерево разделения включает в себя дерево кодирования яркости и дерево кодирования цветности. Если T1 установлен на 64, узел дерева кодирования яркости, соответствующий узлу дерева кодирования цветности, является корневым узлом дерева кодирования яркости дерева разделения, в котором расположено дерево кодирования цветности.

В возможном варианте осуществления размер узла дерева кодирования цветности равен M×N, и определение, на основе размера и режима разделения узла дерева кодирования цветности, режима разделения узла дерева кодирования яркости, соответствующего цветности узел дерева кодирования, и того, разрешить ли использование режима ISP внутреннего подраздела для соответствующего блока яркости, когда узел дерева кодирования яркости не разделен, и разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности включает в себя:

когда режим разделения узла дерева кодирования цветности удовлетворяет любому одному условию в третьем заданном условии, определение того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности;

когда режим разделения узла дерева кодирования цветности не удовлетворяет третьему заданному условию, M равно T1, и N равно T1, если режим разделения узла дерева кодирования цветности удовлетворяет первому заданному условию, определение того, чтобы разрешить выполнение CCLM над единицей кодирования цветности; или, если режим разделения узла дерева кодирования цветности не удовлетворяет первому заданному условию, определение того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности, где первое заданное условие включает в себя режим без разделения или режим разделения квадродерева; или

когда режим разделения узла дерева кодирования цветности не удовлетворяет третьему заданному условию, M равно T1, N равно T1/2, если режим разделения узла дерева кодирования цветности удовлетворяет второму заданному условию, определение того, чтобы разрешить выполнение CCLM над единицей кодирования цветности; или, если режим разделения узла дерева кодирования цветности не удовлетворяет второму заданному условию, определение того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности, где второе заданное условие включает в себя режим без разделения или режим вертикального двоичного разделения.

В варианте осуществления третье заданное условие включает в себя одно или любую комбинацию следующих условий 1-13 и 1-13:

Условие 1: режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, и режим ISP используется для блока яркости узла дерева кодирования яркости, где размер узла дерева кодирования яркости равен T1×T1 (где узел дерева кодирования яркости и узел дерева кодирования цветности принадлежат одному дереву разделения, то есть координаты верхнего левого угла узла дерева кодирования яркости являются такими же, как координаты верхнего левого угла корневого узла дерева кодирования цветности).

Условие 2: режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, режим ISP используется для блока яркости узла дерева кодирования яркости, и узел дерева кодирования цветности разделяется на дочерние узлы, где каждый из размера узла дерева кодирования цветности, размера узла дерева кодирования яркости и размера блока яркости равен T1×T1.

Условие 3: режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, горизонтальный режим ISP используется для блока яркости узла дерева кодирования яркости, и узел дерева кодирования цветности разделяется на дочерние узлы с использованием одного из режима вертикального двоичного разделения, режима вертикального троичного разделения или режима разделения квадродерева, где каждый из размера узла дерева кодирования цветности, размера узла дерева кодирования яркости и размера блока яркости равен T1×T1.

Условие 4: режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, горизонтальный режим ISP используется для блока яркости узла дерева кодирования яркости, и узел дерева кодирования цветности разделяется на дочерние узлы с использованием одного из режима горизонтального троичного разделения, режима вертикального двоичного разделения, режима вертикального троичного разделения или режима разделения квадродерева, где каждый из размера узла дерева кодирования цветности, размера узла дерева кодирования яркости и размера блока яркости равен T1×T1.

Условие 5: режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, горизонтальный режим ISP используется для блока яркости узла дерева кодирования яркости, и узел дерева кодирования цветности разделяется на дочерние узлы с использованием одного из режима вертикального двоичного разделения, режима вертикального троичного разделения или режима горизонтального троичного разделения, где размер узла дерева кодирования яркости равен T1×T1, и размер узла дерева кодирования цветности равен T1×(Т1/2).

Условие 6: режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, вертикальный режим ISP используется для блока яркости узла дерева кодирования яркости, и узел дерева кодирования цветности разделяется на дочерние узлы с использованием одного из режима горизонтального двоичного разделения, режима горизонтального троичного разделения или режима разделения квадродерева, где как размер узла дерева кодирования цветности, так и размер узла дерева кодирования яркости равен T1×T1.

Условие 7: режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, режим вертикального прогнозирования ISP используется для блока яркости узла дерева кодирования яркости, и узел дерева кодирования цветности разделяется на дочерние узлы с использованием одного из режима вертикального троичного разделения, режима горизонтального двоичного разделения, режима горизонтального тройного разделения или режима разделения квадродерева, где каждый из размера узла дерева кодирования цветности, размера узла дерева кодирования яркости и размера блока яркости равен T1×T1.

Условие 8: режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, вертикальный режим ISP используется для блока яркости узла дерева кодирования яркости, и узел дерева кодирования цветности разделяется на дочерние узлы с использованием одного из режима горизонтального двоичного разделения, режима горизонтального троичного разделения или режима вертикального троичного разделения, где размер узла дерева кодирования яркости и размер блока яркости равны T1×T1, и размер узел дерева кодирования цветности равен T1×(T1/2).

Условие 9: узел дерева кодирования яркости, соответствующий узлу дерева кодирования цветности, разделяется на дочерние узлы с использованием режима горизонтального двоичного разделения, где размер узла дерева кодирования яркости равен T1×T1.

Условие 10: узел дерева кодирования яркости, соответствующий узлу дерева кодирования цветности, разделяется на дочерние узлы с использованием режима вертикального двоичного разделения, где размер узла дерева кодирования яркости равен T1×T1.

Условие 11: узел дерева кодирования яркости, соответствующий узлу дерева кодирования цветности, разделяется на дочерние узлы с использованием режима горизонтального троичного разделения, где размер узла дерева кодирования яркости равен T1×T1.

Условие 12: узел дерева кодирования яркости, соответствующий узлу дерева кодирования цветности, разделяется на дочерние узлы с использованием режима вертикального троичного разделения, где размер узла дерева кодирования яркости равен T1×T1.

Условие 13: режим разделения, используемый для узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, является режимом разделения, отличным от режима разделения и режима разделения квадродерева, где размер узла дерева кодирования яркости равен T1×T1.

Следует отметить, что режим разделения, используемый для узла дерева кодирования яркости, является режимом разделения, отличным от режима разделения, и разделение квадродерева означает, что режим разделения, используемый для узла дерева кодирования яркости, не является режимом разделением квадродерева или режимом без разделения.

Здесь следует отметить, что в структуре с несколькими типами квадродерева (quad-tree plus multi-type tree, QT-MTT) режимы разделения, разрешенные для узла, включают в себя максимум режим без разделения, режим горизонтального двоичного разделения, режим вертикального двоичного разделения, режим горизонтального троичного разделения, режим вертикального троичного разделения и режим разделения квадродерева; таким образом, то, что "узел дерева кодирования цветности разделяется на дочерние узлы с использованием одного из режима вертикального двоичного разделения, режима вертикального троичного разделения или режима разделения квадродерева" в условии 3, может быть эквивалентно описано в структуре QT-MTT, как "режим разделения, используемый для узла дерева кодирования цветности, не является режимом горизонтального двоичного разделения, режимом горизонтального троичного разделения или режимом без разделения".

В возможном варианте осуществления, исходя из предпосылки, что режим разделения, используемый для узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, ограничен отсутствием разделения и разделением квадродерева, третье заданное условие включает в себя по меньшей мере одно из условий 1-9.

Здесь следует отметить, что то, что узел дерева кодирования цветности разделен на дочерние узлы, в частности, означает, что узел дерева кодирования цветности разделен на дочерние узлы с использованием одного из режима горизонтального двоичного разделения, режима вертикального двоичного разделения, горизонтального троичного режим разделения, режима вертикального троичного разделения и режима разделения квадродерева.

В возможном варианте третье заданное условие включает в себя:

Режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, и режим прогнозирования ISP используется для блока яркости узла дерева кодирования яркости, где размер узла дерева кодирования яркости равен T1×Т1.

В возможном варианте третье заданное условие включает в себя:

Режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, режим ISP используется для блока яркости узла дерева кодирования яркости, и узел дерева кодирования цветности разделяется на дочерние узлы, где каждый из размера узла дерева кодирования цветности, размера узла дерева кодирования яркости и размера блока яркости равен T1×T1.

В возможном варианте третье заданное условие включает в себя:

Режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, режим ISP используется для блока яркости узла дерева кодирования яркости, и узел дерева кодирования цветности разделяется на дочерние узлы; или режим разделения узла дерева кодирования яркости является одним из режима горизонтального двоичного разделения и режима вертикального двоичного разделения, где каждый из размера узла дерева кодирования цветности, размера узла дерева кодирования яркости и размера блока яркости равен T1×T1.

В возможном варианте третье заданное условие включает в себя одно или более условий 1-13.

В возможном варианте третье заданное условие включает в себя условие 1 или условие 13.

В возможном варианте третье заданное условие включает в себя условие 2 или условие 13.

В возможном варианте третье заданное условие включает в себя условие 3, условие 5, условие 6, условие 8 и условие 13.

В возможном варианте третье заданное условие включает в себя условие 4, условие 5, условие 7, условие 8 и условие 13.

В возможном варианте третье заданное условие включает в себя условие 4, условие 5, условие 7, условие 8, условие 9, условие 10, условие 11 и условие 12.

В возможном варианте осуществления T1 может быть равно 64. То есть, если размер узла дерева кодирования цветности равен T1×T1, размер узла дерева кодирования цветности фактически равен 64×64. Если размер кодирования цветности узел дерева равен T1×(T1/2), размер узла дерева кодирования цветности фактически равен 64×32. Если размер узла дерева кодирования яркости равен T1×T1, размер узла дерева кодирования яркости фактически равен 64×64. Если размер блока яркости узла дерева кодирования яркости равен T1×T1, размер узла дерева кодирования цветности фактически равен 64×64.

В возможном варианте осуществления после того, как определено, на основе размера и режима разделения узла дерева кодирования цветности, то, разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности, определяется то, удовлетворяет ли блок кодирования цветности третьему заданному условию для того, чтобы дополнительно определять то, разрешать ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности.

S603. Получить режим прогнозирования единицы кодирования цветности в зависимости от того, разрешено ли выполнение CCLM над единицей кодирования цветности.

Режим прогнозирования единицы кодирования цветности включает в себя по меньшей мере один из прямого режима, планарного режима (planar mode), режима постоянного тока (DC mode), углового режима (angular mode), режима CCLM, режима импульсно-кодовой модуляции (pulse-code modulation, PCM) и режима внутриблочного копирования (IBC).

В частности, синтаксический элемент CuPredMode единицы кодирования цветности синтаксически анализируется, исходя из синтаксической таблицы. Если значение CuPredMode единицы кодирования цветности равно MODE_INTRA, pcm_flag получается посредством синтаксического анализа, где pcm_flag используется для указания того, используется ли режим PCM для единицы кодирования цветности. Если на основе pcm_flag определено, что режим PCM не используется для единицы кодирования цветности, дополнительно синтаксически анализируется синтаксический элемент intra_chroma_pred_mode.

Если режим CCLM не разрешен для единицы кодирования цветности, режим прогнозирования единицы кодирования цветности может быть определен на основе таблицы 1 с помощью синтаксического элемента intra_chroma_pred_mode и режима IntraPredModeY внутреннего прогнозирования яркости, соответствующего единице кодирования цветности.

Таблица 1

intra_chroma_pred_mode[xCb][yCb] IntraredModeY[xCb + cbWidth/2][yCb + cbHeight/2] 0 50 18 1 X(0 ≤ X ≤ 66) 0 66 0 0 0 0 1 50 66 50 50 50 2 18 18 66 18 18 3 1 1 1 66 1 4 0 50 18 1 X

Если режим CCLM разрешен для единицы кодирования цветности, режим прогнозирования единицы кодирования цветности может быть определен на основе таблицы 2 с помощью синтаксического элемента intra_chroma_pred_mode и режима IntraPredModeY внутреннего прогнозирования яркости, соответствующего единице кодирования цветности.

Таблица 2

intra_chroma_pred_mode[xCb][yCb] IntraredModeY[xCb + cbWidth/2][yCb + cbHeight/2] 0 50 18 1 X(0 ≤ X ≤ 66) 0 66 0 0 0 0 1 50 66 50 50 50 2 18 18 66 18 18 3 1 1 1 66 1 4 81 81 81 81 81 5 82 82 82 82 82 6 83 83 83 83 83 7 0 50 18 1 X

xCb и xCr представляют собой координаты (которые выражаются с использованием количества соответствующих выборок яркости) верхнего левого угла единицы кодирования цветности, cbWidth и cbHeight представляют собой, соответственно, ширину и высоту (которые выражаются с использованием количества соответствующих выборки яркости) блока кодирования цветности, intra_chroma_pred_mode[xCb][yCb] представляет собой номер внутреннего режима прогнозирования блока кодирования цветности, IntraPredModeY[xCb + cbWidth/2][yCb + cbHeight/2] представляет собой режим внутреннего прогнозирования яркости координатной позиции (xCb + cbWidth/2, yCb + cbHeight/2), и режим внутреннего прогнозирования яркости IntraPredModeC[xCb][yCb] единицы кодирования цветности можно получить, просмотрев таблицу 1 или таблицу 2.

S604. Выполнение внутреннего прогнозирования для единицы кодирования цветности на основе режима прогнозирования единицы кодирования цветности для получения выборок прогнозирования единицы кодирования цветности.

В возможном варианте осуществления первый идентификатор qtbtt_dual_tree_intra_flag и второй идентификатор sps_cclm_enabled_flag синтаксически анализируются из битового потока. Первый идентификатор используется для указания того, используется ли структура дерева разделения для внутреннего изображения, и второй идентификатор используется для указания того, разрешить ли выполнение CCLM над блоком цветности в видеопоследовательности. Например, если значение первого идентификатора равно первому значению (например, 1 или ""истина""), первый идентификатор используется для указания того, что структура дерева разделения используется для внутреннего изображения в видеопоследовательности; или, если значение первого идентификатора равно второму значению (например, 0 или "ложь"), первый идентификатор используется для указания того, что для внутреннего изображения в видеопоследовательности не используется никакая структура дерева разделения. Если значение второго идентификатора равно первому значению (например, 1 или "истина"), второй идентификатор используется для указания того, что разрешено выполнение CCLM над блоком цветности в видеопоследовательности; или, если значение второго идентификатора равно второму значению (например, 0 или "ложь"), второй идентификатор используется для указания того, что не разрешено выполнение CCLM над блоком цветности в видеопоследовательности.

Когда как значение первого идентификатора, так и значение второго идентификатора равны первому значению, операция внутреннего прогнозирования выполняется над единицей кодирования цветности с использованием способа внутреннего прогнозирования настоящего изобретения.

Понятно, что в решении в данном варианте осуществления настоящего изобретения на основе размера и режима разделения узла дерева кодирования цветности определяется то, разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности, и, таким образом, уменьшается задержка при обработке для выполнения CCLM над единицей кодирования цветности, и повышается пропускная способность аппаратного декодера.

На фиг.7 показана блок-схема способа декодирования согласно варианту осуществления настоящего изобретения. Как показано на фиг.7, способ включает в себя следующие этапы.

S701. Синтаксически анализировать битовый поток для того, чтобы получить размер и режим разделения узла дерева кодирования цветности.

В частности, блок декодирования видео декодирует битовый поток, чтобы получить соответствующий элемент синтаксический элемент, и дополнительно определяет размер и режим разделения узла дерева кодирования цветности на основе этого синтаксического элемента.

S702. Определить, на основе размера и режима разделения узла дерева кодирования цветности, то, разрешить ли выполнение внутреннего прогнозирования по межкомпонентной линейной модели (CCLM) над единицей кодирования цветности, включенной в узел дерева кодирования цветности.

S703. Определить режим прогнозирования единицы кодирования цветности в зависимости от того, разрешено ли выполнение CCLM над единицей кодирования цветности.

S704. Обработать единицу кодирования цветности на основе режима прогнозирования единицы кодирования цветности, чтобы получить выборки прогнозирования единицы кодирования цветности.

Следует отметить, что для конкретных описаний этапов S701-S704, следует обратиться к соответствующим описаниям этапов S601-S604 в варианте осуществления, показанном на фиг.6. Подробности в данном документе повторно не описываются.

S705. Получить восстановленные остатки единицы кодирования цветности, и получить восстановленные выборки единицы кодирования цветности на основе восстановленных остатков единицы кодирования цветности и выборок прогнозирования единицы кодирования цветности.

В частности, информация об остатке включает в себя флаг кодированного блока и коэффициент преобразования и может дополнительно включать в себя тип горизонтального преобразования и тип вертикального преобразования (например, DCT-2, DCT-7 или DCT-8).

В частности, синтаксически анализируется битовый поток. Если информация об остатке единицы кодирования цветности получена посредством синтаксического анализа, обработка деквантования и обработка обратного преобразования выполняются над информацией об остатке единицы кодирования цветности, чтобы получить восстановленные остатки единицы кодирования цветности; или, если информация об остатке единицы кодирования цветности не получена посредством синтаксического анализа, определяется то, что восстановленные остатки единицы кодирования цветности равны 0. Информация об остатке включает в себя флаг кодированного блока и коэффициент преобразования и может дополнительно включать в себя тип горизонтального преобразования и тип вертикального преобразования (например, DCT-2, DCT-7 или DCT-8). Для получения восстановленных выборок единицы кодирования цветности добавляются восстановленные остатки единицы кодирования цветности и выборки прогнозирования единицы кодирования цветности, и результаты сложения отбрасываются с тем, чтобы находиться в пределах заданного диапазона значений (например, от 0 до 255 или от 0 до 1023).

Понятно, что в решении в данном варианте осуществления настоящего изобретения определяется, на основе размера и режима разделения узла дерева кодирования цветности, то, разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности, и, таким образом уменьшается задержка при обработке для выполнения CCLM над единицей кодирования цветности, повышается пропускная способность аппаратного декодера и повышается эффективность декодирования видео.

На фиг.8 показана схематичная структурная схема устройства внутреннего прогнозирования согласно варианту осуществления настоящего изобретения. Как показано на фиг.8, устройство 800 внутреннего прогнозирования включает в себя:

блок 801 получения, выполненный с возможностью получения размера и режима разделения узла дерева кодирования цветности;

блок 802 определения, выполненный с возможностью: определения, на основе размера и режима разделения узла дерева кодирования цветности, относительно того, разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности; и определения режима прогнозирования единицы кодирования цветности в зависимости от того, разрешено ли выполнение CCLM над единицей кодирования цветности; и

блок 803 прогнозирования, выполненный с возможностью обработки единицы кодирования цветности на основе режима прогнозирования единицы кодирования цветности для того, чтобы получить выборки прогнозирования единицы кодирования цветности.

В возможном варианте осуществления размер узла дерева кодирования цветности равен M×N, и в аспекте определения, на основе размера и режима разделения узла дерева кодирования цветности, относительно того, разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности, блок 802 определения специально выполнен с возможностью:

когда M и N равны заданному порогу T1, если режим разделения узла дерева кодирования цветности удовлетворяет первому заданному условию, определения того, чтобы разрешить выполнение CCLM над единицей кодирования цветности; или, если режим разделения узла дерева кодирования цветности не удовлетворяет первому заданному условию, определения того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности, где первое заданное условие включает в себя режим без разделения или режим разделения квадродерева.

В возможном варианте осуществления размер узла дерева кодирования цветности равен M×N, и в аспекте определения, на основе размера и режима разделения узла дерева кодирования цветности, относительно того, разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности, блок 802 определения специально выполнен с возможностью:

когда M равно T1, и N равно T1/2, если режим разделения узла дерева кодирования цветности удовлетворяет второму заданному условию, определения того, чтобы разрешить выполнение CCLM над единицей кодирования цветности; или, если режим разделения узла дерева кодирования цветности не удовлетворяет второму заданному условию, определения того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности, где второе заданное условие включает в себя режим без разделения или режим вертикального двоичного разделения.

В возможном варианте осуществления, в аспекте определения, на основе размера и режима разделения узла дерева кодирования цветности, относительно того, разрешить ли выполнение внутреннего прогнозирования по межкомпонентной линейной модели (CCLM) над единицей кодирования цветности, включенной в узел дерева кодирования цветности, блок 802 определения специально выполнен с возможностью:

определения, на основе размера и режима разделения узла дерева кодирования цветности, режима разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, и того, разрешить ли использование режима ISP для соответствующего блока яркости, когда узел дерева кодирования яркости не разделен, независимо от того, разрешено ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности.

В возможном варианте осуществления размер узла дерева кодирования цветности равен M×N, и в аспекте определения, на основе размера и режима разделения узла дерева кодирования цветности, режима разделения узла дерева кодирования яркости соответствующего узлу дерева кодирования цветности, и того, разрешить ли использование режима ISP для соответствующего блока яркости, когда узел дерева кодирования яркости не разделен, и разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности, блок 802 определения специально выполнен с возможностью:

когда режим разделения узла дерева кодирования цветности удовлетворяет третьему заданному условию, определения того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности; или

когда режим разделения узла дерева кодирования цветности не удовлетворяет третьему заданному условию, M равно T1, и N равно T1, если режим разделения узла дерева кодирования цветности удовлетворяет первому заданному условию, определения того, чтобы разрешить выполнение CCLM над единицей кодирования цветности; или, если режим разделения узла дерева кодирования цветности не удовлетворяет первому заданному условию, определения того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности, где первое заданное условие включает в себя режим без разделения или режим разделения квадродерева.

В возможном варианте осуществления размер узла дерева кодирования цветности равен M×N, и в аспекте определения, на основе размера и режима разделения узла дерева кодирования цветности, режима разделения узла дерева кодирования яркости соответствующего узлу дерева кодирования цветности, и того, разрешить ли использование режима ISP для соответствующего блока яркости, когда узел дерева кодирования яркости не разделен, разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности, блок 802 определения специально выполнен с возможностью:

когда режим разделения узла дерева кодирования цветности удовлетворяет любому одному условию в третьем заданном условии, определения того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности; или когда режим разделения узла дерева кодирования цветности не соответствует третьему заданному условию, N = T1 и M = T1/2, если режим разделения узла дерева кодирования цветности удовлетворяет второму заданному условию, определения того, чтобы разрешить выполнение CCLM над единицей кодирования цветности; или, если режим разделения узла дерева кодирования цветности не удовлетворяет второму заданному условию, определения того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности, где второе заданное условие включает в себя режим без разделения или режим вертикального двоичного разделения.

В возможном варианте осуществления третье заданное условие включает в себя одно или несколько из: условия 1, условия 2, условия 3, условия 4, условия 5, условия 6, условия 7, условия 8, условия 9, условия 10, условия 11, условия 12 и условия 13 в примере, показанном на фиг.6.

В возможном варианте третье заданное условие включает в себя:

Режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, и режим прогнозирования ISP используется для блока яркости узла дерева кодирования яркости, где размер узла дерева кодирования яркости и размер блока яркости равны T1×T1.

В возможном варианте третье заданное условие включает в себя:

Режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, режим ISP используется для блока яркости узла дерева кодирования яркости, и узел дерева кодирования цветности разделяется на дочерние узлы, где каждый из размера узла дерева кодирования цветности, размера узла дерева кодирования яркости и размера блока яркости равен T1×T1.

В возможном варианте осуществления третье заданное условие включает в себя условие 1 и условие 13 в примере, показанном на фиг.6.

В возможном варианте третье заданное условие включает в себя условие 2 и условие 13 в примере, показанном на фиг.6.

режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, режим ISP используется для блока яркости узла дерева кодирования яркости, и узел дерева кодирования цветности разделяется на дочерние узлы; или режим разделения узла дерева кодирования яркости является одним из режима горизонтального двоичного разделения и режима вертикального двоичного разделения, где каждый из размера узла дерева кодирования цветности, размера узла дерева кодирования яркости и размера блока яркости равен T1×T1.

В возможном варианте третье заданное условие включает в себя:

Режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, является одним из следующих режимов: режим без разделения, режим разделения квадродерева, режим горизонтального двоичного разделения и режим вертикального двоичного разделения, где размер узла дерева кодирования яркости равен Т1×Т1; или

В возможном варианте третье заданное условие включает в себя условие 3, условие 5, условие 6, условие 8 и условие 13 в примере, показанном на фиг.6.

В возможном варианте осуществления третье заданное условие включает в себя условие 4, условие 5, условие 7, условие 8 и условие 13 в примере, показанном на фиг.6.

В возможном варианте осуществления третье заданное условие включает в себя условие 3, условие 5, условие 7, условие 8, условие 9, условие 10, условие 11 и условие 12 в примере, показанном на фиг.6.

В возможном варианте заданный порог T1 равен 64.

Следует отметить, что вышеупомянутые блоки (блок 801 получения, блок 802 определения и блок 803 прогнозирования) выполнены с возможностью выполнения связанных с ними этапов вышеупомянутых способов. В частности, блок 801 получения выполнен с возможностью выполнения связанного с ним содержания на этапах S601 и S701, блок 802 определения выполнен с возможностью выполнения связанного с ним содержания на этапах S602, S603, S702 и S703, и блок 803 прогнозирования выполнен с возможностью выполнения связанного с ним содержания на этапах S604 и S704. Другими словами, блок 801 получения выполнен с возможностью реализации связанных с ним функций энтропийного декодера 303 и внутреннего предиктора 309, показанных на фиг.5b, и блок 802 определения и блок 803 прогнозирования выполнены с возможностью реализации связанных с ним функций внутреннего предиктора 309, показанного на фиг.5b.

В данном варианте осуществления устройство 800 внутреннего прогнозирования представлено в виде блока. "Блок" в данном документе может быть специализированной интегральной схемой (application-specific integrated circuit, ASIC), процессором и памятью, которые выполняют одну или несколько программ или микропрограмм, интегральной логической схемой и/или другим устройством, которое позволяет выполнять вышеупомянутые функции.

На фиг.9 показана схематичная структурная схема устройства внутреннего прогнозирования для видеопоследовательности согласно варианту осуществления настоящего изобретения. Как показано на фиг.9, устройство 900 внутреннего прогнозирования включает в себя:

блок 901 декодирования, выполненный с возможностью синтаксического анализа битового потока для получения первого идентификатора и второго идентификатора, где первый идентификатор используется для указания того, используется ли структура дерева разделения для внутреннего изображения в видеопоследовательности, и второй идентификатор используется для указания того, разрешить ли выполнение CCLM над блоком цветности в видеопоследовательности; и

блок 902 прогнозирования, выполненный с возможностью: если первый идентификатор указывает, что структура дерева разделения используется для внутреннего изображения в видеопоследовательности, и второй идентификатор указывает, что CCLM может выполняться над блоком цветности в видеопоследовательности, выполнения части или всех этапов способа внутреннего прогнозирования для видеопоследовательности, показанного на фиг.6.

Следует отметить, что вышеупомянутые блоки (блок 901 декодирования и блок 903 прогнозирования) выполнены с возможностью выполнения связанных с ними этапов вышеупомянутого способа. Другими словами, блок 901 декодирования выполнен с возможностью реализации связанных с ним функций энтропийного декодера 303, показанного на фиг.5b, и блок 902 прогнозирования выполнен с возможностью реализации связанных с ним функций внутреннего предиктора 309, показанного на фиг.5b.

Варианты осуществления настоящего изобретения дополнительно предоставляют компьютерный носитель информации. Компьютерный носитель информации может хранить программу, причем при исполнении программы выполняются по меньшей мере часть или все этапы любого из способов внутреннего прогнозирования, описанных в вышеупомянутых вариантах осуществления способа.

Специалисту в данной области техники будет понятно, что функции, описанные со ссылкой на различные иллюстративные логические блоки, модули и этапы алгоритма, раскрытые и описанные в данном описании, могут быть реализованы аппаратными средствами, программным обеспечением, программно-аппаратными средствами или любой их комбинацией. В случае реализации программным обеспечением, функции, описанные со ссылкой на иллюстративные логические блоки, модули и этапы могут быть сохранены или переданы на машиночитаемом носителе информации в виде одной или более инструкций или кода и исполнены аппаратным блоком обработки. Машиночитаемый носитель информации может включать в себя машиночитаемый носитель информации, который соответствует материальному носителю, например, носителю информации, или может включать в себя любую среду передачи, которая обеспечивает передачу компьютерной программы из одного места в другое (например, согласно протоколу связи). Таким образом, машиночитаемый носитель информации может в целом соответствовать: (1) невременному материальному машиночитаемому носителю информации или (2) среде передачи, такой как сигнал или несущая волна. Носитель информации может быть любым доступным носителем, к которому может получить доступ один или более компьютеров или один или более процессоров для извлечения инструкций, кода и/или структур данных для реализации технологий, описанных в настоящей заявке. Компьютерный программный продукт может включать в себя машиночитаемый носитель информации.

В качестве примера, но не ограничения, такие машиночитаемые носители информации могут включать в себя RAM, RAM, EEPROM, CD-ROM или другое компактное дисковое запоминающее устройство, запоминающее устройство на основе магнитного диска или другое магнитное запоминающее устройство, флэш-память, или любой другой носитель информации, который может быть использован для хранения желаемого программного кода в виде инструкций или структур данных, и к которым может обращаться компьютер. В дополнение к этому, любое соединение по существу упоминается как машиночитаемый носитель информации. Например, если инструкция передается с веб-сайта, сервера или из другого удаленного источника с помощью коаксиального кабеля, оптического волокна, витой пары, цифровой абонентской линии (DSL) или беспроводной технологии, использующей, например, электромагнитные волны в инфракрасном, радио или микроволновом диапазонах, то коаксиальный кабель, оптическое волокно, витая пара, DSL или беспроводная технология, использующая, например, электромагнитные волны в инфракрасном, радио или микроволновом диапазонах, включены в определение носителя. Однако следует понимать, что машиночитаемый носитель информации и носитель информации не включают в себя соединения, несущие волны, сигналы или другие временные носители, но фактически означают невременные и временные носители информации. Магнитные диски и оптические диски, используемые в данном описании, включают в себя компакт-диск (CD), лазерный диск, оптический диск, цифровой универсальный диск (DVD) и диск Blu-ray. Магнитные диски обычно воспроизводят данные магнитным способом, тогда как оптические диски воспроизводят данные оптическим способом с использованием лазеров. Комбинации вышеуказанных средств также должны быть включены в сферу действия машиночитаемых носителей информации.

Инструкция может исполняться одним или несколькими процессорами, такими как одно или более из: процессоров цифровых сигналов (DSP), микропроцессоров общего назначения, специализированных интегральных схем (ASIC), программируемых пользователем вентильных матриц (FPGA) или других эквивалентные интегральных схем или дискретных логических схем. Таким образом, термин "процессор", используемый в данном описании, может означать любую из вышеупомянутых структур или любую другую структуру, пригодную для реализации технологий, описанных в данном описании. Кроме того, в некоторых аспектах функции, описанные в виде иллюстративных логических блоков, модулей и этапов, описанных в настоящем описании, могут быть предусмотрен в специализированных аппаратных средствах и/или программных модулях, выполненных с возможностью кодирования и декодирования, или могут быть включены в объединенный кодек. В дополнение к этому, все эти технологии могут быть реализованы в одной или нескольких схемах или логических элементах.

Технологии, представленные в настоящей заявке, могут быть реализованы в различных аппаратных устройствах или устройствах, включая беспроводной телефон, интегральную схему (IC) или набор IC (например, набор микросхем). В настоящей заявке описаны различные компоненты, модули или блоки для того, чтобы подчеркнуть функциональные аспекты устройств, выполненных с возможностью реализации раскрытых технологий, но необязательно реализованных различными аппаратными блоками. Фактически, как описано выше, различные блоки могут быть объединены в аппаратный блок кодека в комбинации с соответствующим программным обеспечением и/или программно-аппаратным обеспечением, или могут быть выполнены с помощью функционально совместимых аппаратных блоков (включая один или несколько процессоров, описанных выше).

Приведенные выше описания являются просто примерами конкретных реализаций настоящей заявки, но не предназначены для ограничения объема защиты настоящей заявки. Любое изменения или замены, легко понятные специалисту в данной области техники в рамках технического объема, раскрытого в настоящей заявке, должны подпадать под объем защиты настоящей заявки. Таким образом, объем защиты настоящей заявки должен соответствовать объему защиты формулы изобретения.

Изобретение относится к области технологий кодирования и декодирования видео и, в частности, к способу внутреннего прогнозирования. Технический результат заключается в уменьшении задержки при обработке единицы кодирования цветности и повышении пропускной способности аппаратного декодера. Предложен способ внутреннего прогнозирования для видеопоследовательности. Способ включает в себя: получение размера и режима разделения узла дерева кодирования цветности; определение, на основе размера и режима разделения узла дерева кодирования цветности, относительно того, разрешить ли выполнение внутреннего прогнозирования по межкомпонентной линейной модели (CCLM) над единицей кодирования цветности, включенной в узел дерева кодирования цветности; определение режима прогнозирования единицы кодирования цветности в зависимости от того, разрешено ли выполнение CCLM над единицей кодирования цветности; и обработку единицы кодирования цветности на основе режима прогнозирования единицы кодирования цветности для получения выборок прогнозирования единицы кодирования цветности. 4 н. и 14 з.п. ф-лы, 11 ил., 2 табл.

1. Способ внутреннего прогнозирования видеопоследовательности, в котором структура дерева разделения используется для внутреннего изображения в видеопоследовательности, содержащий:

получение размера и режима разделения узла дерева кодирования цветности;

определение, на основе размера и режима разделения узла дерева кодирования цветности, относительно того, разрешить ли выполнение внутреннего прогнозирования по межкомпонентной линейной модели (CCLM) над единицей кодирования цветности, включенной в узел дерева кодирования цветности;

определение режима прогнозирования единицы кодирования цветности в зависимости от того, разрешено ли выполнение CCLM над единицей кодирования цветности; и

обработку единицы кодирования цветности на основе режима прогнозирования единицы кодирования цветности для получения выборок прогнозирования единицы кодирования цветности;

в котором размер узла дерева кодирования цветности равен M×N, и определение, на основании размера и режима разделения узла дерева кодирования цветности, относительно того, разрешить ли выполнение внутреннего прогнозирования по межкомпонентной линейной модели (CCLM) над единицей кодирования цветности, включенной в узел дерева кодирования цветности, содержит:

когда M равно заданному порогу T1, и N равно T1/2, если режим разделения узла дерева кодирования цветности удовлетворяет второму заданному условию, определение того, чтобы разрешить выполнение CCLM над единицей кодирования цветности; или

если режим разделения узла дерева кодирования цветности не удовлетворяет второму заданному условию, определение того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности, где

второе заданное условие не содержит режим разделения или режим вертикального двоичного разделения.

2. Способ по п.1, в котором определение, на основе размера и режима разделения узла дерева кодирования цветности, относительно того, разрешить ли выполнение внутреннего прогнозирования по межкомпонентной линейной модели (CCLM) над единицей кодирования цветности, включенной в узел дерева кодирования цветности содержит:

определение, на основе размера и режима разделения узла дерева кодирования цветности и режима разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, относительно того, разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности.

3. Способ по п.2, в котором размер узла дерева кодирования цветности равен M×N, и определение на основе размера и режима разделения узла дерева кодирования цветности и режима разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, относительно того, разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности, содержит:

когда режим разделения узла дерева кодирования цветности удовлетворяет третьему заданному условию, определение того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности; или

когда режим разделения узла дерева кодирования цветности не удовлетворяет третьему заданному условию, N = T1 и M = T1/2, если режим разделения узла дерева кодирования цветности удовлетворяет второму заданному условию, определение того, чтобы разрешить выполнение CCLM над единицей кодирования цветности; или, если режим разделения узла дерева кодирования цветности не удовлетворяет второму заданному условию, определение того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности.

4. Способ по п.3, в котором третье заданное условие содержит:

режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, и режим внутреннего подраздела (ISP) используется для блока яркости узла дерева кодирования яркости, где размер узла дерева кодирования яркости и размер блока яркости равны T1×T1.

5. Способ по п.3, в котором третье заданное условие содержит:

режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, режим ISP используется для блока яркости узла дерева кодирования яркости, и узел дерева кодирования цветности разделяется на дочерние узлы, где каждый из размера узла дерева кодирования цветности, размера узла дерева кодирования яркости и размера блока яркости равен T1×T1.

6. Способ по п.3, в котором третье заданное условие содержит:

режим разделения, используемый для узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, является режимом разделения, отличным от режима разделения и режима разделения квадродерева, где размер узла дерева кодирования яркости равен T1×T1.

7. Способ по п.3, в котором третье заданное условие содержит:

режим разделения узла дерева кодирования яркости является одним из режима горизонтального двоичного разделения и режима вертикального двоичного разделения, где каждый из размера узла дерева кодирования цветности, размера узла дерева кодирования яркости и размера блока яркости равен T1×T1.

8. Способ по любому из пп.1-7, в котором заданный порог T1 равен 64.

9. Способ внутреннего прогнозирования видеопоследовательности, содержащий:

синтаксический анализ битового потока для получения первого идентификатора и второго идентификатора, причем первый идентификатор используется для указания того, используется ли структура дерева разделения для внутреннего изображения в видеопоследовательности, и второй идентификатор используется для указания того, разрешить ли выполнение внутреннего прогнозирования по межкомпонентной линейной модели (CCLM) над блоком цветности в видеопоследовательности; и

если первый идентификатор указывает, что структура дерева разделения используется для внутреннего изображения в видеопоследовательности, и второй идентификатор указывает, что CCLM может выполняться над блоком цветности в видеопоследовательности, выполнение способа по любому из пп.1-8.

10. Устройство внутреннего прогнозирования для видеопоследовательности, содержащее: блок получения, выполненный с возможностью получения размера и режима разделения узла дерева кодирования цветности, в котором структура дерева разделения используется для внутреннего изображения в видеопоследовательности;

блок определения, выполненный с возможностью: определения, на основе размера и режима разделения узла дерева кодирования цветности, относительно того, разрешить выполнение внутреннего прогнозирования по межкомпонентной линейной модели (CCLM) над единицей кодирования цветности, включенной в узел дерева кодирования цветности; и определения режима прогнозирования цветности блока в зависимости от того, разрешено ли выполнение CCLM над единицей кодирования цветности; и

блок прогнозирования, выполненный с возможностью обработки единицы кодирования цветности на основе режима прогнозирования единицы кодирования цветности для того, чтобы получить выборки прогнозирования единицы кодирования цветности;

в котором размер узла дерева кодирования цветности равен M×N, и в аспекте определения, на основе размера и режима разделения узла дерева кодирования цветности, относительно того, разрешить ли выполнение внутреннего прогнозирования по межкомпонентной линейной модели (CCLM) над единицей кодирования цветности, включенной в узел дерева кодирования цветности, блок определения специально выполнен с возможностью:

когда М равно заданному порогу T1, и N равно T1/2, если режим разделения узла дерева кодирования цветности удовлетворяет второму заданному условию, определения того, чтобы разрешить выполнение CCLM над единицей кодирования цветности; или, если режим разделения узла дерева кодирования цветности не удовлетворяет второму заданному условию, определения того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности, в котором

второе заданное условие не содержит режим разделения или режим вертикального двоичного разделения.

11. Устройство по п.10, в котором в аспекте определения, на основе размера и режима разделения узла дерева кодирования цветности, относительно того, разрешить ли выполнение внутреннего прогнозирования по межкомпонентной линейной модели (CCLM) над единицей кодирования цветности, включенной в узел дерева кодирования цветности, блок определения специально выполнен с возможностью:

определения, на основе размера и режима разделения узла дерева кодирования цветности и режима разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, относительно того, разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности.

12. Устройство по п.11, в котором размер узла дерева кодирования цветности равен M×N, и в аспекте определения, на основе размера и режима разделения узла дерева кодирования цветности и режима разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, относительно того, разрешить ли выполнение CCLM над единицей кодирования цветности, включенной в узел дерева кодирования цветности, блок определения специально выполнен с возможностью:

когда режим разделения узла дерева кодирования цветности удовлетворяет третьему заданному условию, определения того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности; или

когда режим разделения узла дерева кодирования цветности не удовлетворяет третьему заданному условию, N = T1, и М = Т1/2, если режим разделения узла дерева кодирования цветности удовлетворяет второму заданному условию, определения того, чтобы разрешить выполнение CCLM над единицей кодирования цветности; или, если режим разделения узла дерева кодирования цветности не удовлетворяет второму заданному условию, определения того, чтобы не разрешить выполнение CCLM над единицей кодирования цветности.

13. Устройство по п.12, в котором третье заданное условие содержит:

режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, и режим внутреннего подраздела (ISP) используется для блока яркости узла дерева кодирования яркости, где размер узла дерева кодирования яркости и размер блока яркости равны T1×T1.

14. Устройство по п.12, в котором третье заданное условие содержит:

режим разделения узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, не является разделением, режим ISP используется для блока яркости узла дерева кодирования яркости, и узел дерева кодирования цветности разделяется на дочерние узлы, где каждый из размера узла дерева кодирования цветности, размера узла дерева кодирования яркости и размера блока яркости равен T1хT1.

15. Устройство по п.12, в котором третье заданное условие содержит:

режим разделения, используемый для узла дерева кодирования яркости, соответствующего узлу дерева кодирования цветности, является режимом разделения, отличным от режима разделения и режима разделения квадродерева, где размер узла дерева кодирования яркости равен T1×T1.

16. Устройство по п.12, в котором третье заданное условие содержит:

режим разделения узла дерева кодирования яркости является одним из режима горизонтального двоичного разделения и режима вертикального двоичного разделения, где каждый из размера узла дерева кодирования цветности, размера узла дерева кодирования яркости и размера блока яркости равен T1×T1.

17. Устройство по любому из пп. 10-16, в котором заданный порог T1 равен 64.

18. Устройство внутреннего прогнозирования видеопоследовательности, содержащее:

блок декодирования, выполненный с возможностью синтаксического анализа битового потока для получения первого идентификатора и второго идентификатора, причем первый идентификатор используется для указания того, используется ли структура дерева разделения для внутреннего изображения в видеопоследовательности, и второй идентификатор используется для указания того, разрешено ли выполнение внутреннего прогнозирования по межкомпонентной линейной модели (CCLM) над блоком цветности в видеопоследовательности; и

блок прогнозирования, выполненный с возможностью: если первый идентификатор указывает, что структура дерева разделения используется для внутреннего изображения в видеопоследовательности, и второй идентификатор указывает, что CCLM может выполняться над блоком цветности в видеопоследовательности, выполнения способа по любому из пп.1-8.