СПОСОБ И ОБОРУДОВАНИЕ КОДИРОВАНИЯ/ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ С ИСПОЛЬЗОВАНИЕМ МАТРИЦЫ КВАНТОВАНИЯ И СПОСОБ ДЛЯ ПЕРЕДАЧИ ПОТОКА БИТОВ Российский патент 2023 года по МПК H04N19/124 H04N19/186 H04N19/105 

Область техники, к которой относится изобретение

[1] Настоящее раскрытие сущности относится к способу и оборудованию кодирования/декодирования изображений и к способу передачи потока битов, а более конкретно, к способу и оборудованию кодирования/декодирования изображений с использованием матрицы квантования и к способу передачи потока битов, сформированного посредством способа/оборудования кодирования изображений настоящего раскрытия сущности.

Уровень техники

[2] В последнее время, спрос на высококачественные изображения высокого разрешения, к примеру, изображения высокой четкости (HD) и изображения сверхвысокой четкости (UHD) растет в различных областях техники. По мере того, как разрешение и качество данных изображений повышается, объем передаваемой информации или битов относительно увеличивается по сравнению с существующими данными изображений. Увеличение объема передаваемой информации или битов приводит к увеличению затрат на передачу и затрат на хранение.

[3] Соответственно, имеется потребность в высокоэффективной технологии сжатия изображений для эффективной передачи, сохранения и воспроизведения информации относительно высококачественных изображений высокого разрешения.

Сущность изобретения

Техническая задача

[4] Цель настоящего раскрытия сущности заключается в том, чтобы предоставлять способ и оборудование кодирования/декодирования изображений с повышенной эффективностью кодирования/декодирования.

[5] Другая цель настоящего раскрытия сущности заключается в том, чтобы предоставлять способ и оборудование кодирования/декодирования изображений, допускающие эффективную передачу в служебных сигналах матрицы квантования.

[6] Другая цель настоящего раскрытия сущности заключается в том, чтобы предоставлять способ передачи потока битов, сформированного посредством способа или оборудования кодирования изображений согласно настоящему раскрытию сущности.

[7] Другая цель настоящего раскрытия сущности заключается в том, чтобы предоставлять носитель записи, сохраняющий поток битов, сформированный посредством способа или оборудования кодирования изображений согласно настоящему раскрытию сущности.

[8] Другая цель настоящего раскрытия сущности заключается в том, чтобы предоставлять носитель записи, сохраняющий поток битов, принимаемый, декодированный и используемый для того, чтобы восстанавливать изображение посредством оборудования декодирования изображений согласно настоящему раскрытию сущности.

[9] Технические проблемы, разрешаемые посредством настоящего раскрытия сущности, не ограничены вышеуказанными техническими проблемами, и другие технические проблемы, которые не описываются в данном документе, должны становиться очевидными для специалистов в данной области техники из нижеприведенного описания.

Техническое решение

[10] Способ декодирования изображений, осуществляемый посредством оборудования декодирования изображений согласно аспекту настоящего раскрытия сущности, может содержать получение информации режима квантования для текущего блока из потока битов, определение того, конструируется или нет матрица квантования для текущего блока из опорной матрицы квантования, на основе информации режима квантования, и конструирование матрицы квантования для текущего блока, на основе результата определения. На основе матрицы квантования для текущего блока, конструируемой из опорной матрицы квантования, матрица квантования для текущего блока может конструироваться на основе идентификационной информации опорной матрицы квантования. На основе матрицы квантования для текущего блока, не конструируемой из опорной матрицы квантования, матрица квантования для текущего блока может конструироваться на основе значения матрицы квантования, полученного из потока битов. На основе текущего блока, представляющего собой внутренне прогнозированный блок сигналов цветности, матрица квантования для текущего блока может конструироваться только тогда, когда размер текущего блока больше 2×2.

[11] Оборудование декодирования изображений согласно аспекту настоящего раскрытия сущности может содержать запоминающее устройство и, по меньшей мере, один процессор. По меньшей мере, один процессор может получать информацию режима квантования для текущего блока из потока битов, определять то, конструируется или нет матрица квантования для текущего блока из опорной матрицы квантования, на основе информации режима квантования, и конструировать матрицу квантования для текущего блока, на основе результата определения. На основе матрицы квантования для текущего блока, конструируемой из опорной матрицы квантования, матрица квантования для текущего блока может конструироваться на основе идентификационной информации опорной матрицы квантования. На основе матрицы квантования для текущего блока, не конструируемой из опорной матрицы квантования, матрица квантования для текущего блока может конструироваться на основе значения матрицы квантования, полученного из потока битов. На основе текущего блока, представляющего собой внутренне прогнозированный блок сигналов цветности, матрица квантования для текущего блока может конструироваться только тогда, когда размер текущего блока больше 2×2.

[12] Способ кодирования изображений, осуществляемый посредством оборудования кодирования изображений согласно аспекту настоящего раскрытия сущности, может содержать кодирование информации режима квантования для текущего блока из потока битов, определение того, конструируется или нет матрица квантования для текущего блока из опорной матрицы квантования, на основе информации режима квантования, и кодирование информации относительно матрицы квантования для текущего блока на основе результата определения. На основе матрицы квантования для текущего блока, конструируемой из опорной матрицы квантования, может кодироваться идентификационная информация опорной матрицы квантования. На основе матрицы квантования для текущего блока, не конструируемой из опорной матрицы квантования, может кодироваться значение матрицы квантования для текущего блока. На основе текущего блока, представляющего собой внутренне прогнозированный блок сигналов цветности, матрица квантования для текущего блока может конструироваться только тогда, когда размер текущего блока больше 2×2.

[13] Помимо этого, способ передачи согласно другому аспекту настоящего раскрытия сущности может передавать поток битов, сформированный посредством оборудования кодирования изображений или способа кодирования изображений настоящего раскрытия сущности.

[14] Помимо этого, машиночитаемый носитель записи согласно другому аспекту настоящего раскрытия сущности может сохранять поток битов, сформированный посредством оборудования кодирования изображений или способа кодирования изображений настоящего раскрытия сущности.

[15] Признаки, кратко обобщенные выше относительно настоящего раскрытия сущности, представляют собой просто примерные аспекты нижеприведенного подробного описания настоящего раскрытия сущности и не ограничивают объем настоящего раскрытия сущности.

Преимущества изобретения

[16] Согласно настоящему раскрытию сущности, можно предоставлять способ и оборудование кодирования/декодирования изображений с повышенной эффективностью кодирования/декодирования.

[17] Кроме того, согласно настоящему раскрытию сущности, можно предоставлять способ и оборудование кодирования/декодирования изображений, допускающие кодирование/декодирование только матрицы квантования, имеющей размер, больший предварительно определенного размера.

[18] Кроме того, согласно настоящему раскрытию сущности, можно предоставлять способ и оборудование кодирования/декодирования изображений, допускающие различное конструирование матрицы квантования согласно режиму прогнозирования текущего блока и цветовому компоненту.

[19] Кроме того, согласно настоящему раскрытию сущности, можно предоставлять способ передачи потока битов, сформированного посредством способа или оборудования кодирования изображений согласно настоящему раскрытию сущности.

[20] Кроме того, согласно настоящему раскрытию сущности, можно предоставлять носитель записи, сохраняющий поток битов, сформированный посредством способа или оборудования кодирования изображений согласно настоящему раскрытию сущности.

[21] Кроме того, согласно настоящему раскрытию сущности, можно предоставлять носитель записи, сохраняющий поток битов, принимаемый, декодированный и используемый для того, чтобы восстанавливать изображение посредством оборудования декодирования изображений согласно настоящему раскрытию сущности.

[22] Специалисты в данной области техники должны принимать во внимание, что преимущества, которые могут достигаться через настоящее раскрытие сущности, не ограничены тем, что конкретно описано выше, и другие преимущества настоящего раскрытия сущности должны более ясно пониматься из подробного описания.

Краткое описание чертежей

[23] Фиг. 1 является видом, схематично показывающим систему кодирования видео, к которой является применимым вариант осуществления настоящего раскрытия сущности.

[24] Фиг. 2 является видом, схематично показывающим оборудование кодирования изображений, к которому является применимым вариант осуществления настоящего раскрытия сущности.

[25] Фиг. 3 является видом, схематично показывающим оборудование декодирования изображений, к которому является применимым вариант осуществления настоящего раскрытия сущности.

[26] Фиг. 4 является видом, показывающим структуру сегментации изображения согласно варианту осуществления.

[27] Фиг. 5A-5C являются видами, иллюстрирующими примеры сегментации кадра.

[28] Фиг. 6 является видом, показывающим вариант осуществления типа сегментации блока согласно многотипной древовидной структуре.

[29] Фиг. 7 является видом, показывающим механизм передачи в служебных сигналах информации разбиения на блоки в дереве квадрантов с вложенной многотипной древовидной структурой согласно настоящему раскрытию сущности.

[30] Фиг. 8 является видом, показывающим пример, в котором CTU сегментируется на несколько CU посредством применения многотипного дерева после применения дерева квадрантов.

[31] Фиг. 9 показывает избыточные шаблоны разбиения, которые могут возникать при разбиении на двоичное дерево и разбиении на троичное дерево.

[32] Фиг. 10 является видом, иллюстрирующим примеры, в которых CU-разбиение ограничивается.

[33] Фиг. 11 является блок-схемой последовательности операций, иллюстрирующей способ кодирования видео/изображений на основе взаимного прогнозирования.

[34] Фиг. 12 является видом, иллюстрирующим конфигурацию модуля 180 взаимного прогнозирования согласно настоящему раскрытию сущности.

[35] Фиг. 13 является блок-схемой последовательности операций, иллюстрирующей способ декодирования видео/изображений на основе взаимного прогнозирования.

[36] Фиг. 14 является видом, иллюстрирующим конфигурацию модуля 260 взаимного прогнозирования согласно настоящему раскрытию сущности.

[37] Фиг. 15 является видом, иллюстрирующим пример sizeId для каждого размера матрицы квантования.

[38] Фиг. 16 является видом, иллюстрирующим пример матрицы квантования для текущего блока, сконструированного на основе примера по фиг. 15.

[39] Фиг. 17 является блок-схемой последовательности операций, иллюстрирующей способ кодирования матрицы квантования согласно варианту осуществления настоящего раскрытия сущности.

[40] Фиг. 18 является видом, иллюстрирующим пример синтаксиса для осуществления способа кодирования матрицы квантования на основе примера по фиг. 16.

[41] Фиг. 19 является видом, иллюстрирующим пример матрицы квантования для текущего блока согласно варианту осуществления настоящего раскрытия сущности.

[42] Фиг. 20 является видом, иллюстрирующим пример синтаксиса для осуществления способа кодирования матрицы квантования на основе примера по фиг. 19.

[43] Фиг. 21 является блок-схемой последовательности операций, иллюстрирующей способ декодирования матрицы квантования согласно варианту осуществления настоящего раскрытия сущности.

[44] Фиг. 22 является видом, показывающим систему потоковой передачи контента, к которой является применимым вариант осуществления настоящего раскрытия сущности.

Оптимальный режим осуществления изобретения

[45] В дальнейшем в этом документе подробно описываются варианты осуществления настоящего раскрытия сущности со ссылкой на прилагаемые чертежи, так что они легко могут реализовываться специалистами в данной области техники. Тем не менее, настоящее раскрытие сущности может реализовываться во всевозможных формах и не ограничено вариантами осуществления, описанными в данном документе.

[46] При описании настоящего раскрытия сущности, если определяется то, что подробное описание связанной известной функции или конструкции приводит к излишней неоднозначности объема настоящего раскрытия сущности, ее подробное описание опускается. На чертежах, части, не связанные с описанием настоящего раскрытия сущности, опускаются, и аналогичные ссылки с номерами присоединяются к аналогичным частям.

[47] В настоящем раскрытии сущности, когда компонент "соединяется (connected)", "соединяется (coupled)" или "связывается (linked)" с другим компонентом, это может включать в себя не только непосредственную взаимосвязь на основе соединения, но также и косвенную взаимосвязь на основе соединения, в которой присутствует промежуточный компонент. Помимо этого, когда компонент "включает в себя" или "имеет" другие компоненты, это означает то, что другие компоненты могут включаться дополнительно, а не исключение других компонентов, если не указано иное.

[48] В настоящем раскрытии сущности, термины "первый", "второй" и т.д. могут использоваться только для целей различения одного компонента от других компонентов и не ограничивают порядок или важность компонентов, если не указано иное. Соответственно, в пределах объема настоящего раскрытия сущности, первый компонент в одном варианте осуществления может называться "вторым компонентом" в другом варианте осуществления, и аналогично, второй компонент в одном варианте осуществления может называться "первым компонентом" в другом варианте осуществления.

[49] В настоящем раскрытии сущности, компоненты, которые отличаются друг от друга, имеют намерение ясно описывать каждый признак и не означают то, что компоненты обязательно разделяются. Таким образом, множество компонентов могут интегрироваться и реализовываться в одном аппаратном или программном модуле, или один компонент может распределяться и реализовываться во множестве аппаратных или программных модулей. Следовательно, даже если не указано иное, такие варианты осуществления, в которых компоненты интегрируются, или компонент распределяется, также включаются в объем настоящего раскрытия сущности.

[50] В настоящем раскрытии сущности, компоненты, описанные в различных вариантах осуществления, не обязательно означают существенные компоненты, и некоторые компоненты могут представлять собой необязательные компоненты. Соответственно, вариант осуществления, состоящий из поднабора компонентов, описанных в варианте осуществления, также включается в объем настоящего раскрытия сущности. Помимо этого, варианты осуществления, включающие в себя другие компоненты, в дополнение к компонентам, описанным в различных вариантах осуществления, включаются в объем настоящего раскрытия сущности.

[51] Настоящее раскрытие сущности относится к кодированию и декодированию изображения, и термины, используемые в настоящем раскрытии сущности, могут иметь общий смысл, широко используемый в области техники, которой принадлежит настоящее раскрытие сущности, если не задаются впервые в настоящем раскрытии сущности.

[52] В настоящем раскрытии сущности, "кадр", в общем, означает единицу, представляющую одно изображение в конкретный период времени, и срез/плитка представляет собой единицу кодирования, составляющую часть кадра, и один кадр может состоять из одного или более срезов/плиток. Помимо этого, срез/плитка может включать в себя одну или более единиц дерева кодирования (CTU).

[53] В настоящем раскрытии сущности, "пиксел" или "пел" может означать наименьшую единицу, составляющую один кадр (или изображение). Помимо этого, "выборка" может использоваться в качестве термина, соответствующего пикселу. Выборка, в общем, может представлять пиксел или значение пиксела и может представлять только пиксел/пиксельное значение компонента сигналов яркости либо только пиксел/пиксельное значение компонента сигналов цветности.

[54] В настоящем раскрытии сущности, "единица" может представлять базовую единицу обработки изображений. Единица может включать в себя, по меньшей мере, одно из конкретной области кадра и информации, связанной с областью. Единица может использоваться взаимозаменяемо с такими терминами, как "массив выборок", "блок" или "зона" в некоторых случаях. В общем случае, блок MxN может включать в себя выборки (или массивы выборок) либо набор (или массив) коэффициентов преобразования из M столбцов и N строк.

[55] В настоящем раскрытии сущности, "текущий блок" может означать одно из "текущего блока кодирования", "текущей единицы кодирования", "целевого блока кодирования", "целевого блока декодирования" или "целевого блока обработки". Когда прогнозирование выполняется, "текущий блок" может означать "текущий блок прогнозирования" или "целевой блок прогнозирования". Когда преобразование (обратное преобразование)/квантование (деквантование) выполняется, "текущий блок" может означать "текущий блок преобразования" или "целевой блок преобразования". Когда фильтрация выполняется, "текущий блок" может означать "целевой блок фильтрации".

[56] Помимо этого, в настоящем раскрытии сущности, "текущий блок" может означать блок, включающий в себя как блок компонентов сигналов яркости, так и блок компонентов сигналов цветности либо "блок сигналов яркости текущего блока", если не указан в явной форме в качестве блока сигналов цветности. Блок компонентов сигналов цветности текущего блока может выражаться посредством включения явного описания блока компонентов сигналов яркости, такого как "блок сигналов яркости" или "текущий блок сигналов яркости". Помимо этого, блок компонентов сигналов цветности текущего блока может явно выражаться посредством включения явного описания блока компонентов сигналов цветности, такого как "блок сигналов цветности" или "текущий блок сигналов цветности".

[57] В настоящем раскрытии сущности, термин "/" и "," должен интерпретироваться как указывающий "и/или". Например, выражение "A/B" и "A, B" может означать "A и/или B". Дополнительно, "A/B/C" и "A/B/C" может означать "по меньшей мере, одно из A, B и/или C".

[58] В настоящем раскрытии сущности, термин "или" должен интерпретироваться как указывающий "и/или". Например, выражение "A или B" может содержать 1) только "A", 2) только "B" и/или 3) "как A, так и B". Другими словами, в настоящем раскрытии сущности, термин "или" должен интерпретироваться как указывающий "дополнительно или альтернативно".

[59] Общее представление системы кодирования видео

[60] Фиг. 1 является видом, показывающим систему кодирования видео, к которой является применимым вариант осуществления настоящего раскрытия сущности.

[61] Система кодирования видео согласно варианту осуществления может включать в себя оборудование 10 кодирования и оборудование 20 декодирования. Оборудование 10 кодирования может доставлять кодированную информацию или данные видео и/или изображений в оборудование 20 декодирования в форме файла или потоковой передачи через цифровой носитель хранения данных или сеть.

[62] Оборудование 10 кодирования согласно варианту осуществления может включать в себя формирователь 11 видеоисточников, модуль 12 кодирования и передатчик 13. Оборудование 20 декодирования согласно варианту осуществления может включать в себя приемник 21, модуль 22 декодирования и модуль 23 рендеринга. Модуль 12 кодирования может называться "модулем кодирования видео/изображений", и модуль 22 декодирования может называться "модулем декодирования видео/изображений". Передатчик 13 может включаться в модуль 12 кодирования. Приемник 21 может включаться в модуль 22 декодирования. Модуль 23 рендеринга может включать в себя дисплей, и дисплей может быть сконфигурирован как отдельное устройство или внешний компонент.

[63] Формирователь 11 видеоисточников может получать видео/изображение через процесс захвата, синтезирования или формирования видео/изображения. Формирователь 11 видеоисточников может включать в себя устройство захвата видео/изображений и/или устройство формирования видео/изображений. Устройство захвата видео/изображений может включать в себя, например, одну или более камер, архивы видео/изображений, включающие в себя ранее захваченные видео/изображения, и т.п. Устройство формирования видео/изображений может включать в себя, например, компьютеры, планшетные компьютеры и смартфоны и может (электронно) формировать видео/изображения. Например, виртуальное видео/изображение может формироваться через компьютер и т.п. В этом случае, процесс захвата видео/изображений может заменяться посредством процесса формирования связанных данных.

[64] Модуль 12 кодирования может кодировать входное видео/изображение. Модуль 12 кодирования может выполнять последовательность процедур, таких как прогнозирование, преобразование и квантование, для эффективности сжатия и кодирования. Модуль 12 кодирования может выводить кодированные данные (кодированную информацию видео/изображений) в форме потока битов.

[65] Передатчик 13 может передавать кодированную информацию или данные видео/изображений, выводимую в форме потока битов, в приемник 21 оборудования 20 декодирования через цифровой носитель хранения данных или сеть в форме файла или потоковой передачи. Цифровой носитель хранения данных может включать в себя различные носители хранения данных, такие как USB, SD, CD, DVD, Blu-Ray, HDD, SSD и т.п. Передатчик 13 может включать в себя элемент для формирования мультимедийного файла через предварительно определенный формат файлов и может включать в себя элемент для передачи через широковещательную сеть/сеть связи. Приемник 21 может извлекать/принимать поток битов из носителя хранения данных или сети и передавать поток битов в модуль 22 декодирования.

[66] Модуль 22 декодирования может декодировать видео/изображение посредством выполнения последовательности процедур, таких как деквантование, обратное преобразование и прогнозирование, соответствующих работе модуля 12 кодирования.

[67] Модуль 23 рендеринга может подготавливать посредством рендеринга декодированное видео/изображение. Подготовленное посредством рендеринга видео/изображение может отображаться через дисплей.

[68] Общее представление оборудования кодирования изображений

[69] Фиг. 2 является видом, схематично показывающим оборудование кодирования изображений, к которому является применимым вариант осуществления настоящего раскрытия сущности.

[70] Как показано на фиг. 2, оборудование 100 кодирования изображений может включать в себя модуль 110 сегментации изображений, вычитатель 115, преобразователь 120, квантователь 130, деквантователь 140, обратный преобразователь 150, сумматор 155, фильтр 160, запоминающее устройство 170, модуль 180 взаимного прогнозирования, модуль 185 внутреннего прогнозирования и энтропийный кодер 190. Модуль 180 взаимного прогнозирования и модуль 185 внутреннего прогнозирования могут совместно называться "модулем прогнозирования". Преобразователь 120, квантователь 130, деквантователь 140 и обратный преобразователь 150 могут включаться в остаточный процессор. Остаточный процессор дополнительно может включать в себя вычитатель 115.

[71] Все или, по меньшей мере, часть из множества компонентов, конфигурирующих оборудование 100 кодирования изображений, могут быть сконфигурированы посредством одного аппаратного компонента (например, кодера или процессора) в некоторых вариантах осуществления. Помимо этого, запоминающее устройство 170 может включать в себя буфер декодированных кадров (DPB) и может быть сконфигурировано посредством цифрового носителя хранения данных.

[72] Модуль 110 сегментации изображений может сегментировать входное изображение (либо кадр или кинокадр), вводимое в оборудование 100 кодирования изображений, на одну более единиц обработки. Например, единица обработки может называться "единицей кодирования (CU)". Единица кодирования может получаться посредством рекурсивной сегментации единицы дерева кодирования (CTU) или наибольшей единицы кодирования (LCU) согласно структуре в виде дерева квадрантов, двоичного дерева и троичного дерева (QT/BT/TT). Например, одна единица кодирования может сегментироваться на множество единиц кодирования большей глубины на основе структуры в виде дерева квадрантов, структуры в виде двоичного дерева и/или троичной структуры. Для сегментации единицы кодирования, сначала может применяться структура в виде дерева квадрантов, и впоследствии может применяться структура в виде двоичного дерева и/или троичная структура. Процедура кодирования согласно настоящему раскрытию сущности может выполняться на основе конечной единицы кодирования, которая более не сегментируется. Наибольшая единица кодирования может использоваться в качестве конечной единицы кодирования, или единица кодирования большей глубины, полученной посредством сегментации наибольшей единицы кодирования, может использоваться в качестве конечной единицы кодирования. Здесь, процедура кодирования может включать в себя процедуру прогнозирования, преобразования и восстановления, которая описывается ниже. В качестве другого примера, единица обработки процедуры кодирования может представлять собой единицу прогнозирования (PU) или единицу преобразования (TU). Единица прогнозирования и единица преобразования могут разбиваться или сегментироваться из конечной единицы кодирования. Единица прогнозирования может представлять собой единицу выборочного прогнозирования, и единица преобразования может представлять собой единицу для извлечения коэффициента преобразования и/или единицу для извлечения остаточного сигнала из коэффициента преобразования.

[73] Модуль прогнозирования (модуль 180 взаимного прогнозирования или модуль 185 внутреннего прогнозирования) может выполнять прогнозирование относительно блока, который должен обрабатываться (текущего блока), и формировать прогнозированный блок, включающий в себя прогнозные выборки для текущего блока. Модуль прогнозирования может определять то, применяется внутреннее прогнозирование или взаимное прогнозирование, на основе текущего блока или CU. Модуль прогнозирования может формировать различную информацию, связанную с прогнозированием текущего блока, и передавать сформированную информацию в энтропийный кодер 190. Информация относительно прогнозирования может кодироваться в энтропийном кодере 190 и выводиться в форме потока битов.

[74] Модуль 185 внутреннего прогнозирования может прогнозировать текущий блок посредством ссылки на выборки в текущем кадре. Выборки для ссылки могут быть расположены в окружении текущего блока или могут быть расположены с разнесением согласно режиму внутреннего прогнозирования и/или технологии внутреннего прогнозирования. Режимы внутреннего прогнозирования могут включать в себя множество ненаправленных режимов и множество направленных режимов. Ненаправленный режим может включать в себя, например, DC-режим и планарный режим. Направленный режим может включать в себя, например, 33 режима направленного прогнозирования или 65 режимов направленного прогнозирования согласно степени детальности направления прогнозирования. Тем не менее, это представляет собой просто пример, большее или меньшее число режимов направленного прогнозирования может использоваться в зависимости от настройки. Модуль 185 внутреннего прогнозирования может определять режим прогнозирования, применяемый к текущему блоку, посредством использования режима прогнозирования, применяемого к соседнему блоку.

[75] Модуль 180 взаимного прогнозирования может извлекать прогнозированный блок для текущего блока на основе опорного блока (массива опорных выборок), указываемого посредством вектора движения для опорного кадра. В этом случае, чтобы уменьшать объем информации движения, передаваемой в режиме взаимного прогнозирования, информация движения может прогнозироваться в единицах блоков, субблоков или выборок на основе корреляции информации движения между соседним блоком и текущим блоком. Информация движения может включать в себя вектор движения и индекс опорного кадра. Информация движения дополнительно может включать в себя информацию направления взаимного прогнозирования (L0-прогнозирование, L1-прогнозирование, бипрогнозирование и т.д.). В случае взаимного прогнозирования, соседний блок может включать в себя пространственный соседний блок, присутствующий в текущем кадре, и временной соседний блок, присутствующий в опорном кадре. Опорный кадр, включающий в себя опорный блок, и опорный кадр, включающий в себя временной соседний блок, могут быть идентичными или отличающимися. Временной соседний блок может называться "совместно размещенным опорным блоком", "совместно размещенной CU (colCU)" и т.п. Опорный кадр, включающий в себя временной соседний блок, может называться "совместно размещенным кадром (colPic)". Например, модуль 180 взаимного прогнозирования может конфигурировать список возможных вариантов информации движения на основе соседних блоков и формировать информацию, указывающую то, какой возможный вариант используется для того, чтобы извлекать вектор движения и/или индекс опорного кадра текущего блока. Взаимное прогнозирование может выполняться на основе различных режимов прогнозирования. Например, в случае режима пропуска и режима объединения, модуль 180 взаимного прогнозирования может использовать информацию движения соседнего блока в качестве информации движения текущего блока. В случае режима пропуска, в отличие от режима объединения, остаточный сигнал может не передаваться. В случае режима прогнозирования векторов движения (MVP), вектор движения соседнего блока может использоваться в качестве предиктора вектора движения, и вектор движения текущего блока может передаваться в служебных сигналах посредством кодирования разности векторов движения и индикатора для предиктора вектора движения. Разность векторов движения может означать разность между вектором движения текущего блока и предиктором вектора движения.

[76] Модуль прогнозирования может формировать прогнозный сигнал на основе различных способов прогнозирования и технологий прогнозирования, описанных ниже. Например, модуль прогнозирования может не только применять внутреннее прогнозирование или взаимное прогнозирование, но также и одновременно применять как внутреннее прогнозирование, так и взаимное прогнозирование, чтобы прогнозировать текущий блок. Способ прогнозирования с одновременным применением как внутреннего прогнозирования, так и взаимного прогнозирования для прогнозирования текущего блока может называться "комбинированным взаимным и внутренним прогнозированием (CIIP)". Помимо этого, модуль прогнозирования может выполнять внутриблочное копирование (IBC) для прогнозирования текущего блока. Внутриблочное копирование может использоваться для кодирования изображений/видео контента игры и т.п., например, для кодирования экранного контента (SCC). IBC представляет собой способ прогнозирования текущего кадра с использованием ранее восстановленного опорного блока в текущем кадре в местоположении, разнесенном от текущего блока на предварительно определенное расстояние. Когда IBC применяется, местоположение опорного блока в текущем кадре может кодироваться как вектор (блочный вектор), соответствующий предварительно определенному расстоянию. IBC по существу выполняет прогнозирование в текущем кадре, но может выполняться аналогично взаимному прогнозированию в том, что опорный блок извлекается внутри текущего кадра. Таким образом, IBC может использовать, по меньшей мере, одну из технологий взаимного прогнозирования, описанных в настоящем раскрытии сущности.

[77] Прогнозный сигнал, сформированный посредством модуля прогнозирования, может использоваться для того, чтобы формировать восстановленный сигнал или формировать остаточный сигнал. Вычитатель 115 может формировать остаточный сигнал (остаточный блок или массив остаточных выборок) посредством вычитания прогнозного сигнала (прогнозированного блока или массива прогнозных выборок), выводимого из модуля прогнозирования, из сигнала входного изображения (исходного блока или массива исходных выборок). Сформированный остаточный сигнал может передаваться в преобразователь 120.

[78] Преобразователь 120 может формировать коэффициенты преобразования посредством применения технологии преобразования к остаточному сигналу. Например, технология преобразования может включать в себя, по меньшей мере, одно из дискретного косинусного преобразования (DCT), дискретного синусного преобразования (DST), преобразования Карунена-Лоэва (KLT), преобразования на основе графа (GBT) или условно нелинейного преобразования (CNT). Здесь, GBT означает преобразование, полученное из графа, когда информация взаимосвязи между пикселами представляется посредством графа. CNT означает преобразование, полученное на основе прогнозного сигнала, сформированного с использованием всех ранее восстановленных пикселов. Помимо этого, процесс преобразования может применяться к квадратным пиксельным блокам, имеющим идентичный размер, или может применяться к блокам, имеющим переменный размер, а не квадратный.

[79] Квантователь 130 может квантовать коэффициенты преобразования и передавать их в энтропийный кодер 190. Энтропийный кодер 190 может кодировать квантованный сигнал (информацию относительно квантованных коэффициентов преобразования) и выводить поток битов. Информация относительно квантованных коэффициентов преобразования может называться "остаточной информацией". Квантователь 130 может перекомпоновывать квантованные коэффициенты преобразования в блочной форме в одномерную векторную форму на основе порядка сканирования коэффициентов и формировать информацию относительно квантованных коэффициентов преобразования на основе квантованных коэффициентов преобразования в одномерной векторной форме.

[80] Энтропийный кодер 190 может осуществлять различные способы кодирования, такие как, например, кодирование экспоненциальным кодом Голомба, контекстно-адаптивное кодирование переменной длины (CAVLC), контекстно-адаптивное двоичное арифметическое кодирование (CABAC) и т.п. Энтропийный кодер 190 может кодировать информацию, необходимую для восстановления видео/изображений, отличную от квантованных коэффициентов преобразования (например, значений синтаксических элементов и т.д.), вместе или отдельно. Кодированная информация (например, кодированная информация видео/изображений) может передаваться или сохраняться в единицах слоев абстрагирования от сети (NAL) в форме потока битов. Информация видео/изображений дополнительно может включать в себя информацию относительно различных наборов параметров, таких как набор параметров адаптации (APS), набор параметров кадра (PPS), набор параметров последовательности (SPS) или набор параметров видео (VPS). Помимо этого, информация видео/изображений дополнительно может включать в себя общую информацию ограничений. Передаваемая в служебных сигналах информация, передаваемая информация и/или синтаксические элементы, описанные в настоящем раскрытии сущности, могут кодироваться через вышеописанную процедуру кодирования и включаться в поток битов.

[81] Поток битов может передаваться по сети или может сохраняться на цифровом носителе хранения данных. Сеть может включать в себя широковещательную сеть и/или сеть связи, и цифровой носитель хранения данных может включать в себя различные носители хранения данных, такие как, USB, SD, CD, DVD, Blu-Ray, HDD, SSD и т.п. Передатчик (не показан), передающий сигнал, выводимый из энтропийного кодера 190, и/или модуль хранения (не показан), сохраняющий сигнал, могут включаться в качестве внутреннего/внешнего элемента оборудования 100 кодирования, и альтернативно, передатчик может включаться в энтропийный кодер 190.

[82] Квантованные коэффициенты преобразования, выводимые из квантователя 130, могут использоваться для того, чтобы формировать остаточный сигнал. Например, остаточный сигнал (остаточный блок или остаточные выборки) может восстанавливаться посредством применения деквантования и обратного преобразования к квантованным коэффициентам преобразования через деквантователь 140 и обратный преобразователь 150.

[83] Сумматор 155 суммирует восстановленный остаточный сигнал с прогнозным сигналом, выводимым из модуля 180 взаимного прогнозирования или модуля 185 внутреннего прогнозирования, с тем чтобы формировать восстановленный сигнал (восстановленный кадр, восстановленный блок, массив восстановленных выборок). Если отсутствует остаток для блока, который должен обрабатываться, к примеру, в случае, в котором режим пропуска применяется, прогнозированный блок может использоваться в качестве восстановленного блока. Сумматор 155 может называться "модулем восстановления" или "формирователем восстановленных блоков". Сформированный восстановленный сигнал может использоваться для внутреннего прогнозирования следующего блока, который должен обрабатываться в текущем кадре, и может использоваться для взаимного прогнозирования следующего кадра посредством фильтрации, как описано ниже.

[84] Фильтр 160 может повышать субъективное/объективное качество изображений посредством применения фильтрации к восстановленному сигналу. Например, фильтр 160 может формировать модифицированный восстановленный кадр посредством применения различных способов фильтрации к восстановленному кадру и сохранять модифицированный восстановленный кадр в запоминающем устройстве 170, а именно, в DPB запоминающего устройства 170. Различные способы фильтрации могут включать в себя, например, фильтрацию для удаления блочности, фильтрацию на основе дискретизированного адаптивного смещения, адаптивный контурный фильтр, билатеральный фильтр и т.п. Фильтр 160 может формировать различную информацию, связанную с фильтрацией, и передавать сформированную информацию в энтропийный кодер 190, как описано ниже в описании каждого способа фильтрации. Информация, связанная с фильтрацией, может кодироваться посредством энтропийного кодера 190 и выводиться в форме потока битов.

[85] Модифицированный восстановленный кадр, передаваемый в запоминающее устройство 170, может использоваться в качестве опорного кадра в модуле 180 взаимного прогнозирования. Когда взаимное прогнозирование применяется через оборудование 100 кодирования изображений, рассогласование прогнозирования между оборудованием 100 кодирования изображений и оборудованием декодирования изображений может исключаться, и эффективность кодирования может повышаться.

[86] DPB запоминающего устройства 170 может сохранять модифицированный восстановленный кадр для использования в качестве опорного кадра в модуле 180 взаимного прогнозирования. Запоминающее устройство 170 может сохранять информацию движения блока, из которой информация движения в текущем кадре извлекается (или кодируется), и/или информацию движения блоков в кадре, которые уже восстановлены. Сохраненная информация движения может передаваться в модуль 180 взаимного прогнозирования и использоваться в качестве информации движения пространственного соседнего блока или информации движения временного соседнего блока. Запоминающее устройство 170 может сохранять восстановленные выборки восстановленных блоков в текущем кадре и может передавать восстановленные выборки в модуль 185 внутреннего прогнозирования.

[87] Общее представление оборудования декодирования изображений

[88] Фиг. 3 является видом, схематично показывающим оборудование декодирования изображений, к которому является применимым вариант осуществления настоящего раскрытия сущности.

[89] Как показано на фиг. 3, оборудование 200 декодирования изображений может включать в себя энтропийный декодер 210, деквантователь 220, обратный преобразователь 230, сумматор 235, фильтр 240, запоминающее устройство 250, модуль 260 взаимного прогнозирования и модуль 265 внутреннего прогнозирования. Модуль 260 взаимного прогнозирования и модуль 265 внутреннего прогнозирования могут совместно называться "модулем прогнозирования". Деквантователь 220 и обратный преобразователь 230 могут включаться в остаточный процессор.

[90] Все или, по меньшей мере, часть из множества компонентов, конфигурирующих оборудование 200 декодирования изображений, могут быть сконфигурированы посредством аппаратного компонента (например, декодера или процессора) согласно варианту осуществления. Помимо этого, запоминающее устройство 250 может включать в себя буфер декодированных кадров (DPB) или может быть сконфигурировано посредством цифрового носителя хранения данных.

[91] Оборудование 200 декодирования изображений, которое принимает поток битов, включающий в себя информацию видео/изображений, может восстанавливать изображение посредством выполнения процесса, соответствующего процессу, выполняемому посредством оборудования 100 кодирования изображений по фиг. 2. Например, оборудование 200 декодирования изображений может выполнять декодирование с использованием единицы обработки, применяемой в оборудовании кодирования изображений. Таким образом, единица обработки декодирования, например, может представлять собой единицу кодирования. Единица кодирования может получаться посредством сегментации единицы дерева кодирования или наибольшей единицы кодирования. Восстановленный сигнал изображения, декодированный и выводимый посредством оборудования 200 декодирования, может воспроизводиться посредством оборудования воспроизведения.

[92] Оборудование 200 декодирования изображений может принимать сигнал, выводимый из оборудования кодирования изображений по фиг. 2 в форме потока битов. Принимаемый сигнал может декодироваться через энтропийный декодер 210. Например, энтропийный декодер 210 может синтаксически анализировать поток битов, чтобы извлекать информацию (например, информацию видео/изображений), необходимую для восстановления изображений (или восстановления кадров). Информация видео/изображений дополнительно может включать в себя информацию относительно различных наборов параметров, таких как набор параметров адаптации (APS), набор параметров кадра (PPS), набор параметров последовательности (SPS) или набор параметров видео (VPS). Помимо этого, информация видео/изображений дополнительно может включать в себя общую информацию ограничений. Оборудование декодирования изображений дополнительно может декодировать кадр на основе информации относительно набора параметров и/или общей информации ограничений. Передаваемая в служебных сигналах/принимаемая информация и/или синтаксические элементы, описанные в настоящем раскрытии сущности, могут декодироваться посредством процедуры декодирования и получаться из потока битов. Например, энтропийный декодер 210 декодирует информацию в потоке битов на основе способа кодирования, такого как кодирование экспоненциальным кодом Голомба, CAVLC или CABAC, и выходных значений синтаксических элементов, требуемых для восстановления изображений, и квантованных значений коэффициентов преобразования для остатка. Более конкретно, способ энтропийного CABAC-декодирования может принимать элемент разрешения, соответствующий каждому синтаксическому элементу в потоке битов, определять контекстную модель с использованием информации целевого синтаксического элемента декодирования, информации декодирования соседнего блока и целевого блока декодирования или информации символа/элемента разрешения, декодированного на предыдущей стадии, и выполнять арифметическое декодирование для элемента разрешения посредством прогнозирования вероятности появления элемента разрешения согласно определенной контекстной модели и формировать символ, соответствующий значению каждого синтаксического элемента. В этом случае, способ энтропийного CABAC-декодирования может обновлять контекстную модель посредством использования информации декодированного символа/элемента разрешения для контекстной модели следующего символа/элемента разрешения после определения контекстной модели. Информация, связанная с прогнозированием из информации, декодированной посредством энтропийного декодера 210, может предоставляться в модуль прогнозирования (модуль 260 взаимного прогнозирования и модуль 265 внутреннего прогнозирования), и остаточное значение, для которого энтропийное декодирование выполнено в энтропийном декодере 210, т.е. квантованные коэффициенты преобразования и связанная информация параметров, может вводиться в деквантователь 220. Помимо этого, информация относительно фильтрации из информации, декодированной посредством энтропийного декодера 210, может предоставляться в фильтр 240. Между тем, приемник (не показан) для приема сигнала, выводимого из оборудования кодирования изображений, может быть дополнительно сконфигурирован в качестве внутреннего/внешнего элемента оборудования 200 декодирования изображений, или приемник может представлять собой компонент энтропийного декодера 210.

[93] Между тем, оборудование декодирования изображений согласно настоящему раскрытию сущности может называться "оборудованием декодирования видео/изображений/кадров". Оборудование декодирования изображений может классифицироваться на информационный декодер (декодер информации видео/изображений/кадров) и выборочный декодер (декодер выборок видео/изображений/кадров). Информационный декодер может включать в себя энтропийный декодер 210. Выборочный декодер может включать в себя, по меньшей мере, одно из деквантователя 220, обратного преобразователя 230, сумматора 235, фильтра 240, запоминающего устройства 250, модуля 260 взаимного прогнозирования или модуля 265 внутреннего прогнозирования.

[94] Деквантователь 220 может деквантовать квантованные коэффициенты преобразования и выводить коэффициенты преобразования. Деквантователь 220 может перекомпоновывать квантованные коэффициенты преобразования в форме двумерного блока. В этом случае, перекомпоновка может выполняться на основе порядка сканирования коэффициентов, выполняемого в оборудовании кодирования изображений. Деквантователь 220 может выполнять деквантование для квантованных коэффициентов преобразования посредством использования параметра квантования (например, информации размера шага квантования) и получать коэффициенты преобразования.

[95] Обратный преобразователь 230 может обратно преобразовывать коэффициенты преобразования, чтобы получать остаточный сигнал (остаточный блок, массив остаточных выборок).

[96] Модуль прогнозирования может выполнять прогнозирование для текущего блока и может формировать прогнозированный блок, включающий в себя прогнозные выборки для текущего блока. Модуль прогнозирования может определять то, применяется внутреннее прогнозирование или взаимное прогнозирование к текущему блоку, на основе информации относительно прогнозирования, выводимой из энтропийного декодера 210, и может определять конкретный режим внутреннего/взаимного прогнозирования.

[97] Идентично тому, что описано в модуле прогнозирования оборудования 100 кодирования изображений, модуль прогнозирования может формировать прогнозный сигнал на основе различных способов (технологий) прогнозирования, которые описываются ниже.

[98] Модуль 265 внутреннего прогнозирования может прогнозировать текущий блок посредством ссылки на выборки в текущем кадре. Описание модуля 185 внутреннего прогнозирования в равной степени применяется к модулю 265 внутреннего прогнозирования.

[99] Модуль 260 взаимного прогнозирования может извлекать прогнозированный блок для текущего блока на основе опорного блока (массива опорных выборок), указываемого посредством вектора движения для опорного кадра. В этом случае, чтобы уменьшать объем информации движения, передаваемой в режиме взаимного прогнозирования, информация движения может прогнозироваться в единицах блоков, субблоков или выборок на основе корреляции информации движения между соседним блоком и текущим блоком. Информация движения может включать в себя вектор движения и индекс опорного кадра. Информация движения дополнительно может включать в себя информацию направления взаимного прогнозирования (L0-прогнозирование, L1-прогнозирование, бипрогнозирование и т.д.). В случае взаимного прогнозирования, соседний блок может включать в себя пространственный соседний блок, присутствующий в текущем кадре, и временной соседний блок, присутствующий в опорном кадре. Например, модуль 260 взаимного прогнозирования может конфигурировать список возможных вариантов информации движения на основе соседних блоков и извлекать вектор движения текущего блока и/или индекс опорного кадра на основе принимаемой информации выбора возможных вариантов. Взаимное прогнозирование может выполняться на основе различных режимов прогнозирования, и информация относительно прогнозирования может включать в себя информацию, указывающую режим взаимного прогнозирования для текущего блока.

[100] Сумматор 235 может формировать восстановленный сигнал (восстановленный кадр, восстановленный блок, массив восстановленных выборок) посредством суммирования полученного остаточного сигнала с прогнозным сигналом (прогнозированным блоком, массивом прогнозированных выборок), выводимым из модуля прогнозирования (включающего в себя модуль 260 взаимного прогнозирования и/или модуль 265 внутреннего прогнозирования). Если отсутствует остаток для блока, который должен обрабатываться, к примеру, когда режим пропуска применяется, прогнозированный блок может использоваться в качестве восстановленного блока. Описание сумматора 155 является в равной степени применимым к сумматору 235. Сумматор 235 может называться "модулем восстановления" или "формирователем восстановленных блоков". Сформированный восстановленный сигнал может использоваться для внутреннего прогнозирования следующего блока, который должен обрабатываться в текущем кадре, и может использоваться для взаимного прогнозирования следующего кадра посредством фильтрации, как описано ниже.

[101] Фильтр 240 может повышать субъективное/объективное качество изображений посредством применения фильтрации к восстановленному сигналу. Например, фильтр 240 может формировать модифицированный восстановленный кадр посредством применения различных способов фильтрации к восстановленному кадру и сохранять модифицированный восстановленный кадр в запоминающем устройстве 250, а именно, в DPB запоминающего устройства 250. Различные способы фильтрации могут включать в себя, например, фильтрацию для удаления блочности, фильтрацию на основе дискретизированного адаптивного смещения, адаптивный контурный фильтр, билатеральный фильтр и т.п.

[102] (Модифицированный) восстановленный кадр, сохраненный в DPB запоминающего устройства 250, может использоваться в качестве опорного кадра в модуле 260 взаимного прогнозирования. Запоминающее устройство 250 может сохранять информацию движения блока, из которой информация движения в текущем кадре извлекается (или декодируется), и/или информацию движения блоков в кадре, которые уже восстановлены. Сохраненная информация движения может передаваться в модуль 260 взаимного прогнозирования, так что она используется в качестве информации движения пространственного соседнего блока или информации движения временного соседнего блока. Запоминающее устройство 250 может сохранять восстановленные выборки восстановленных блоков в текущем кадре и передавать восстановленные выборки в модуль 265 внутреннего прогнозирования.

[103] В настоящем раскрытии сущности, варианты осуществления, описанные в фильтре 160, модуле 180 взаимного прогнозирования и модуле 185 внутреннего прогнозирования оборудования 100 кодирования изображений, могут в равной или соответствующей степени применяться к фильтру 240, модулю 260 взаимного прогнозирования и модулю 265 внутреннего прогнозирования оборудования 200 декодирования изображений.

[104] Общее представление сегментации изображений

[105] Способ кодирования видео/изображений согласно настоящему раскрытию сущности может осуществляться на основе структуры сегментации изображений следующим образом. В частности, процедуры прогнозирования, остаточной обработки ((обратного) преобразования, (де)-квантования и т.д.), кодирования синтаксических элементов и фильтрации, которые описываются ниже, могут выполняться на основе CTU, CU (и/или TU, PU), извлекаемой на основе структуры сегментации изображений. Изображение может сегментироваться в единицах блоков, и процедура сегментации на блоки может выполняться в модуле 110 сегментации изображений оборудования кодирования. Связанная с сегментацией информация может кодироваться посредством энтропийного кодера 190 и передаваться в оборудование декодирования в форме потока битов. Энтропийный декодер 210 оборудования декодирования может извлекать структуру сегментации на блоки текущего кадра на основе связанной с сегментацией информации, полученной из потока битов, и на основе этого, может выполнять последовательность процедур (например, прогнозирование, остаточную обработку, восстановление блоков/кадров, внутриконтурную фильтрацию и т.д.) для декодирования изображений. CU-размер и TU-размер могут быть идентичными, или множество TU могут присутствовать в CU-зоне. Между тем, CU-размер, в общем, может представлять CB-размер компонентных (выборок) сигналов яркости. TU-размер, в общем, может представлять TB-размер компонентных (выборок) сигналов яркости. CB- или TB-размер компонентных (выборок) сигналов цветности может извлекаться на основе CB- или TB-размера компонентных (выборок) сигналов яркости согласно соотношению компонентов согласно формату сигналов цветности (цветовому формату, например, 4:4:4, 4:2:2, 4:2:0 и т.д.) кадра/изображения. TU-размер может извлекаться на основе maxTbSize, указывающего доступный максимальный TB-размер. Например, когда CU-размер превышает maxTbSize, множество TU (TB) с maxTbSize могут извлекаться из CU, и преобразование/обратное преобразование может выполняться в единицах TU (TB). Помимо этого, например, при применении внутреннего прогнозирования, режим/тип внутреннего прогнозирования может извлекаться в единицах CU (или CB), и процедура извлечения соседних опорных выборок и формирования прогнозных выборок может выполняться в единицах TU (или TB). В этом случае, одна или множество TU (или TB) могут присутствовать в одной CU-(или CB-)зоне, и, в этом случае, множество TU или (TB) могут совместно использовать идентичный режим/тип внутреннего прогнозирования.

[106] Помимо этого, при кодировании и декодировании изображений согласно настоящему раскрытию сущности, модуль обработки изображений может иметь иерархическую структуру. Например, один кадр может сегментироваться на одну или более плиток или групп плиток. Одна группа плиток может включать в себя одну или более плиток. Одна плитка может включать в себя одну или более CTU. CTU может сегментироваться на одну или более CU, как описано выше. Плитка может состоять из прямоугольной области, включающей в себя CTU, собранные в конкретной строке и конкретном столбце в кадре. Группа плиток может включать в себя целое число плиток согласно растровому сканированию плиток. Заголовок группы плиток может передавать в служебных сигналах информацию/параметры, применимые к соответствующей группе плиток. Когда оборудование кодирования/декодирования имеет многоядерный процессор, процедура кодирования/декодирования для плитки или группы плиток может выполняться параллельно. Здесь, группа плиток может иметь один из типов групп плиток, включающих в себя группу внутренних (I) плиток, группу прогнозирующих (P) плиток и группу бипрогнозирующих (B) плиток. Для блоков в группе I-плиток, взаимное прогнозирование может не использоваться, и только внутреннее прогнозирование может использоваться для прогнозирования. Конечно, даже в этом случае, исходное выборочное значение может кодироваться и передаваться в служебных сигналах без прогнозирования. Для блоков в группе P-плиток, внутреннее прогнозирование или взаимное прогнозирование может использоваться, и только унипрогнозирование может использоваться при взаимном прогнозировании. Между тем, для блоков в группе B-плиток, внутреннее прогнозирование или взаимное прогнозирование может использоваться, и вплоть до бипрогнозирования может использоваться, когда используется взаимное прогнозирование.

[107] В оборудовании кодирования, плитка/группа плиток, срез и размер максимальной и минимальной единицы кодирования могут определяться согласно характеристикам (например, разрешению) изображения и с учетом эффективности кодирования либо параллельной обработки, и информация для нее или информация, допускающая ее извлечение, может включаться в поток битов.

[108] В оборудовании декодирования, информация, указывающая то, срез текущего кадра, плитка/группа плиток или CTU в плитке сегментируется на множество единиц кодирования, может получаться. Когда эта информация получается (передается) только при конкретных условиях, эффективность может повышаться.

[109] Заголовок среза или заголовок группы плиток (синтаксис заголовков групп плиток) может включать в себя информацию/параметры, обычно применимые к группе срезов или плиток. APS (APS-синтаксис) или PPS (PPS-синтаксис) может включать в себя информацию/параметры, обычно применимые к одному или более кадров. SPS (SPS-cинтаксис) может включать в себя информацию/параметры, обычно применимые к одной или более последовательностей. VPS (VPS-синтаксис) может включать в себя информацию/параметры, обычно применимые ко всему видео. В настоящем раскрытии сущности, высокоуровневый синтаксис может включать в себя, по меньшей мере, одно из APS-синтаксиса, PPS-синтаксиса, SPS-cинтаксиса или VPS-синтаксиса.

[110] Помимо этого, например, информация относительно сегментации и конструирования плитки/группы плиток может конструироваться в каскаде кодирования через высокоуровневый синтаксис и передаваться в оборудование декодирования в форме потока битов.

[111] Структура сегментации

[112] Кадры могут сегментироваться на последовательность единиц дерева кодирования (CTU). CTU может соответствовать блоку дерева кодирования (CTB). Альтернативно, CTU может включать в себя блок дерева кодирования выборок сигналов яркости и два блока дерева кодирования соответствующих выборок сигналов цветности. Например, для кадра, который содержит три массива выборок, CTU может включать в себя блок NxN выборок сигналов яркости и два соответствующих блока выборок сигналов цветности. Фиг. 4 показывает пример, в котором кадр сегментируется на CTU.

[113] Максимально допустимый размер CTU для кодирования и прогнозирования может отличаться от максимально допустимого размера CTU для преобразования. Например, даже когда максимальный размер блока сигналов яркости в CTU для преобразования составляет 64×64, максимальный размер блока сигналов яркости для CTU для кодирования и прогнозирования может составлять 128×128.

[114] Помимо этого, кадр может сегментироваться на одну или более строк плиток и один или более столбцов плиток. Плитка может представлять собой последовательность CTU, покрывающих прямоугольную область в кадре.

[115] Плитка может сегментироваться на один или более кирпичей, и каждый кирпич может состоять из множества CTU-строк в плитке. В настоящем раскрытии сущности, плитка, которая не сегментируется на множество кирпичей, может называться "кирпичом".

[116] Срез может включать в себя множество плиток в кадре или множество кирпичей в плитке. Могут поддерживаться два режима разделения на срезы. Один может представлять собой режим разделения на срезы на основе растрового сканирования, и другой может представлять собой режим разделения на прямоугольные срезы.

[117] В растровом режиме разделения на срезы, срез может включать в себя множество последовательных плиток в кадре согласно порядку растрового сканирования. В настоящем раскрытии сущности, срез согласно режиму разделения на срезы на основе растрового сканирования может называться "срезом на основе растрового сканирования".

[118] В режиме разделения на прямоугольные срезы, срез может включать в себя множество кирпичей, конструирующих прямоугольную область в кадре. В настоящем раскрытии сущности, срез согласно режиму разделения на прямоугольные срезы может называться "прямоугольным срезом". Множество кирпичей, включенных в прямоугольный срез, могут существовать согласно порядку растрового сканирования кирпичей среза.

[119] Фиг. 5A-5C являются видами, иллюстрирующими примеры сегментации кадра.

[120] Во-первых, ссылаясь на фиг. 5A, в режиме разделения на срезы на основе растрового сканирования, кадр может сегментироваться на 12 плиток и три среза на основе растрового сканирования.

[121] Ссылаясь на фиг. 5B, в режиме разделения на прямоугольные срезы, кадр может сегментироваться на 24 плитки (т.е. на шесть строк плиток и четыре столбца плиток) и на девять прямоугольных срезов.

[122] Ссылаясь на фиг. 5C, кадр может сегментироваться на четыре плитки (т.е. на две строки плиток и два столбца плиток), на 11 кирпичей (т.е. на один левый верхний кирпич, пять правых верхних кирпичей, два левых нижних кирпича и три правых нижних кирпича) и на четыре прямоугольных среза.

[123] Общее представление сегментации CTU

[124] Как описано выше, единица кодирования (CU) может получаться посредством рекурсивной сегментации единицы дерева кодирования (CTU) или наибольшей единицы кодирования (LCU) согласно структуре в виде дерева квадрантов/двоичного дерева/троичного дерева (QT/BT/TT). Например, CTU может сначала сегментироваться на структуры в виде дерева квадрантов. После этого, узлы-листья структуры в виде дерева квадрантов дополнительно могут сегментироваться посредством многотипной древовидной структуры.

[125] Сегментация согласно дереву квадрантов означает то, что текущая CU (или CTU) сегментируется одинаково на четыре. Посредством сегментации согласно дереву квадрантов, текущая CU может сегментироваться на четыре CU, имеющие идентичную ширину и идентичную высоту. Когда текущая CU более не сегментируется на структуру в виде дерева квадрантов, текущая CU соответствует узлу-листу структуры в виде дерева квадрантов. CU, соответствующая узлу-листу структуры в виде дерева квадрантов, более не может сегментироваться и может использоваться в качестве вышеописанной конечной единицы кодирования. Альтернативно, CU, соответствующая узлу-листу структуры в виде дерева квадрантов, дополнительно может сегментироваться посредством многотипной древовидной структуры.

[126] Фиг. 6 является видом, показывающим вариант осуществления типа сегментации блока согласно многотипной древовидной структуре. Сегментация согласно многотипной древовидной структуре может включать в себя два типа разбиения согласно структуре в виде двоичного дерева и два типа разбиения согласно структуре в виде троичного дерева.

[127] Два типа разбиения согласно структуре в виде двоичного дерева могут включать в себя вертикальное двоичное разбиение (SPLIT_BT_VER) и горизонтальное двоичное разбиение (SPLIT_BT_HOR). Вертикальное двоичное разбиение (SPLIT_BT_VER) означает то, что текущая CU разбивается одинаково напополам в вертикальном направлении. Как показано на фиг. 5, посредством вертикального двоичного разбиения, могут формироваться две CU, имеющие высоту, идентичную высоте текущей CU, и имеющие ширину, которая составляет половину от ширины текущей CU. Горизонтальное двоичное разбиение (SPLIT_BT_HOR) означает то, что текущая CU разбивается одинаково напополам в горизонтальном направлении. Как показано на фиг. 5, посредством горизонтального двоичного разбиения, могут формироваться две CU, имеющие высоту, которая составляет половину от высоты текущей CU, и имеющие ширину, идентичную ширине текущей CU.

[128] Два типа разбиения согласно структуре в виде троичного дерева могут включать в себя вертикальное троичное разбиение (SPLIT_TT_VER) и горизонтальное троичное разбиение (SPLIT_TT_HOR). В вертикальном троичном разбиении (SPLIT_TT_VER), текущая CU разбивается в вертикальном направлении в соотношении 1:2:1. Как показано на фиг. 5, посредством вертикального троичного разбиения, могут формироваться две CU, имеющие высоту, идентичную высоте текущей CU, и имеющие ширину, которая составляет 1/4 от ширины текущей CU, и CU, имеющая высоту, идентичную высоте текущей CU, и имеющая ширину, которая составляет половину от ширины текущей CU. В горизонтальном троичном разбиении (SPLIT_TT_HOR), текущая CU разбивается в горизонтальном направлении в соотношении 1:2:1. Как показано на фиг. 5, посредством горизонтального троичного разбиения, могут формироваться две CU, имеющие высоту, которая составляет 1/4 от высоты текущей CU, и имеющие ширину, идентичную ширине текущей CU, и CU, имеющая высоту, которая составляет половину от высоты текущей CU, и имеющая ширину, идентичную ширине текущей CU.

[129] Фиг. 7 является видом, показывающим механизм передачи в служебных сигналах информации разбиения на блоки в дереве квадрантов с вложенной многотипной древовидной структурой согласно настоящему раскрытию сущности.

[130] Здесь, CTU трактуется в качестве корневого узла дерева квадрантов и сегментируется в первый раз на структуру в виде дерева квадрантов. Информация (например, qt_split_flag), указывающая то, выполняется или нет разбиение на дерево квадрантов для текущей CU (CTU или узла (QT_node) дерева квадрантов), передается в служебных сигналах. Например, когда qt_split_flag имеет первое значение (например, "1"), текущая CU может сегментироваться на дерево квадрантов. Помимо этого, когда qt_split_flag имеет второе значение (например, "0"), текущая CU не сегментируется на дерево квадрантов, но становится узлом-листом (QT_leaf_node) дерева квадрантов. Каждый узел-лист дерева квадрантов затем дополнительно может сегментироваться на многотипные древовидные структуры. Таким образом, узел-лист дерева квадрантов может становиться узлом (MTT_node) многотипного дерева. В многотипной древовидной структуре, первый флаг (например, Mtt_split_cu_flag) передается в служебных сигналах, чтобы указывать то, сегментируется или нет дополнительно текущий узел. Если соответствующий узел дополнительно сегментируется (например, если первый флаг равен 1), второй флаг (например, Mtt_split_cu_vertical_flag) может передаваться в служебных сигналах, чтобы указывать направление разбиения. Например, направление разбиения может представлять собой вертикальное направление, если второй флаг равен 1, и может представлять собой горизонтальное направление, если второй флаг равен 0. Затем третий флаг (например, Mtt_split_cu_binary_flag) может передаваться в служебных сигналах, чтобы указывать то, представляет тип разбиения собой тип на основе двоичного разбиения или тип на основе троичного разбиения. Например, тип разбиения может представлять собой тип на основе двоичного разбиения, когда третий флаг равен 1, и может представлять собой тип на основе троичного разбиения, когда третий флаг равен 0. Узел многотипного дерева, полученного посредством двоичного разбиения или троичного разбиения, дополнительно может сегментироваться на многотипные древовидные структуры. Тем не менее, узел многотипного дерева может не сегментироваться на структуры в виде дерева квадрантов. Если первый флаг равен 0, соответствующий узел многотипного дерева более не разбивается, но становится узлом-листом (MTT_leaf_node) многотипного дерева. CU, соответствующая узлу-листу многотипного дерева, может использоваться в качестве вышеописанной конечной единицы кодирования.

[131] На основе mtt_split_cu_vertical_flag и mtt_split_cu_binary_flag, режим разбиения на основе многотипного дерева (MttSplitMode) CU может извлекаться так, как показано в нижеприведенной таблице 1. В нижеприведенном описании, режим разбиения на основе многотипного дерева может называться "типом разбиения на основе мультидерева" или "типом разбиения".

[132] Табл. 1

MttSplitMode mtt_split_cu_vertical_flag mtt_split_cu_binary_flag SPLIT_TT_HOR 0 0 SPLIT_BT_HOR 0 1 SPLIT_TT_VER 1 0 SPLIT_BT_VER 1 1

[133] Фиг. 8 является видом, показывающим пример, в котором CTU сегментируется на несколько CU посредством применения многотипного дерева после применения дерева квадрантов. На фиг. 8, полужирные края 810 блоков представляют сегментацию на основе дерева квадрантов, и оставшиеся края 820 представляют сегментацию на основе многотипного дерева. CU может соответствовать блоку кодирования (CB). В варианте осуществления, CU может включать в себя блок кодирования выборок сигналов яркости и два блока кодирования выборок сигналов цветности, соответствующих выборкам сигналов яркости.

[134] CB- или TB-размер компонентных (выборок) сигнала цветности может извлекаться на основе CB- или TB-размера компонентных (выборок) сигнала яркости согласно соотношению компонентов согласно цветовому формату (формату сигналов цветности, например, 4:4:4, 4:2:2, 4:2:0 и т.п.) кадра/изображения. В случае цветового формата 4:4:4, CB/TB-размер компонентов сигнала цветности может задаваться равным CB/TB-размеру компонентов сигнала яркости. В случае цветового формата 4:2:2, ширина CB/TB компонентов сигнала цветности может задаваться равной половине ширины CB/TB компонентов сигнала яркости, и высота CB/TB компонентов сигнала цветности может задаваться равной высоте CB/TB компонентов сигнала яркости. В случае цветового формата 4:2:0, ширина CB/TB компонентов сигнала цветности может задаваться равной половине ширины CB/TB компонентов сигнала яркости, и высота CB/TB компонентов сигнала цветности может задаваться равной половине высоты CB/TB компонентов сигнала яркости.

[135] В варианте осуществления, когда размер CTU равен 128 на основе единицы выборок сигналов яркости, размер CU может иметь размер от 128×128 до 4×4, что составляет идентичный размер с CTU. В одном варианте осуществления, в случае цветового формата 4:2:0 (или формата сигналов цветности), CB-размер сигналов цветности может иметь размер от 64×64 до 2×2.

[136] Между тем, в варианте осуществления, CU-размер и TU-размер могут быть идентичными. Альтернативно, может быть предусмотрено множество TU в CU-области. TU-размер, в общем, представляет размер блока преобразования (TB) компонентных (выборок) сигналов яркости.

[137] TU-размер может извлекаться на основе наибольшего допустимого TB-размера maxTbSize, который составляет предварительно определенное значение. Например, когда CU-размер превышает maxTbSize, множество TU (TB), имеющих maxTbSize, могут извлекаться из CU, и преобразование/обратное преобразование может выполняться в единицах TU (TB). Например, наибольший допустимый TB-размер сигналов яркости может составлять 64×64, и наибольший допустимый TB-размер сигналов цветности может составлять 32×32. Если ширина или высота CB, сегментированного согласно древовидной структуре, больше наибольшей ширины или высоты преобразования, CB может автоматически (или неявно) сегментироваться до тех пор, пока предел TB-размера в горизонтальном и вертикальном направлениях не удовлетворяется.

[138] Помимо этого, например, когда внутреннее прогнозирование применяется, режим/тип внутреннего прогнозирования может извлекаться в единицах CU (или CB), и процедура извлечения соседних опорных выборок и формирования прогнозных выборок может выполняться в единицах TU (или TB). В этом случае, может быть предусмотрена одна или множество TU (или TB) в одной CU-(или CB-)области, и, в этом случае, множество TU или (TB) могут совместно использовать идентичный режим/тип внутреннего прогнозирования.

[139] Между тем, для схемы дерева кодирования на основе дерева квадрантов с вложенным многотипным деревом, следующие параметры могут передаваться в служебных сигналах в качестве синтаксических SPS-элементов из оборудования кодирования в оборудование декодирования. Например, по меньшей мере, одно из CTU-размера, который представляет собой параметр, представляющий размер корневых узлов дерева квадрантов, MinQTSize, который представляет собой параметр, представляющий минимальный разрешенный размер узлов-листьев дерева квадрантов, MaxBtSize, который представляет собой параметр, представляющий максимальный разрешенный размер корневых узлов двоичного дерева, MaxTtSize, который представляет собой параметр, представляющий максимальный разрешенный размер корневых узлов троичного дерева, MaxMttDepth, который представляет собой параметр, представляющий максимальную разрешенную глубину иерархии разбиения на основе многотипного дерева из узла-листа дерева квадрантов, MinBtSize, который представляет собой параметр, представляющий минимальный разрешенный размер узлов-листьев двоичного дерева, или MinTtSize, который представляет собой параметр, представляющий минимальный разрешенный размер узлов-листьев троичного дерева, передается в служебных сигналах.

[140] В качестве варианта осуществления использования формата сигналов цветности 4:2:0, CTU-размер может задаваться равным блокам сигналов яркости 128×128 и двум блокам сигналов цветности 64×64, соответствующим блокам сигналов яркости. В этом случае, MinOTSize может задаваться равным 16×16, MaxBtSize может задаваться равным 128×128, MaxTtSzie может задаваться равным 64×64, MinBtSize и MinTtSize могут задаваться равными 4×4, и MaxMttDepth может задаваться равным 4. Сегментация на основе дерева квадрантов может применяться к CTU, чтобы формировать узлы-листья дерева квадрантов. Узел-лист дерева квадрантов может называться "QT-узлом-листом". Узлы-листья дерева квадрантов могут иметь размер от размера 16×16 (например, MinOTSize) до размера 128×128 (например, CTU-размера). Если QT-узел-лист составляет 128×128, он может дополнительно не сегментироваться на двоичное дерево/троичное дерево. Это обусловлено тем, что в этом случае, даже при сегментации, он превышает MaxBtsize и MaxTtszie (например, 64×64). В других случаях, QT-узлы-листья дополнительно могут сегментироваться на многотипное дерево. Следовательно, QT-узел-лист представляет собой корневой узел для многотипного дерева, и QT-узел-лист может иметь значение в 0 для глубины многотипного дерева (mttDepth). Если глубина многотипного дерева достигает MaxMttdepth (например, 4), дополнительная сегментация может более не рассматриваться. Если ширина узла многотипного дерева равна MinBtSize и меньше или равна 2xMinTtSize, то дополнительная горизонтальная сегментация может не рассматриваться. Если высота узла многотипного дерева равна MinBtSize и меньше или равна 2xMinTtSize, дополнительная вертикальная сегментация может не рассматриваться. Когда сегментация не рассматривается, оборудование кодирования может пропускать передачу в служебных сигналах информации сегментации. В этом случае, оборудование декодирования может извлекать информацию сегментации с предварительно определенным значением.

[141] Между тем, одна CTU может включать в себя блок кодирования выборок сигналов яркости (далее называемый "блоком сигналов яркости") и два блока кодирования выборок сигналов цветности, соответствующих ему (далее называемые "блоками сигналов цветности"). Вышеописанная схема на основе дерева кодирования можно одинаково или отдельно применяться к блоку сигналов яркости и к блоку сигналов цветности текущей CU. В частности, блоки сигналов яркости и сигналов цветности в одной CTU могут сегментироваться на идентичную блочную древовидную структуру, и в этом случае, древовидная структура представляется как SINGLE_TREE. Альтернативно, блоки сигналов яркости и сигналов цветности в одной CTU могут сегментироваться на отдельные блочные древовидные структуры, и в этом случае, древовидная структура может представляться как DUAL_TREE. Таким образом, когда CTU сегментируется на сдвоенные деревья, блочная древовидная структура для блока сигналов яркости и блочная древовидная структура для блока сигналов цветности могут отдельно присутствовать. В этом случае, блочная древовидная структура для блока сигналов яркости может называться "DUAL_TREE_LUMA", и блочная древовидная структура для компонента сигнала цветности может называться "DUAL_TREE_CHROMA". Для групп P- и B-срезов/плиток, блоки сигналов яркости и сигналов цветности в одной CTU могут быть ограничены тем, что они имеют идентичную структуру в виде дерева кодирования. Тем не менее, для групп I-срезов/плиток, блоки сигналов яркости и сигналов цветности могут иметь отдельную блочную древовидную структуру относительно друг друга. Если отдельная блочная древовидная структура применяется, CTB сигналов яркости может сегментироваться на CU на основе конкретной структуры в виде дерева кодирования, и CTB сигналов цветности может сегментироваться на CU сигнала цветности на основе другой структуры в виде дерева кодирования. Таким образом, это означает то, что CU в группе I-срезов/плиток, к которой применяется отдельная блочная древовидная структура, может включать в себя блок кодирования компонентов сигнала яркости или блоки кодирования двух компонентов сигнала цветности, и CU группы P- или B-срезов/плиток может включать в себя блоки трех цветовых компонентов (компонента сигнала яркости и двух компонентов сигнала цветности).

[142] Хотя описывается структура в виде дерева кодирования на основе дерева квадрантов с вложенным многотипным деревом, структура, в которой CU сегментируется, не ограничена этим. Например, BT-структура и TT-структура могут интерпретироваться в качестве понятия, включенного в структуру в виде дерева с несколькими видами сегментации (MPT), и CU может интерпретироваться как сегментируемая через QT-структуру и MPT-структуру. В примере, в котором CU сегментируется через QT-структуру и MPT-структуру, синтаксический элемент (например, MPT_split_type), включающий в себя информацию относительно того, на сколько блоков сегментируется узел-лист QT-структуры, и синтаксический элемент (например, MPT_split_mode), включающий в себя информацию относительно того, в каком из вертикального и горизонтального направлений сегментируется узел-лист QT-структуры, может передаваться в служебных сигналах, чтобы определять структуру сегментации.

[143] В другом примере, CU может сегментироваться способом, отличающимся от QT-структуры, BT-структуры или TT-структуры. Таким образом, в отличие от того, что CU меньшей глубины сегментируется на 1/4 от CU большей глубины согласно QT-структуре, CU меньшей глубины сегментируется на 1/2 от CU большей глубины согласно BT-структуре, или CU меньшей глубины сегментируется на 1/4 или 1/2 от CU большей глубины согласно TT-структуре, CU меньшей глубины может сегментироваться на 1/5, 1/3, 3/8, 3/5, 2/3 или 5/8 от CU большей глубины в некоторых случаях, и способ сегментации CU не ограничен этим.

[144] Когда часть узлового блока дерева превышает нижнюю границу кадра и/или правую границу кадра для кадра, соответствующий узловой блок дерева может ограничиваться таким образом, что выборки во всех кодированных CU расположены на границах кадров. В этом случае, например, могут применяться следующие правила разбиения.

[145] Правило 1 разбиения: В качестве случая, в котором часть узлового блока дерева превышает как нижнюю границу кадра, так и правую границу кадра, когда узловой блок дерева представляет собой QT-узел, имеющий размер, больший минимального QT-размера, узловой блок дерева может разбиваться в режиме QT-разбиения, и когда узловой блок дерева имеет размер, равный или меньший минимального QT-размера, или не представляет собой QT-узел, узловой блок дерева разбивается в режиме горизонтального двоичного разбиения (SPLIT_BT_HOR-режиме).

[146] Правило 2 разбиения: В качестве случая, в котором правило 1 разбиения не удовлетворяется, и часть узлового блока дерева превышает нижнюю границу кадра, узловой блок дерева разбивается в режиме QT-разбиения, когда узловой блок дерева представляет собой QT-узел, имеющий размер, больший минимального QT-размера и максимального BT-размера, и узловой блок дерева разбивается в режиме горизонтального двоичного разбиения, когда узловой блок дерева представляет собой BTT-узел, имеющий размер, равный или меньший минимального QT-размера.

[147] Правило 3 разбиения: В качестве случая, в котором правило 1 разбиения и правило 2 разбиения не удовлетворяются, и часть узлового блока дерева превышает правую границу кадра, узловой блок дерева разбивается в режиме QT-разбиения, когда узловой блок дерева представляет собой QT-узел, имеющий размер, больший минимального QT-размера и максимального BT-размера, и узловой блок дерева разбивается в режиме QT-разбиения или в режиме горизонтального двоичного разбиения, когда узловой блок дерева имеет размер, больший минимального QT-размера и равный или меньший максимального BT-размера. Альтернативно, когда узловой блок дерева представляет собой BTT-узел или имеет размер, равный или меньший минимального QT-размера, узловой блок дерева разбивается в режиме горизонтального двоичного разбиения.

[148] Как описано выше, структура блоков кодирования дерева квадрантов с многотипным деревом может предоставлять очень гибкую структуру сегментации на блоки. Вследствие типов сегментации, поддерживаемых в многотипном дереве, различные шаблоны сегментации могут потенциально приводить к идентичной структуре блоков кодирования в некоторых случаях. В оборудовании кодирования и оборудовании декодирования, посредством ограничения возникновения таких избыточных шаблонов сегментации, может уменьшаться объем данных информации сегментации.

[149] Например, фиг. 9 показывает избыточные шаблоны разбиения, которые могут возникать при разбиении на двоичное дерево и разбиении на троичное дерево. Как показано на фиг. 9, непрерывное двоичное разбиение 910 и 920 для одного направления двухэтапных уровней имеет структуру блоков кодирования, идентичную структуре блоков кодирования для двоичного разбиения для центрального сегмента после троичного разбиения. В этом случае, разбиение на двоичное дерево для центральных блоков 930 и 940 разбиения на троичное дерево может запрещаться. этот запрет является применимым к CU всех кадров. Когда такое конкретное разбиение запрещается, передача в служебных сигналах соответствующих синтаксических элементов может модифицироваться посредством отражения этого запрещенного случая, за счет этого уменьшая число битов, передаваемых в служебных сигналах для разбиения. Например, как показано в примере, приведенном на фиг. 9, когда разбиение на двоичное дерево для центрального блока CU запрещается, синтаксический элемент mtt_split_cu_binary_flag, указывающий то, представляет разбиение собой двоичное разбиение или троичное разбиение, не передается в служебных сигналах, и его значение может извлекаться в качестве 0 посредством оборудования декодирования.

[150] Виртуальная конвейерная единица данных

[151] Виртуальные конвейерные единицы данных (VPDU) могут задаваться для конвейерной обработки в кадре. VPDU могут задаваться как неперекрывающиеся единицы в одном кадре. В оборудовании декодирования, последовательные VPDU могут одновременно обрабатываться посредством нескольких ступеней конвейера. В большинстве ступеней конвейера, VPDU-размер может быть примерно пропорциональным размеру буфера. Соответственно, поддержание VPDU-размера небольшим является важным при рассмотрении размера буфера с точки зрения аппаратных средств. В большинстве видов оборудования декодирования, VPDU-размер может задаваться равным максимальному размеру блока преобразования (TB). Например, VPDU-размер может составлять размер в 64×64 (64×64 выборки сигнала яркости). Помимо этого, VPDU-размер может изменяться (увеличиваться или уменьшаться) с учетом вышеописанного разбиения на троичное дерево (TT) и/или двоичное дерево (BT).

[152] Между тем, чтобы сохранять VPDU-размер равным 64×64, по меньшей мере, одно из следующих ограничений может применяться.

[153] Ограничение 1: Разбиение на троичное дерево для CU, имеющей, по меньшей мере, одно из ширины или высоты в 128, не разрешается.

[154] Ограничение 2: Разбиение на горизонтальное двоичное дерево для CU, имеющей ширину в 128 и высоту в 64 или меньше (т.е. CU 128xN с N≤64), не разрешается.

[155] Ограничение 3: Разбиение на вертикальное двоичное дерево для CU, имеющей ширину 64 или меньше или высоту 128 (т.е. CU Nx128 с N≤64), не разрешается.

[156] Примеры разбиения CU, теперь разрешенные в соответствии с вышеуказанными ограничениями, показаны на фиг. 10. На фиг. 10, полужирные сплошные линии обозначают разбиение блоков, и оставшиеся сплошные линии обозначают CU.

[157] Ссылаясь на фиг. 10, согласно ограничению 1, разбиение на вертикальное троичное дерево для CU 1010 128×128 не разрешается. Помимо этого, согласно ограничению 1, разбиение на горизонтальное троичное дерево для CU 1020 128×128 не разрешается. Помимо этого, согласно ограничению 3, разбиение на вертикальное двоичное дерево для CU 1030 64×128 не разрешается. Помимо этого, согласно ограничению 2, разбиение на горизонтальное двоичное дерево для CU 1040 128×64 не разрешается. Помимо этого, согласно ограничению 1, разбиение на вертикальное троичное дерево для CU 1050 64×128 не разрешается. Помимо этого, согласно ограничению 1, разбиение на горизонтальное троичное дерево для CU 1060 128×64 не разрешается. Помимо этого, согласно ограничению 1, горизонтальное троичное разбиение для CU 1070 64×128 не разрешается. Помимо этого, согласно ограничению 1, вертикальное троичное разбиение для CU 1080 128×64 не разрешается.

[158] Между тем, в сдвоенном дереве во внутреннем кадре, различные структуры сегментации могут применяться к дереву кодирования сигналов яркости и дереву кодирования сигналов цветности. В сдвоенном дереве, может вводиться больший конвейер кодирования и, в дереве кодирования сигналов цветности, блок сигналов цветности, имеющий небольшой размер, к примеру, 2×2, 4×2 и 2×4, может разрешаться согласно диапазону QTBT-значения MinQTSizeC, MinBtSizeY и MinTTSizeY. Тем не менее, это может затруднять проектирование практического оборудования декодирования. Помимо этого, операция умножения требуется в режиме на основе кросскомпонентной линейной модели (CCLM), планарном режиме, угловом режиме и т.д. Чтобы разрешать вышеописанные проблемы, в сдвоенном дереве, блок сигналов цветности, имеющий небольшой размер, к примеру, 2×2, 4×2 и 2×4, может ограничиваться через ограничения по сегментации.

[159] Общее представление квантования/деквантования

[160] В дальнейшем в этом документе описывается квантование/деквантование согласно настоящему раскрытию сущности.

[161] Как описано выше, модуль квантования оборудования кодирования может извлекать квантованные коэффициенты преобразования посредством применения квантования к коэффициентам преобразования, и модуль деквантования оборудования кодирования или модуль деквантования оборудования декодирования может извлекать коэффициенты преобразования посредством применения деквантования к квантованным коэффициентам преобразования.

[162] В общем, при кодировании видео/изображений, скорость квантования может изменяться, и коэффициент сжатия может регулироваться с использованием измененной скорости квантования. С точки зрения реализации, параметр квантования (QP) может использоваться вместо непосредственно с использованием скорости квантования с учетом сложности. Например, может использоваться параметр квантования целочисленного значения от 0 до 63, и значение каждого параметра квантования может соответствовать фактической скорости квантования. Параметр QPY квантования для компонента сигналов яркости (выборки сигналов яркости) может задаваться равным значению, отличающемуся от значения параметра QPC квантования для компонента сигналов цветности (выборки сигналов цветности).

[163] В процессе квантования, коэффициент C преобразования может приниматься как ввод и делиться на скорость Qstep квантования, за счет этого извлекая квантованный коэффициент C' преобразования. В этом случае, с учетом вычислительной сложности, скорость квантования умножается на масштаб, чтобы формировать целочисленную операцию, и операция сдвига может выполняться посредством значения, соответствующего значению масштаба. На основе произведения скорости квантования и значения масштаба, может извлекаться масштаб квантования. Таким образом, масштаб квантования может извлекаться согласно QP. Посредством применения масштаба квантования к коэффициенту C преобразования, квантованный коэффициент C' преобразования может извлекаться на его основе.

[164] Процесс деквантования представляет собой обратный процесс по отношению к процессу квантования, и квантованный коэффициент C' преобразования может умножаться на скорость Qstep квантования, за счет этого извлекая восстановленный коэффициент C'' преобразования. В этом случае, масштаб уровня может извлекаться согласно параметру квантования, и масштаб уровня может применяться к квантованному коэффициенту C' преобразования, за счет этого извлекая восстановленный коэффициент C'' преобразования. Восстановленный коэффициент C'' преобразования может немного отличаться от исходного коэффициента C преобразования вследствие потерь в процессе преобразования и/или квантования. Соответственно, даже оборудование кодирования может выполнять деквантование таким же образом, как оборудование декодирования.

[165] Между тем, технология адаптивного частотного квантования со взвешиванием регулирования интенсивности квантования согласно частоте может применяться. Технология адаптивного частотного квантования со взвешиванием представляет собой способ различного применения интенсивности квантования согласно частоте. При адаптивном частотном квантовании со взвешиванием, интенсивность квантования может по-разному применяться согласно частоте с использованием предварительно заданной матрицы масштабирования при квантовании. Таким образом, вышеописанный процесс квантования/деквантования может выполняться дополнительно на основе матрицы масштабирования при квантовании. Например, различная матрица масштабирования при квантовании может использоваться согласно размеру текущего блока и/или тому, представляет режим прогнозирования, применяемый к текущему блоку для того, чтобы формировать остаточный сигнал текущего блока, собой взаимное прогнозирование или внутреннее прогнозирование. Матрица масштабирования при квантовании также может называться "матрицей квантования" или "масштабирующей матрицей". Матрица масштабирования при квантовании может быть предварительно задана. Помимо этого, информация масштаба частотного квантования для матрицы масштабирования при квантовании для частотно-адаптивного масштабирования может конструироваться/кодироваться посредством оборудования кодирования и передаваться в служебных сигналах в оборудование декодирования. Информация масштаба частотного квантования может называться "информацией масштабирования при квантовании". Информация масштаба частотного квантования может включать в себя данные scaling_list_data списка масштабирования. На основе данных списка масштабирования, может извлекаться (модифицированная) матрица масштабирования при квантовании. Помимо этого, информация масштаба частотного квантования может включать в себя информацию флага присутствия, указывающую то, присутствуют или нет данные списка масштабирования. Альтернативно, когда данные списка масштабирования передаются в служебных сигналах на верхнем уровне (например, SPS), дополнительно может включаться информация, указывающая то, модифицируются или нет данные списка масштабирования на нижнем уровне (например, PPS или заголовка группы плиток и т.д.).

[166] Общее представление взаимного прогнозирования

[167] В дальнейшем в этом документе описывается взаимное прогнозирование согласно настоящему раскрытию сущности.

[168] Модуль прогнозирования оборудования кодирования изображений/оборудования декодирования изображений согласно настоящему раскрытию сущности может выполнять взаимное прогнозирование в единицах блоков, чтобы извлекать прогнозную выборку. Взаимное прогнозирование может представлять прогнозирование, извлекаемое таким способом, который зависит от элементов данных (например, выборочных значений, информации движения и т.д.) кадра(ов), отличного от текущего кадра. Когда взаимное прогнозирование применяется к текущему блоку, прогнозированный блок (блок прогнозирования или массив прогнозных выборок) для текущего блока может извлекаться на основе опорного блока (массива опорных выборок), указываемого посредством вектора движения для опорного кадра, указываемого посредством индекса опорного кадра. В этом случае, чтобы уменьшать объем информации движения, передаваемой в режиме взаимного прогнозирования, информация движения текущего блока может прогнозироваться в единицах блоков, субблоков или выборок на основе корреляции информации движения между соседним блоком и текущим блоком. Информация движения может включать в себя вектор движения и индекс опорного кадра. Информация движения дополнительно может включать в себя информацию типа взаимного прогнозирования (L0-прогнозирование, L1-прогнозирование, бипрогнозирование и т.д.). В случае взаимного прогнозирования, соседний блок может включать в себя пространственный соседний блок, присутствующий в текущем кадре, и временной соседний блок, присутствующий в опорном кадре. Опорный кадр, включающий в себя опорный блок, и опорный кадр, включающий в себя временной соседний блок, могут быть идентичными или отличающимися. Временной соседний блок может называться "совместно размещенным опорным блоком", "совместно размещенной CU (colCU)" или "colBlock", и опорный кадр, включающий в себя временной соседний блок, может называться "совместно размещенным кадром (colPic)" или "colPicture". Например, список возможных вариантов информации движения может конструироваться на основе соседних блоков относительно текущего блока, и информация флага или индекса, указывающая то, какой возможный вариант выбирается (используется), может передаваться в служебных сигналах, с тем чтобы извлекать вектор движения текущего блока и/или индекс опорного кадра.

[169] Взаимное прогнозирование может выполняться на основе различных режимов прогнозирования. Например, в случае режима пропуска и режима объединения, информация движения текущего блока может быть равной информации движения выбранного соседнего блока. В случае режима пропуска, остаточный сигнал может не передаваться, в отличие от режима объединения. В случае режима прогнозирования информации движения (MVP), вектор движения выбранного соседнего блока может использоваться в качестве предиктора вектора движения, и разность векторов движения может передаваться в служебных сигналах. В этом случае, вектор движения текущего блока может извлекаться с использованием суммы предиктора вектора движения и разности векторов движения. В настоящем раскрытии сущности, MVP-режим может иметь смысловое значение, идентичное смысловому значению усовершенствованного прогнозирования векторов движения (AMVP).

[170] Информация движения может включать в себя L0-информацию движения и/или L1-информацию движения согласно типу взаимного прогнозирования (L0-прогнозирование, L1-прогнозирование, бипрогнозирование и т.д.). Вектор движения в L0-направлении может называться "L0-вектором движения" или "MVL0", и вектор движения в L1-направлении может называться "L1-вектором движения" или "MVL1". Прогнозирование на основе L0-вектора движения может называться "L0-прогнозированием", прогнозирование на основе L1-вектора движения может называться "L1-прогнозированием", и прогнозирование на основе как L0-вектора движения, так и L1-вектора движения может называться "бипрогнозированием". Здесь, L0-вектор движения может указывать вектор движения, ассоциированный со списком L0 опорных кадров (L0), и L1-вектор движения может указывать вектор движения, ассоциированный со списком L1 опорных кадров (L1). Список L0 опорных кадров может включать в себя кадры перед текущим кадром в порядке вывода в качестве опорных кадров, и список L1 опорных кадров может включать в себя кадры после текущего кадра в порядке вывода. Предыдущие кадры могут называться "прямыми (опорными) кадрами", и последующие кадры могут называться "обратными (опорными) кадрами". Список L0 опорных кадров дополнительно может включать в себя кадры после текущего кадра в порядке вывода в качестве опорных кадров. В этом случае, в списке L0 опорных кадров, предыдущие кадры могут сначала индексироваться, и последующие кадры затем могут индексироваться. Список L1 опорных кадров дополнительно может включать в себя кадры перед текущим кадром в порядке вывода в качестве опорных кадров. В этом случае, в списке L1 опорных кадров, последующие кадры могут сначала индексироваться, и предыдущие кадры затем могут индексироваться. Здесь, порядок вывода может соответствовать порядку номеров в последовательности кадров (POC).

[171] Фиг. 11 является блок-схемой последовательности операций, иллюстрирующей способ кодирования видео/изображений на основе взаимного прогнозирования.

[172] Фиг. 12 является видом, иллюстрирующим конфигурацию модуля 180 взаимного прогнозирования согласно настоящему раскрытию сущности.

[173] Способ кодирования по фиг. 11 может осуществляться посредством оборудования кодирования изображений по фиг. 2. В частности, этап S1110 может выполняться посредством модуля 180 взаимного прогнозирования, и этап S1120 может выполняться посредством остаточного процессора. В частности, этап S1120 может выполняться посредством вычитателя 115. Этап S1130 может выполняться посредством энтропийного кодера 190. Информация прогнозирования этапа S1130 может извлекаться посредством модуля 180 взаимного прогнозирования, и остаточная информация этапа S1130 может извлекаться посредством остаточного процессора. Остаточная информация представляет собой информацию относительно остаточных выборок. Остаточная информация может включать в себя информацию относительно квантованных коэффициентов преобразования для остаточных выборок. Как описано выше, остаточные выборки могут извлекаться в качестве коэффициентов преобразования через преобразователь 120 оборудования кодирования изображений, и коэффициенты преобразования могут извлекаться в качестве квантованных коэффициентов преобразования через квантователь 130. Информация относительно квантованных коэффициентов преобразования может кодироваться посредством энтропийного кодера 190 через процедуру остаточного кодирования.

[174] Оборудование кодирования изображений может выполнять взаимное прогнозирование для текущего блока (S1110). Оборудование кодирования изображений может извлекать режим взаимного прогнозирования и информацию движения текущего блока и формировать прогнозные выборки текущего блока. Здесь, процедуры определения режима взаимного прогнозирования, извлечения информации движения и формирования прогнозных выборок могут одновременно выполняться, либо любая из них может выполняться перед другими процедурами. Например, как показано на фиг. 12, модуль 180 взаимного прогнозирования оборудования 100 кодирования изображений может включать в себя модуль 181 определения режима прогнозирования, модуль 182 извлечения информации движения и модуль 183 извлечения прогнозных выборок. Модуль 181 определения режима прогнозирования может определять режим прогнозирования текущего блока, модуль 182 извлечения информации движения может извлекать информацию движения текущего блока, и модуль 183 извлечения прогнозных выборок может извлекать прогнозные выборки текущего блока. Например, модуль 180 взаимного прогнозирования оборудования кодирования изображений может выполнять поиск блока, аналогичного текущему блоку в предварительно определенной зоне (зоне поиска) опорных кадров через оценку движения, и извлекать опорный блок, разность которого относительно текущего блока равна или меньше предварительно определенного критерия или минимума. На основе этого, индекс опорного кадра, указывающий опорный кадр, в котором расположен опорный блок, может извлекаться, и вектор движения может извлекаться на основе разности позиций между опорным блоком и текущим блоком. Оборудование кодирования изображений может определять режим, применяемый к текущему блоку, из различных режимов прогнозирования. Оборудование кодирования изображений может сравнивать функции затрат на искажение в зависимости от скорости передачи (RD) для различных режимов прогнозирования и определять оптимальный режим прогнозирования текущего блока. Тем не менее, способ определения режима прогнозирования текущего блока посредством оборудования кодирования изображений не ограничен вышеприведенным примером, и могут использоваться различные способы.

[175] Например, когда режим пропуска или режим объединения применяется к текущему блоку, оборудование кодирования изображений может извлекать возможные варианты объединения из соседних блоков относительно текущего блока и конструировать список возможных вариантов объединения с использованием извлеченных возможных вариантов объединения. Помимо этого, оборудование кодирования изображений может извлекать опорный блок, разность которого относительно текущего блока равна или меньше предварительно определенного критерия или минимума, из опорных блоков, указываемых посредством возможных вариантов объединения, включенных в список возможных вариантов объединения. В этом случае, возможный вариант объединения, ассоциированный с извлеченным опорным блоком, может выбираться, и информация индекса объединения, указывающая выбранный возможный вариант объединения, может формироваться и передаваться в служебных сигналах в оборудование декодирования изображений. Информация движения текущего блока может извлекаться с использованием информации движения выбранного возможного варианта объединения.

[176] В качестве другого примера, когда MVP-режим применяется к текущему блоку, оборудование кодирования изображений может извлекать возможные варианты предикторов векторов движения (MVP) из соседних блоков относительно текущего блока и конструировать список возможных MVP-вариантов с использованием извлеченных возможных MVP-вариантов. Помимо этого, оборудование кодирования изображений может использовать вектор движения возможного MVP-варианта, выбранного из числа возможных MVP-вариантов, включенных в список возможных MVP-вариантов, в качестве MVP текущего блока. В этом случае, например, вектор движения, указывающий опорный блок, извлекаемый посредством вышеописанной оценки движения, может использоваться в качестве вектора движения текущего блока, и возможный MVP-вариант с вектором движения, имеющим наименьшую разность относительно вектора движения текущего блока из возможных MVP-вариантов, может представлять собой выбранный возможный MVP-вариант. Разность векторов движения (MVD), которая представляет собой разность, полученную посредством вычитания MVP из вектора движения текущего блока, может извлекаться. В этом случае, информация индекса, указывающая выбранный возможный MVP-вариант и информацию относительно MVD, может передаваться в служебных сигналах в оборудование декодирования изображений. Помимо этого, при применении MVP-режима, значение индекса опорного кадра может конструироваться в качестве информации индекса опорного кадра и отдельно передаваться в служебных сигналах в оборудование декодирования изображений.

[177] Оборудование кодирования изображений может извлекать остаточные выборки на основе прогнозных выборок (S1120). Оборудование кодирования изображений может извлекать остаточные выборки через сравнение между исходными выборками текущего блока и прогнозных выборок. Например, остаточная выборка может извлекаться посредством вычитания соответствующей прогнозной выборки из исходной выборки.

[178] Оборудование кодирования изображений может кодировать информацию изображений, включающую в себя информацию прогнозирования и остаточную информацию (S1130). Оборудование 100 кодирования изображений может выводить кодированную информацию изображений в форме потока битов. Информация прогнозирования может включать в себя информацию режима прогнозирования (например, флаг пропуска, флаг объединения или индекс режима и т.д.) и информацию движения в качестве информации, связанной с процедурой прогнозирования. Из информации режима прогнозирования, флаг пропуска указывает то, применяется или нет режим пропуска к текущему блоку, и флаг объединения указывает то, применяется или нет режим объединения к текущему блоку. Альтернативно, информация режима прогнозирования может указывать один из множества режимов прогнозирования, к примеру, индекс режима. Когда флаг пропуска и флаг объединения равны 0, может определяться то, что MVP-режим применяется к текущему блоку. Информация относительно информации движения может включать в себя информацию выбора возможных вариантов (например, индекс объединения, MVP-флаг или MVP-индекс), которая представляет собой информацию для извлечения вектора движения. Из информации выбора возможных вариантов, индекс объединения может передаваться в служебных сигналах, когда режим объединения применяется к текущему блоку, и может представлять собой информацию для выбора одного из возможных вариантов объединения, включенных в список возможных вариантов объединения. Из информации выбора возможных вариантов, MVP-флаг или MVP-индекс может передаваться в служебных сигналах, когда MVP-режим применяется к текущему блоку, и может представлять собой информацию для выбора одного из возможных MVP-вариантов в списке возможных MVP-вариантов. Помимо этого, информация относительно информации движения может включать в себя информацию относительно вышеописанной MVD и/или информацию индекса опорного кадра. Помимо этого, информация относительно информации движения может включать в себя информацию, указывающую то, следует применять L0-прогнозирование, L1-прогнозирование или бипрогнозирование. Остаточная информация представляет собой информацию относительно остаточных выборок. Остаточная информация может включать в себя информацию относительно квантованных коэффициентов преобразования для остаточных выборок.

[179] Выходной поток битов может сохраняться на (цифровом) носителе хранения данных и передаваться в оборудование декодирования изображений либо может передаваться в оборудование декодирования изображений через сеть.

[180] Как описано выше, оборудование кодирования изображений может формировать восстановленный кадр (кадр, включающий в себя восстановленные выборки и восстановленный блок) на основе опорных выборок и остаточных выборок. Это служит для извлечения, посредством оборудования кодирования изображений, результата прогнозирования, идентичного прогнозированию, выполняемому посредством оборудования декодирования изображений, за счет этого повышая эффективность кодирования. Соответственно, оборудование кодирования изображений может сохранять восстановленный кадр (или восстановленные выборки и восстановленный блок) в запоминающем устройстве и использовать его в качестве опорного кадра для взаимного прогнозирования. Как описано выше, процедура внутриконтурной фильтрации дополнительно может применяться к восстановленному кадру.

[181] Фиг. 13 является блок-схемой последовательности операций, иллюстрирующей способ декодирования видео/изображений на основе взаимного прогнозирования.

[182] Фиг. 14 является видом, иллюстрирующим конфигурацию модуля 260 взаимного прогнозирования согласно настоящему раскрытию сущности.

[183] Оборудование декодирования изображений может выполнять операцию, соответствующую операции, выполняемой посредством оборудования кодирования изображений. Оборудование декодирования изображений может выполнять прогнозирование для текущего блока на основе принимаемой информации прогнозирования и извлекать прогнозные выборки.

[184] Способ декодирования по фиг. 13 может осуществляться посредством оборудования декодирования изображений по фиг. 3. Этапы S1310-S1330 могут выполняться посредством модуля прогнозирования и информации прогнозирования этапа S1310, и остаточная информация этапа S1340 может получаться из потока битов посредством энтропийного декодера 210. Остаточный процессор оборудования декодирования изображений может извлекать остаточные выборки для текущего блока на основе остаточной информации (S1340). В частности, деквантователь 220 остаточного процессора может выполнять деквантование на основе деквантованных коэффициентов преобразования, извлекаемых на основе остаточной информации, чтобы извлекать коэффициенты преобразования, и обратный преобразователь 230 остаточного процессора может выполнять обратное преобразование для коэффициентов преобразования, чтобы извлекать остаточные выборки для текущего блока. Этап S1350 может выполняться посредством сумматора 235 или модуля восстановления.

[185] В частности, оборудование декодирования изображений может определять режим прогнозирования текущего блока на основе принимаемой информации прогнозирования (S1310). Оборудование декодирования изображений может определять то, какой режим взаимного прогнозирования применяется к текущему блоку, на основе информации режима прогнозирования в информации прогнозирования.

[186] Например, может определяться то применяется или нет режим пропуска к текущему блоку, на основе флага пропуска. Помимо этого, может определяться то, применяется режим объединения или MVP-режим к текущему блоку, на основе флага объединения. Альтернативно, один из различных возможных вариантов режимов взаимного прогнозирования может выбираться на основе индекса режима. Возможные варианты режимов взаимного прогнозирования могут включать в себя режим пропуска, режим объединения и/или MVP-режим либо могут включать в себя различные режимы взаимного прогнозирования, которые описываются ниже.

[187] Оборудование декодирования изображений может извлекать информацию движения текущего блока на основе определенного режима взаимного прогнозирования (S1320). Например, когда режим пропуска или режим объединения применяется к текущему блоку, оборудование декодирования изображений может конструировать список возможных вариантов объединения, который описывается ниже, и выбирать один из возможных вариантов объединения, включенных в список возможных вариантов объединения. Выбор может выполняться на основе вышеописанной информации выбора возможных вариантов (индекса объединения). Информация движения текущего блока может извлекаться с использованием информации движения выбранного возможного варианта объединения. Например, информация движения выбранного возможного варианта объединения может использоваться как информация движения текущего блока.

[188] В качестве другого примера, когда MVP-режим применяется к текущему блоку, оборудование декодирования изображений может конструировать список возможных MVP-вариантов и использовать вектор движения возможного MVP-варианта, выбранного из числа возможных MVP-вариантов, включенных в список возможных MVP-вариантов, в качестве MVP текущего блока. Выбор может выполняться на основе вышеописанной информации выбора возможных вариантов (MVP-флага или MVP-индекса). В этом случае, MVD текущего блока может извлекаться на основе информации относительно MVD, и вектор движения текущего блока может извлекаться на основе MVP и MVD текущего блока. Помимо этого, индекс опорного кадра текущего блока может извлекаться на основе информации индекса опорного кадра. Кадр, указываемый посредством индекса опорного кадра в списке опорных кадров текущего блока, может извлекаться в качестве опорного кадра, на который ссылаются для взаимного прогнозирования текущего блока.

[189] Оборудование декодирования изображений может формировать прогнозные выборки текущего блока на основе информации движения текущего блока (S1330). В этом случае, опорный кадр может извлекаться на основе индекса опорного кадра текущего блока, и прогнозные выборки текущего блока могут извлекаться с использованием выборок опорного блока, указываемого посредством вектора движения текущего блока для опорного кадра. В некоторых случаях, процедура фильтрации прогнозных выборок дополнительно может выполняться для всех или некоторых прогнозных выборок текущего блока.

[190] Например, как показано на фиг. 14, модуль 260 взаимного прогнозирования оборудования декодирования изображений может включать в себя модуль 261 определения режима прогнозирования, модуль 262 извлечения информации движения и модуль 263 извлечения прогнозных выборок. В модуле 260 взаимного прогнозирования оборудования декодирования изображений, модуль 261 определения режима прогнозирования может определять режим прогнозирования текущего блока на основе принимаемой информации режима прогнозирования, модуль 262 извлечения информации движения может извлекать информацию движения (вектор движения и/или индекс опорного кадра и т.д.) текущего блока на основе принимаемой информации движения, и модуль 263 извлечения прогнозных выборок может извлекать прогнозные выборки текущего блока.

[191] Оборудование декодирования изображений может формировать остаточные выборки текущего блока на основе принимаемой остаточной информации (S1340). Оборудование декодирования изображений может формировать восстановленные выборки текущего блока на основе прогнозных выборок и остаточных выборок и формировать восстановленный кадр на основе этого (S1350). После этого, процедура внутриконтурной фильтрации может применяться к восстановленному кадру, как описано выше.

[192] Как описано выше, процедура взаимного прогнозирования может включать в себя этап определения режима взаимного прогнозирования, этап извлечения информации движения согласно определенному режиму прогнозирования и этап выполнения прогнозирования (формирования прогнозных выборок) на основе извлеченной информации движения. Процедура взаимного прогнозирования может выполняться посредством оборудования кодирования изображений и оборудования декодирования изображений, как описано выше.

[193] Общее представление прогнозирования на основе внутриблочного копирования (IBC)

[194] В дальнейшем в этом документе описывается IBC-прогнозирование согласно настоящему раскрытию сущности.

[195] IBC-прогнозирование может выполняться посредством модуля прогнозирования оборудования кодирования/декодирования изображений. IBC-прогнозирование может называться просто "IBC". IBC может использоваться для кодирования изображений контента/движущихся изображений, такого как кодирование экранного контента (SCC). IBC-прогнозирование может, по существу, выполняться в текущем кадре, но может выполняться аналогично взаимному прогнозированию в том, что опорный блок извлекается внутри текущего кадра. Таким образом, IBC может использовать, по меньшей мере, одну из технологий взаимного прогнозирования, описанных в настоящем раскрытии сущности. Например, IBC может использовать, по меньшей мере, один из вышеописанных способов извлечения информации движения (векторов движения). По меньшей мере, одна из технологий взаимного прогнозирования может частично модифицироваться и использоваться с учетом IBC-прогнозирования. IBC может ссылаться на текущий кадр и в силу этого может называться "ссылкой на текущие кадры (CPR)".

[196] Для IBC, оборудование 100 кодирования изображений может выполнять поблочное сопоставление (BM) и извлекать оптимальный блочный вектор (или вектор движения) для текущего блока (например, CU). Извлеченный блочный вектор (или вектор движения) может передаваться в служебных сигналах в оборудование декодирования изображений через поток битов с использованием способа, аналогичного передаче в служебных сигналах информации движения (вектора движения) при вышеописанном взаимном прогнозировании. Оборудование декодирования изображений может извлекать опорный блок для текущего блока в текущем кадре через передаваемый в служебных сигналах блочный вектор (вектор движения) и извлекать прогнозный сигнал (прогнозированный блок или прогнозные выборки) для текущего блока через него. Здесь, блочный вектор (или вектор движения) может указывать смещение от текущего блока до опорного блока, расположенного в уже восстановленной зоне в текущем кадре. Соответственно, блочный вектор (или вектор движения) может называться "вектором смещения". В дальнейшем в этом документе, в IBC, вектор движения может соответствовать блочному вектору или вектору смещения. Помимо этого, в IBC, разность векторов движения (MVD) также может называться "разностью блочных векторов (BVD)". Вектор движения текущего блока может включать в себя вектор движения для компонента сигнала яркости (вектор движения сигналов яркости) или вектор движения для компонента сигнала цветности (вектор движения сигналов цветности). Например, вектор движения сигналов яркости для IBC-кодированной CU может представлять собой целочисленную единицу выборок (т.е. целочисленную точность). Вектор движения сигналов цветности может отсекаться в целочисленных единицах выборок. Как описано выше, IBC может использовать, по меньшей мере, одну из технологий взаимного прогнозирования и, например, когда IBC применяется как AMVR, 1-пелная и 4-пелная точность векторов движения может переключаться.

[197] В IBC, опорный блок извлекается из уже восстановленной зоны в текущем кадре. В этом случае, чтобы уменьшать потребление запоминающего устройства и сложность оборудования декодирования изображений, можно ссылаться только на предварительно заданную зону из уже восстановленных зон в текущем кадре. Предварительно заданная зона может включать в себя текущую CTU, в которую включается текущий блок. Посредством ограничения восстановленной зоны с возможностью ссылки предварительно заданной зоной, IBC-режим может реализовываться в аппаратных средствах с использованием локального внутримикросхемного запоминающего устройства.

[198] Оборудование кодирования изображений для выполнения IBC может выполнять поиск в предварительно заданной зоне, чтобы определять опорный блок с наименьшими RD-затратами и извлекать вектор движения (блочный вектор) на основе позиций опорного блока и текущего блока.

[199] То, следует или нет применять IBC к текущему блоку, может передаваться в служебных сигналах в качестве информации IBC-производительности на уровне CU. Информация относительно способа передачи служебных сигналов (IBC MVP-режима или режима IBC-пропуска/объединения) вектора движения текущего блока может передаваться в служебных сигналах. Информация IBC-производительности может использоваться для того, чтобы определять режим прогнозирования текущего блока. Соответственно, информация IBC-производительности может включаться в информацию относительно режима прогнозирования текущего блока.

[200] В случае режима IBC-пропуска/объединения, индекс возможного варианта объединения может передаваться в служебных сигналах, чтобы указывать блочный вектор, который должен использоваться для прогнозирования текущего блока сигналов яркости, из блочных векторов, включенных в список возможных вариантов объединения. В этом случае, список возможных вариантов объединения может включать в себя IBC-кодированные соседние блоки. Список возможных вариантов объединения может быть выполнен с возможностью включать в себя пространственные возможные варианты объединения и не включать в себя временные возможные варианты объединения. Помимо этого, список возможных вариантов объединения дополнительно может включать в себя возможные варианты предикторов векторов движения на основе предыстории (HMVP) и/или попарные возможные варианты.

[201] В случае IBC MVP-режима, разностное значение блочных векторов может кодироваться с использованием способа, идентичного способу для разностного значения векторов движения вышеописанного взаимного режима. Способ прогнозирования блочных векторов может конструировать и использовать список возможных MVP-вариантов, включающий в себя два возможных варианта, в качестве предикторов аналогично MVP-режиму для взаимного режима. Один из двух возможных вариантов может извлекаться из левого соседнего блока, и другой возможный вариант может извлекаться из верхнего соседнего блока. В этом случае, только тогда, когда левый или верхний соседний блок IBC-кодируется, возможные варианты могут извлекаться из соответствующего соседнего блока. Если левый или верхний соседний блок не доступен, например, не IBC-кодируется, блочный вектор по умолчанию может включаться в список возможных MVP-вариантов в качестве предиктора. Помимо этого, информация (например, флаг), указывающая один из двух предикторов блочных векторов, передается в служебных сигналах и используется в качестве информации выбора возможных вариантов аналогично MVP-режиму для взаимного режима. Список возможных MVP-вариантов может включать в себя возможный HMVP-вариант и/или нулевой вектор движения в качестве блочного вектора по умолчанию.

[202] Возможный HMVP-вариант может называться "возможным MVP-вариантом на основе предыстории", и возможный MVP-вариант, используемый перед кодированием/декодированием текущего блока, возможный вариант объединения или возможный вариант блочного вектора могут сохраняться в HMVP-списке в качестве возможных HMVP-вариантов. После этого, когда список возможных вариантов объединения текущего блока или список возможных MVP-вариантов не включает в себя максимальное число возможных вариантов, возможные варианты, сохраненные в HMVP-списке, могут добавляться в список возможных вариантов объединения или список возможных MVP-вариантов текущего блока в качестве возможных HMVP-вариантов.

[203] Попарный возможный вариант может означать возможный вариант, извлекаемый посредством выбора двух возможных вариантов согласно предварительно определенному порядку из числа возможных вариантов, уже включенных в список возможных вариантов объединения текущего блока, и усреднения выбранных двух возможных вариантов.

[204] Вариант осуществления

[205] Далее подробно описываются примерные варианты осуществления настоящего раскрытия сущности со ссылкой на прилагаемые чертежи.

[206] В процессе квантования/деквантования для текущего блока, может конструироваться матрица квантования. Оборудование кодирования/декодирования изображений может квантовать/деквантовать коэффициенты преобразования текущего блока с использованием матрицы квантования. Матрица квантования может называться "списком масштабирования". Помимо этого, один или более коэффициентов матрицы квантования, включенных в матрицу квантования, могут называться "данными списка масштабирования".

[207] В примере, матрица квантования может иметь идентичный размер с текущим блоком. Например, когда размер текущего блока составляет 4×4, размер матрицы квантования для текущего блока также может составлять 4×4. Размер матрицы квантования может указываться с использованием идентификатора предварительно определенного размера (например, sizeId). Фиг. 15 является видом, иллюстрирующим пример sizeId для каждого размера матрицы квантования.

[208] Ссылаясь на фиг. 15, значение sizeId для матрицы квантования 1×1 может быть равным 0, и значение sizeId для матрицы квантования 2×2 может быть равным 1. Помимо этого, значение sizeId для матрицы квантования 4×4 может быть равным 2, и значение sizeId для матрицы квантования 8×8 может быть равным 3. Помимо этого, значение sizeId для матрицы квантования 16×16 может быть равным 4, и значение sizeId для матрицы квантования 32×32 может быть равным 5. Помимо этого, значение sizeId для матрицы квантования 64×64 может быть равным 6. В примере, размер матрицы квантования может изменяться (увеличиваться или уменьшаться) в процессе кодирования.

[209] В примере, матрица квантования может конструироваться по-разному согласно размеру (например, sizeId) матрицы квантования, режиму прогнозирования (например, режиму внутреннего прогнозирования, режиму взаимного прогнозирования и т.д.) текущего блока и цветовому компоненту (например, Y, Cb, Cr). Фиг. 16 является видом, иллюстрирующим пример матрицы квантования для текущего блока, сконструированного на основе примера по фиг. 15.

[210] Ссылаясь на фиг. 16, оборудование кодирования изображений может конструировать первую-шестую матрицы квантования matrixId=0 - matrixId=5, имеющие различные размеры sizeId, на основе режима прогнозирования CuPredMode текущего блока и цветового компонента cIdx.

[211] В частности, для компонента сигналов яркости (cIdx=0) (например, Y) в текущем блоке, кодированном с использованием режима внутреннего прогнозирования, первая матрица квантования (matrixId=0) может конструироваться. В этом случае, размер первой матрицы квантования может быть равным или большим 2×2 и равным или меньшим 64×64 (т.е. 2≤sizeId≤6). Помимо этого, для первого компонента сигналов цветности (cIdx=1) (например, Cb) в текущем блоке, кодированном с использованием режима внутреннего прогнозирования, вторая матрица квантования (matrixId=1) может конструироваться. В этом случае, размер второй матрицы квантования может быть равным или большим 1×1 и равным или меньшим 64×64 (т.е. 1≤sizeId≤6). Помимо этого, для второго компонента сигналов цветности (cIdx=2) (например, Cr) в текущем блоке, кодированном с использованием режима внутреннего прогнозирования, третья матрица квантования (matrixId=2) может конструироваться. В этом случае, размер третьей матрицы квантования равен или более 1×1 и равен или меньше 64×64 (т.е. 1≤sizeId≤6). Помимо этого, для компонента сигналов яркости (cIdx=0) в текущем блоке, кодированном с использованием режима взаимного прогнозирования или режима взаимного блочного копирования (IBC), четвертая матрица квантования (matrixId=3) может конструироваться. В этом случае, размер четвертой матрицы квантования может быть равным или большим 2×2 и равным или меньшим 64×64 (т.е. 2≤sizeId≤6). Помимо этого, для первого компонента сигналов цветности (cIdx=1) в текущем блоке, кодированном с использованием режима взаимного прогнозирования или IBC-режима, пятая матрица квантования (matrixId=4) может конструироваться. В этом случае, размер пятой матрицы квантования может быть равным или большим 1×1 и равным или меньшим 64×64 (т.е. 1≤sizeId≤6). Помимо этого, для второго компонента сигналов цветности (cIdx=2) в текущем блоке, кодированном с использованием режима взаимного прогнозирования или IBC-режима, шестая матрица квантования (matrixId=5) может конструироваться. В этом случае, размер пятой матрицы квантования может быть равным или большим 1×1 и равным или меньшим 64×64 (т.е. 1≤sizeId≤6).

[212] В примерах по фиг. 15 и 16, матрица квантования для текущего блока может указываться посредством идентификатора размера (например, sizeId) и идентификатора матрицы квантования (например, matrixId).

[213] Между тем, оборудование кодирования изображений может кодировать матрицу квантования для текущего блока и передавать ее в служебных сигналах в оборудование декодирования изображений. Например, оборудование кодирования изображений может кодировать коэффициент матрицы квантования, включенный в матрицу квантования, или кодировать идентификатор опорной матрицы квантования, соответствующей матрице квантования, и передавать в его служебных сигналах в оборудование декодирования изображений. В дальнейшем в этом документе подробно описывается способ кодирования матрицы квантования.

[214] Фиг. 17 является блок-схемой последовательности операций, иллюстрирующей способ кодирования матрицы квантования согласно варианту осуществления настоящего раскрытия сущности. Способ кодирования по фиг. 17 может осуществляться посредством оборудования кодирования изображений по фиг. 2. В частности, этапы S1710-S1740 могут выполняться посредством модуля 130 квантования и/или модуля 140 деквантования.

[215] Ссылаясь на фиг. 17, оборудование кодирования изображений может кодировать информацию режима квантования способа конструирования матрицы квантования для текущего блока (S1710).

[216] В примере, информация режима квантования может включать в себя информацию первого режима, указывающую то, конструируется или нет матрица квантования на основе опорной матрицы квантования. Информация первого режима может кодироваться с использованием предварительно определенного флага. Например, информация первого режима может кодироваться с использованием scaling_list_pred_mode_flag. В этом случае, первое значение (например, 0) scaling_list_pred_mode_flag может указывать то, что матрица квантования для текущего блока является идентичной опорной матрице квантования. Здесь, опорная матрица квантования может указываться с использованием идентификационной информации опорной матрицы квантования (например, scaling_list_pred_matrix_id_delta). Напротив, второе значение (например, 1) scaling_list_pred_mode_flag может указывать то, что матрица квантования для текущего блока не является идентичной с опорной матрицей квантования. Когда scaling_list_pred_mode_flag имеет второе значение, значение матрицы квантования для текущего блока может явно передаваться в служебных сигналах.

[217] В другом примере, информация режима квантования может включать в себя информацию первого режима и информацию второго режима.

[218] Информация первого режима может указывать то, что матрица квантования выполнена с возможностью быть идентичной опорной матрице квантования. Информация первого режима может кодироваться с использованием предварительно определенного флага первого режима. Например, информация первого режима может кодироваться с использованием scaling_list_copy_mode_flag. В этом случае, когда первое значение (например, 0) scaling_list_copy_mode_flag может указывать то, что матрица квантования для текущего блока является идентичной опорной матрице квантования. Напротив, второе значение (например, 1) scaling_list_copy_mode_flag может указывать то, что матрица квантования для текущего блока не является идентичной с опорной матрицей квантования. Когда scaling_list_copy_mode_flag не передается в служебных сигналах, scaling_list_copy_mode_flag может логически выводиться как имеющий первое значение.

[219] Информация второго режима может указывать то, извлекается или нет матрица квантования из опорной матрицы квантования. Информация второго режима может кодироваться с использованием предварительно определенного флага второго режима только тогда, когда матрица квантования для текущего блока не является идентичной с опорной матрицей квантования. Например, информация второго режима может кодироваться с использованием scaling_list_pred_mode_flag, только когда scaling_list_copy_mode_flag, указывающий информацию первого режима, имеет второе значение (например, 1). В этом случае, первое значение (например, 0) scaling_list_pred_mode_flag может указывать то, что матрица квантования для текущего блока извлекается из опорной матрицы квантования. Напротив, второе значение (например, 1) scaling_list_pred_mode_flag может указывать то, что матрица квантования для текущего блока не извлекается из опорной матрицы квантования. Когда scaling_list_pred_mode_flag имеет второе значение, значение матрицы квантования для текущего блока может явно передаваться в служебных сигналах.

[220] Оборудование кодирования изображений может определять то, конструируется или нет матрица квантования для текущего блока из опорной матрицы квантования, на основе информации режима квантования, кодированной на этапе S1710 (S1720). Например, оборудование кодирования изображений может определять то, конструируется или нет матрица квантования для текущего блока таким образом, что она является идентичной опорной матрице квантования, на основе информации первого режима. Альтернативно, оборудование кодирования изображений может определять то, извлекается или нет матрица квантования для текущего блока из опорной матрицы квантования, на основе информации второго режима.

[221] Когда матрица квантования для текущего блока конструируется из опорной матрицы квантования ("Да" на S1720), оборудование кодирования изображений может кодировать идентификационную информацию опорной матрицы квантования для указания опорной матрицы квантования (S1730). Идентификационная информация опорной матрицы квантования может кодироваться с использованием предварительно определенного синтаксического элемента, например, scaling_list_pred_matrix_id_delta. Когда scaling_list_pred_matrix_id_delta имеет первое значение (например, 0), матрица квантования для текущего блока может извлекаться из предварительно определенной матрицы по умолчанию. Все один или более коэффициентов матрицы квантования, включенных в матрицу по умолчанию, могут иметь идентичное значение. В примере, значения коэффициентов матрицы квантования, включенных в матрицу по умолчанию, могут быть равными 16. Напротив, когда scaling_list_pred_matrix_id_delta имеет значение (например, 1, 2, 3 и т.д.), отличное от первого значения, матрица квантования для текущего блока может извлекаться из опорной матрицы квантования, указываемой на основе scaling_list_pred_matrix_id_delta. Например, опорная матрица квантования может указываться на основе scaling_list_pred_matrix_id_delta, как показано в нижеприведенном уравнении 1.

[222] уравнение 1

refMatrixId=matrixID-scaling_list_pred_matrix_id_delta[sizeId][matrixId] * (sizeId==6?3:1)

[223] В уравнении 1, refMatrixId может обозначать идентификатор опорной матрицы квантования, и matrixID может обозначать идентификатор матрицы квантования для текущего блока, как описано выше со ссылкой на фиг. 16. Помимо этого, sizeId может обозначать размер матрицы квантования для текущего блока, как показано выше со ссылкой на фиг. 15 и 16.

[224] На основе идентификатора refMatrixId, полученного посредством уравнения 1, матрица ScalingList квантования для текущего блока может извлекаться так, как показано в уравнении 2.

[225] уравнение 2

ScalingList [SizeId][matrixId][i]=ScalingList [SizeId][refMatrixId][i] с i=0...Min(63, (1<<(sizeId<<1))-1)

[226] В уравнении 2, i обозначает каждый элемент матрицы ScalingList квантования для текущего блока, и i может иметь наименьшее значение в 63 и (1<<(sizeId<<1))-1 в качестве максимального значения.

[227] Когда матрица квантования для текущего блока не конструируется из опорной матрицы квантования ("Нет" на S1720), значение матрицы квантования для текущего блока может кодироваться (S1740).

[228] Значение матрицы квантования для текущего блока может кодироваться с использованием предварительно определенных синтаксических элементов. Например, значение матрицы квантования для текущего блока может кодироваться с использованием scaling_list_dc_coef_minus8, указывающего коэффициент масштабирования матрицы квантования для текущего блока, и scaling_list_delta_coef, указывающего разность между (i-1)-ым коэффициентом матрицы квантования и i-ым коэффициентом матрицы квантования в матрице квантования.

[229] Помимо этого, значение матрицы квантования для текущего блока может кодироваться согласно предварительно определенному способу сканирования. Например, один или более коэффициентов матрицы квантования в матрице квантования для текущего блока могут последовательно кодироваться согласно диагональному порядку сканирования.

[230] Пример синтаксиса для осуществления способа кодирования матрицы квантования, описанной выше со ссылкой на фиг. 17, показывается на фиг. 18.

[231] Ссылаясь на фиг. 18, на основе фиг. 16, матрицы квантования (например, matrixId=0 - matrixId=5), имеющие размер в 2×2 или более, могут кодироваться с использованием синтаксиса scaling_list_data (1810). Помимо этого, все матрицы квантования за исключением матрицы квантования (например, sizeId=1 andand matrixId%3=0), имеющей размер в 2×2 для компонента сигналов яркости текущего блока, или матрицы квантования (например, sizeId=6 andand matrixId%3!=0), имеющей размер в 64×64 для компонента сигналов цветности текущего блока, могут кодироваться синтаксис scaling_list_data (1820).

[232] Как результат, матрица квантования (например, matrixId=1, 2, 4 или 5), имеющая размер в 2×2 для компонента сигналов цветности (например, matrixId%3!=0) текущего блока, может кодироваться посредством синтаксиса scaling_list_data. Тем не менее, как описано выше, в структуре в виде сдвоенного дерева, блок сигналов цветности 2×2 запрещается через ограничение по сегментации, процесс кодирования матрицы квантования 2×2 может быть необязательным. Помимо этого, когда матрица квантования, имеющая небольшой размер, к примеру, 2×2, кодируется, объем передаваемой служебной информации может увеличиваться.

[233] Чтобы разрешать такую проблему, способ кодирования матрицы квантования согласно варианту осуществления настоящего раскрытия сущности может осуществляться только относительно матрицы квантования, имеющей размер, больший 2×2. Таким образом, процесс кодирования матрицы квантования, имеющей значение sizeId в 0 или 1 (т.е. имеющий размер в 2×2 или меньше), описанный выше со ссылкой на фиг. 15 и 16, может пропускаться.

[234] Фиг. 19 является видом, иллюстрирующим пример матрицы квантования для текущего блока согласно варианту осуществления настоящего раскрытия сущности.

[235] Ссылаясь на фиг. 19, оборудование кодирования изображений может конструировать первую-шестую матрицы квантования (matrixId=0 - matrixId=5), имеющие различные размеры sizeId, на основе режима прогнозирования CuPredMode текущего блока и цветового компонента cIdx.

[236] В частности, для компонента сигналов яркости (cIdx=0) (например, Y) в текущем блоке, кодированном с использованием режима внутреннего прогнозирования CuPredMode=MODE_INTRA, первая матрица квантования (matrixId=0) может конструироваться. Помимо этого, для первого компонента сигналов цветности (cIdx=1) (например, Cb) в текущем блоке, кодированном с использованием режима внутреннего прогнозирования, вторая матрица квантования (matrixId=1) может конструироваться. Помимо этого, для второго компонента сигналов цветности (cIdx=2) (например, Cr) в текущем блоке, кодированном с использованием режима внутреннего прогнозирования, третья матрица квантования (matrixId=2) может конструироваться. Помимо этого, для компонента сигналов яркости (cIdx=0) в текущем блоке, кодированном с использованием режима взаимного прогнозирования или режима взаимного блочного копирования (IBC) (CuPredMode=MODE_INTER или MODE_IBC), четвертая матрица квантования (matrixId=3) может конструироваться. Помимо этого, для первого блока сигналов цветности (cIdx=1) в текущем блоке, кодированном с использованием режима взаимного прогнозирования или IBC-режима, пятая матрица квантования (matrixId=4) может конструироваться. Помимо этого, для второго компонента сигналов цветности (cIdx=2) в текущем блоке, кодированном с использованием режима взаимного прогнозирования или IBC-режима, шестая матрица квантования (matrixId=5) может конструироваться.

[237] Размер каждой из первой-шестой матриц квантования (matrixId=0 - matrixId=5) может быть равным или большим 4×4 и равным или меньшим 64×64 (т.е. 1≤sizeId≤6). Таким образом, в отличие от примера по фиг. 16, матрица квантования, имеющая размер в 2×2 (например, sizeId=1), может не конструироваться.

[238] Пример синтаксиса для осуществления способа кодирования матрицы квантования, описанной со ссылкой на фиг. 19, показывается на фиг. 20.

[239] Ссылаясь на фиг. 20, на основе примера по фиг. 19, матрицы квантования (например, matrixId=0 - matrixId=5), имеющие размер в 4×4 или больше (например, sizeId≥2), могут кодироваться с использованием синтаксиса scaling_list_data (2010). Помимо этого, все матрицы квантования за исключением матрицы квантования (например, sizeId=6 andand matrixId%3!=0), имеющей размер в 64×64 для компонента сигналов цветности текущего блока, могут кодироваться с использованием синтаксиса scaling_list_data (2020).

[240] Как результат, матрица квантования, имеющая размер в 2×2 (например, sizeId=1) для компонента сигналов яркости (например, matrixId%3=0) текущего блока, может не кодироваться посредством синтаксиса scaling_list_data. Помимо этого, матрица квантования, имеющая размер в 2×2 (например, sizeId=1) для компонента сигналов цветности (например, matrixId%3!=0) текущего блока, кодированного с использованием режима внутреннего прогнозирования (например, CuPredMode=MODE_INTRA) может не кодироваться посредством синтаксиса scaling_list_data.

[241] Таким образом, в отличие от синтаксиса scaling_list_data, описанного выше со ссылкой на фиг. 18, согласно синтаксису scaling_list_data по фиг. 20, поскольку матрица квантования (например, matrixId=1, 2, 4 или 5), имеющая размер в 2×2 (например, sizeId=1), не кодируется, посредством пропуска необязательного процесса кодирования, можно подавлять увеличение объема передаваемой служебной информации и повышать эффективность кодирования.

[242] В дальнейшем в этом документе подробно описывается способ декодирования матрицы квантования.

[243] Фиг. 21 является блок-схемой последовательности операций, иллюстрирующей способ декодирования матрицы квантования согласно варианту осуществления настоящего раскрытия сущности. Способ декодирования по фиг. 21 может осуществляться посредством оборудования декодирования изображений по фиг. 3. В частности, этапы S2110-S2160 могут выполняться посредством модуля 220 деквантования.

[244] Этапы S2110 и S2120 по фиг. 21 могут соответствовать этапам S1710 и S1720 по фиг. 17, соответственно. Помимо этого, этапы S2130 и S2140 могут соответствовать этапу S1730 по фиг. 17. Помимо этого, этапы S2150 и S2160 могут соответствовать этапу S1740 по фиг. 17. Соответственно, повторное описание по фиг. 17 опускается или упрощается.

[245] Ссылаясь на фиг. 21, оборудование декодирования изображений может декодировать, из потока битов, информацию режима квантования способа конструирования матрицы квантования для текущего блока (S2110).

[246] В примере, информация режима квантования может включать в себя информацию первого режима, указывающую то, конструируется или нет матрица квантования на основе опорной матрицы квантования. Информация первого режима может получаться посредством декодирования предварительно определенного флага (например, scaling_list_pred_mode_flag).

[247] В другом примере, информация режима квантования может включать в себя информацию первого режима и информацию второго режима. Информация первого режима может указывать то, является или нет матрица квантования для текущего блока идентичной опорной матрице квантования. Информация первого режима может получаться посредством декодирования предварительно определенного флага первого режима (например, scaling_list_copy_mode_flag). Информация второго режима может указывать то, извлекается или нет матрица квантования для текущего блока из опорной матрицы квантования. Информация второго режима может передаваться в служебных сигналах через поток битов только тогда, когда матрица квантования для текущего блока не конструируется таким образом, что она является идентичной опорной матрице квантования (например, scaling_list_copy_mode_flag=1). Информация второго режима может получаться посредством декодирования предварительно определенного флага второго режима (например, scaling_list_pred_mode_flag).

[248] Оборудование декодирования изображений может определять то, конструируется или нет матрица квантования для текущего блока из опорной матрицы квантования, на основе информации режима квантования, полученной на этапе S2110 (S2120).

[249] В примере, когда scaling_list_pred_mode_flag, который представляет собой информацию первого режима, имеет первое значение (например, 0), матрица квантования для текущего блока может конструироваться таким образом, что она является идентичной опорной матрице квантования.

[250] В другом примере, когда scaling_list_copy_mode_flag, который представляет собой информацию первого режима, имеет первое значение (например, 0), матрица квантования для текущего блока может конструироваться таким образом, что она является идентичной опорной матрице квантования. Альтернативно, когда scaling_list_copy_mode_flag, который представляет собой информацию первого режима, имеет второе значение (например, 1), и scaling_list_pred_mode_flag, который представляет собой информацию второго режима, имеет первое значение (например, 0), матрица квантования для текущего блока может извлекаться из опорной матрицы квантования.

[251] Когда матрица квантования для текущего блока конструируется из опорной матрицы квантования ("Да" на S2120), оборудование декодирования изображений может декодировать, из потока битов, идентификационную информацию опорной матрицы квантования для указания опорной матрицы квантования (S2130). Идентификационная информация опорной матрицы квантования может передаваться в служебных сигналах с использованием предварительно определенного синтаксического элемента, например, scaling_list_pred_matrix_id_delta.

[252] Оборудование декодирования изображений может конструировать матрицу квантования для текущего блока на основе идентификационной информации опорной матрицы квантования, полученной на этапе S2130 (S2140). Например, когда scaling_list_pred_matrix_id_delta имеет первое значение (например, 0), матрица квантования для текущего блока может извлекаться из предварительно определенной матрицы по умолчанию. Все один или более коэффициентов матрицы квантования, включенных в матрицу по умолчанию, могут иметь идентичное значение. В примере, значения коэффициентов матрицы квантования, включенных в матрицу по умолчанию, могут быть равными 16. Напротив, когда scaling_list_pred_matrix_id_delta имеет значение (например, 1, 2, 3 и т.д.), отличное от первого значения, матрица квантования для текущего блока может извлекаться из опорной матрицы квантования, указываемой на основе scaling_list_pred_matrix_id_delta, как описано выше со ссылкой на уравнение 1 и уравнение 2.

[253] Когда матрица квантования для текущего блока не конструируется из опорной матрицы квантования ("Нет" на S2120), оборудование декодирования изображений может декодировать, из потока битов, значение матрицы квантования для текущего блока (S2150). Значение матрицы квантования для текущего блока может получаться посредством декодирования предварительно определенных синтаксических элементов согласно предварительно определенному способу сканирования (например, диагональному сканированию). Например, оборудование декодирования изображений может получать значение матрицы квантования посредством декодирования scaling_list_dc_coef_minus8, указывающего коэффициент масштабирования матрицы квантования для текущего блока, и scaling_list_delta_coef, указывающего разность между (i-1)-ым коэффициентом матрицы квантования и i-ым коэффициентом матрицы квантования в матрице квантования.

[254] Оборудование декодирования изображений может конструировать матрицу квантования для текущего блока на основе значения матрицы квантования, полученного на этапе S2150 (S2160).

[255] Как описано выше, способ декодирования матрицы квантования по фиг. 21 может осуществляться с использованием синтаксиса (например, scaling_list_data), описанного выше со ссылкой на фиг. 19 и 20. В этом случае, матрица квантования, имеющая размер в 2×2 или меньше (например, sizeId≤1), может не декодироваться. Как результат, поскольку необязательный процесс декодирования для блока сигналов цветности 2×2, который не разрешается в структуре в виде сдвоенного дерева, может пропускаться, можно повышать эффективность декодирования.

[256] Хотя примерные способы настоящего раскрытия сущности, описанного выше, представляются как последовательность операций для ясности описания, это не имеет намерение ограничивать порядок, в котором выполняются этапы, и этапы могут выполняться одновременно или в другом порядке при необходимости. Чтобы реализовывать способ согласно настоящему раскрытию сущности, описанные этапы дополнительно могут включать в себя другие этапы, могут включать в себя оставшиеся этапы, за исключением некоторых этапов, либо могут включать в себя другие дополнительные этапы, за исключением некоторых этапов.

[257] В настоящем раскрытии сущности, оборудование кодирования изображений или оборудование декодирования изображений, которое выполняет предварительно определенную операцию (этап), может выполнять операцию (этап) подтверждения условия или ситуации выполнения соответствующей операции (этап). Например, если описывается то, что предварительно определенная операция выполняется, когда предварительно определенное условие удовлетворяется, оборудование кодирования изображений или оборудование декодирования изображений может выполнять предварительно определенную операцию после определения того, удовлетворяется или нет предварительно определенное условие.

[258] Различные варианты осуществления настоящего раскрытия сущности не представляют собой список всех возможных комбинаций и имеют намерение описывать характерные аспекты настоящего раскрытия сущности, и вопросы, описанные в различных вариантах осуществления, могут применяться независимо либо в комбинации двух или более из них.

[259] Различные варианты осуществления настоящего раскрытия сущности могут реализовываться в аппаратных средствах, микропрограммном обеспечении, программном обеспечении либо в комбинации вышеозначенного. В случае реализации настоящего раскрытия сущности посредством аппаратных средств, настоящее раскрытие сущности может реализовываться с помощью специализированных интегральных схем (ASIC), процессоров цифровых сигналов (DSP), устройств обработки цифровых сигналов (DSPD), программируемых логических устройств (PLD), программируемых пользователем вентильных матриц (FPGA), общих процессоров, контроллеров, микроконтроллеров, микропроцессоров и т.д.

[260] Помимо этого, оборудование декодирования изображений и оборудование кодирования изображений, к которым применяются варианты осуществления настоящего раскрытия сущности, могут включаться в мультимедийное широковещательное приемо-передающее устройство, терминал мобильной связи, видеоустройство системы домашнего кинотеатра, видеоустройство системы цифрового кинотеатра, камеру наблюдения, устройство проведения видеочатов, устройство связи в реальном времени, к примеру, для видеосвязи, мобильное устройство потоковой передачи, носитель хранения данных, записывающую видеокамеру, устройство предоставления услуг на основе технологии "видео по запросу" (VoD), устройство на основе OTT-видео (видео поверх сетей), устройство предоставления услуг потоковой передачи по Интернету, трехмерное видеоустройство, видеоустройство системы видеотелефонии, медицинское видеоустройство и т.п. и могут использоваться для того, чтобы обрабатывать видеосигналы или сигналы данных. Например, OTT-видеоустройства могут включать в себя игровую консоль, Blu-Ray-проигрыватель, телевизор с доступом в Интернет, систему домашнего кинотеатра, смартфон, планшетный PC, цифровое записывающее видеоустройство (DVR) и т.п.

[261] Фиг. 22 является видом, показывающим систему потоковой передачи контента, к которой является применимым вариант осуществления настоящего раскрытия сущности.

[262] Ссылаясь на фиг. 22, система потоковой передачи контента, к которой применяется вариант(ы) осуществления настоящего документа, может включать в себя, главным образом, сервер кодирования, потоковый сервер, веб-сервер, хранилище мультимедиа, пользовательское устройство и устройство ввода мультимедиа.

[263] Сервер кодирования сжимает контент, вводимый из устройств ввода мультимедиа, таких как смартфон, камера, записывающая видеокамера и т.д., в цифровые данные для того, чтобы формировать поток битов, и передает поток битов на потоковый сервер. В качестве другого примера, когда устройства ввода мультимедиа, такие как смартфоны, камеры, записывающие видеокамеры и т.д., непосредственно формируют поток битов, сервер кодирования может опускаться.

[264] Поток битов может формироваться посредством способа кодирования изображений или оборудования кодирования изображений, к которому применяется вариант осуществления настоящего раскрытия сущности, и потоковый сервер может временно сохранять поток битов в процессе передачи или приема потока битов.

[265] Потоковый сервер передает мультимедийные данные в пользовательское устройство на основе запроса пользователя через веб-сервер, и веб-сервер служит в качестве среды для информирования пользователя в отношении услуги. Когда пользователь запрашивает требуемую услугу из веб-сервера, веб-сервер может доставлять ее на потоковый сервер, и потоковый сервер может передавать мультимедийные данные пользователю. В этом случае, система потоковой передачи контента может включать в себя отдельный сервер управления. В этом случае, сервер управления служит для того, чтобы управлять командой/ответом между устройствами в системе потоковой передачи контента.

[266] Потоковый сервер может принимать контент из хранилища мультимедиа и/или сервера кодирования. Например, когда контент принимается из сервера кодирования, контент может приниматься в реальном времени. В этом случае, чтобы предоставлять плавную услугу потоковой передачи, потоковый сервер может сохранять поток битов в течение предварительно определенного времени.

[267] Примеры пользовательского устройства могут включать в себя мобильный телефон, смартфон, переносной компьютер, цифровой широковещательный терминал, персональное цифровое устройство (PDA), портативный мультимедийный проигрыватель (PMP), навигационное устройство, грифельный планшетный PC, планшетные PC, ультрабуки, носимые устройства (например, интеллектуальные часы, интеллектуальные очки, наголовные дисплеи), цифровые телевизоры, настольные компьютеры, систему цифровых информационных табло и т.п.

[268] Каждый сервер в системе потоковой передачи контента может работать в качестве распределенного сервера, причем в этом случае данные, принимаемые из каждого сервера, могут распределяться.

[269] Объем раскрытия сущности включает в себя программное обеспечение или машиноисполняемые команды (например, операционную систему, приложение, микропрограммное обеспечение, программу и т.д.) для обеспечения возможности выполнения операций согласно способам различных вариантов осуществления в оборудовании или компьютере, энергонезависимый машиночитаемый носитель, имеющий такое программное обеспечение или команды, сохраненные и выполняемые в оборудовании или компьютере.

Промышленная применимость

[270] Варианты осуществления настоящего раскрытия сущности могут использоваться для того, чтобы кодировать или декодировать изображение.

Изобретение относится к области кодирования/декодирования изображений. Техническим результатом является повышение эффективности кодирования/декодирования изображений с использованием матрицы квантования. Предложен способ декодирования изображений, осуществляемый посредством оборудования декодирования изображений, содержит получение информации режима квантования для текущего блока из потока битов, определение того, конструируется или нет матрица квантования для текущего блока из опорной матрицы квантования, на основе информации режима квантования, и конструирование матрицы квантования для текущего блока, на основе результата определения. Когда матрица квантования для текущего блока конструируется из опорной матрицы квантования, матрица квантования для текущего блока может конструироваться на основе идентификационной информации опорной матрицы квантования. Когда матрица квантования для текущего блока не конструируется из опорной матрицы квантования, матрица квантования для текущего блока может конструироваться на основе значения матрицы квантования, полученного из потока битов. Когда текущий блок представляет собой внутренне прогнозированный блок сигналов цветности, матрица квантования для текущего блока может конструироваться только тогда, когда размер текущего блока больше 2×2. 3 н. и 9 з.п. ф-лы, 22 ил., 1 табл.

1. Способ декодирования изображений, осуществляемый посредством оборудования декодирования изображений, при этом способ декодирования изображений содержит этапы, на которых:

получают информацию режима квантования для текущего блока из потока битов;

определяют то, конструируется или нет матрица квантования для текущего блока из опорной матрицы квантования, на основе информации режима квантования; и

конструируют матрицу квантования для текущего блока, на основе результата определения,

- при этом, на основе матрицы квантования для текущего блока, конструируемой из опорной матрицы квантования, матрица квантования для текущего блока конструируется на основе идентификационной информации опорной матрицы квантования,

при этом, на основе матрицы квантования для текущего блока, не конструируемой из опорной матрицы квантования, матрица квантования для текущего блока конструируется на основе значения матрицы квантования, полученного из потока битов,

при этом, на основе текущего блока, представляющего собой внутренне прогнозированный блок сигналов цветности, матрица квантования для текущего блока конструируется только тогда, когда размер текущего блока больше 2х2,

при этом, информация режима квантования включает в себя флаг первого режима, указывающий то, конструируется или нет матрица квантования для текущего блока таким образом, что она является идентичной опорной матрице квантования,

при этом, информация режима квантования также включает в себя флаг второго режима, указывающий то, извлекается или нет матрица квантования для текущего блока из опорной матрицы квантования, и

при этом, второе значение флага второго режима указывает на то, что значения матрицы квантования для текущего блока явно передаются в служебных сигналах.

2. Способ декодирования изображений по п. 1, в котором на основе флага первого режима, имеющего первое значение, матрица квантования для текущего блока конструируется на основе идентификационной информации опорной матрицы квантования.

3. Способ декодирования изображений по п. 1, в котором на основе флага первого режима, имеющего второе значение, матрица квантования для текущего блока конструируется на основе значения матрицы квантования, полученного из потока битов.

4. Способ декодирования изображений по п. 1, в котором на основе флага второго режима, имеющего первое значение, матрица квантования для текущего блока конструируется на основе идентификационной информации опорной матрицы квантования.

5. Способ декодирования изображений по п. 1, в котором на основе флага второго режима, имеющего второе значение, матрица квантования для текущего блока конструируется на основе значения матрицы квантования, полученного из потока битов.

6. Способ декодирования изображений по п. 1, в котором на основе идентификационной информации опорной матрицы квантования, имеющей первое значение, матрица квантования для текущего блока конструируется в качестве предварительно определенной матрицы по умолчанию.

7. Способ декодирования изображений по п. 6, в котором один или более коэффициентов матрицы квантования, включенных в матрицу по умолчанию, имеют идентичное значение.

8. Способ декодирования изображений по п. 7, в котором все значения коэффициентов матрицы квантования, включенных в матрицу по умолчанию, равны 16.

9. Способ декодирования изображений по п. 1, в котором значение матрицы квантования получается посредством, из потока битов, декодирования первого синтаксического элемента, указывающего коэффициент масштабирования матрицы квантования для текущего блока, и второго синтаксического элемента, указывающего разность между коэффициентами матрицы квантования в матрице квантования.

10. Способ декодирования изображений по п. 1, в котором матрица квантования для текущего блока имеет конфигурацию, варьирующуюся согласно режиму прогнозирования для текущего блока и цветового компонента.

11. Способ кодирования изображений, осуществляемый посредством оборудования кодирования изображений, при этом способ кодирования изображений содержит этапы, на которых:

кодируют информацию режима квантования для текущего блока;

определяют то, конструируется или нет матрица квантования для текущего блока из опорной матрицы квантования, на основе информации режима квантования; и

кодируют информацию относительно матрицы квантования для текущего блока на основе результата определения,

при этом, на основе матрицы квантования для текущего блока, конструируемой из опорной матрицы квантования, идентификационная информация опорной матрицы квантования кодируется,

при этом, на основе матрицы квантования для текущего блока, не конструируемой из опорной матрицы квантования, значение матрицы квантования для текущего блока кодируется, и

при этом, на основе текущего блока, представляющего собой внутренне прогнозированный блок сигналов цветности, матрица квантования для текущего блока конструируется только тогда, когда размер текущего блока больше 2х2,

при этом, информация режима квантования включает в себя флаг первого режима, указывающий то, конструируется или нет матрица квантования для текущего блока таким образом, что она является идентичной опорной матрице квантования, и флаг второго режима, указывающий то, извлекается или нет матрица квантования для текущего блока из опорной матрицы квантования, и

при этом, второе значение флага второго режима указывает на то, что значения матрицы квантования для текущего блока явно передаются в служебных сигналах.

12. Способ передачи потока битов, сформированного посредством способа кодирования изображений, при этом способ кодирования изображений содержит этапы, на которых:

кодируют информацию режима квантования для текущего блока;

определяют то, конструируется или нет матрица квантования для текущего блока из опорной матрицы квантования, на основе информации режима квантования; и

кодируют информацию относительно матрицы квантования для текущего блока на основе результата определения,

при этом, на основе матрицы квантования для текущего блока, конструируемой из опорной матрицы квантования, идентификационная информация опорной матрицы квантования кодируется,

при этом, на основе матрицы квантования для текущего блока, не конструируемой из опорной матрицы квантования, значение матрицы квантования для текущего блока кодируется, и

при этом, на основе текущего блока, представляющего собой внутренне прогнозированный блок сигналов цветности, матрица квантования для текущего блока конструируется только тогда, когда размер текущего блока больше 2х2,

при этом, информация режима квантования включает в себя флаг первого режима, указывающий то, конструируется или нет матрица квантования для текущего блока таким образом, что она является идентичной опорной матрице квантования, и флаг второго режима, указывающий то, извлекается или нет матрица квантования для текущего блока из опорной матрицы квантования, и

при этом, второе значение флага второго режима указывает на то, что значения матрицы квантования для текущего блока явно передаются в служебных сигналах.