СПОСОБ И ОБОРУДОВАНИЕ КОДИРОВАНИЯ/ДЕКОДИРОВАНИЯ ИЗОБРАЖЕНИЙ И СПОСОБ ПЕРЕДАЧИ ПОТОКА БИТОВ Российский патент 2024 года по МПК H04N19/117 

Область техники, к которой относится изобретение

[1] Настоящее раскрытие сущности относится к способу и оборудованию кодирования/декодирования изображений и к способу передачи потока битов, а более конкретно, к способу и оборудованию для кодирования/декодирования изображения посредством применения режима на основе внутренних субблочных сегментов (ISP) к изображениям, имеющим различные форматы сигнала цветности, и к способу передачи потока битов, сформированного посредством способа/оборудования кодирования изображений настоящего раскрытия сущности.

Уровень техники

[2] В последнее время, спрос на высококачественные изображения высокого разрешения, к примеру, изображения высокой четкости (HD) и изображения сверхвысокой четкости (UHD) растет в различных областях техники. По мере того, как разрешение и качество данных изображений повышается, объем передаваемой информации или битов относительно увеличивается по сравнению с существующими данными изображений. Увеличение объема передаваемой информации или битов приводит к увеличению затрат на передачу и затрат на хранение.

[3] Соответственно, существует потребность в высокоэффективной технологии сжатия изображений для эффективной передачи, сохранения и воспроизведения информации относительно высококачественных изображений высокого разрешения.

Сущность изобретения

Техническая задача

[4] Задача настоящего раскрытия сущности заключается в том, чтобы предоставлять способ и оборудование кодирования/декодирования изображений с повышенной эффективностью кодирования/декодирования.

[5] Задача настоящего раскрытия сущности заключается в том, чтобы предоставлять способ и оборудование для кодирования/декодирования изображения посредством применения ISP к изображениям, имеющим различные форматы сигнала цветности.

[6] Другая задача настоящего раскрытия сущности заключается в том, чтобы предоставлять способ передачи потока битов, сформированного посредством способа или оборудования кодирования изображений согласно настоящему раскрытию сущности.

[7] Другая задача настоящего раскрытия сущности заключается в том, чтобы предоставлять носитель записи, сохраняющий поток битов, сформированный посредством способа или оборудования кодирования изображений согласно настоящему раскрытию сущности.

[8] Другая задача настоящего раскрытия сущности заключается в том, чтобы предоставлять носитель записи, сохраняющий поток битов, принимаемый, декодированный и используемый для того, чтобы восстанавливать изображение посредством оборудования декодирования изображений согласно настоящему раскрытию сущности.

[9] Технические проблемы, разрешаемые посредством настоящего раскрытия сущности, не ограничены вышеуказанными техническими проблемами, и другие технические проблемы, которые не описываются в данном документе, должны становиться очевидными для специалистов в данной области техники из нижеприведенного описания.

Техническое решение

[10] Способ декодирования изображений, осуществляемый посредством оборудования декодирования изображений согласно аспекту настоящего раскрытия сущности, может включать в себя определение того, представляет или нет режим предсказания текущего блока собой режим внутреннего предсказания, на основе информации относительно режима предсказания текущего блока, определение того, доступен или нет режим на основе внутренних субсегментов (ISP) для текущего блока, когда режим предсказания текущего блока представляет собой режим внутреннего предсказания, декодирование индикатора ISP-применения, указывающего то, следует применять или нет ISP к текущему блоку, когда ISP доступен для текущего блока, и формирование блока предсказания для текущего блока посредством применения ISP к текущему блоку, при определении того, что ISP применяется к текущему блоку, на основе индикатора ISP-применения.

[11] В способе декодирования изображений настоящего раскрытия сущности, определение того, доступен или нет ISP для текущего блока, может выполняться на основе сравнения между размером блока компонентов сигнала яркости текущего блока и предварительно определенным пороговым значением.

[12] В способе декодирования изображений настоящего раскрытия сущности, предварительно определенное пороговое значение может представлять собой максимальный размер преобразования.

[13] В способе декодирования изображений настоящего раскрытия сущности, когда ширина и высота блока компонентов сигнала яркости текущего блока равны или меньше предварительно определенного порогового значения, может определяться то, что ISP доступен для текущего блока.

[14] В способе декодирования изображений настоящего раскрытия сущности, формирование блока предсказания для текущего блока посредством применения ISP к текущему блоку может включать в себя формирование блока предсказания для блока компонентов сигнала яркости посредством применения ISP к блоку компонентов сигнала яркости текущего блока, определение того, следует применять или нет ISP к блоку компонентов сигнала цветности текущего блока, и формирование блока предсказания для блока компонентов сигнала цветности посредством применения ISP к блоку компонентов сигнала цветности, при определении того, что ISP применяется к блоку компонентов сигнала цветности текущего блока.

[15] В способе декодирования изображений настоящего раскрытия сущности, определение того, следует применять или нет ISP к блоку компонентов сигнала цветности текущего блока, может выполняться на основе, по меньшей мере, одного из размера блока компонентов сигнала цветности или формата сигнала цветности текущего блока.

[16] В способе декодирования изображений настоящего раскрытия сущности, когда формат сигнала цветности текущего блока представляет собой 4:2:2 или 4:4:4, и, по меньшей мере, одно из ширины или высота блока компонентов сигнала цветности превышает максимальный размер преобразования, может определяться то, что ISP применяется к блоку компонентов сигнала цветности текущего блока.

[17] В способе декодирования изображений настоящего раскрытия сущности, когда ISP применяется к блоку компонентов сигнала цветности, направление разбиения и число субсегментов для блока компонентов сигнала цветности могут определяться на основе направления разбиения и числа субсегментов для блока компонентов сигнала яркости.

[18] В способе декодирования изображений настоящего раскрытия сущности, направление разбиения и число субсегментов для блока компонентов сигнала цветности могут быть равными направлению разбиения и числу субсегментов для блока компонентов сигнала яркости, соответственно.

[19] В способе декодирования изображений настоящего раскрытия сущности, формирование блока предсказания для текущего блока посредством применения ISP к текущему блоку может включать в себя формирование блока предсказания для блока компонентов сигнала яркости посредством применения ISP к блоку компонентов сигнала яркости текущего блока, и формирование блока предсказания для блока компонентов сигнала цветности посредством применения ISP к блоку компонентов сигнала цветности текущего блока.

[20] В способе декодирования изображений настоящего раскрытия сущности, направление разбиения и число субсегментов для блока компонентов сигнала цветности могут определяться на основе направления разбиения и числа субсегментов для блока компонентов сигнала яркости.

[21] В способе декодирования изображений настоящего раскрытия сущности, направление разбиения и число субсегментов для блока компонентов сигнала цветности могут быть равными направлению разбиения и (числу субсегментов/2) блока компонентов сигнала яркости, соответственно.

[22] Оборудование декодирования изображений согласно другому аспекту настоящего раскрытия сущности может включать в себя запоминающее устройство и, по меньшей мере, один процессор. По меньшей мере, один процессор может определять то, представляет или нет режим предсказания текущего блока собой режим внутреннего предсказания, на основе информации относительно режима предсказания текущего блока, определять то, доступен или нет режим на основе внутренних субсегментов (ISP) для текущего блока, когда режим предсказания текущего блока представляет собой режим внутреннего предсказания, декодировать индикатор ISP-применения, указывающий то, следует применять или нет ISP к текущему блоку, когда ISP доступен для текущего блока, и формировать блок предсказания для текущего блока посредством применения ISP к текущему блоку, при определении того, что ISP применяется к текущему блоку, на основе индикатора ISP-применения.

[23] Способ кодирования изображений согласно другому аспекту настоящего раскрытия сущности может включать в себя определение того, представляет или нет режим предсказания текущего блока собой режим внутреннего предсказания, определение того, доступен или нет режим на основе внутренних субсегментов (ISP) для текущего блока, когда режим предсказания текущего блока представляет собой режим внутреннего предсказания, определение того, следует применять или нет ISP к текущему блоку, когда ISP доступен для текущего блока, формирование блока предсказания для текущего блока посредством применения ISP к текущему блоку, когда ISP применяется к текущему блоку, и кодирование информации относительно режима предсказания текущего блока и информации относительно того, следует применять или нет ISP к текущему блоку.

[24] Способ передачи согласно другому аспекту настоящего раскрытия сущности может передавать поток битов, сформированный посредством оборудования кодирования изображений или способа кодирования изображений настоящего раскрытия сущности.

[25] Компьютерно-читаемый носитель записи согласно другому аспекту настоящего раскрытия сущности может сохранять поток битов, сформированный посредством оборудования кодирования изображений или способа кодирования изображений настоящего раскрытия сущности.

[26] Компьютерно-читаемый носитель записи согласно другому аспекту настоящего раскрытия сущности может сохранять поток битов, принимаемый и декодированный посредством оборудования декодирования изображений и используемый для того, чтобы восстанавливать изображение. Поток битов может включать в себя информацию относительно режима предсказания текущего блока и индикатор ISP-применения, указывающий того, следует применять или нет ISP к текущему блоку, информация относительно режима предсказания текущего блока может использоваться для того, чтобы определять то, представляет или нет режим предсказания текущего блока собой режим внутреннего предсказания, индикатор ISP-применения может использоваться для того, чтобы определять то, следует применять или нет ISP к текущему блоку, когда режим предсказания текущего блока представляет собой режим внутреннего предсказания, и определяется то, что ISP доступен для текущего блока, и блок предсказания текущего блока может формироваться посредством выполнения ISP относительно текущего блока при определении того, что ISP применяется к текущему блоку.

[27] Признаки, кратко обобщенные выше относительно настоящего раскрытия сущности, представляют собой просто примерные аспекты нижеприведенного подробного описания настоящего раскрытия сущности и не ограничивают объем настоящего раскрытия сущности.

Преимущества изобретения

[28] Согласно настоящему раскрытию сущности, можно предоставлять способ и оборудование кодирования/декодирования изображений с повышенной эффективностью кодирования/декодирования.

[29] Кроме того, согласно настоящему раскрытию сущности, можно предоставлять способ и оборудование для кодирования/декодирования изображения посредством применения ISP к изображениям, имеющим различные форматы сигнала цветности.

[30] Кроме того, согласно настоящему раскрытию сущности, можно предоставлять способ передачи потока битов, сформированного посредством способа или оборудования кодирования изображений согласно настоящему раскрытию сущности.

[31] Кроме того, согласно настоящему раскрытию сущности, можно предоставлять носитель записи, сохраняющий поток битов, сформированный посредством способа или оборудования кодирования изображений согласно настоящему раскрытию сущности.

[32] Кроме того, согласно настоящему раскрытию сущности, можно предоставлять носитель записи, сохраняющий поток битов, принимаемый, декодированный и используемый для того, чтобы восстанавливать изображение посредством оборудования декодирования изображений согласно настоящему раскрытию сущности.

[33] Специалисты в данной области техники должны принимать во внимание, что преимущества, которые могут достигаться через настоящее раскрытие сущности, не ограничены тем, что конкретно описано выше, и другие преимущества настоящего раскрытия сущности должны более ясно пониматься из подробного описания.

Краткое описание чертежей

[34] Фиг. 1 является видом, схематично показывающим систему кодирования видео, к которой является применимым вариант осуществления настоящего раскрытия сущности.

[35] Фиг. 2 является видом, схематично показывающим оборудование кодирования изображений, к которому является применимым вариант осуществления настоящего раскрытия сущности.

[36] Фиг. 3 является видом, схематично показывающим оборудование декодирования изображений, к которому является применимым вариант осуществления настоящего раскрытия сущности.

[37] Фиг. 4 является блок-схемой последовательности операций, иллюстрирующей способ кодирования видео/изображений на основе внутреннего предсказания.

[38] Фиг. 5 является видом, иллюстрирующим конфигурацию модуля 185 внутреннего предсказания согласно настоящему раскрытию сущности.

[39] Фиг. 6 является блок-схемой последовательности операций, иллюстрирующей способ декодирования видео/изображений на основе внутреннего предсказания.

[40] Фиг. 7 является видом, иллюстрирующим конфигурацию модуля 265 внутреннего предсказания согласно настоящему раскрытию сущности.

[41] Фиг. 8a и 8b являются видами, иллюстрирующими направление внутреннего предсказания согласно варианту осуществления настоящего раскрытия сущности.

[42] Фиг. 9 является видом, иллюстрирующим традиционный способ выполнения кодирования/декодирования текущего блока согласно ISP-режиму.

[43] Фиг. 10 является видом, иллюстрирующим пример разбиения ISP для текущих блоков, имеющих различные размеры.

[44] Фиг. 11 является видом, иллюстрирующим взаимосвязь между блоком компонентов сигнала яркости (массивом компонентов сигнала яркости) и блоком компонентов сигнала цветности (массивом компонентов сигнала цветности) согласно формату сигнала цветности.

[45] Фиг. 12 является видом, иллюстрирующим размер блока компонентов сигнала цветности согласно формату сигнала цветности, когда блок компонентов сигнала яркости представляет собой блок 64×128.

[46] Фиг. 13 является блок-схемой последовательности операций, иллюстрирующей способ ISP-применения согласно варианту осуществления настоящего раскрытия сущности.

[47] Фиг. 14 является видом, иллюстрирующим пример разбиения блока компонентов сигнала цветности согласно способу ISP-применения по фиг. 13.

[48] Фиг. 15 является блок-схемой последовательности операций, иллюстрирующей способ ISP-применения согласно другому варианту осуществления настоящего раскрытия сущности.

[49] Фиг. 16 является видом, иллюстрирующим пример разбиения блока компонентов сигнала цветности согласно способу ISP-применения по фиг. 15.

[50] Фиг. 17 является видом, иллюстрирующим пример структуры потока битов, в котором отражается модифицированное условие ISP-доступности.

[51] Фиг. 18 является видом, иллюстрирующим другой пример структуры потока битов, в котором отражается модифицированное условие ISP-доступности.

[52] Фиг. 19 является видом, показывающим систему потоковой передачи контента, к которой является применимым вариант осуществления настоящего раскрытия сущности.

Оптимальный режим осуществления изобретения

[53] В дальнейшем в этом документе подробно описываются варианты осуществления настоящего раскрытия сущности со ссылкой на прилагаемые чертежи, так что они легко могут реализовываться специалистами в данной области техники. Тем не менее, настоящее раскрытие сущности может реализовываться во всевозможных формах и не ограничено вариантами осуществления, описанными в данном документе.

[54] При описании настоящего раскрытия сущности, если определяется то, что подробное описание связанной известной функции или конструкции приводит к излишней неоднозначности объема настоящего раскрытия сущности, ее подробное описание опускается. На чертежах, части, не связанные с описанием настоящего раскрытия сущности, опускаются, и аналогичные ссылки с номерами присоединяются к аналогичным частям.

[55] В настоящем раскрытии сущности, когда компонент "соединяется (connected)", "соединяется (coupled)" или "связывается (linked)" с другим компонентом, это может включать в себя не только непосредственную взаимосвязь на основе соединения, но также и косвенную взаимосвязь на основе соединения, в которой присутствует промежуточный компонент. Помимо этого, когда компонент "включает в себя" или "имеет" другие компоненты, это означает то, что другие компоненты могут включаться дополнительно, а не исключение других компонентов, если не указано иное.

[56] В настоящем раскрытии сущности, термины "первый", "второй" и т.д. могут использоваться только для целей различения одного компонента от других компонентов и не ограничивают порядок или важность компонентов, если не указано иное. Соответственно, в пределах объема настоящего раскрытия сущности, первый компонент в одном варианте осуществления может называться "вторым компонентом" в другом варианте осуществления, и аналогично, второй компонент в одном варианте осуществления может называться "первым компонентом" в другом варианте осуществления.

[57] В настоящем раскрытии сущности, компоненты, которые отличаются друг от друга, имеют намерение ясно описывать каждый признак и не означают то, что компоненты обязательно разделяются. Таким образом, множество компонентов могут интегрироваться и реализовываться в одном аппаратном или программном модуле, или один компонент может распределяться и реализовываться во множестве аппаратных или программных модулей. Следовательно, даже если не указано иное, такие варианты осуществления, в которых компоненты интегрируются, или компонент распределяется, также включаются в объем настоящего раскрытия сущности.

[58] В настоящем раскрытии сущности, компоненты, описанные в различных вариантах осуществления, не обязательно означают существенные компоненты, и некоторые компоненты могут представлять собой необязательные компоненты. Соответственно, вариант осуществления, состоящий из поднабора компонентов, описанных в варианте осуществления, также включается в объем настоящего раскрытия сущности. Помимо этого, варианты осуществления, включающие в себя другие компоненты, в дополнение к компонентам, описанным в различных вариантах осуществления, включаются в объем настоящего раскрытия сущности.

[59] Настоящее раскрытие сущности относится к кодированию и декодированию изображения, и термины, используемые в настоящем раскрытии сущности, могут иметь общий смысл, широко используемый в области техники, которой принадлежит настоящее раскрытие сущности, если не задаются впервые в настоящем раскрытии сущности.

[60] В настоящем раскрытии сущности, "кадр", в общем, означает единицу, представляющую одно изображение в конкретный период времени, и срез/плитка представляет собой единицу кодирования, составляющую часть кадра, и один кадр может состоять из одного или более срезов/плиток. Помимо этого, срез/плитка может включать в себя одну или более единиц дерева кодирования (CTU).

[61] В настоящем раскрытии сущности, "пиксел" или "пел" может означать наименьшую единицу, составляющую один кадр (или изображение). Помимо этого, "выборка" может использоваться в качестве термина, соответствующего пикселу. Выборка, в общем, может представлять пиксел или значение пиксела и может представлять только пиксел/пиксельное значение компонента сигнала яркости либо только пиксел/пиксельное значение компонента сигнала цветности.

[62] В настоящем раскрытии сущности, "единица" может представлять базовую единицу обработки изображений. Единица может включать в себя, по меньшей мере, одно из конкретной области кадра и информации, связанной с областью. Единица может использоваться взаимозаменяемо с такими терминами, как "массив выборок", "блок" или "зона" в некоторых случаях. В общем случае, блок MxN может включать в себя выборки (или массивы выборок) либо набор (или массив) коэффициентов преобразования из M столбцов и N строк.

[63] В настоящем раскрытии сущности, "текущий блок" может означать одно из "текущего блока кодирования", "текущей единицы кодирования", "целевого блока кодирования", "целевого блока декодирования" или "целевого блока обработки". Когда предсказание выполняется, "текущий блок" может означать "текущий блок предсказания" или "целевой блок предсказания". Когда преобразование (обратное преобразование)/квантование (деквантование) выполняется, "текущий блок" может означать "текущий блок преобразования" или "целевой блок преобразования". Когда фильтрация выполняется, "текущий блок" может означать "целевой блок фильтрации".

[64] В настоящем раскрытии сущности, термин "/" и "" должен интерпретироваться как указывающий "и/или". Например, выражение "A/B" и "A, B" может означать "A и/или B". Дополнительно, "A/B/C" и "A/B/C" может означать "по меньшей мере, одно из A, B и/или C".

[65] В настоящем раскрытии сущности, термин "или" должен интерпретироваться как указывающий "и/или". Например, выражение "A или B" может содержать 1) только "A", 2) только "B" и/или 3) "как A, так и B". Другими словами, в настоящем раскрытии сущности, термин "или" должен интерпретироваться как указывающий "дополнительно или альтернативно".

[66] Общее представление системы кодирования видео

[67] Фиг. 1 является видом, показывающим систему кодирования видео согласно настоящему раскрытию сущности.

[68] Система кодирования видео согласно варианту осуществления может включать в себя оборудование 10 кодирования и оборудование 20 декодирования. Оборудование 10 кодирования может доставлять кодированную информацию или данные видео и/или изображений в оборудование 20 декодирования в форме файла или потоковой передачи через цифровой носитель хранения данных или сеть.

[69] Оборудование 10 кодирования согласно варианту осуществления может включать в себя формирователь 11 видеоисточников, модуль 12 кодирования и передатчик 13. Оборудование 20 декодирования согласно варианту осуществления может включать в себя приемник 21, модуль 22 декодирования и модуль 23 рендеринга. Модуль 12 кодирования может называться "модулем кодирования видео/изображений", и модуль 22 декодирования может называться "модулем декодирования видео/изображений". Передатчик 13 может включаться в модуль 12 кодирования. Приемник 21 может включаться в модуль 22 декодирования. Модуль 23 рендеринга может включать в себя дисплей, и дисплей может быть сконфигурирован как отдельное устройство или внешний компонент.

[70] Формирователь 11 видеоисточников может получать видео/изображение через процесс захвата, синтезирования или формирования видео/изображения. Формирователь 11 видеоисточников может включать в себя устройство захвата видео/изображений и/или устройство формирования видео/изображений. Устройство захвата видео/изображений может включать в себя, например, одну или более камер, архивы видео/изображений, включающие в себя ранее захваченные видео/изображения, и т.п. Устройство формирования видео/изображений может включать в себя, например, компьютеры, планшетные компьютеры и смартфоны и может (электронно) формировать видео/изображения. Например, виртуальное видео/изображение может формироваться через компьютер и т.п. В этом случае, процесс захвата видео/изображений может заменяться посредством процесса формирования связанных данных.

[71] Модуль 12 кодирования может кодировать входное видео/изображение. Модуль 12 кодирования может выполнять последовательность процедур, таких как предсказание, преобразование и квантование, для эффективности сжатия и кодирования. Модуль 12 кодирования может выводить кодированные данные (кодированную информацию видео/изображений) в форме потока битов.

[72] Передатчик 13 может передавать кодированную информацию или данные видео/изображений, выводимую в форме потока битов, в приемник 21 оборудования 20 декодирования через цифровой носитель хранения данных или сеть в форме файла или потоковой передачи. Цифровой носитель хранения данных может включать в себя различные носители хранения данных, такие как, USB, SD, CD, DVD, Blu-Ray, HDD, SSD и т.п. Передатчик 13 может включать в себя элемент для формирования мультимедийного файла через предварительно определенный формат файлов и может включать в себя элемент для передачи через широковещательную сеть/сеть связи. Приемник 21 может извлекать/принимать поток битов из носителя хранения данных или сети и передавать поток битов в модуль 22 декодирования.

[73] Модуль 22 декодирования может декодировать видео/изображение посредством выполнения последовательности процедур, таких как деквантование, обратное преобразование и предсказание, соответствующих работе модуля 12 кодирования.

[74] Модуль 23 рендеринга может подготавливать посредством рендеринга декодированное видео/изображение. Подготовленное посредством рендеринга видео/изображение может отображаться через дисплей.

[75] Общее представление оборудования кодирования изображений

[76] Фиг. 2 является видом, схематично показывающим оборудование кодирования изображений, к которому является применимым вариант осуществления настоящего раскрытия сущности.

[77] Как показано на фиг. 2, оборудование 100 кодирования изображений может включать в себя модуль 110 сегментации изображений, вычитатель 115, преобразователь 120, квантователь 130, деквантователь 140, обратный преобразователь 150, сумматор 155, фильтр 160, запоминающее устройство 170, модуль 180 взаимного предсказания, модуль 185 внутреннего предсказания и энтропийный кодер 190. Модуль 180 взаимного предсказания и модуль 185 внутреннего предсказания могут совместно называться "модулем предсказания". Преобразователь 120, квантователь 130, деквантователь 140 и обратный преобразователь 150 могут включаться в остаточный процессор. Остаточный процессор дополнительно может включать в себя вычитатель 115.

[78] Все или, по меньшей мере, часть из множества компонентов, конфигурирующих оборудование 100 кодирования изображений, могут быть сконфигурированы посредством одного аппаратного компонента (например, кодера или процессора) в некоторых вариантах осуществления. Помимо этого, запоминающее устройство 170 может включать в себя буфер декодированных кадров (DPB) и может быть сконфигурировано посредством цифрового носителя хранения данных.

[79] Модуль 110 сегментации изображений может сегментировать входное изображение (либо кадр или кинокадр), вводимое в оборудование 100 кодирования изображений, на одну более единиц обработки. Например, единица обработки может называться "единицей кодирования (CU)". Единица кодирования может получаться посредством рекурсивной сегментации единицы дерева кодирования (CTU) или наибольшей единицы кодирования (LCU) согласно структуре в виде дерева квадрантов, двоичного дерева и троичного дерева (QT/BT/TT). Например, одна единица кодирования может сегментироваться на множество единиц кодирования большей глубины на основе структуры в виде дерева квадрантов, структуры в виде двоичного дерева и/или троичной структуры. Для сегментации единицы кодирования, сначала может применяться структура в виде дерева квадрантов, и впоследствии может применяться структура в виде двоичного дерева и/или троичная структура. Процедура кодирования согласно настоящему раскрытию сущности может выполняться на основе конечной единицы кодирования, которая более не сегментируется. Наибольшая единица кодирования может использоваться в качестве конечной единицы кодирования, или единица кодирования большей глубины, полученной посредством сегментации наибольшей единицы кодирования, может использоваться в качестве конечной единицы кодирования. Здесь, процедура кодирования может включать в себя процедуру предсказания, преобразования и восстановления, которая описывается ниже. В качестве другого примера, единица обработки процедуры кодирования может представлять собой единицу предсказания (PU) или единицу преобразования (TU). Единица предсказания и единица преобразования могут разбиваться или сегментироваться из конечной единицы кодирования. Единица предсказания может представлять собой единицу выборочного предсказания, и единица преобразования может представлять собой единицу для извлечения коэффициента преобразования и/или единицу для извлечения остаточного сигнала из коэффициента преобразования.

[80] Модуль предсказания (модуль 180 взаимного предсказания или модуль 185 внутреннего предсказания) может выполнять предсказание относительно блока, который должен обрабатываться (текущего блока), и формировать предсказанный блок, включающий в себя выборки предсказания для текущего блока. Модуль предсказания может определять то, применяется внутреннее предсказание или взаимное предсказание, на основе текущего блока или CU. Модуль предсказания может формировать различную информацию, связанную с предсказанием текущего блока, и передавать сформированную информацию в энтропийный кодер 190. Информация относительно предсказания может кодироваться в энтропийном кодере 190 и выводиться в форме потока битов.

[81] Модуль 185 внутреннего предсказания может предсказывать текущий блок посредством ссылки на выборки в текущем кадре. Выборки для ссылки могут быть расположены в окружении текущего блока или могут быть расположены с разнесением согласно режиму внутреннего предсказания и/или технологии внутреннего предсказания. Режимы внутреннего предсказания могут включать в себя множество ненаправленных режимов и множество направленных режимов. Ненаправленный режим может включать в себя, например, DC-режим и планарный режим. Направленный режим может включать в себя, например, 33 режима направленного предсказания или 65 режимов направленного предсказания согласно степени детальности направления предсказания. Тем не менее, это представляет собой просто пример, большее или меньшее число режимов направленного предсказания может использоваться в зависимости от настройки. Модуль 185 внутреннего предсказания может определять режим предсказания, применяемый к текущему блоку, посредством использования режима предсказания, применяемого к соседнему блоку.

[82] Модуль 180 взаимного предсказания может извлекать блок предсказания для текущего блока на основе опорного блока (массива опорных выборок), указываемого посредством вектора движения для опорного кадра. В этом случае, чтобы уменьшать объем информации движения, передаваемой в режиме взаимного предсказания, информация движения может предсказываться в единицах блоков, субблоков или выборок на основе корреляции информации движения между соседним блоком и текущим блоком. Информация движения может включать в себя вектор движения и индекс опорного кадра. Информация движения дополнительно может включать в себя информацию направления взаимного предсказания (L0-предсказание, L1-предсказание или бипредсказание и т.д.). В случае взаимного предсказания, соседний блок может включать в себя пространственный соседний блок, присутствующий в текущем кадре, и временной соседний блок, присутствующий в опорном кадре. Опорный кадр, включающий в себя опорный блок, и опорный кадр, включающий в себя временной соседний блок, могут быть идентичными или отличающимися. Временной соседний блок может называться "совместно размещенным опорным блоком", "совместно размещенной CU (colCU)" и т.п. Опорный кадр, включающий в себя временной соседний блок, может называться "совместно размещенным кадром (colPic)". Например, модуль 180 взаимного предсказания может конфигурировать список возможных вариантов информации движения на основе соседних блоков и формировать информацию, указывающую то, какой возможный вариант используется для того, чтобы извлекать вектор движения и/или индекс опорного кадра текущего блока. Взаимное предсказание может выполняться на основе различных режимов предсказания. Например, в случае режима пропуска и режима объединения, модуль 180 взаимного предсказания может использовать информацию движения соседнего блока в качестве информации движения текущего блока. В случае режима пропуска, в отличие от режима объединения, остаточный сигнал может не передаваться. В случае режима предсказания векторов движения (MVP), вектор движения соседнего блока может использоваться в качестве предиктора вектора движения, и вектор движения текущего блока может передаваться в служебных сигналах посредством кодирования разности векторов движения и индикатора для предиктора вектора движения. Разность векторов движения может означать разность между вектором движения текущего блока и предиктором вектора движения.

[83] Модуль предсказания может формировать сигнал предсказания на основе различных способов предсказания и технологий предсказания, описанных ниже. Например, модуль предсказания может не только применять внутреннее предсказание или взаимное предсказание, но также и одновременно применять как внутреннее предсказание, так и взаимное предсказание, чтобы предсказывать текущий блок. Способ предсказания с одновременным применением как внутреннего предсказания, так и взаимного предсказания для предсказания текущего блока может называться "комбинированным взаимным и внутренним предсказанием (CIIP)". Помимо этого, модуль предсказания может выполнять внутриблочное копирование (IBC) для предсказания текущего блока. Внутриблочное копирование может использоваться для кодирования изображений/видео контента игры и т.п., например, для кодирования экранного контента (SCC). IBC представляет собой способ предсказания текущего кадра с использованием ранее восстановленного опорного блока в текущем кадре в местоположении, разнесенном от текущего блока на предварительно определенное расстояние. Когда IBC применяется, местоположение опорного блока в текущем кадре может кодироваться как вектор (блочный вектор), соответствующий предварительно определенному расстоянию.

[84] Сигнал предсказания, сформированный посредством модуля предсказания, может использоваться для того, чтобы формировать восстановленный сигнал или формировать остаточный сигнал. Вычитатель 115 может формировать остаточный сигнал (остаточный блок или массив остаточных выборок) посредством вычитания сигнала предсказания (блока предсказания или массива выборок предсказания), выводимого из модуля предсказания, из сигнала входного изображения (исходного блока или массива исходных выборок). Сформированный остаточный сигнал может передаваться в преобразователь 120.

[85] Преобразователь 120 может формировать коэффициенты преобразования посредством применения технологии преобразования к остаточному сигналу. Например, технология преобразования может включать в себя, по меньшей мере, одно из дискретного косинусного преобразования (DCT), дискретного синусного преобразования (DST), преобразования Карунена-Лоэва (KLT), преобразования на основе графа (GBT) или условно нелинейного преобразования (CNT). Здесь, GBT означает преобразование, полученное из графа, когда информация взаимосвязи между пикселами представляется посредством графа. CNT означает преобразование, полученное на основе сигнала предсказания, сформированного с использованием всех ранее восстановленных пикселов. Помимо этого, процесс преобразования может применяться к квадратным пиксельным блокам, имеющим идентичный размер, или может применяться к блокам, имеющим переменный размер, а не к квадратным.

[86] Квантователь 130 может квантовать коэффициенты преобразования и передавать их в энтропийный кодер 190. Энтропийный кодер 190 может кодировать квантованный сигнал (информацию относительно квантованных коэффициентов преобразования) и выводить поток битов. Информация относительно квантованных коэффициентов преобразования может называться "остаточной информацией". Квантователь 130 может перекомпоновывать квантованные коэффициенты преобразования в блочной форме в одномерную векторную форму на основе порядка сканирования коэффициентов и формировать информацию относительно квантованных коэффициентов преобразования на основе квантованных коэффициентов преобразования в одномерной векторной форме.

[87] Энтропийный кодер 190 может осуществлять различные способы кодирования, такие как, например, кодирование экспоненциальным кодом Голомба, контекстно-адаптивное кодирование переменной длины (CAVLC), контекстно-адаптивное двоичное арифметическое кодирование (CABAC) и т.п. Энтропийный кодер 190 может кодировать информацию, необходимую для восстановления видео/изображений, отличную от квантованных коэффициентов преобразования (например, значений синтаксических элементов и т.д.), вместе или отдельно. Кодированная информация (например, кодированная информация видео/изображений) может передаваться или сохраняться в единицах слоев абстрагирования от сети (NAL) в форме потока битов. Информация видео/изображений дополнительно может включать в себя информацию относительно различных наборов параметров, таких как набор параметров адаптации (APS), набор параметров кадра (PPS), набор параметров последовательности (SPS) или набор параметров видео (VPS). Помимо этого, информация видео/изображений дополнительно может включать в себя общую информацию ограничений. Передаваемая в служебных сигналах информация, передаваемая информация и/или синтаксические элементы, описанные в настоящем раскрытии сущности, могут кодироваться через вышеописанную процедуру кодирования и включаться в поток битов.

[88] Поток битов может передаваться по сети или может сохраняться на цифровом носителе хранения данных. Сеть может включать в себя широковещательную сеть и/или сеть связи, и цифровой носитель хранения данных может включать в себя различные носители хранения данных, такие как, USB, SD, CD, DVD, Blu-Ray, HDD, SSD и т.п. Передатчик (не показан), передающий сигнал, выводимый из энтропийного кодера 190, и/или модуль хранения (не показан), сохраняющий сигнал, могут включаться в качестве внутреннего/внешнего элемента оборудования 100 кодирования, и альтернативно, передатчик может включаться в энтропийный кодер 190.

[89] Квантованные коэффициенты преобразования, выводимые из квантователя 130, могут использоваться для того, чтобы формировать остаточный сигнал. Например, остаточный сигнал (остаточный блок или остаточные выборки) может восстанавливаться посредством применения деквантования и обратного преобразования к квантованным коэффициентам преобразования через деквантователь 140 и обратный преобразователь 150.

[90] Сумматор 155 суммирует восстановленный остаточный сигнал с сигналом предсказания, выводимым из модуля 180 взаимного предсказания или модуля 185 внутреннего предсказания, с тем чтобы формировать восстановленный сигнал (восстановленный кадр, восстановленный блок, массив восстановленных выборок). Если отсутствует остаток для блока, который должен обрабатываться, к примеру, в случае, в котором режим пропуска применяется, блок предсказания может использоваться в качестве восстановленного блока. Сумматор 155 может называться "модулем восстановления" или "формирователем восстановленных блоков". Сформированный восстановленный сигнал может использоваться для внутреннего предсказания следующего блока, который должен обрабатываться в текущем кадре, и может использоваться для взаимного предсказания следующего кадра посредством фильтрации, как описано ниже.

[91] Между тем, как описано ниже, преобразование сигнала яркости с масштабированием сигнала цветности (MCS) является применимым в процессе кодирования кадров.

[92] Фильтр 160 может повышать субъективное/объективное качество изображений посредством применения фильтрации к восстановленному сигналу. Например, фильтр 160 может формировать модифицированный восстановленный кадр посредством применения различных способов фильтрации к восстановленному кадру и сохранять модифицированный восстановленный кадр в запоминающем устройстве 170, а именно, в DPB запоминающего устройства 170. Различные способы фильтрации могут включать в себя, например, фильтрацию для удаления блочности, дискретизированное адаптивное смещение, адаптивный контурный фильтр, билатеральный фильтр и т.п. Фильтр 160 может формировать различную информацию, связанную с фильтрацией, и передавать сформированную информацию в энтропийный кодер 190, как описано ниже в описании каждого способа фильтрации. Информация, связанная с фильтрацией, может кодироваться посредством энтропийного кодера 190 и выводиться в форме потока битов.

[93] Модифицированный восстановленный кадр, передаваемый в запоминающее устройство 170, может использоваться в качестве опорного кадра в модуле 180 взаимного предсказания. Когда взаимное предсказание применяется через оборудование 100 кодирования изображений, рассогласование предсказания между оборудованием 100 кодирования изображений и оборудованием декодирования изображений может исключаться, и эффективность кодирования может повышаться.

[94] DPB запоминающего устройства 170 может сохранять модифицированный восстановленный кадр для использования в качестве опорного кадра в модуле 180 взаимного предсказания. Запоминающее устройство 170 может сохранять информацию движения блока, из которой информация движения в текущем кадре извлекается (или кодируется), и/или информацию движения блоков в кадре, которые уже восстановлены. Сохраненная информация движения может передаваться в модуль 180 взаимного предсказания и использоваться в качестве информации движения пространственного соседнего блока или информации движения временного соседнего блока. Запоминающее устройство 170 может сохранять восстановленные выборки восстановленных блоков в текущем кадре и может передавать восстановленные выборки в модуль 185 внутреннего предсказания.

[95] Общее представление оборудования декодирования изображений

[96] Фиг. 3 является видом, схематично показывающим оборудование декодирования изображений, к которому является применимым вариант осуществления настоящего раскрытия сущности.

[97] Как показано на фиг. 3, оборудование 200 декодирования изображений может включать в себя энтропийный декодер 210, деквантователь 220, обратный преобразователь 230, сумматор 235, фильтр 240, запоминающее устройство 250, модуль 260 взаимного предсказания и модуль 265 внутреннего предсказания. Модуль 260 взаимного предсказания и модуль 265 внутреннего предсказания могут совместно называться "модулем предсказания". Деквантователь 220 и обратный преобразователь 230 могут включаться в остаточный процессор.

[98] Все или, по меньшей мере, часть из множества компонентов, конфигурирующих оборудование 200 декодирования изображений, могут быть сконфигурированы посредством аппаратного компонента (например, декодера или процессора) согласно варианту осуществления. Помимо этого, запоминающее устройство 250 может включать в себя буфер декодированных кадров (DPB) или может быть сконфигурировано посредством цифрового носителя хранения данных.

[99] Оборудование 200 декодирования изображений, которое принимает поток битов, включающий в себя информацию видео/изображений, может восстанавливать изображение посредством выполнения процесса, соответствующего процессу, выполняемому посредством оборудования 100 кодирования изображений по фиг. 2. Например, оборудование 200 декодирования изображений может выполнять декодирование с использованием единицы обработки, применяемой в оборудовании кодирования изображений. Таким образом, единица обработки декодирования, например, может представлять собой единицу кодирования. Единица кодирования может получаться посредством сегментации единицы дерева кодирования или наибольшей единицы кодирования. Восстановленный сигнал изображения, декодированный и выводимый посредством оборудования 200 декодирования, может воспроизводиться посредством оборудования воспроизведения.

[100] Оборудование 200 декодирования изображений может принимать сигнал, выводимый из оборудования кодирования изображений по фиг. 2 в форме потока битов. Принимаемый сигнал может декодироваться через энтропийный декодер 210. Например, энтропийный декодер 210 может синтаксически анализировать поток битов, чтобы извлекать информацию (например, информацию видео/изображений), необходимую для восстановления изображений (или восстановления кадров). Информация видео/изображений дополнительно может включать в себя информацию относительно различных наборов параметров, таких как набор параметров адаптации (APS), набор параметров кадра (PPS), набор параметров последовательности (SPS) или набор параметров видео (VPS). Помимо этого, информация видео/изображений дополнительно может включать в себя общую информацию ограничений. Оборудование декодирования изображений дополнительно может декодировать кадр на основе информации относительно набора параметров и/или общей информации ограничений. Передаваемая в служебных сигналах/принимаемая информация и/или синтаксические элементы, описанные в настоящем раскрытии сущности, могут декодироваться посредством процедуры декодирования и получаться из потока битов. Например, энтропийный декодер 210 декодирует информацию в потоке битов на основе способа кодирования, такого как кодирование экспоненциальным кодом Голомба, CAVLC или CABAC, и выходных значений синтаксических элементов, требуемых для восстановления изображений, и квантованных значений коэффициентов преобразования для остатка. Более конкретно, способ энтропийного CABAC-декодирования может принимать элемент разрешения, соответствующий каждому синтаксическому элементу в потоке битов, определять контекстную модель с использованием информации целевого синтаксического элемента декодирования, информации декодирования соседнего блока и целевого блока декодирования или информации символа/элемента разрешения, декодированного на предыдущей стадии, и выполнять арифметическое декодирование для элемента разрешения посредством предсказания вероятности появления элемента разрешения согласно определенной контекстной модели и формировать символ, соответствующий значению каждого синтаксического элемента. В этом случае, способ энтропийного CABAC-декодирования может обновлять контекстную модель посредством использования информации декодированного символа/элемента разрешения для контекстной модели следующего символа/элемента разрешения после определения контекстной модели. Информация, связанная с предсказанием, из информации, декодированной посредством энтропийного декодера 210, может предоставляться в модуль предсказания (модуль 260 взаимного предсказания и модуль 265 внутреннего предсказания), и остаточное значение, для которого энтропийное декодирование выполнено в энтропийном декодере 210, т.е. квантованные коэффициенты преобразования и связанная информация параметров, может вводиться в деквантователь 220. Помимо этого, информация относительно фильтрации из информации, декодированной посредством энтропийного декодера 210, может предоставляться в фильтр 240. Между тем, приемник (не показан) для приема сигнала, выводимого из оборудования кодирования изображений, может быть дополнительно сконфигурирован в качестве внутреннего/внешнего элемента оборудования 200 декодирования изображений, или приемник может представлять собой компонент энтропийного декодера 210.

[101] Между тем, оборудование декодирования изображений согласно настоящему раскрытию сущности может называться "оборудованием декодирования видео/изображений/кадров". Оборудование декодирования изображений может классифицироваться на информационный декодер (декодер информации видео/изображений/кадров) и выборочный декодер (декодер выборок видео/изображений/кадров). Информационный декодер может включать в себя энтропийный декодер 210. Выборочный декодер может включать в себя, по меньшей мере, одно из деквантователя 220, обратного преобразователя 230, сумматора 235, фильтра 240, запоминающего устройства 250, модуля 160 взаимного предсказания или модуля 265 внутреннего предсказания.

[102] Деквантователь 220 может деквантовать квантованные коэффициенты преобразования и выводить коэффициенты преобразования. Деквантователь 220 может перекомпоновывать квантованные коэффициенты преобразования в форме двумерного блока. В этом случае, перекомпоновка может выполняться на основе порядка сканирования коэффициентов, выполняемого в оборудовании кодирования изображений. Деквантователь 220 может выполнять деквантование для квантованных коэффициентов преобразования посредством использования параметра квантования (например, информации размера шага квантования) и получать коэффициенты преобразования.

[103] Обратный преобразователь 230 может обратно преобразовывать коэффициенты преобразования, чтобы получать остаточный сигнал (остаточный блок, массив остаточных выборок).

[104] Модуль 230 предсказания может выполнять предсказание для текущего блока и может формировать блок предсказания, включающий в себя выборки предсказания для текущего блока. Модуль предсказания может определять то, применяется внутреннее предсказание или взаимное предсказание к текущему блоку, на основе информации относительно предсказания, выводимой из энтропийного декодера 210, и может определять конкретный режим внутреннего/взаимного предсказания (технологию предсказания).

[105] Идентично тому, что описано в модуле предсказания оборудования 100 кодирования изображений, модуль предсказания может формировать сигнал предсказания на основе различных способов (технологий) предсказания, которые описываются ниже.

[106] Модуль 265 внутреннего предсказания может предсказывать текущий блок посредством ссылки на выборки в текущем кадре. Описание модуля 185 внутреннего предсказания в равной степени применяется к модулю 265 внутреннего предсказания.

[107] Модуль 260 взаимного предсказания может извлекать блок предсказания для текущего блока на основе опорного блока (массива опорных выборок), указываемого посредством вектора движения для опорного кадра. В этом случае, чтобы уменьшать объем информации движения, передаваемой в режиме взаимного предсказания, информация движения может предсказываться в единицах блоков, субблоков или выборок на основе корреляции информации движения между соседним блоком и текущим блоком. Информация движения может включать в себя вектор движения и индекс опорного кадра. Информация движения дополнительно может включать в себя информацию направления взаимного предсказания (L0-предсказание, L1-предсказание или бипредсказание и т.д.). В случае взаимного предсказания, соседний блок может включать в себя пространственный соседний блок, присутствующий в текущем кадре, и временной соседний блок, присутствующий в опорном кадре. Например, модуль 260 взаимного предсказания может конфигурировать список возможных вариантов информации движения на основе соседних блоков и извлекать вектор движения текущего блока и/или индекс опорного кадра на основе принимаемой информации выбора возможных вариантов. Взаимное предсказание может выполняться на основе различных режимов предсказания, и информация относительно предсказания может включать в себя информацию, указывающую режим взаимного предсказания для текущего блока.

[108] Сумматор 235 может формировать восстановленный сигнал (восстановленный кадр, восстановленный блок, массив восстановленных выборок) посредством суммирования полученного остаточного сигнала с сигналом предсказания (блоком предсказания, массивом выборок предсказания), выводимым из модуля предсказания (включающего в себя модуль 260 взаимного предсказания и/или модуль 265 внутреннего предсказания). Описание сумматора 155 является в равной степени применимым к сумматору 235.

[109] Между тем, как описано ниже, преобразование сигнала яркости с масштабированием сигнала цветности (MCS) является применимым в процессе декодирования кадров.

[110] Фильтр 240 может повышать субъективное/объективное качество изображений посредством применения фильтрации к восстановленному сигналу. Например, фильтр 240 может формировать модифицированный восстановленный кадр посредством применения различных способов фильтрации к восстановленному кадру и сохранять модифицированный восстановленный кадр в запоминающем устройстве 250, а именно, в DPB запоминающего устройства 250. Различные способы фильтрации могут включать в себя, например, фильтрацию для удаления блочности, дискретизированное адаптивное смещение, адаптивный контурный фильтр, билатеральный фильтр и т.п.

[111] (Модифицированный) восстановленный кадр, сохраненный в DPB запоминающего устройства 250, может использоваться в качестве опорного кадра в модуле 260 взаимного предсказания. Запоминающее устройство 250 может сохранять информацию движения блока, из которой информация движения в текущем кадре извлекается (или декодируется), и/или информацию движения блоков в кадре, которые уже восстановлены. Сохраненная информация движения может передаваться в модуль 260 взаимного предсказания, так что она используется в качестве информации движения пространственного соседнего блока или информации движения временного соседнего блока. Запоминающее устройство 250 может сохранять восстановленные выборки восстановленных блоков в текущем кадре и передавать восстановленные выборки в модуль 265 внутреннего предсказания.

[112] В настоящем раскрытии сущности, варианты осуществления, описанные в фильтре 160, модуле 180 взаимного предсказания и модуле 185 внутреннего предсказания оборудования 100 кодирования изображений, могут в равной или соответствующей степени применяться к фильтру 240, модулю 260 взаимного предсказания и модулю 265 внутреннего предсказания оборудования 200 декодирования изображений.

[113] Общее представление внутреннего предсказания

[114] В дальнейшем в этом документе описывается внутреннее предсказание согласно варианту осуществления.

[115] Внутреннее предсказание может указывать предсказание, которое формирует выборки предсказания для текущего блока на основе опорных выборок в кадре, которому принадлежит текущий блок (далее называется "текущим кадром"). Когда внутреннее предсказание применяется к текущему блоку, соседние опорные выборки, которые должны использоваться для внутреннего предсказания текущего блока, могут извлекаться. Соседние опорные выборки текущего блока могут включать в себя выборку, смежную с левой границей текущего блока, имеющего размер nWxnH, и сумму 2xnH выборок, смежных с левой нижней частью, выборки, смежной с верхней границей текущего блока, и сумму 2xnW выборок, смежных с правой верхней частью, и одну выборку, смежную с левой верхней частью относительно текущего блока. Альтернативно, соседние опорные выборки текущего блока могут включать в себя множество столбцов верхних соседних выборок и множество строк левых соседних выборок. Помимо этого, соседние опорные выборки текущего блока могут включать в себя сумму nH выборок, смежных с правой границей текущего блока, имеющего размер nWxnH, сумму nW выборок, смежных с нижней границей текущего блока, и одну выборку, смежную с правой нижней относительно текущего блока.

[116] Некоторые соседние опорные выборки текущего блока еще не декодированы или могут не быть доступными. В этом случае, декодер может конструировать соседние опорные выборки, которые должны использоваться для предсказания, посредством подстановки вместо недоступных выборок доступных выборок. Альтернативно, соседние опорные выборки, которые должны использоваться для предсказания, могут конструироваться с использованием интерполяции доступных выборок.

[117] Когда соседние опорные выборки извлекаются, (i) выборка предсказания может извлекаться на основе среднего или интерполяции соседних опорных выборок текущего блока, и (ii) выборка предсказания может извлекаться на основе опорной выборки, присутствующей в конкретном направлении (предсказания) относительно выборки предсказания из соседних опорных выборок текущего блока. Случай (i) может называться "ненаправленным режимом" или "неугловым режимом", и случай (ii) может называться "направленным режимом" или "угловым режимом".

[118] Помимо этого, выборка предсказания может формироваться через интерполяцию с первой соседней выборкой, расположенной в направлении предсказания режима внутреннего предсказания текущего блока, и второй соседней выборкой, расположенной в противоположном направлении на основе целевой выборки предсказания текущего блока из соседних опорных выборок. Вышеописанный случай может называться "внутренним предсказанием с линейной интерполяцией (LIP)".

[119] Помимо этого, выборки предсказания сигналов цветности могут формироваться на основе выборок сигнала яркости с использованием линейной модели. Этот случай может называться "режимом на основе линейной модели (LM)".

[120] Помимо этого, временная выборка предсказания текущего блока может извлекаться на основе фильтрованных соседних опорных выборок, и выборка предсказания текущего блока может извлекаться посредством суммирования со взвешиванием временной выборки предсказания и, по меньшей мере, одной опорной выборки, извлекаемой согласно режиму внутреннего предсказания из существующих соседних опорных выборок, т.е. нефильтрованных соседних опорных выборок. Этот случай может называться "позиционно-зависимым внутренним предсказанием (PDPC)".

[121] Помимо этого, линия опорных выборок с наибольшей точностью предсказания может выбираться из нескольких соседних линий опорных выборок текущего блока, чтобы извлекать выборку предсказания с использованием опорной выборки, расположенной в направлении предсказания в соответствующей линии, и, в это время, информация (например, intra_luma_ref_idx) относительно используемой линии опорных выборок может кодироваться и передаваться в служебных сигналах в потоке битов. Этот случай может называться "внутренним предсказанием на основе множественной опорной линии (MRL)" или "внутренним предсказанием на основе MRL".

[122] Помимо этого, текущий блок может разбиваться на вертикальные или горизонтальные субсегменты, чтобы выполнять внутреннее предсказание относительно каждого субсегмента на основе идентичного режима внутреннего предсказания. В это время, соседние опорные выборки внутреннего предсказания могут извлекаться в единицах субсегментов. Таким образом, восстановленная выборка предыдущего субсегмента в порядке кодирования/декодирования может использоваться в качестве соседней опорной выборки текущего субсегмента. В этом случае, режим внутреннего предсказания для текущего блока идентично применяется к субсегментам, и соседние опорные выборки извлекаются и используются в единицах субсегментов, за счет этого повышая производительность внутреннего предсказания. Такой способ предсказания может называться "внутренним предсказанием на основе внутренних субсегментов (ISP) или на основе ISP".

[123] Технология внутреннего предсказания может называться с помощью различных терминов, таких как "тип внутреннего предсказания" или "дополнительный режим внутреннего предсказания", с тем чтобы отличаться от режима направленного или ненаправленного внутреннего предсказания. Например, технология внутреннего предсказания (тип внутреннего предсказания или дополнительный режим внутреннего предсказания) может включать в себя, по меньшей мере, одно из LIP, LM, PDPC, MRL, ISP или MIP. Между тем, при необходимости, постфильтрация может выполняться относительно извлеченной выборки предсказания.

[124] В частности, процедура внутреннего предсказания может включать в себя этап определения режима/типа внутреннего предсказания, этап извлечения соседней опорной выборки и этап извлечения выборок предсказания на основе режима/типа внутреннего предсказания. Помимо этого, при необходимости, постфильтрация может выполняться относительно извлеченной выборки предсказания.

[125] Фиг. 4 является блок-схемой последовательности операций, иллюстрирующей способ кодирования видео/изображений на основе внутреннего предсказания.

[126] Способ кодирования по фиг. 4 может осуществляться посредством оборудования кодирования изображений по фиг. 2. В частности, этап S410 может выполняться посредством модуля 185 внутреннего предсказания, и этап S420 может выполняться посредством остаточного процессора. В частности, этап S420 может выполняться посредством вычитателя 115. Этап S430 может выполняться посредством энтропийного кодера 190. Информация предсказания этапа S430 может извлекаться посредством модуля 185 внутреннего предсказания, и остаточная информация этапа S430 может извлекаться посредством остаточного процессора. Остаточная информация представляет собой информацию относительно остаточных выборок. Остаточная информация может включать в себя информацию относительно квантованного коэффициента преобразования для остаточных выборок. Как описано выше, остаточные выборки могут извлекаться в качестве коэффициента преобразования через преобразователь 120 оборудования кодирования изображений, и коэффициент преобразования может извлекаться в качестве коэффициентов преобразования, квантованных через квантователь 130. Информация относительно квантованных коэффициентов преобразования может кодироваться посредством энтропийного кодера 190 через процедуру остаточного кодирования.

[127] Оборудование кодирования изображений может выполнять внутреннее предсказание относительно текущего блока (S410). Оборудование кодирования изображений может определять режим/тип внутреннего предсказания для текущего блока, извлекать соседние опорные выборки текущего блока и формировать выборки предсказания в текущем блоке на основе режима/типа внутреннего предсказания и соседних опорных выборок. Здесь, процедуры определения режима/типа внутреннего предсказания, извлечения соседних опорных выборок и формирования выборок предсказания могут одновременно выполняться, или любая процедура может выполняться перед другими процедурами.

[128] Фиг. 5 является видом, иллюстрирующим конфигурацию модуля 185 внутреннего предсказания согласно настоящему раскрытию сущности.

[129] Как показано на фиг. 5, модуль 185 внутреннего предсказания оборудования кодирования изображений может включать в себя модуль 186 определения режима/типа внутреннего предсказания, модуль 187 извлечения опорных выборок и/или модуль 188 извлечения выборок предсказания. Модуль 186 определения режима/типа внутреннего предсказания может определять режим/тип внутреннего предсказания для текущего блока. Модуль 187 извлечения опорных выборок может извлекать соседние опорные выборки текущего блока. Модуль 188 извлечения выборок предсказания может извлекать выборки предсказания текущего блока. Между тем, хотя не показано, когда нижеописанная процедура фильтрации выборок предсказания выполняется, модуль 185 внутреннего предсказания дополнительно может включать в себя фильтр выборок предсказания (не показан).

[130] Оборудование кодирования изображений может определять режим/тип, применяемый к текущему блоку, из множества режимов/типов внутреннего предсказания. Оборудование кодирования изображений может сравнивать функцию затрат на искажение в зависимости от скорости передачи (RD) для режимов/типов внутреннего предсказания и определять оптимальный режим/тип внутреннего предсказания для текущего блока.

[131] Между тем, оборудование кодирования изображений может выполнять процедуру фильтрации выборок предсказания. Фильтрация выборок предсказания может называться "постфильтрацией". Посредством процедуры фильтрации выборок предсказания, некоторые или все выборки предсказания могут фильтроваться. В некоторых случаях, процедура фильтрации выборок предсказания может опускаться.

[132] Ссылаясь на фиг. 4 снова, оборудование кодирования изображений может формировать остаточные выборки для текущего блока на основе выборок предсказания или фильтрованных выборок предсказания (S420). Оборудование кодирования изображений может извлекать остаточные выборки посредством вычитания выборок предсказания из исходных выборок текущего блока. Таким образом, оборудование кодирования изображений может извлекать остаточные выборочные значения посредством вычитания соответствующего выборочного значения предсказания из исходного выборочного значения.

[133] Оборудование кодирования изображений может кодировать информацию изображений, включающую в себя информацию относительно внутреннего предсказания (информацию предсказания) и остаточную информацию остаточных выборок. Информация предсказания может включать в себя информацию режима внутреннего предсказания и/или информацию технологии внутреннего предсказания. Оборудование 100 кодирования изображений может выводить кодированную информацию изображений в форме потока битов. Выходной поток битов может передаваться в оборудование декодирования изображений через носитель хранения данных или сеть.

[134] Остаточная информация может включать в себя синтаксис остаточного кодирования, который описывается ниже. Оборудование кодирования изображений может преобразовывать/квантовать остаточные выборки и извлекать квантованные коэффициенты преобразования. Остаточная информация может включать в себя информацию относительно квантованных коэффициентов преобразования.

[135] Между тем, как описано выше, оборудование кодирования изображений может формировать восстановленный кадр (включающий в себя восстановленные выборки и восстановленный блок). С этой целью, оборудование кодирования изображений может выполнять деквантование/обратное преобразование относительно квантованных коэффициентов преобразования и извлекать (модифицированные) остаточные выборки. Причина преобразования/квантования остаточных выборок и затем выполнения деквантования/обратного преобразования состоит в том, чтобы извлекать остаточные выборки, идентичные остаточным выборкам, извлекаемым посредством оборудования декодирования изображений. Оборудование кодирования изображений может формировать восстановленный блок, включающий в себя восстановленные выборки для текущего блока, на основе выборок предсказания и (модифицированных) остаточных выборок. На основе восстановленного блока, может формироваться восстановленный кадр для текущего кадра. Как описано выше, процедура внутриконтурной фильтрации дополнительно может применяться к восстановленному кадру.

[136] Фиг. 6 является блок-схемой последовательности операций, иллюстрирующей способ декодирования видео/изображений на основе внутреннего предсказания.

[137] Оборудование декодирования изображений может выполнять операцию, соответствующую операции, выполняемой посредством оборудования кодирования изображений.

[138] Способ декодирования по фиг. 6 может осуществляться посредством оборудования декодирования изображений по фиг. 3. Этапы S610-S630 могут выполняться посредством модуля 265 внутреннего предсказания, и информация предсказания этапа S610 и остаточная информация этапа S640 может получаться из потока битов посредством энтропийного декодера 210. Остаточный процессор оборудования декодирования изображений может извлекать остаточные выборки для текущего блока на основе остаточной информации (S640). В частности, деквантователь 220 остаточного процессора может выполнять деквантование на основе деквантованных коэффициентов преобразования, извлекаемых на основе остаточной информации, чтобы извлекать коэффициенты преобразования, и обратный преобразователь 230 остаточного процессора может выполнять обратное преобразование относительно коэффициентов преобразования, чтобы извлекать остаточные выборки для текущего блока. Этап S650 может выполняться посредством сумматора 235 или модуля восстановления.

[139] В частности, оборудование декодирования изображений может извлекать режим/тип внутреннего предсказания для текущего блока на основе принимаемой информации предсказания (информации режима/типа внутреннего предсказания) (S610). Оборудование декодирования изображений может извлекать соседние опорные выборки текущего блока (S620). Оборудование декодирования изображений может формировать выборки предсказания в текущем блоке на основе режима/типа внутреннего предсказания и соседних опорных выборок (S630). В этом случае, оборудование декодирования изображений может выполнять процедуру фильтрации выборок предсказания. Фильтрация выборок предсказания может называться "постфильтрацией". Посредством процедуры фильтрации выборок предсказания, некоторые или все выборки предсказания могут фильтроваться. В некоторых случаях, процедура фильтрации выборок предсказания может опускаться.

[140] Оборудование декодирования изображений может формировать остаточные выборки для текущего блока на основе принимаемой остаточной информации (S640). Оборудование декодирования изображений может формировать восстановленные выборки для текущего блока на основе выборок предсказания и остаточных выборок и извлекать восстановленный блок, включающий в себя восстановленные выборки (S650). На основе восстановленного блока, может формироваться восстановленный кадр для текущего кадра. Процедура внутриконтурной фильтрации дополнительно может применяться к восстановленному кадру, как описано выше.

[141] Фиг. 7 является видом, иллюстрирующим конфигурацию модуля 265 внутреннего предсказания согласно настоящему раскрытию сущности.

[142] Как показано на фиг. 7, модуль 265 внутреннего предсказания оборудования декодирования изображений может включать в себя модуль 266 определения режима/типа внутреннего предсказания, модуль 267 извлечения опорных выборок и модуль 268 извлечения выборок предсказания. Модуль 266 определения режима/типа внутреннего предсказания может определять режим/тип внутреннего предсказания для текущего блока на основе информации режима/типа внутреннего предсказания, сформированной и передаваемой в служебных сигналах посредством модуля 186 определения режима/типа внутреннего предсказания оборудования кодирования изображений, и модуль 267 извлечения опорных выборок может извлекать соседние опорные выборки текущего блока из восстановленной опорной области в текущем кадре. Модуль 268 извлечения выборок предсказания может извлекать выборки предсказания текущего блока. Между тем, хотя не показано, когда вышеописанная процедура фильтрации выборок предсказания выполняется, модуль 265 внутреннего предсказания дополнительно может включать в себя фильтр выборок предсказания (не показан).

[143] Информация режима внутреннего предсказания может включать в себя, например, информацию флага (например, intra_luma_mpm_flag), указывающую то, следует или нет применять наиболее вероятный режим (MPM) или оставшийся режим к текущему блоку, и когда MPM применяется к текущему блоку, информация режима внутреннего предсказания дополнительно может включать в себя информацию индекса (например, intra_luma_mpm_idx), указывающую один из возможных вариантов режимов внутреннего предсказания (возможных MPM-вариантов). Возможные варианты режимов внутреннего предсказания (возможные MPM-варианты) могут состоять из списка возможных MPM-вариантов или MPM-списка. Помимо этого, когда MPM не применяется к текущему блоку, информация режима внутреннего предсказания дополнительно может включать в себя информацию оставшихся режимов (например, intra_luma_mpm_remainder), указывающую один из оставшихся режимов внутреннего предсказания, за исключением возможных вариантов режимов внутреннего предсказания (возможных MPM-вариантов). Оборудование декодирования изображений может определять режим внутреннего предсказания текущего блока на основе информации режима внутреннего предсказания. Возможные варианты MPM-режимов могут включать в себя режимы внутреннего предсказания соседних блоков (например, левого соседнего блока и верхнего соседнего блока) относительного текущего блока и дополнительные возможные варианты режимов.

[144] Фиг. 8a показывает направление внутреннего предсказания согласно варианту осуществления настоящего раскрытия сущности. Чтобы захватывать любое краевое направление, представленное в естественном видео, как показано на фиг. 8a, режим внутреннего предсказания может включать в себя два режима ненаправленного внутреннего предсказания и 65 режимов направленного внутреннего предсказания. Режимы ненаправленного внутреннего предсказания могут включать в себя режим планарного внутреннего предсказания (планарный режим) и режим внутреннего DC-предсказания (DC-режим), и режимы направленного внутреннего предсказания могут включать в себя второй - 66-ой режимы внутреннего предсказания.

[145] Между тем, режим внутреннего предсказания дополнительно может включать в себя режим на основе кросскомпонентной линейной модели (CCLM) для выборок сигнала цветности в дополнение к вышеописанным режимам внутреннего предсказания. CCLM-режим может разбиваться на L_CCLM, T_CCLM, LT_CCLM согласно тому, рассматриваются или нет левые выборки, верхние выборки либо и те, и другие для извлечения LM-параметра, и может применяться только к компоненту сигнала цветности.

[146] Например, режим внутреннего предсказания, например, может индексироваться так, как показано в нижеприведенной таблице.

[147] Табл. 1

Режим внутреннего предсказания Ассоциированное название 0 INTRA_PLANAR 1 INTRA_DC 2...66 INTRA_ANGULAR2...INTRA_ANGULAR66 81...83 INTRA_LT_CCLM, INTRA_L_CCLM, INTRA_T_CCLM

[148] Фиг. 8b показывает направление внутреннего предсказания согласно другому варианту осуществления настоящего раскрытия сущности. На фиг. 8b, направление по пунктирной линии показывает широкоугольный режим, применяемый только к неквадратному блоку. Как показано на фиг. 8b, чтобы захватывать любое краевое направление, представленное в естественном видео, режим внутреннего предсказания согласно варианту осуществления может включать в себя два режима ненаправленного внутреннего предсказания и 93 режима направленного внутреннего предсказания. Режимы ненаправленного внутреннего предсказания могут включать в себя планарный режим и DC-режим, и режимы направленного внутреннего предсказания могут включать в себя второй - 80-ый и -1-ый - -14-ый режимы внутреннего предсказания, как обозначено посредством стрелки по фиг. 8b. Планарный режим может обозначаться посредством INTRA_PLANAR, и DC-режим может обозначаться посредством INTRA_DC. Помимо этого, режим направленного внутреннего предсказания может обозначаться посредством INTRA_ANGULAR-14 - INTRA_ANGULAR-1 и INTRA_ANGULAR2 - INTRA_ANGULAR80. Помимо этого, информация технологии внутреннего предсказания может реализовываться в различных формах. Например, информация технологии внутреннего предсказания может включать в себя информацию индекса типа внутреннего предсказания, указывающую одну из технологий внутреннего предсказания. В качестве другого примера, информация технологии внутреннего предсказания может включать в себя, по меньшей мере, одно из информации линии опорных выборок (например, intra_luma_ref_idx), указывающей то, следует или нет применять MRL к текущему блоку, и если применяется, то, какая линия опорных выборок используется, информации ISP-флага (например, intra_subpartitions_mode_flag), указывающей то, следует или нет применять ISP к текущему блоку, информации ISP-типа (например, intra_subpartitions_split_flag)), указывающей тип разбиения субсегментов при применении ISP, информации флага, указывающей то, следует или нет применять PDPC, либо информации флага, указывающей то, следует или нет применять LIP. В настоящем раскрытии сущности, информация ISP-флага может называться "индикатором ISP-применения".

[149] Информация режима внутреннего предсказания и/или информация технологии внутреннего предсказания могут кодироваться/декодироваться через способ кодирования, описанный в настоящем раскрытии сущности. Например, информация режима внутреннего предсказания и/или информация технологии внутреннего предсказания могут кодироваться/декодироваться посредством энтропийного кодирования (например, CABAC, CAVLC) на основе усеченного двоичного кода (Райса).

[150] До определения того, следует или нет применять предварительно определенную технологию внутреннего предсказания к текущему блоку, может сначала определяться то, доступна или нет соответствующая технология внутреннего предсказания для текущего блока. Например, то, доступна или нет соответствующая технология внутреннего предсказания для текущего блока, может определяться на основе параметров кодирования текущего блока. В этом случае, параметры кодирования могут включать в себя размер (ширину и/или высоту) текущего блока, позицию текущего блока, цветовой компонент текущего блока, либо то, следует применять или нет другую технологию внутреннего предсказания.

[151] Помимо этого, определение в отношении того, доступна или нет соответствующая технология внутреннего предсказания для текущего блока, может выполняться на основе информации, передаваемой в служебных сигналах на верхнем уровне текущего блока, такого как последовательность, кадр, срез и CTU. Например, когда информация, передаваемая на уровне последовательности, указывает то, что предварительно определенная технология внутреннего предсказания не доступна, может определяться то, что соответствующая технология внутреннего предсказания не доступна для блоков, принадлежащих соответствующей последовательности.

[152] При определении того, что предварительно определенная технология внутреннего предсказания доступна для текущего блока, оборудование кодирования изображений может определять то, следует или нет применять соответствующую технологию внутреннего предсказания к текущему блоку, с использованием различных способов. Например, оборудование кодирования изображений может определять то, следует или нет применять соответствующую технологию внутреннего предсказания, на основе RDO.

[153] Оборудование кодирования изображений может кодировать и передавать в служебных сигналах информацию технологии внутреннего предсказания в потоке битов. Информация технологии внутреннего предсказания может кодироваться согласно соответствующей технологии внутреннего предсказания в различных формах. Например, когда технология внутреннего предсказания представляет собой MRL, информация технологии внутреннего предсказания может представлять собой индекс (например, intra_luma_ref_idx), указывающий опорную линию, используемую для предсказания текущего блока, из нескольких опорных линий. Когда технология внутреннего предсказания представляет собой ISP, информация технологии внутреннего предсказания может представлять собой информацию флага (например, intra_subpartitions_mode_flag), указывающую то, следует применять или нет ISP к текущему блоку. Помимо этого, при применении ISP, информация технологии внутреннего предсказания дополнительно может включать в себя информацию (например, intra_subpartitions_split_flag) относительно направления разбиения. Помимо этого, информация технологии внутреннего предсказания может включать в себя информацию флага, указывающую то, следует или нет применять PDPC, информацию флага, указывающую то, следует или нет применять LIP, или информацию флага, указывающую то, следует или нет применять LM-режим.

[154] В случае если определяется то, что предварительно определенная технология внутреннего предсказания доступна для текущего блока, оборудование декодирования изображений может определять то, следует или нет применять соответствующую технологию внутреннего предсказания к текущему блоку, на основе передаваемой в служебных сигналах информации технологии внутреннего предсказания.

[155] В качестве другого примера, то, следует или нет применять предварительно определенную технологию внутреннего предсказания к текущему блоку, может неявно извлекаться посредством оборудования кодирования изображений и оборудования декодирования изображений на основе параметров кодирования для текущего блока, в дополнение к явно передаваемой в служебных сигналах информации технологии внутреннего предсказания. В этом случае, параметр кодирования может включать в себя размер (ширину и/или высоту) текущего блока, позицию текущего блока, цветовой компонент текущего блока, либо то, следует применять или нет другую технологию внутреннего предсказания.

[156] В дальнейшем в этом документе подробно описывается ISP-режим согласно настоящему раскрытию сущности.

[157] Текущий блок может включать в себя блок (массив) компонентов сигнала яркости и блок (массив) компонентов сигнала цветности, соответствующий ему. В настоящем раскрытии сущности, "текущий блок" или "блок компонентов сигнала яркости" может означать "блок компонентов сигнала яркости текущего блока", и "блок компонентов сигнала цветности" либо "соответствующий блок компонентов сигнала цветности" может означать "блок компонентов сигнала цветности текущего блока". Помимо этого, "блок компонентов сигнала яркости" может называться с помощью термина "блок сигналов яркости", "блок компонентов яркости" или "блок яркости", и "блок компонентов сигнала цветности" может называться с помощью термина "блок сигналов цветности", "блок компонентов цветности" или "блок цветности".

[158] При традиционном внутреннем предсказании, текущий целевой блок кодирования/декодирования (текущий блок) рассматривается в качестве одной единицы, и в силу этого кодирование/декодирование выполняется без разбиения. Тем не менее, при применении ISP-режима, текущий блок разбивается в горизонтальном или вертикальном направлении, чтобы выполнять внутреннее предсказывающее кодирование/декодирование. В этом случае, кодирование/декодирование выполняется в единицах разбитых субсегментов, чтобы формировать восстановленный субсегмент, и восстановленный субсегмент используется в качестве опорного блока следующего разбитого субсегмента.

[159] То, доступен или нет ISP для текущего блока, может определяться на основе следующих условий таблицы 2. Следующие условия могут определяться на основе блока компонентов сигнала яркости текущего блока. Таким образом, в следующих условиях, ширина, высота и позиция текущего блока могут означать ширину, высоту и позицию блока компонентов сигнала яркости текущего блока, соответственно.

[160] Табл. 2

Условия ISP-доступности
intra_luma_ref_idx[x0][y0]==0
cbWidth<=MaxTbSizeY || cbHeight<=MaxTbSizeY
cbWidth*cbHeight>MinTbSizeY*MinTbSizeY

[161] Например, когда все вышеуказанные условия для текущего блока удовлетворяются, может определяться то, что ISP доступен для текущего блока. После определения того, что ISP доступен для текущего блока, может определяться то, следует или нет применять ISP к текущему блоку. В условиях ISP-доступности, (x0, y0) представляют собой координаты, указывающие местоположение левой верхней выборки текущего блока. Помимо этого, intra_luma_ref_idx[x0][y0] представляет собой информацию, указывающую опорную линию, используемую для предсказания текущего блока. Согласно условиям ISP-доступности, когда intra_luma_ref_idx равен 0, т.е. когда опорная линия, используемая для предсказания текущего блока, представляет собой линию представляет собой линию 0 (опорную линию, непосредственно смежную с текущим блоком), может определяться то, что ISP доступен для текущего блока. Когда опорная линия, используемая для предсказания текущего блока, представляет собой линию, отличную от линии 0, может определяться то, что ISP не доступен для текущего блока.

[162] В условиях ISP-доступности, cbWidth и cbHeight соответствуют ширине и высоте текущего блока, соответственно. Помимо этого, MaxTbSizeY и MinTbSizeY могут указывать максимальный размер преобразования и минимальный размер преобразования, соответственно. Как описано выше, остаточная обработка может включать в себя преобразование или обратное преобразование. В этом случае, размер блока преобразования, в котором доступно преобразование или обратное преобразование, может быть предварительно задан либо передаваться в служебных сигналах через поток битов. Таким образом, максимальный размер преобразования означает максимальный размер блока преобразования, при котором может выполняться преобразование или обратное преобразование. Помимо этого, минимальный размер преобразования означает минимальный размер блока преобразования, при котором может выполняться преобразование или обратное преобразование. Например, когда размер текущего блока превышает максимальный размер преобразования, текущий блок может разбиваться на два или более блоков преобразования. Помимо этого, текущий блок может не разбиваться на блоки преобразования, имеющие размер, меньший минимального размера преобразования. Максимальный размер преобразования и/или минимальный размер преобразования могут быть предварительно заданы в оборудовании кодирования изображений и оборудовании декодирования изображений либо могут извлекаться на основе информации, передаваемой в служебных сигналах на верхнем уровне блока.

[163] Согласно условиям ISP-доступности, только когда, по меньшей мере, один из cbWidth или cbHeight равен или меньше MaxTbSizeY, может определяться то, что ISP доступен для текущего блока. Таким образом, когда cbWidth и cbHeight превышают MaxTbSizeY, может определяться то, что ISP не доступен для текущего блока. Когда cbWidth превышает MaxTbSizeY, cbHeight равен или меньше MaxTbSizeY, и ISP применяется к текущему блоку, направление ISP-разбиения может определяться в качестве вертикального направления, как описано ниже. Когда cbHeight превышает MaxTbSizeY, cbWidth равен или меньше MaxTbSizeY, и ISP применяется к текущему блоку, направление ISP-разбиения может определяться в качестве горизонтального направления, как описано ниже.

[164] Согласно условиям ISP-доступности, когда cbWidth*cbHeight превышает MinTbSizeY*MinTbSizeY, может определяться то, что ISP доступен для текущего блока. cbWidth*cbHeight может означать зону текущего блока или число выборок, включенных в текущий блок. Например, если MinTbSizeY равен 4, может определяться то, что ISP доступен для текущего блока только тогда, когда число выборок, включенных в текущий блок, превышает 16 (4*4).

[165] Фиг. 9 является видом, иллюстрирующим традиционный способ выполнения кодирования/декодирования текущего блока согласно ISP-режиму.

[166] Когда текущий блок, который должен кодироваться/декодироваться, вводится (S910), может определяться то, следует или нет применять ISP к текущему блоку (S920). Определение этапа S920 может включать в себя определение того, доступен или нет ISP для текущего блока, и/или определение того, следует применять или нет ISP к текущему блоку. Определение в отношении того, доступен или нет ISP для текущего блока, может выполняться на основе вышеописанных условий ISP-доступности. Когда ISP доступен, оборудование кодирования изображений может определять то, следует применять или нет ISP к текущему блоку, на основе различных способов, как описано выше, и результат определения может кодироваться в потоке битов в качестве информации технологии внутреннего предсказания. Когда ISP доступен, оборудование декодирования изображений может определять то, следует применять или нет ISP к текущему блоку, на основе передаваемой в служебных сигналах информации технологии внутреннего предсказания.

[167] Когда ISP не применяется к текущему блоку, расположение TU-плитками может выполняться относительно текущего блока (S930). Расположение TU-плитками означает процесс разбиения текущего блока на множество блоков преобразования таким образом, что ширина и высота текущего блока равны или меньше максимального размера преобразования, который представляет собой преобразуемый размер. Как описано выше, обработка остаточного сигнала включает в себя преобразование, и максимальный размер преобразования означает максимальный размер блока преобразования, при котором может выполняться процесс преобразования. Соответственно, когда ширина или высота текущего блока превышает максимальный размер преобразования посредством разбиения текущего блока через расположение TU-плитками, ширина и высота блока разбиения могут быть равны или меньше максимального размера преобразования. Например, когда максимальный размер преобразования представляет собой размер в 64 выборки, и текущий блок имеет размер 128×128, текущий блок может разбиваться на четыре блока 64×64. Альтернативно, когда максимальный размер преобразования представляет собой размер в 64 выборки, и текущий блок имеет размер 64×128 или 128×64, текущий блок может разбиваться на два блока 64×64. Например, максимальный размер преобразования представляет собой размер в 64 выборки, и текущий блок имеет размер 64×64 или меньше, расположение TU-плитками может не выполняться.

[168] После этого, кодирование/декодирование может выполняться относительно текущего блока или каждого из блоков, разбитых через этап расположения TU-плитками (S960). Кодирование этапа S960 может включать в себя внутреннее предсказание, остаточную обработку и/или кодирование информации предсказания и остаточной информации. Кодирование этапа S960 может включать в себя внутреннее предсказание, извлечение остаточных выборок и/или формирование восстановленных блоков.

[169] На этапе S920, при применении ISP к текущему блоку, направление разбиения и число разбиений (число субсегментов) может определяться (S940).

[170] На этапе S920, направление разбиения может извлекаться на основе информации (например, intra_subpartitions_split_flag), передаваемой в служебных сигналах через поток битов. Альтернативно, направление разбиения может неявно извлекаться на основе размера текущего блока. Например, как описано выше, когда ширина текущего блока превышает максимальный размер преобразования, направление разбиения ISP может извлекаться в вертикальном направлении. Помимо этого, когда высота текущего блока превышает максимальный размер преобразования, направление разбиения ISP может извлекаться в горизонтальном направлении. Помимо этого, когда ширина и высота текущего блока превышают максимальный размер преобразования, ограничение может налагаться таким образом, что ISP не доступен для текущего блока. Например, когда максимальный размер преобразования представляет собой размер в 64 выборки, и текущий блок, к которому применяется ISP, представляет собой блок 128×64, направление разбиения ISP извлекается в вертикальном направлении, и ширина (128/4) и высота (64) субсегмента определяются в качестве максимального размера преобразования (64) или меньше. Аналогично, когда максимальный размер преобразования представляет собой размер в 64 выборки, и текущий блок, к которому применяется ISP, представляет собой блок 64×128, направление разбиения ISP извлекается в горизонтальном направлении, и ширина (64) и высота (128/4) субсегмента определяются в качестве максимального размера преобразования (64) или меньше. Как описано выше, при применении ISP к текущему блоку, текущий блок разбивается таким образом, что ширина и высота субсегментов равны или меньше максимального размера преобразования. По этой причине, расположение TU-плитками этапа S930 не должно обязательно выполняться относительно текущего блока, к которому применяется ISP.

[171] На этапе S940, число разбиений может неявно извлекаться на основе размера текущего блока. В частности, текущий блок может разбиваться согласно размеру текущего блока, как показано в таблице 3.

[172] Табл. 3

Размер блока Число разбиений 4×4 Без разбиения 4×8, 8×4 2 Все остальные случаи 4

[173] Фиг. 10a является видом, иллюстрирующим пример разбиения ISP для блока 4×8 или блока 8×4. Как показано на фиг. 10a, блок 4×8 или блок 8×4 может разбиваться на два субсегмента. Когда текущий блок представляет собой блок 4×8 и разбивается в горизонтальном направлении, текущий блок может разбиваться на два субсегмента 4×4. Когда текущий блок представляет собой блок 4×8 и разбивается в вертикальном направлении, текущий блок может разбиваться на два субсегмента 2×8. Когда текущий блок представляет собой блок 8×4 и разбивается в горизонтальном направлении, текущий блок может разбиваться на два субсегмента 8×2. Когда текущий блок представляет собой блок 8×4 и разбивается в вертикальном направлении, текущий блок может разбиваться на два субсегмента 4×4.

[174] Фиг. 10b является видом, иллюстрирующим пример разбиения ISP для блока, имеющего размер 8×8 или больше.

[175] Как показано на фиг. 10b, блок, имеющий размер 8×8 или больше, может разбиваться на четыре субсегмента. Когда текущий блок представляет собой блок WxH, W и H равны 8 или больше, и текущий блок разбивается в горизонтальном направлении, текущий блок может разбиваться на четыре субсегмента Wx(H/4). Когда текущий блок представляет собой блок WxH, W и H равны 8 или больше, и текущий блок разбивается в вертикальном направлении, текущий блок может разбиваться на четыре субсегмента (W/4)xH.

[176] Ссылаясь на фиг. 9 снова, когда направление разбиения и число разбиений определяются на этапе S940, блок компонентов сигнала яркости текущего блока может разбиваться на основе означенного (S950).

[177] После этого, кодирование/декодирование может выполняться относительно каждого разбитого субсегмента (S960). Как описано выше, кодирование этапа S960 может включать в себя внутреннее предсказание, остаточную обработку и/или кодирование информации предсказания и остаточной информации. Помимо этого, декодирование этапа S960 может включать в себя внутреннее предсказание, извлечение остаточных выборок и/или формирование восстановленных блоков. В частности, при применении ISP, режим внутреннего предсказания для текущего блока идентично применяется к субсегментам, и соседняя опорная выборка извлекается и используется в единицах субсегментов, за счет этого повышая производительность внутреннего предсказания. Таким образом, при применении ISP, процедура обработки остаточных выборок выполняется в единицах субсегментов. Другими словами, внутренние выборки предсказания извлекаются для каждого субсегмента, и остаточный сигнал (остаточные выборки) для соответствующего субсегмента суммируется с ним, за счет этого получая восстановленные выборки. Остаточный сигнал (остаточные выборки) может извлекаться через процедуру деквантования/обратного преобразования на основе остаточной информации (информации квантованных коэффициентов преобразования или синтаксиса остаточного кодирования) в вышеописанном потоке битов. Таким образом, извлечение выборок предсказания и извлечение остаточных выборок для первого субсегмента могут выполняться, и восстановленные выборки для первого субсегмента могут извлекаться на основе означенного. В этом случае, при извлечении выборок предсказания для второго субсегмента, некоторые восстановленные выборки в первом субсегменте (например, восстановленные выборки, смежные с левой или верхней стороной второго субсегмента) могут использоваться в качестве соседних опорных выборок для второго субсегмента. Аналогично, извлечение выборок предсказания и извлечение остаточных выборок для второго субсегмента могут извлекаться, и восстановленные выборки для второго субсегмента могут извлекаться на основе означенного. В этом случае, когда выборки предсказания для третьего субсегмента извлекаются, некоторые восстановленные выборки во втором субсегменте (например, восстановленные выборки, смежные с левой или верхней стороной третьего субсегмента) могут использоваться в качестве соседних опорных выборок для третьего субсегмента. Аналогично, некоторые восстановленные выборки в третьем субсегменте могут использоваться в качестве соседних опорных выборок для четвертого субсегмента.

[178] Порядок кодирования/декодирования из множества субсегментов представляет собой сверху вниз, когда направление разбиения представляет собой горизонтальное направление, и представляет собой слева направо, когда направление разбиения представляет собой вертикальное направление. Например, на фиг. 10b, когда направление разбиения представляет собой горизонтальное направление, субсегменты могут последовательно кодироваться/декодироваться от самого верхнего субсегмента к самому нижнему субсегменту. Помимо этого, когда направление разбиения представляет собой вертикальное направление, субсегменты могут последовательно кодироваться/декодироваться от самого левого субсегмента к самому правому субсегменту.

[179] При применении ISP к текущему блоку, чтобы уменьшать сложность кодирования, MPM-список формируется согласно каждому способу разбиения (горизонтальное разбиение и вертикальное разбиение), и подходящий режим предсказания из режимов предсказания в сформированном MPM-списке сравнивается с точки зрения оптимизации искажения в зависимости от скорости передачи (RDO), чтобы формировать оптимальный режим. Помимо этого, когда внутреннее предсказание на основе множественной опорной линии (MRL) используется, ограничение может налагаться таким образом, что вышеописанный ISP не используется. Таким образом, когда нулевая опорная линия используется (например, intra_luma_ref_idx==0), ISP является применимым. Помимо этого, при применении ISP, ограничение может налагаться таким образом, что вышеописанное PDPC не используется. Таким образом, при применении ISP, PDPC может не использоваться.

[180] При применении ISP, в качестве информации технологии внутреннего предсказания, информация (intra_subpartitions_mode_flag), указывающая то, следует применять или нет ISP, может передаваться в единицах текущих блоков, и если текущий блок использует ISP (например, когда intra_subpartitions_mode_flag равен 1), может передаваться информация (intra_subpartitions_split_flag) относительно способа разбиения (горизонтальное разбиение или вертикальное разбиение).

[181] Согласно традиционному способу, описанному со ссылкой на фиг. 9, в структуре в виде одиночного дерева, в которой блок компонентов сигнала яркости текущего блока и блок компонентов сигнала цветности текущего блока разбиваются на идентичную древовидную структуру, при применении ISP к текущему блоку, блок компонентов сигнала яркости разбивается на множество субсегментов, но ISP не применяется к блоку компонентов сигнала цветности. В этом случае, ширина или высота блока компонентов сигнала цветности становятся больше максимального размера преобразования согласно формату сигнала цветности, и в силу этого преобразование или обратное преобразование блока компонентов сигнала цветности может становиться невозможным.

[182] В дальнейшем в этом документе описывается взаимосвязь между размером блока компонентов сигнала яркости и размером блока компонентов сигнала цветности согласно формату сигнала цветности.

[183] Фиг. 11 является видом, иллюстрирующим взаимосвязь между блоком компонентов сигнала яркости (массивом компонентов сигнала яркости) и блоком компонентов сигнала цветности (массивом компонентов сигнала цветности) согласно формату сигнала цветности.

[184] Исходный или кодированный кадр/изображение может включать в себя блок компонентов (Y) сигнала яркости и два блока компонентов (Cb, Cr) сигнала цветности. Таким образом, один пиксел кадра/изображения может включать в себя выборку сигнала яркости и две выборки (Cb, Cr) сигнала цветности. Цветовой формат может представлять конфигурационный формат выборки сигнала яркости и выборок (Cb, Cr) сигнала цветности и может называться "форматом сигнала цветности". Формат сигнала цветности может быть предварительно задан или может адаптивно передаваться в служебных сигналах. Например, формат сигнала цветности может передаваться в служебных сигналах на основе, по меньшей мере, одного из chroma_format_idc или separate_colour_plane_flag, как показано в таблице 4.

[185] Табл. 4

chroma_format_idc separate_colour_plane_flag ChromaArrayType Формат сигнала цветности SubWidthC SubHeightC 0 0 0 Монохромный 1 1 1 0 1 4:2:0 2 2 2 0 2 4:2:2 2 1 3 0 3 4:4:4 1 1 3 1 0 4:4:4 1 1

[186] В вышеприведенной таблице 4, chroma_format_idc представляет собой информацию, указывающую формат выборки сигнала яркости и выборки сигнала цветности, соответствующей ей, и separate_colour_plane_flag представляет собой информацию, указывающую то, что три цветовых компонента Y, Cb и Cr отдельно кодируются в формате сигнала цветности 4:4:4. В вышеприведенной таблице 4, когда chroma_format_idc равен 0, формат сигнала цветности соответствует монохромному, и текущий блок не включает в себя блок компонентов сигнала цветности и включает в себя только блок компонентов сигнала яркости.

[187] В вышеприведенной таблице 4, когда chroma_format_idc равен 1, формат сигнала цветности соответствует формату сигнала цветности 4:2:0, и ширина и высота блока компонентов сигнала цветности надлежащим образом соответствуют половине ширины и половины высоты блока компонентов сигнала яркости. Фиг. 11a показывает взаимосвязь местоположений между выборкой сигнала яркости и выборкой сигнала цветности в формате сигнала цветности 4:2:0.

[188] В вышеприведенной таблице 4, когда chroma_format_idc равен 2, формат сигнала цветности соответствует формату сигнала цветности 4:2:2, ширина блока компонентов сигнала цветности надлежащим образом соответствует половине ширины блока компонентов сигнала яркости, и высота блока компонентов сигнала цветности равна высоте блока компонентов сигнала яркости. Фиг. 11b показывает взаимосвязь местоположений между выборкой сигнала яркости и выборкой сигнала цветности в формате сигнала цветности 4:2:2.

[189] В вышеприведенной таблице 4, когда chroma_format_idc равен 3, формат сигнала цветности соответствует формату сигнала цветности 4:4:4, и ширина и высота блока компонентов сигнала цветности надлежащим образом соответствуют ширине и высоте блока компонентов сигнала яркости. Фиг. 11c показывает взаимосвязь местоположений между выборкой сигнала яркости и выборкой сигнала цветности в формате сигнала цветности 4:4:4.

[190] В вышеприведенной таблице 4, SubWidthC и SubHeightC представляют соотношение выборки сигнала яркости и выборки сигнала цветности. Например, когда ширина и высота блока компонентов сигнала яркости, соответственно, составляют CbWidth и CbHeight, ширина и высота блока компонентов сигнала цветности, соответствующего ему, может извлекаться в качестве (CbWidth/SubwidthC) и (CbHeight/SubHeightC), соответственно.

[191] Как описано со ссылкой на фиг. 11, размер блока компонентов сигнала цветности, соответствующего блоку компонентов сигнала яркости текущего блока, может варьироваться согласно формату сигнала цветности.

[192] Фиг. 12 является видом, иллюстрирующим размер блока компонентов сигнала цветности согласно формату сигнала цветности, когда блок компонентов сигнала яркости представляет собой блок 64×128. Как показано на фиг. 12, блок компонентов сигнала цветности, соответствующий блоку компонентов сигнала яркости 64×128, может представлять собой блок 32×64 в формате сигнала цветности 4:2:0, блок 32×128 в формате сигнала цветности 4:2:2 и блок 64×128 в формате сигнала цветности 4:4:4.

[193] Как описано выше, согласно традиционному способу, описанному со ссылкой на фиг. 9, в структуре в виде одиночного дерева, в которой блок компонентов сигнала яркости и блок компонентов сигнала цветности разбиваются на идентичную древовидную структуру, при применении ISP к текущему блоку, блок компонентов сигнала яркости разбивается на множество субсегментов, но блок компонентов сигнала цветности не разбивается. Например, когда блок компонентов сигнала яркости текущего блока, к которому применяется ISP, представляет собой блок 64×128, поскольку направление разбиения определяется в качестве горизонтального направления, блок компонентов сигнала яркости разбивается на четыре субсегмента 64×32, и ширина (64) и высота (32) каждого субсегмента равны или меньше максимального размера преобразования (64). Соответственно, преобразование или обратное преобразование каждого из субсегментов для блока компонентов сигнала яркости может выполняться. Тем не менее, как показано на фиг. 12, блок компонентов сигнала цветности представляет собой блок 32×64 в формате сигнала цветности 4:2:0, блок 32×128 в формате сигнала цветности 4:2:2 или блок 64×128 в формате сигнала цветности 4:4:4, и, например, в формате сигнала цветности 4:2:2 и формате сигнала цветности 4:4:4, поскольку высота (128) блока компонентов сигнала цветности превышает максимальный размер преобразования (64), преобразование или обратное преобразование блока компонентов сигнала цветности является невозможным.

[194] В дальнейшем в этом документе подробно описываются различные варианты осуществления настоящего раскрытия сущности для разрешения вышеуказанных проблем.

[195] Вариант #1 осуществления

[196] В варианте #1 осуществления настоящего раскрытия сущности, чтобы разрешать традиционные проблемы при применении ISP к текущему блоку, ISP адаптивно применяется к блоку компонентов сигнала цветности на основе формата сигнала цветности и/или размера блока компонентов сигнала цветности. Согласно варианту #1 осуществления настоящего раскрытия сущности, например, при применении ISP к блоку компонентов сигнала цветности, направление разбиения и число разбиений, определенные относительно блока компонентов сигнала яркости, являются в равной степени применимыми к блоку компонентов сигнала цветности.

[197] Фиг. 13 является блок-схемой последовательности операций, иллюстрирующей способ ISP-применения согласно варианту осуществления настоящего раскрытия сущности.

[198] Фиг. 14 является видом, иллюстрирующим пример разбиения блока компонентов сигнала цветности согласно способу ISP-применения по фиг. 13.

[199] Когда текущий блок, который должен кодироваться/декодироваться, вводится (S1310), может определяться то, следует или нет применять ISP к текущему блоку (S1320). Определение этапа S1320 может включать в себя определение того, доступен или нет ISP для текущего блока, и/или того, следует или нет применять ISP к текущему блоку. Определение в отношении того, доступен или нет ISP для текущего блока, может выполняться на основе вышеописанных условий ISP-доступности. Когда ISP доступен, оборудование кодирования изображений может определять то, следует применять или нет ISP к текущему блоку, на основе различных способов, как описано выше, и результат определения может кодироваться в потоке битов в качестве информации технологии внутреннего предсказания. Когда ISP доступен, оборудование декодирования изображений может определять то, следует применять или нет ISP к текущему блоку, на основе передаваемой в служебных сигналах информации технологии внутреннего предсказания.

[200] Когда ISP не применяется к текущему блоку, расположение TU-плитками может выполняться относительно текущего блока (S1330). После этого, кодирование/декодирование может выполняться относительно текущего блока или каждого из блоков, разбитых через этап расположения TU-плитками (S1390). Этапы S1330 и S1390 являются идентичными этапам S930 и S960 по фиг. 9, и в силу этого их подробное описание опускается.

[201] На этапе S1320, при применении ISP к текущему блоку, направление разбиения и число разбиений (число субсегментов) может определяться (S1340). Описание определения направления разбиения и числа разбиений является идентичным описанию по фиг. 9 и в силу этого опускается.

[202] Когда направление разбиения и число разбиений определяются на этапе S1340, блок компонентов сигнала яркости текущего блока может разбиваться на основе означенного (S1350).

[203] После этого, может определяться то, следует или нет применять ISP к блоку компонентов сигнала цветности, соответствующему блоку компонентов сигнала яркости (S1360). Определение этапа S1360 может выполняться посредством формата сигнала цветности и/или посредством сравнения между шириной и высотой блока компонентов сигнала цветности и максимальным размером преобразования.

[204] В случае формата сигнала цветности 4:2:0, как описано ниже, ширина и высота блока компонентов сигнала цветности равна или меньше максимального размера преобразования. Соответственно, в случае формата сигнала цветности 4:2:0, без сравнения ширины и высоты блока компонентов сигнала цветности с максимальным размером преобразования, может определяться то, что ISP не применяется к блоку компонентов сигнала цветности.

[205] В случае формата сигнала цветности 4:2:2 или формата сигнала цветности 4:4:4, как описано ниже, ширина или высота блока компонентов сигнала цветности могут превышать максимальный размер преобразования. Соответственно, в случае формата сигнала цветности 4:2:2 или формата сигнала цветности 4:4:4, ширина и высота блока компонентов сигнала цветности могут сравниваться с максимальным размером преобразования, и когда ширина или высота блока компонентов сигнала цветности превышают максимальный размер преобразования, может определяться то, что ISP применяется к блоку компонентов сигнала цветности.

[206] Как показано на фиг. 14, когда блок компонентов сигнала яркости представляет собой блок 64×128, блок компонентов сигнала цветности, соответствующий ему, представляет собой блок 32×64 в формате сигнала цветности 4:2:0, блок 32×128 в формате сигнала цветности 4:2:2 или блок 64×128 в формате сигнала цветности 4:4:4.

[207] В примере, показанном на фиг. 14, можно видеть, что ширина (32) и высота (64) блока компонентов сигнала цветности формата сигнала цветности 4:2:0 равны или меньше максимального размера преобразования (64). Соответственно, в случае формата сигнала цветности 4:2:0, может определяться то, что ISP не применяется к блоку компонентов сигнала цветности 32×64, без дополнительного сравнения размеров.

[208] Напротив, в случае формата сигнала цветности 4:2:2 или формата сигнала цветности 4:4:4, дополнительно, ширина и высота блока компонентов сигнала цветности могут сравниваться с максимальным размером преобразования. В примере, показанном на фиг. 14, поскольку ширина (128) блока компонентов сигнала цветности 32×128 формата сигнала цветности 4:2:2 и ширина (128) блока компонентов сигнала цветности 64×128 формата сигнала цветности 4:4:4 превышают максимальный размер преобразования (64), может определяться то, что ISP применяется к блоку компонентов сигнала цветности.

[209] В качестве модификации варианта #1 осуществления, независимо от формата сигнала цветности, на основе того, равны или меньше либо нет ширина и высота блока компонентов сигнала цветности максимального размера преобразования, может определяться то, следует или нет применять ISP к блоку компонентов сигнала цветности. Например, когда ширина и высота блока компонентов сигнала цветности равны или меньше максимального размера преобразования, может определяться то, что ISP не применяется к блоку компонентов сигнала цветности. Помимо этого, когда ширина или высота блока компонентов сигнала цветности превышают максимальный размер преобразования, может определяться то, что ISP применяется к блоку компонентов сигнала цветности.

[210] При определении того, что ISP применяется к блоку компонентов сигнала цветности, блок компонентов сигнала цветности может разбиваться (S1370). Разбиение блока компонентов сигнала цветности может выполняться на основе направления разбиения и числа разбиений, определенных на этапе S1340. В частности, направление разбиения и число разбиений для блока компонентов сигнала цветности могут определяться идентично направлению разбиения и числу разбиений для блока компонентов сигнала яркости. Согласно варианту #1 осуществления настоящего раскрытия сущности, в примере, показанном на фиг. 14, блок компонентов сигнала яркости разбивается на четыре субсегмента в горизонтальном направлении. Соответственно, блок компонентов сигнала цветности 32×128 формата сигнала цветности 4:2:2 и блок компонентов сигнала цветности 64×128 формата сигнала цветности 4:4:4 могут разбиваться на четыре субсегмента в горизонтальном направлении идентично блоку компонентов сигнала яркости.

[211] После этого, каждый из разбитых субсегментов может кодироваться/декодироваться (S1390). В этом случае, кодирование/декодирование этапа S1390 может выполняться относительно каждого субсегмента блока компонентов сигнала яркости и каждого субсегмента блока компонентов сигнала цветности. Этап S1390 является идентичным этапу S960, и в силу этого его подробное описание опускается.

[212] На этапе S1360, при определении того, что ISP не применяется к компоненту сигнала цветности, блок компонентов сигнала цветности не разбивается (S1380), и каждый субсегмент блока компонентов сигнала яркости и неразбитого блока компонентов сигнала цветности может кодироваться/декодироваться (S1390). Этап S1390 является идентичным этапу S960, и в силу этого его подробное описание опускается. Согласно варианту #1 осуществления настоящего раскрытия сущности, в примере, показанном на фиг. 14, блок компонентов сигнала цветности 32×64 формата сигнала цветности 4:2:0 может не разбиваться.

[213] Согласно варианту #1 осуществления настоящего раскрытия сущности, когда ширина или высота блока компонентов сигнала цветности текущего блока, к которому применяется ISP, превышает максимальный размер преобразования, может быть возможным разрешать такую проблему, что преобразование или обратное преобразование блока компонентов сигнала цветности является невозможным, посредством применения ISP к блоку компонентов сигнала цветности. Помимо этого, согласно варианту #1 осуществления настоящего раскрытия сущности, когда формат сигнала цветности текущего блока, к которому применяется ISP, представляет собой 4:2:0, либо ширина и высота блока компонентов сигнала цветности текущего блока, к которому применяется ISP, равны или меньше максимального размера преобразования, ISP не применяется к блоку компонентов сигнала цветности. Следовательно, поскольку можно не допускать случая, в котором ISP излишне применяется к блоку компонентов сигнала цветности, объем вычислений кодирования/декодирования может уменьшаться. Помимо этого, согласно варианту #1 осуществления настоящего раскрытия сущности, поскольку направление разбиения и число разбиений ISP для блока компонентов сигнала цветности определяются идентично направлению разбиения и числа разбиений ISP для блока компонентов сигнала яркости, направление разбиения и число разбиений ISP для блока компонентов сигнала цветности не должны отдельно передаваться в служебных сигналах или извлекаться.

[214] Вариант #2 осуществления

[215] В варианте #2 осуществления настоящего раскрытия сущности, чтобы разрешать традиционную проблему, когда ISP применяется к текущему блоку, ISP также применяется к блоку компонентов сигнала цветности. Согласно варианту #2 осуществления настоящего раскрытия сущности, направление разбиения и число разбиений для блока компонентов сигнала цветности могут определяться на основе направления разбиения и числа разбиений, определенных для блока компонентов сигнала яркости.

[216] Фиг. 15 является блок-схемой последовательности операций, иллюстрирующей способ ISP-применения согласно другому варианту осуществления настоящего раскрытия сущности.

[217] Фиг. 16 является видом, иллюстрирующим пример разбиения блока компонентов сигнала цветности согласно способу ISP-применения по фиг. 15.

[218] Когда текущий блок, который должен кодироваться/декодироваться, вводится (S1510), может определяться то, следует или нет применять ISP к текущему блоку (S1520). Определение этапа S1520 может включать в себя определение того, доступен или нет ISP для текущего блока, и/или того, следует или нет применять ISP к текущему блоку. Определение в отношении того, доступен или нет ISP для текущего блока, может выполняться на основе вышеописанных условий ISP-доступности. Когда ISP доступен, оборудование кодирования изображений может определять то, следует применять или нет ISP к текущему блоку, на основе различных способов, как описано выше, и результат определения может кодироваться в потоке битов в качестве информации технологии внутреннего предсказания. Когда ISP доступен, оборудование декодирования изображений может определять то, следует применять или нет ISP к текущему блоку, на основе передаваемой в служебных сигналах информации технологии внутреннего предсказания.

[219] Когда ISP не применяется к текущему блоку, расположение TU-плитками может выполняться относительно текущего блока (S1530). После этого, кодирование/декодирование может выполняться относительно текущего блока или каждого из блоков, разбитых через этап расположения TU-плитками (S1570). Этапы S1530 и S1570 являются идентичными этапам S930 и S960 по фиг. 9, и их подробное описание опускается.

[220] На этапе S1520, при применении ISP к текущему блоку, направление разбиения и число разбиений (число субсегментов) может определяться (S1540). Описание определения направления разбиения и числа разбиений является идентичным описанию по фиг. 9 и в силу этого опускается.

[221] Блок компонентов сигнала яркости текущего блока может разбиваться на основе направления разбиения и числа разбиений, определенных на этапе S1540 (S1550).

[222] После этого, блок компонентов сигнала цветности текущего блока может разбиваться на основе направления разбиения и числа разбиений, определенных на этапе S1540 (S1560). В частности, направление разбиения для блока компонентов сигнала цветности может определяться идентично направлению разбиения для блока компонентов сигнала яркости. Помимо этого, число разбиений для блока компонентов сигнала цветности может определяться на основе числа разбиений для блока компонентов сигнала яркости. Например, когда число разбиений для блока компонентов сигнала яркости составляет N, число разбиений для блока компонентов сигнала цветности может определяться в качестве N/n. В варианте #2 осуществления настоящего раскрытия сущности, например, n может быть равным 2, но не ограничено этим, и n может быть любым целым числом. Согласно варианту #2 осуществления, в примере, показанном наверху фиг. 16, блок компонентов сигнала яркости 16×16 может разбиваться на четыре субсегмента в горизонтальном направлении. В этом случае, направление разбиения соответствующего блока компонентов сигнала цветности представляет собой горизонтальное направление, и число разбиений может определяться в качестве 2. Таким образом, соответствующий блок компонентов сигнала цветности может разбиваться на два субсегмента в горизонтальном направлении независимо от формата сигнала цветности и/или размера блока компонентов сигнала цветности. Помимо этого, в примере, показанном внизу фиг. 16, блок компонентов сигнала яркости 4×8 разбивается на два субсегмента в вертикальном направлении. В этом случае, направление разбиения соответствующего блока компонентов сигнала цветности представляет собой вертикальное направление, и число разбиений может определяться в качестве 1. В этом случае, поскольку блок компонентов сигнала цветности практически не разбивается, можно видеть, что ISP не применяется к блоку компонентов сигнала цветности.

[223] После этого, каждый субсегмент или неразбитый блок компонентов сигнала цветности может кодироваться/декодироваться (S1570). В этом случае, кодирование/декодирование этапа S1570 может выполняться относительно каждого субсегмента блока компонентов сигнала яркости и каждого субсегмента блока компонентов сигнала цветности или блока компонентов сигнала цветности. Этап S1570 является идентичным этапу S960, и в силу этого его подробное описание опускается.

[224] В варианте #2 осуществления настоящего раскрытия сущности, когда размер максимальной единицы кодирования представляет собой 128×128, равен 64 максимальный размер преобразования, который является половиной ширины и высоты максимальной единицы кодирования, и ширина и высота текущего блока превышают максимальный размер преобразования, ISP не применяется к текущему блоку. Согласно варианту #2 осуществления настоящего раскрытия сущности, поскольку ширина и высота блока компонентов сигнала цветности текущего блока, к которому применяется ISP, либо субсегмента блока компонентов сигнала цветности всегда равны или меньше максимального размера преобразования, может разрешаться такая проблема, что преобразование или обратное преобразование блока компонентов сигнала цветности является невозможным. Помимо этого, согласно варианту #2 осуществления настоящего раскрытия сущности, поскольку определение в отношении того, следует применять или нет ISP к блоку компонентов сигнала цветности текущего блока (например, определение S1360), не должно обязательно выполняться, объем вычислений кодирования/декодирования может уменьшаться. Помимо этого, согласно варианту #2 осуществления настоящего раскрытия сущности, поскольку число субсегментов для блока компонентов сигнала цветности определяется в качестве 2 или 1, можно упрощать процесс кодирования/декодирования блока компонентов сигнала цветности. Помимо этого, согласно варианту #2 осуществления настоящего раскрытия сущности, поскольку направление разбиения и число разбиений ISP для блока компонентов сигнала цветности определяются идентично направлению разбиения и (числу разбиений/2) ISP для блока компонентов сигнала яркости, направление разбиения и число разбиений ISP для блока компонентов сигнала цветности не должны отдельно передаваться в служебных сигналах или извлекаться.

[225] Вариант #3 осуществления

[226] В варианте #3 осуществления настоящего раскрытия сущности, чтобы разрешать традиционную проблему, ширина и высота блока компонентов сигнала цветности равны или меньше максимального размера преобразования посредством изменения условий ISP-доступности.

[227] Согласно традиционному ISP-способу, описанному со ссылкой на фиг. 9, когда ширина и высота текущего блока превышают максимальный размер преобразования, определяется то, что ISP не применяется к текущему блоку. Таким образом, когда одно из ширины или высоты текущего блока превышает максимальный размер преобразования, и другое равно или меньше максимального размера преобразования, определяется то, что ISP применяется к текущему блоку.

[228] В варианте #3 осуществления настоящего раскрытия сущности, вышеописанные условия ISP-доступности модифицируются в качестве следующей таблицы 5.

[229] Табл. 5

Модифицированные условия ISP-доступности
intra_luma_ref_idx[x0][y0]==0
cbWidth<=MaxTbSizeY andand cbHeight<=MaxTbSizeY
cbWidth*cbHeight>MinTbSizeY*MinTbSizeY

[230] Из модифицированных условий ISP-доступности, условие, в котором intra_luma_ref_idx[x0][y0], равен 0, и условие, в котором cbWidth*cbHeight больше MinTbSizeY*MinTbSizeY, равны существующим условиям ISP-доступности. Согласно модифицированным условиям ISP-доступности, только тогда, когда cbWidth и cbHeight текущего блока равны или меньше MaxTbSizeY, может определяться то, что ISP доступен для текущего блока.

[231] Согласно варианту #3 осуществления настоящего раскрытия сущности, в котором модифицированные условия ISP-доступности применяются, только тогда, когда ширина и высота текущего блока равны или меньше максимального размера преобразования, определяется то, что ISP применяется к текущему блоку, и intra_subpartitions_mode_flag, указывающий то, следует или нет применять ISP, может передаваться.

[232] Согласно варианту #3 осуществления настоящего раскрытия сущности, поскольку ширина и высота текущего блока равны или меньше максимального размера преобразования, ширина и/или высота блока выборок сигнала цветности, соответствующего блоку выборок сигнала яркости текущего блока, всегда равны или меньше максимального размера преобразования, независимо от формата сигнала цветности. Соответственно, можно разрешать проблему традиционного ISP-способа, описанного со ссылкой на фиг. 9, посредством применения модифицированных условий ISP-доступности.

[233] Способ согласно варианту #3 осуществления настоящего раскрытия сущности может реализовываться посредством модификации условий ISP-доступности традиционного способа. Соответственно, способ согласно варианту #3 осуществления настоящего раскрытия сущности может осуществляться идентично блок-схеме последовательности операций способа, показанной на фиг. 9, за исключением того, что только условие для определения того, доступен или нет ISP на этапе S920, отличается.

[234] Фиг. 17 является видом, иллюстрирующим пример структуры потока битов, в котором отражается модифицированное условие ISP-доступности.

[235] Прямоугольное поле по фиг. 17 связано с передачей в служебных сигналах информации относительно ISP информации технологии внутреннего предсказания текущей единицы кодирования. Как показано на фиг. 17, когда вышеописанные модифицированные условия ISP-доступности удовлетворяются, intra_subpartitions_mode_flag относительно того, следует применять или нет ISP, может передаваться; intra_subpartitions_mode_flag представляет собой информацию, указывающую то, следует применять или нет ISP к текущей единице кодирования. Когда условия ISP-доступности не удовлетворяются, intra_subpartitions_mode_flag не передается, и может определяться то, что ISP не применяется к текущей единице кодирования.

[236] Модифицированные условия ISP-доступности могут включать в себя одно или более условий, и одно или более условий, включенных в модифицированные условия ISP-доступности, не ограничены вышеприведенными примерами. Таким образом, некоторые условия могут опускаться, или другие условия дополнительно могут включаться в пределы объема технической идеи согласно настоящему раскрытию сущности.

[237] Помимо этого, как показано на фиг. 17, когда ISP применяется к текущему блоку, т.е. когда intra_subpartitions_mode_flag равен 1, может передаваться информация (intra_subpartitions_split_flag), указывающая направление разбиения.

[238] В примере, показанном на фиг. 17, только тогда, когда условие cbWidth<=MaxTbSizeY andand cbHeight<=MaxTbSizeY удовлетворяется, intra_subpartitions_mode_flag может передаваться. Таким образом, когда передаваемый intra_subpartitions_mode_flag равен 1, можно видеть, что условие cbWidth<=MaxTbSizeY andand cbHeight<=MaxTbSizeY I уже удовлетворяется. Соответственно, условие по фиг. 17, связанное с тем, следует или нет передавать intra_sinpartitions_split_flag, может изменяться, как показано на фиг. 18.

[239] Фиг. 18 является видом, иллюстрирующим другой пример структуры потока битов, в котором отражается модифицированное условие ISP-доступности.

[240] Прямоугольное поле по фиг. 18 связано с передачей в служебных сигналах информации относительно ISP информации технологии внутреннего предсказания текущей единицы кодирования. Как показано на фиг. 18, intra_subpartitions_mode_flag может передаваться в служебных сигналах, когда вышеописанные модифицированные условия ISP-доступности удовлетворяются, и intra_sinpartitions_split_flag может передаваться в служебных сигналах, когда удовлетворяется условие, в котором intra_subpartitions_mode_flag равен 1.

[241] Согласно варианту #3 осуществления настоящего раскрытия сущности, ширина и высота текущего блока, к которому применяется ISP, равны или меньше максимального размера преобразования. Соответственно, поскольку ширина и высота блока компонентов сигнала цветности текущего блока равны или меньше максимального размера преобразования независимо от формата сигнала цветности, может разрешаться такая проблема, что преобразование или обратное преобразование блока компонентов сигнала цветности является невозможным. Помимо этого, согласно варианту #3 осуществления настоящего раскрытия сущности, поскольку определение в отношении того, следует применять или нет ISP к блоку компонентов сигнала цветности текущего блока (например, определение S1360), и ISP для блока компонентов сигнала цветности не должны обязательно выполняться, объем вычислений кодирования/декодирования может уменьшаться. Помимо этого, согласно варианту #3 осуществления настоящего раскрытия сущности, поскольку традиционный процесс кодирования/декодирования существенно не изменяется, традиционная проблема может разрешаться без значительной сложности кодирования/декодирования.

[242] Хотя примерные способы настоящего раскрытия сущности, описанного выше, представляются как последовательность операций для ясности описания, это не имеет намерение ограничивать порядок, в котором выполняются этапы, и этапы могут выполняться одновременно или в другом порядке при необходимости. Чтобы реализовывать способ согласно настоящему раскрытию сущности, описанные этапы дополнительно могут включать в себя другие этапы, могут включать в себя оставшиеся этапы, за исключением некоторых этапов, либо могут включать в себя другие дополнительные этапы, за исключением некоторых этапов.

[243] В настоящем раскрытии сущности, оборудование кодирования изображений или оборудование декодирования изображений, которое выполняет предварительно определенную операцию (этап), может выполнять операцию (этап) подтверждения условия или ситуации выполнения соответствующей операции (этап). Например, если описывается то, что предварительно определенная операция выполняется, когда предварительно определенное условие удовлетворяется, оборудование кодирования изображений или оборудование декодирования изображений может выполнять предварительно определенную операцию после определения того, удовлетворяется или нет предварительно определенное условие.

[244] Различные варианты осуществления настоящего раскрытия сущности не представляют собой список всех возможных комбинаций и имеют намерение описывать характерные аспекты настоящего раскрытия сущности, и вопросы, описанные в различных вариантах осуществления, могут применяться независимо либо в комбинации двух или более из них.

[245] Различные варианты осуществления настоящего раскрытия сущности могут реализовываться в аппаратных средствах, микропрограммном обеспечении, программном обеспечении либо в комбинации вышеозначенного. В случае реализации настоящего раскрытия сущности посредством аппаратных средств, настоящее раскрытие сущности может реализовываться с помощью специализированных интегральных схем (ASIC), процессоров цифровых сигналов (DSP), устройств обработки цифровых сигналов (DSPD), программируемых логических устройств (PLD), программируемых пользователем вентильных матриц (FPGA), общих процессоров, контроллеров, микроконтроллеров, микропроцессоров и т.д.

[246] Помимо этого, оборудование декодирования изображений и оборудование кодирования изображений, к которым применяются варианты осуществления настоящего раскрытия сущности, могут включаться в мультимедийное широковещательное приемо-передающее устройство, терминал мобильной связи, видеоустройство системы домашнего кинотеатра, видеоустройство системы цифрового кинотеатра, камеру наблюдения, устройство проведения видеочатов, устройство связи в реальном времени, к примеру, для видеосвязи, мобильное устройство потоковой передачи, носитель хранения данных, записывающую видеокамеру, устройство предоставления услуг на основе технологии "видео по запросу" (VoD), устройство на основе OTT-видео (видео поверх сетей), устройство предоставления услуг потоковой передачи по Интернету, трехмерное видеоустройство, видеоустройство системы видеотелефонии, медицинское видеоустройство и т.п. и могут использоваться для того, чтобы обрабатывать видеосигналы или сигналы данных. Например, OTT-видеоустройства могут включать в себя игровую консоль, Blu-Ray-проигрыватель, телевизор с доступом в Интернет, систему домашнего кинотеатра, смартфон, планшетный PC, цифровое записывающее видеоустройство (DVR) и т.п.

[247] Фиг. 19 является видом, показывающим систему потоковой передачи контента, к которой является применимым вариант осуществления настоящего раскрытия сущности.

[248] Ссылаясь на фиг. 19, система потоковой передачи контента, к которой применяется вариант(ы) осуществления настоящего документа, может включать в себя, главным образом, сервер кодирования, потоковый сервер, веб-сервер, хранилище мультимедиа, пользовательское устройство и устройство ввода мультимедиа.

[249] Сервер кодирования сжимает контент, вводимый из устройств ввода мультимедиа, таких как смартфон, камера, записывающая видеокамера и т.д., в цифровые данные для того, чтобы формировать поток битов, и передает поток битов на потоковый сервер. В качестве другого примера, когда устройства ввода мультимедиа, такие как смартфоны, камеры, записывающие видеокамеры и т.д., непосредственно формируют поток битов, сервер кодирования может опускаться.

[250] Поток битов может формироваться посредством способа кодирования изображений или оборудования кодирования изображений, к которому применяется вариант осуществления настоящего раскрытия сущности, и потоковый сервер может временно сохранять поток битов в процессе передачи или приема потока битов.

[251] Потоковый сервер передает мультимедийные данные в пользовательское устройство на основе запроса пользователя через веб-сервер, и веб-сервер служит в качестве среды для информирования пользователя в отношении услуги. Когда пользователь запрашивает требуемую услугу из веб-сервера, веб-сервер может доставлять ее на потоковый сервер, и потоковый сервер может передавать мультимедийные данные пользователю. В этом случае, система потоковой передачи контента может включать в себя отдельный сервер управления. В этом случае, сервер управления служит для того, чтобы управлять командой/ответом между устройствами в системе потоковой передачи контента.

[252] Потоковый сервер может принимать контент из хранилища мультимедиа и/или сервера кодирования. Например, когда контент принимается из сервера кодирования, контент может приниматься в реальном времени. В этом случае, чтобы предоставлять плавную услугу потоковой передачи, потоковый сервер может сохранять поток битов в течение предварительно определенного времени.

[253] Примеры пользовательского устройства могут включать в себя мобильный телефон, смартфон, переносной компьютер, цифровой широковещательный терминал, персональное цифровое устройство (PDA), портативный мультимедийный проигрыватель (PMP), навигационное устройство, грифельный планшетный PC, планшетные PC, ультрабуки, носимые устройства (например, интеллектуальные часы, интеллектуальные очки, наголовные дисплеи), цифровые телевизоры, настольные компьютеры, систему цифровых информационных табло и т.п.

[254] Каждый сервер в системе потоковой передачи контента может работать в качестве распределенного сервера, причем в этом случае данные, принимаемые из каждого сервера, могут быть распределены.

[255] Объем раскрытия сущности включает в себя программное обеспечение или машиноисполняемые команды (например, операционную систему, приложение, микропрограммное обеспечение, программу и т.д.) для обеспечения возможности выполнения операций согласно способам различных вариантов осуществления в оборудовании или компьютере, энергонезависимый компьютерно-читаемый носитель, имеющий такое программное обеспечение или команды, сохраненные и выполняемые в оборудовании или компьютере.

[256] Промышленная применимость

[257] Варианты осуществления настоящего раскрытия сущности могут использоваться для того, чтобы кодировать или декодировать изображение.

Изобретение относится к кодированию/декодированию изображения посредством применения режима на основе внутренних субблочных сегментов (ISP) к изображениям, имеющим различные форматы сигнала цветности. Техническим результатом является повышение эффективности технологии сжатия изображений. Результат достигается тем, что способ декодирования изображений включает в себя определение того, представляет или нет режим предсказания текущего блока собой режим внутреннего предсказания, на основе информации относительно режима предсказания текущего блока, определение того, доступен или нет режим на основе внутренних субсегментов (ISP) для текущего блока, когда режим предсказания текущего блока представляет собой режим внутреннего предсказания, декодирование индикатора ISP-применения, указывающего то, следует применять или нет ISP к текущему блоку, когда ISP доступен для текущего блока, и формирование блока предсказания для текущего блока посредством применения ISP к текущему блоку, при определении того, что ISP применяется к текущему блоку, на основе индикатора ISP-применения. 2 н. и 9 з.п. ф-лы, 23 ил., 5 табл.

1. Способ декодирования изображений, осуществляемый посредством оборудования декодирования изображений, при этом способ декодирования изображений содержит этапы, на которых:

определяют режим предсказания текущего блока на основе информации режима предсказания текущего блока;

определяют, доступен ли режим на основе внутренних субсегментов (ISP) для текущего блока, на основе режима предсказания текущего блока, представляющего собой режим внутреннего предсказания;

декодируют информацию режима ISP для текущего блока, на основе ISP, являющегося доступным для текущего блока; и

формируют выборку предсказания для текущего блока на основе информации режима ISP,

при этом информация режима ISP включает в себя информацию направления ISP-разбиения,

при этом на основе как ширины, так и высоты блока компонентов сигнала яркости текущего блока, равных или меньших конкретному пороговому значению, ISP определен как доступный для текущего блока.

2. Способ декодирования изображений по п. 1, в котором предварительно определенное пороговое значение представляет собой максимальный размер преобразования.

3. Способ декодирования изображений по п. 1, в котором формирование выборки предсказания для текущего блока на основе информации режима ISP содержит этапы, на которых:

формируют выборку предсказания для блока компонентов сигнала яркости посредством применения ISP к блоку компонентов сигнала яркости текущего блока;

определяют, следует ли применять ISP к блоку компонентов сигнала цветности текущего блока; и

формируют выборку предсказания для блока компонентов сигнала цветности посредством применения ISP к блоку компонентов сигнала цветности, при определении того, что ISP применяется к блоку компонентов сигнала цветности текущего блока.

4. Способ декодирования изображений по п. 3, в котором определение того, следует применять или нет ISP к блоку компонентов сигнала цветности текущего блока, выполняется на основе по меньшей мере одного из размера блока компонентов сигнала цветности или формата сигнала цветности текущего блока.

5. Способ декодирования изображений по п. 4, в котором, когда формат сигнала цветности текущего блока представляет собой 4:2:2 или 4:4:4 и по меньшей мере одно из ширины или высоты блока компонентов сигнала цветности превышает максимальный размер преобразования, определяется, что ISP применяется к блоку компонентов сигнала цветности текущего блока.

6. Способ декодирования изображений по п. 3, в котором, когда ISP применяется к блоку компонентов сигнала цветности, направление разбиения и число субсегментов для блока компонентов сигнала цветности определяются на основе направления разбиения и числа субсегментов для блока компонентов сигнала яркости.

7. Способ декодирования изображений по п. 6, в котором направление разбиения и число субсегментов для блока компонентов сигнала цветности равны направлению разбиения и числу субсегментов для блока компонентов сигнала яркости, соответственно.

8. Способ декодирования изображений по п. 1, в котором формирование выборки предсказания для текущего блока на основе информации режима ISP содержит этапы, на которых:

формируют выборку предсказания для блока компонентов сигнала яркости посредством применения ISP к блоку компонентов сигнала яркости текущего блока; и

формируют выборку предсказания для блока компонентов сигнала цветности посредством применения ISP к блоку компонентов сигнала цветности текущего блока.

9. Способ декодирования изображений по п. 8, в котором направление разбиения и число субсегментов для блока компонентов сигнала цветности определяются на основе направления разбиения и числа субсегментов для блока компонентов сигнала яркости.

10. Способ декодирования изображений по п. 9, в котором направление разбиения и число субсегментов для блока компонентов сигнала цветности равны направлению разбиения и (числу субсегментов/2) блока компонентов сигнала яркости, соответственно.

11. Способ кодирования изображений, осуществляемый посредством оборудования кодирования изображений, при этом способ кодирования изображений содержит этапы, на которых:

определяют режим предсказания текущего блока;

определяют, доступен ли режим на основе внутренних субсегментов (ISP) для текущего блока, на основе режима предсказания текущего блока, представляющего собой режим внутреннего предсказания;

определяют, следует ли применять ISP к текущему блоку, на основе ISP, доступного для текущего блока;

формируют выборку предсказания для текущего блока посредством применения ISP к текущему блоку, на основе ISP, определенного в качестве применяемого к текущему блоку; и

кодируют информацию режима предсказания текущего блока и информацию режима ISP,

при этом информация режима ISP включает в себя информацию направления ISP-разбиения,

при этом на основе как ширины, так и высоты блока компонентов сигнала яркости текущего блока, равных или меньших конкретному пороговому значению, ISP определен как доступный для текущего блока.